JP5834615B2 - プロジェクタ、その制御方法、そのプログラム、及び、そのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、プロジェクタ、プロジェクタの制御方法、その制御方法のプログラム、及び、そのプログラムを記録した記録媒体に関する。

プロジェクタは、画像をスクリーン等の対象物に投影する装置である。画像を投影する際、プロジェクタの中には、対象物までの距離を測定し、その距離に基づいて、投影する画像のフォーカスを調整するものがある。また、投影した画像を撮像し、その撮像した画像に基づいて、フォーカスを調整するものがある。

特許文献１は、アクティブセンサにより、対象物に赤外光線を投射し、その反射光の受光強度から対象物までの距離を測定し、その距離に基づいて、フォーカスを調整する技術を開示している。

特許文献２は、投影されたフォーカス用パターンを撮像し、撮像された画像データの全ピクセルに対して、隣接するピクセルとの明度差を検出し、その明度差の絶対値の総和を計算し、その総和が最大となる位置にフォーカスレンズを移動することによって、オートフォーカス調整をする技術を開示している。

特許文献３は、投影された画像の反射光を受光センサにより受光し、受光センサから出力される電気信号から高周波成分を取り出し、その高周波成分を積分等して得られる画像信号（画像データ）のコントラストを算出し、コントラストが最大となる位置を合焦位置とする技術（山登りオートフォーカス技術）を開示している。

プロジェクタと対象物との間に障害物（発表者、机など）があるとき、あるいは、対象物の投影される表面とは反対側の表面に壁などが近接しているとき、特許文献１に開示されている技術では、受光素子の信号入力レベルの検出による対象物までの距離の測定に誤差が含まれることがあるため、フォーカスを調整することができない場合がある。また、特許文献２及び特許文献３に開示されている技術では、障害物に関する明度及びコントラストが最大となることがあるため、明度及びコントラストからフォーカスを調整することができない場合がある。

本発明は、プロジェクタと対象物との間に障害物があるとき、あるいは、対象物の背後に壁などが近接しているときでも、投影する画像のフォーカスを調整することができるプロジェクタを提供することを課題とする。

上記課題を解決するために、本発明は、画像が投影されている対象物を含む領域を撮像する撮像手段と、前記撮像手段が取得した撮像データから、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記平面に関する情報に基づき、投影する画像のフォーカスを調整するフォーカス調整手段と、を有し、前記測距手段は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出し、前記平面推定手段は、前記複数の位置において、前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を再帰的に近似し、前記平面推定手段は、再帰的に近似した平面に対応する距離データにおいて前記領域の中心から所定の範囲に位置する距離データの数を算出し、前記複数の距離データの数に対する前記算出した数の割合を算出し、前記割合が所定の割合以下の場合に、前記除外した距離データに基づいて、平面を再帰的に近似する、ことを特徴とするプロジェクタを提供する。

本発明によれば、プロジェクタにおいて、対象物を平面で推定することにより、フォーカスを調整することができる。

プロジェクタの一例を示す概略構成図である。 プロジェクタの機能の一例を示す機能ブロック図である。 画素ごとに出力された画素出力信号の輝度成分を説明する図である。 所定のパターンの例を説明する図である。 ステレオカメラの要部の一例を説明する拡大図である。 平面を推定する動作の一例を示すフローチャートである。 実施例１のプロジェクタの動作の例を示すフローチャートである。 投影する動作の例を説明する図である。 実施例１の変形例１のプロジェクタの動作の例を示すフローチャートである。 実施例１の変形例２のプロジェクタの動作の例を示すフローチャートである。 変形例２の所定のパターンを説明する図である。 実施例２のプロジェクタシステムの概略構成図である。

本発明について、画像を投影する対象物を平面で近似することにより、投影する画像のフォーカスを調整するプロジェクタを詳細に説明する。

（プロジェクタの構成）
図１は、本実施形態のプロジェクタの一例を示す概略構成図である。

図１において、プロジェクタ１００は、制御手段１１０、投影手段１２０、撮像手段１３０、測距手段１４０、平面推定手段１５０、フォーカス調整手段１６０、画像変形量算出手段１７０、及び、Ｉ／Ｆ手段１８０を含む。

プロジェクタ１００は、本実施形態では、撮像手段１３０及び測距手段１４０により、画像が投影される対象物（以下、投影対象物という。）を撮像し、距離データを算出する。また、プロジェクタ１００は、平面推定手段１５０により、その距離データから投影対象物に対応する平面を推定する。さらに、プロジェクタ１００は、フォーカス調整手段１６０により、推定した平面に関する情報などに基づき、投影用レンズ１２１を移動し、投影する画像のフォーカス（焦点）を調整する。

ここで、投影対象物は、スクリーン、壁、及び、ホワイトボートなど、外形表面に画像を投影することができるものを用いることができる。

制御手段１１０は、プロジェクタ１００全体の制御を行う手段である。制御手段１１０は、投影手段１２０等を制御する。また、制御手段１１０は、投影光制御手段１１１により、投影光加工手段１２２の動作を制御し、画像を投影するときの光の強さを制御する。

投影手段１２０は、投影対象物に画像を投影する手段である。投影手段１２０は、本実施形態では、投影用レンズ１２１、投影光加工手段１２２、光源１２３、投影用画像生成手段１２４、投影用画像格納手段１２５、投影用画像変形手段１２６、校正パターン格納手段１２７等を含む。投影手段１２０は、投影用レンズ１２１及び光源１２３などにより、投影用画像格納手段１２５に格納された画像を投影対象物に投影する。

撮像手段１３０は、投影対象物を含む領域の像を撮像素子（イメージセンサ）に結像し、その撮像素子の画素出力信号を撮像データとして取得する手段である。撮像手段１３０は、本実施形態では、画像撮像手段Ａ（１３１Ａ）、画像撮像手段Ｂ（１３１Ｂ）、撮像画像格納手段１３２を含む。画像撮像手段Ａ及び画像撮像手段Ｂは、ステレオカメラとして機能する。

ここで、ステレオカメラとは、画像撮像手段Ａ及び画像撮像手段Ｂにより、２つの撮像レンズ及び２つの撮像素子を備え、投影対象物を２つの撮像レンズで同時に撮影するものである。撮像レンズとは、投影対象物の像を撮像素子に入射するものである。撮像素子とは、複数の受光素子（画素）が格子状に配列された受光面を有し、撮像レンズを通して入射された投影対象物を含む領域の像をその受光面上に結像するものである。撮像素子は、固体撮像素子、有機撮像素子等を用いることができる。

測距手段１４０は、プロジェクタ１００から投影対象物までの距離を測定する手段である。測距手段１４０は、本実施形態では、距離演算手段１４１及び距離情報格納手段１４２を含む。測距手段１４０は、三角測量の原理により、投影対象物までの距離を算出する。詳細は後述の（測距する動作）で説明する。

平面推定手段１５０は、投影対象物に対応する平面を推定する手段である。平面推定手段１５０は、投影対象物に対応する平面を再帰的に近似する。ここで、平面を再帰的に近似する方法とは、複数の位置に基づいて平面を近似的に推定した後、その推定した平面から所定の距離を離れた位置を除外して、平面を推定し直す方法（回帰分析法）である。詳細は後述の（平面を推定する動作）で説明する。

フォーカス調整手段１６０は、投影対象物に投影用レンズ１２１のフォーカスを合わせる手段である。フォーカス調整手段１６０は、本実施形態では、焦点距離算出手段１６１、レンズ駆動手段１６２等を含む。詳細は後述の（フォーカスを調整する動作）で説明する。

画像変形量算出手段１７０は、投影する画像の補正（拡大縮小及び台形補正等の画像処理、以下、補正という。）に関する情報を算出する手段である。画像変形量算出手段１７０は、測距手段１４０が算出した距離データ及び／または平面推定手段１５０が推定した平面に関する情報に基づいて、補正に関する情報を算出する。詳細は後述の（投影する画像を補正する動作）で説明する。

Ｉ／Ｆ手段１８０は、プロジェクタ１００に外部からの情報の入出力を行う手段である。Ｉ／Ｆ手段１８０は、本実施形態では、操作パネル１８１及び投影用データ取得手段１８２を含む。操作パネル１８１は、ユーザーが操作するユーザーインターフェースである。投影用データ取得手段１８２は、外部のＰＣ等から投影する画像に関するデータ等を入力する手段である。

（プロジェクタの機能）
プロジェクタの機能の一例を、図２を用いて、説明する。

図２は、プロジェクタの機能ブロック図である。

図２において、制御手段１１０は、Ｉ／Ｆ手段１８０（操作パネル等）の動作指示などにより、画像の投影を開始するため、投影手段１２０に投影の開始を指示する信号を出力する。また、制御手段１１０は、撮像手段１３０に撮像の開始を指示する信号を出力する。

投影手段１２０は、投影用レンズなどにより、校正パターン格納手段に格納された校正パターンまたは投影用画像格納手段に格納された画像を投影対象物に投影する。また、投影手段１２０は、投影用画像変形手段により、画像変形量算出手段１７０が算出した補正に関する情報に基づいて、投影する画像を補正（変形）し、補正後の画像を投影する。

撮像手段１３０は、ステレオカメラ（画像撮像手段Ａ及び画像撮像手段Ｂ）によって、投影対象物を含む領域の像を撮像し、２つの撮像データを取得する。また、撮像手段１３０は、取得した撮像データを測距手段１４０及び画像変形量算出手段１７０に出力する。ここで、撮像データとは、受光素子が受光した光の明暗等を電気信号（画素出力信号）に変換したデータである。

測距手段１４０は、２つの撮像データに基づいて、投影対象物の外形表面上の複数の位置（以下、対応点という。）に対応する距離データを算出する。また、測距手段１４０は、距離データを平面推定手段１５０及び画像変形量算出手段１７０に出力する。ここで、距離データとは、プロジェクタ（撮像手段１３０）から投影対象物（対応点）までの距離に関するデータである。

平面推定手段１５０は、測距手段１４０が算出した距離データに基づいて、投影対象物に対応する平面に関する回帰平面データを算出する。また、平面推定手段１５０は、回帰平面データを画像変形量算出手段１７０及びフォーカス調整手段１６０に出力する。ここで、回帰平面データとは、回帰分析法によって算出した三次元空間の複数の位置を含む平面に関するデータである。

フォーカス調整手段１６０は、平面推定手段１５０が推定した平面に関する情報などに基づいて、投影用レンズを移動し、投影する画像のフォーカスを調整する。また、フォーカス調整手段１６０は、制御手段１１０にフォーカスを調整した結果に関する情報を出力する。

画像変形量算出手段１７０は、撮像手段１３０が取得した撮像データから投影対象物を含む領域に関する画像データを生成する。また、画像変形量算出手段１７０は、平面推定手段１５０が推定した回帰平面データ及び測距手段１３０が算出した距離データに基づいて、補正データを算出し、投影手段１２０（投影用画像変形手段）に出力する。ここで、画像データとは、撮像素子から出力される画素出力信号をデジタル処理した画像に関するデータである。また、補正データとは、投影手段１２０が投影する画像の補正に関するデータである。

（対応点を抽出する動作）
測距手段が、撮像手段のステレオカメラで取得した２つの撮像データに基づいて、対応点を抽出する動作について、図３及び図４を用いて説明する。

図３は、投影対象物を撮像手段のステレオカメラが撮像した撮像データについて、画素ごとに出力された画素出力信号の輝度成分を説明する図である。図中のｘ方向は、格子状に配列された画素（受光素子）の行または列の方向である。ｚ方向は、ｘ方向と直交する格子状の列または行の方向である。

図３において、測距手段は、まず、ステレオカメラが取得した２つの撮像データの一方（以下、撮像データＡという。）について、任意の画素（図のＢ１）を選択点として選択する。

次に、測距手段は、撮像データＡから、選択点の輝度成分とその選択点の周囲の８画素（図のＢ８）の輝度成分とを比較する。このとき、選択点の輝度成分が、周囲の８画素の輝度成分と比較して、すべて大きい場合またはすべて小さい場合、その選択点を特徴点（ｘ_Ａ，ｚ_Ａ）として抽出する。また、測距手段は、その特徴点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＡとして抽出する。

ここで、比較する輝度成分は、撮像手段がＲＧＢ信号（三原色に対応した赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）を成分とする信号）で画素出力信号を出力する場合では、近似的に輝度をあらわす緑成分の信号のみを用いることでもよい。また、輝度成分の比較は、選択点の画素とその周囲の１６画素（図のＢ１６）の輝度成分とを比較することでもよい。

次に、測距手段は、ステレオカメラが撮像した２つの撮像データの他方（以下、撮像データＢという。）について、任意の画素を選択点（ｘ_Ｂ，ｚ_Ｂ）として選択する。また、測距手段は、その選択点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＢとして選択する。ここで、測距手段は、テンプレートブロックＡ及びテンプレートブロックＢの輝度（または明度）の総和を算出し、両者の総和を比較する。比較方法は、後述するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）及び後述するＳＳＤ（Ｓｑｕａｒｅｄ Ｓｕｍ ｏｆ Ｄｉｆｆｅｒｅｎｃｅｓ）などの方法を用いることができる。

次に、テンプレートブロックＡとテンプレートブロックＢとの比較の結果において、輝度（または明度）の総和の差分が最小値であるテンプレートブロックＢの選択点（ｘ_Ｂ，ｚ_Ｂ）を選択する。このとき、その差分が所定の値以下であるとき、撮像データＡの特徴点（ｘ_Ａ，ｚ_Ａ）と撮像データＢの選択点（ｘ_Ｂ，ｚ_Ｂ）とが対応付けられ、その特徴点（ｘ_Ａ，ｙ_Ａ）（選択点（ｘ_Ｂ，ｙ_Ｂ））を対応点（ｘ_ＡＢ，ｚ_ＡＢ）として抽出する。ここで、所定の値とは、投影対象物とプロジェクタとの離間距離、または、被写界深度に対応する値とすることができる。また、所定の値を、数値計算及び実験等により定められる値とすることができる。

測距手段は、対応点の抽出として、撮像データＡから抽出されたすべての特徴点について、撮像データＢの選択点と比較する。このとき、測距手段は、複数の対応点（以下、三次元点群という。）を抽出することになる。

なお、ＳＡＤとは、総和の比較において、絶対値の差分の総和を求める方法である。画素を相対座標（ｘ，ｚ）で表し、撮像データＡの画素（ｘ，ｚ）における比較値（輝度成分等）をＩ_Ａ（ｘ，ｚ）、撮像データＢの画素（ｘ，ｚ）における比較値をＩ_Ｂ（ｘ，ｚ）とおくと、ＡＤ（差分の総和）は、数１から得られる。

一方、ＳＳＤとは、差分の２乗の総和を求める方法である。ＳＤ（差分の２乗の総和）は、数２から得られる。

図４は、投影対象物に投影する所定のパターン（校正パターン、キャリブレーションパターン）Ｐｋの例を示す図である。

測距手段は、対応点の抽出時に投影対象物に投影する所定のパターンＰｋとして、複数の円形等を有するパターンを用いることができる。このとき、測距手段は、所定のパターンＰｋを撮像して取得した撮像データにおける色、明るさ、及び、エッジ強度等の情報のうちの少なくとも１つの情報に基づいて、その複数の円形等の中心点を対応点として抽出することができる。図４（ａ）は、複数の円形のパターンの一例である。ここで、投影する円形の直径は、その一つの円形により撮像素子（撮像手段）に結像される像が撮像素子の受光素子の一つ（１画素）となる大きさから、投影対象物に３つの円形を投影できる大きさまでの範囲とすることができる。

また、測距手段は、所定のパターンＰｋとして、チェック模様のパターンを用いることができる。このとき、測距手段は、そのパターンを撮影して取得した撮像データにおける色、明るさ、及び、エッジ強度等の情報のうちの少なくとも１つの情報に基づいて、そのチェック模様のエッジ（チェックの角）等を対応点として抽出することができる。図４（ｂ）及び図４（ｃ）は、チェック模様のパターンの一例である。

（距離データを算出する動作）
測距手段が、撮像手段のステレオカメラにより、撮像手段（プロジェクタ）から対応点（投影対象物）までの距離に関する距離データを算出する動作について、図５を用いて説明する。

図５は、ステレオカメラの要部の一例を説明する拡大図である。

図５において、ステレオカメラ１３１は、第１の撮像レンズ１３２ａ及び第２の撮像レンズ１３２ｂを有する。また、ステレオカメラ１３１は、第１の撮像レンズ１３２ａ及び第２の撮像レンズ１３２ｂの背面側の方向（投影対象物の方向と反対側の方向）に配置された第１の撮像素子１３３ａ及び第２の撮像素子１３３ｂを有する。ここで、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。

第１の撮像レンズ１３２ａと第２の撮像レンズ１３２ｂとは、所定の間隔Ｄ（以下、基線長という。）で離間して配置されている。第１の撮像レンズ１３２ａの光軸１３２ａｘと第２の撮像レンズ１３２ｂの光軸１３２ｂｘは、平行である。第１の撮像素子１３３ａ等は、正面側（背面側の反対側）の表面上に、対象物の像を結像する受光面を備える。第１の撮像レンズ１３２ａ等の光軸１３２ａｘ等は、第１の撮像素子１３３ａ等の受光面の対角線の中心と一致するように位置決めされている。

測距手段は、ステレオカメラ１３１が撮像した２つの撮像データに基づいて、上述の（対応点を抽出する動作）により、複数の対応点を抽出する。また、測距手段（距離演算手段）は、抽出された複数の対応点において、三角測量の原理により、プロジェクタ（撮像手段）から投影対象物（対応点）までの距離に関する距離データを算出する。

具体的には、第１の撮像レンズ１３２ａを通して得られた投影対象物の第１の像は、第１の撮像素子１３３ａ上の受光面に結像される。他方、第２の撮像レンズ１３２ｂを通して得られた投影対象物の第２の像は、第２の撮像素子１３３ｂ上の受光面に結像される。ここで、投影対象物の第１の像と第２の像とは、視差△だけ変位して、それぞれの受光面に結像されている。このとき、撮像素子１３３ａ、１３３ｂは、第１の像及び第２の像の光による明暗を電荷の量に光電変換し、画素出力信号として、測距手段に出力する。測距手段は、撮像素子１３３ａ、１３３ｂの画素出力信号を比較し、対応点における視差△を検出する。

ここで、視差△、基線長Ｄ、プロジェクタ（撮像手段）から投影対象物（対応点）との離間距離Ｌ、及び、撮像レンズ１３２ａ等の焦点距離ｆとすると、Ｌ＞＞ｆを条件に、数３が成り立つ（三角測量の原理）。

この場合、Ｄとｆは既知である。測距手段（距離演算手段）は、検出した視差△から、数３により、離間距離Ｌを算出する。また、測距手段は、算出した離間距離Ｌを対応点に対応する距離データとして取得し、距離情報格納手段に距離データを格納する。

（平面を推定する動作）
平面推定手段が、回帰分析法により、投影対象物に対応する平面を再帰的に近似する動作について、図６を用いて説明する。

図６は、平面推定手段の動作の一例を示すフローチャートである。

図６において、制御手段は、測距手段が算出した三次元点群（対応点）の距離データを、平面推定手段に入力（登録）する（ステップＳ１０１）。その後、ステップＳ１０２に進む。

ステップＳ１０２において、平面推定手段は、距離データに基づいて、投影対象物に対応する平面に関する回帰平面データを算出する。ステップＳ１０２の回帰平面データを算出する方法について、具体的に説明する。

前述の（対応点を抽出する動作）において、三次元点群としてｎ個の対応点（ｘ_ＡＢｉ，ｙ_ＡＢｉ，ｚ_ＡＢｉ）（ｉ＝１〜ｎ）が算出されている。ここで、ｙ軸方向は、撮像手段のステレオカメラの光軸方向（図５のｙ方向）である。また、ｙ_ＡＢｉは、測距手段により測定された投影対象物（対応点（ｘ_ＡＢｉ，ｚ_ＡＢｉ））とプロジェクタ（撮像手段）との離間距離Ｌのｙ成分である。

平面推定手段は、回帰分析法によって三次元点群から回帰平面を算出するため、まず、回帰平面の方程式をｙ＝ａｘ＋ｂｚ＋ｃと定義する。ここで、回帰平面と三次元点群とは、数４が成り立つ。

ここで、数４の変数は、数５である。

このとき、ｅ_ｉは残差を示す。

次に、正規方程式は、数６となる。

よって、βは、数７となる。

ここで、最小二乗法を用いて、残差ｅ_ｉの平方和が最小となる定数ａ、ｂ、及び、ｃを算出することにより、回帰平面（ｙ＝ａｘ＋ｂｚ＋ｃ）を求めることができる。平面推定手段は、回帰平面データとして、回帰平面の方程式（ｙ＝ａｘ＋ｂｚ＋ｃ）の定数ａ、ｂ、及び、ｃを取得する。

以上より、回帰平面データの算出を完了すると、ステップＳ１０３に進む。

次に、図６のステップＳ１０３において、回帰平面と三次元点群との距離Ｄ_ＡＢｉを算出する。具体的には、距離Ｄ_ＡＢｉは、対応点（ｘ_ＡＢｉ，ｙ_ＡＢｉ，ｚ_ＡＢｉ）から、平面（αｘ＋βｙ＋γｚ＋δ＝０）までの距離を、数８より、算出する。

回帰平面と三次元点群のすべての点との距離の算出を完了すると、ステップＳ１０４に進む。

ステップＳ１０４において、ステップＳ１０３で算出した距離Ｄ_ＡＢｉにおいて、その距離の絶対値が最大となる対応点の距離Ｄ_ＭＡＸを抽出する。距離Ｄ_ＭＡＸの抽出が完了すると、ステップＳ１０５に進む。

ステップＳ１０５において、距離Ｄ_ＭＡＸと所定の距離とを比較する。距離Ｄ_ＭＡＸが所定の距離以下の場合は、ステップＳ１０６に進む。距離Ｄ_ＭＡＸが所定の距離を越える場合は、ステップＳ１０９に進む。ここで、所定の距離とは、投影対象物とプロジェクタとの離間距離に対応する値とすることができる。また、被写界深度に対応する値とすることができる。

ステップＳ１０６において、撮像手段により撮像した領域の中心から所定の範囲に存在する三次元点群の点の数と撮像した全領域の三次元点群の点の数との割合を算出する。割合の算出が完了すると、ステップＳ１０７に進む。

ステップＳ１０７において、ステップＳ１０６で算出した割合と所定の割合とを比較する。比較の結果、所定の割合を超える場合は、ステップＳ１０８に進む。それ以外の場合は、ステップＳ１１２に進む。ここで、所定の割合とは、ステップＳ１０６で設定した所定の範囲と撮像した全領域との面積に対する割合とすることができる。また、所定の割合を、数値計算及び実験等により、撮像した領域の中心に投影対象物を含むとみなされる割合とすることができる。

ステップＳ１０６及びステップＳ１０７では、測距手段が抽出した三次元点群が、投影対象物表面上の位置を表す点群であるか、または、投影対象物の背後の壁などの位置を表す点群であるかを判断している。そのため、ステップＳ１０６等では、上述の所定の割合の比較の他に、三次元点群の分散に基づいて、判断することができる。具体的には、背後の壁表面上の三次元点群と比較して、投影対象物表面上の三次元点群は分散が小さい。したがって、三次元点群の分散が所定の閾値より小さいか否かにより、投影対象物表面上の位置を表す三次元点群であるか否かを判断することができる。ここで、所定の閾値は、数値計算及び実験等により、定めることができる。

次に、ステップＳ１０８において、算出した回帰平面（ステップＳ１０２）を投影対象物に対応する平面であると推定し、回帰平面データとして記憶する。その後、図中の「ＥＮＤ」に進み、平面の推定を終了する。

ステップＳ１０９において、最大の距離Ｄ_ＭＡＸに対応する三次元点群の点を三次元点群から除外する。除外を完了すると、ステップＳ１１０に進む。

ステップＳ１１０において、三次元点群の点の数が２つ以下か否かを判断する。三次元点群の点の数が２つを越える場合は、ステップＳ１０２に戻る。三次元点群の点の数が２つ以下の場合は、ステップＳ１１１に進む。

ステップＳ１１１において、三次元点群の点の数が２つ以下であるため、平面を推定できない。このとき、Ｉ／Ｆ手段等により、「平面推定（または校正）の動作エラー」等を出力する。その後、図中の「ＥＮＤ」に進み、平面の推定の動作を終了する。

ステップＳ１１２において、三次元点群の点の数について、除外した点のみを距離データとして、再度、入力（登録）し、ステップＳ１０２に戻る。

以上より、本発明のプロジェクタは、投影対象物までの距離を測定し、回帰分析法によって、投影対象物に対応する平面を推定することができる。また、本発明のプロジェクタは、平面からの距離が所定の距離を越える対応点を除外することによって、プロジェクタと投影対象物との間に障害物があるとき、あるいは、対象物の背後に壁などが近接しているときでも、投影対象物に対応する平面を推定することができる。

なお、平面を推定する動作において、除外する対応点は障害物及び背後の壁などに関するものに限定されるものではなく、投影対象物以外のものを含むことができる。

（フォーカスを調整する動作）
フォーカス調整手段が、投影用レンズを移動し、投影する画像のフォーカスを調整する動作について説明する。

フォーカス調整手段は、平面推定手段が推定した平面に関する情報に基づいて、レンズ駆動手段により投影用レンズを移動し、投影する画像のフォーカスを調整する。

具体的には、フォーカス調整手段は、平面推定手段が推定した平面に関する情報に基づいて、投影対象物に対応する平面に投影する画像のフォーカスを合わせることができる。あるいは、フォーカス調整手段は、画像が投影された領域の中心の位置に対応する投影対象物に関する距離データを推定した平面を用いて算出し、その算出した距離データに基づいて、投影する画像のフォーカスを調整することができる。ここで、中心の位置は、三次元点群のｘ座標とｚ座標の最大値と最小値を示す点（位置）の平均値としてもよい。あるいは、中心の位置は、三次元点群のすべての点の平均値としてもよい。

以上より、本発明のプロジェクタは、プロジェクタと投影対象物との間に障害物があるとき、あるいは、投影対象物の背後に壁などが近接しているときでも、推定した投影対象物に対応する平面に基づいて、投影する画像のフォーカスを調整することができる。また、本発明のプロジェクタは、投影対象物に対応する平面を推定することによって、投影する光の明度の高低及び投影対象物表面上の凹凸などの影響を受けることなく、フォーカスを調整することができる。

（投影する画像を補正する動作）
画像変形量算出手段が、測距手段が算出した距離データ及び／または平面推定手段が推定した平面に関する情報に基づいて、投影する画像を補正する動作について説明する。

まず、プロジェクタは、投影手段により、所定のパターンとして、全面白色の画像を投影する。次に、画像変形量算出手段は、撮像手段が取得した撮像データから、投影対象物を含む領域に関する画像データを生成する。また、画像変形量算出手段は、平面推定手段が推定した回帰平面データ及び測距手段が算出した距離データに基づいて、投影対象物に対応する範囲を算出する。

具体的には、画像変形量算出手段は、生成した画像データに関する画像から、白色領域を抽出し、投影対象物に対応する範囲とする。ここで、白色領域は、所定の明度以上を白色領域とすることができる。または、白色領域でない部分を検出し、投影対象物の外形を算出することができる。ここで、所定の明度とは、数値計算及び実験等により、撮像した画像において、投影対象物の表面であるとみなされる明度とすることができる。

次に、画像変形量算出手段は、抽出した白色領域の外形を四角形に近似し、推定した回帰平面データ及び算出した距離データに基づいて、その四角形の頂点の三次元座標を算出する。ここで、四角形の頂点は、エッジ強度の検出により、エッジ強度が高く、エッジ方向が急激に変化する位置とすることができる。なお、四角形の頂点が抽出できない場合（エッジ強度が高い領域がない場合など）では、推定した平面上の三次元点群における最外郭を投影対象物の外形とし、四角形の頂点をその最外郭が内包する四角形の頂点とすることができる。

ここで、エッジ強度を検出する方法は、エッジ検出フィルタを用いることができる。具体的には、エッジ検出フィルタ（３×３画素の空間フィルタ）として、数９及び数１０を用いて、フィルタ値の２乗和をエッジ強度とし、フィルタ値の割合をエッジ方向とすることができる。

ここで、数９は垂直方向のエッジ検出用、数１０は水平方向のエッジ検出用のエッジ検出フィルタである。

次に、画像変形量算出手段は、算出した四角形の頂点に基づいて、投影する画像を補正するための情報である変形パラメータ（射影変換行列、台形補正変換行列など）を算出し、補正データとして取得する。その後、画像変形量算出手段は、補正データを投影手段に出力する。このとき、投影手段は、投影用画像変形手段により、補正データに基づいて、投影する画像を補正（変形）し、補正後の画像を投影する。

以上より、本発明のプロジェクタは、投影対象物に対応する平面の推定と画像データの生成により、投影対象物の外形を特定し、投影する画像をその外形に対応した画像に補正し、補正後の画像を投影することができる。

（プログラム、及び、プログラムを記録した記録媒体）
本発明のプログラムＰｒは、画像が投影されている対象物（投影対象物）を含む領域を撮像し、撮像データを取得する工程と、撮像データから、対象物と撮像した位置との離間距離に関する距離データを算出する工程と、距離データから、対象物に対応する平面を推定する工程と、平面に関する情報に基づき、投影する画像のフォーカスを調整する工程と、を実行する。

この構成によれば、本発明のプロジェクタと同等の効果が得られる。

また、本発明は、プログラムＰｒを記録したコンピュータによって読み取り可能な記録媒体Ｍｄとしてもよい。

このプログラムＰｒを記録した記録媒体Ｍｄとしては、フレキシブルディスク、ＣＤ−ＲＯＭ、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。

（実施例）
プロジェクタ及びプロジェクタシステムの実施例を用いて、本発明のプロジェクタ及びその制御方法を説明する。

本発明は、プロジェクタ以外でも、対象物に画像または映像などを投影し、その対象物を撮像し、その対象物を平面で近似し、投影する画像等のフォーカスを調整するものであれば、いずれにも用いることができる。

実施例１のプロジェクタを用いて、本発明を説明する。

（プロジェクタの構成）
本実施例のプロジェクタ２００の構成は、図１のプロジェクタ１００と同様のため、説明を省略する。

（投影する画像のフォーカスを調整する動作）
プロジェクタ２００が、投影する画像のフォーカスを調整する動作（校正フェーズの動作）について、図７及び図８を用いて説明する。本実施例では、プロジェクタ２００は、平面推定手段とフォーカス調整手段とにより、対象物に対応する平面を推定する動作と対象物に対応するフォーカスを調整する動作とを再帰的に（繰り返し）行う。

図７は、本実施例のプロジェクタ２００の校正時（または起動時）において、投影する画像のフォーカスを調整する手順の例を示すフローチャートである。

図７のステップＳ３０１において、制御手段は、操作パネル等からの入力により、校正を開始する。このとき、制御手段は、投影手段等に動作開始の指示を出力する。その後、ステップＳ３０２に進む。

ステップＳ３０２において、投影手段は、校正用パターン格納手段に格納されている所定のパターンを、投影用レンズから投影対象物に投影する。その後、ステップＳ３０３に進む。

ステップＳ３０３において、撮像手段は、画像撮像手段により、投影対象物を含む領域を撮像し、撮像画像格納手段に格納する。ここで、撮像手段が撮像する動作を、図８を用いて、具体的に説明する。

図８は、投影対象物を撮像する動作を説明する図である。図中の×印は、投影対象物（スクリーンＳｃｒ）表面上の位置を示す。図中の△印は、投影対象物の背後の壁Ｗｂ表面上の位置を示す。図中の◆印は、発表者の位置を示す。

図８において、プロジェクタ２００（投影手段）は、投影する領域の全領域を白色領域とする画像を投影する。このとき、プロジェクタ２００（撮像手段）は、画像が投影されたスクリーンＳｃｒを含む領域を撮像する。その後、ステップＳ３０４に進む。

次に、図７のステップＳ３０４において、測距手段は、距離演算手段により、プロジェクタから投影対象物までの距離を算出し、算出結果（距離データ）を距離情報格納手段に格納する。ここで、距離の算出方法は、前述の（対応点を抽出する動作）及び（距離データを算出する動作）と同様であるため、説明を省略する。算出結果の格納を完了すると、ステップＳ３０５に進む。

ステップＳ３０５において、平面推定手段は、距離データに基づいて、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の（平面を推定する動作）と同様であるため、説明を省略する。平面の推定を完了すると、ステップＳ３０６に進む。

ステップＳ３０６において、フォーカス調整手段は、平面推定手段が推定した平面（ステップＳ３０５）に関する情報に基づいて、レンズ駆動手段により投影用レンズを移動し、投影する画像のフォーカスを調整する。ここで、フォーカスを調整する動作は、前述の（フォーカスを調整する動作）と同様であるため、説明を省略する。フォーカスの調整を完了すると、ステップＳ３０７に進む。

ステップＳ３０７において、制御手段は、フォーカスを調整した回数が、所定の回数以上か否かを判断する。所定の回数以上の場合は、ステップＳ３０８に進む。それ以外の場合は、ステップＳ３０３に戻る。

ここで、フォーカスの調整を所定の回数繰り返して再帰的に行うことは、初回のフォーカスの調整時では、合焦状態でないときに測距手段により投影対象物までの距離を測定しているため、その測定結果に誤差が含まれるからである。したがって、フォーカス調整手段は、フォーカスの調整と平面の推定を所定の回数繰り返し、その誤差を解消する。ここで、所定の回数は、数値計算及び実験等により、定めることができる。また、フォーカスの調整を繰り返す場合において、測距手段により測定した距離の変位が所定の閾値以下のときは、フォーカスの調整を繰り返すことを終了してもよい。

次に、ステップＳ３０８において、画像変形量算出手段は、投影対象物の外形を検出する。ここで、投影対象物の外形を検出する方法は、前述の（投影する画像を補正する動作）と同様であるため、説明を省略する。検出を完了すると、ステップＳ３０９に進む。

ステップＳ３０９において、画像変形量算出手段は、画像変形量を算出する。ここで、画像変形量の算出方法は、前述の（投影する画像を補正する動作）と同様であるため、説明を省略する。算出を完了すると、ステップＳ３１０に進む。

ステップＳ３１０において、制御手段は、投影手段による所定のパターンの投影を終了し、その後、図中の「ＥＮＤ」に進み、投影する画像のフォーカスを調整する動作を終了する。

以上より、本発明のプロジェクタは、プロジェクタと投影対象物との間に障害物があるとき、あるいは、投影対象物の背後に壁などが近接しているときでも、投影対象物に対応する平面を推定することにより、投影する画像のフォーカスの調整（及び校正）をすることができる。

（変形例１）
実施例１の変形例について、画像を投影中にフォーカスを調整する動作（運用フェーズの動作）について、説明する。

（プロジェクタの構成）
本変形例のプロジェクタ３００の構成は、実施例１（図１）と同様のため、説明を省略する。

（投影中にフォーカスを調整する動作）
投影中に投影対象物が移動した場合に、または、プロジェクタが移動した場合に、フォーカスを調整する動作について、図９を用いて説明する。

図９は、本変形例のプロジェクタ３００において、画像を投影中に投影する画像のフォーカスを調整する手順の例を示すフローチャートである。

図９のステップＳ４０１において、投影手段は、投影用画像格納手段に格納されている画像を、投影用レンズから投影対象物に投影している。次に、ステップＳ４０２に進む。

ステップＳ４０２において、制御手段は、所定時間を測定するタイムカウンタにより、所定時間を経過したか否かを判断する。所定時間を経過すると、ステップＳ４０３に進む。所定時間の未経過のときは、所定時間を経過するまで待機する。

ステップＳ４０３において、撮像手段は、画像撮像手段により、投影対象物を含む領域を撮像し、撮像画像格納手段に格納する。格納を完了すると、ステップＳ４０４に進む。

ステップＳ４０４において、測距手段は、距離演算手段により、プロジェクタから投影対象物までの距離を算出し、算出結果を距離情報格納手段に格納する。ここで、距離の算出方法は、前述の（対応点を抽出する動作）及び（距離データを算出する動作）と同様であるため、説明を省略する。算出結果の格納を完了すると、ステップＳ４０５に進む。

ステップＳ４０５において、平面推定手段は、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の（平面を推定する動作）と同様であるため、説明を省略する。平面の推定を完了すると、ステップＳ４０６に進む。

ステップＳ４０６において、平面推定手段は、ステップＳ４０５で推定された平面と前回の平面の推定時（または、図示しないプロジェクタ起動時）に推定した平面とを比較し、平面の位置の差分を算出する。平面の位置の差分は、平面の法線ベクトルの大きさ（二乗和平方根）の差分とすることができる。

ここで、ステップＳ４０５で推定された平面を数１１とする。

前回の平面の推定時に推定した平面を数１２とする。

このとき、平面の法線ベクトルは、数１３となる。

平面の位置の差分の算出を完了すると、ステップＳ４０７に進む。

ステップＳ４０７において、平面推定手段は、平面の位置の差分が所定の値以上であれば、投影対象物等が移動したと判断する。ここで、所定の値とは、投影対象物とプロジェクタとの離間距離に対応する値とすることができる。または、被写界深度に対応する値とすることができる。

平面の位置の差分が所定の値以上の場合は、ステップＳ４０８に進む。平面の位置の差分が所定の値未満の場合は、ステップＳ４０９に進む。

ステップＳ４０８において、プロジェクタは、再度の校正を行う。具体的には、プロジェクタの起動時と同様の校正（実施例１の図７のステップＳ３０３〜ステップＳ３０９）を行う。あるいは、ステップＳ４０５で推定された平面に基づいて、校正を行う。なお、プロジェクタは、画像の投影を中断し、所定のパターンを投影して、校正してもよい。

校正を完了すると、ステップＳ４０９に進む。

ステップＳ４０９において、制御手段は、タイムカウンタをリセットし、所定の時間の測定を初期化する。その後、ステップＳ４１０に進む。

ステップＳ４１０において、制御手段は、プロジェクタが使用中か否かを判断する。プロジェクタが使用中の場合は、ステップＳ４０２に戻る。それ以外の場合は、図中の「ＥＮＤ」に進み、投影中にフォーカスを調整する動作を終了する。

（変形例２）
実施例１の変形例２について、平面推定手段とフォーカス調整手段とにより再帰的に（繰り返し）行う平面を推定する動作とフォーカスを調整する動作とに対応して、所定のパターンを選択して、フォーカスを調整する動作について、説明する。

（プロジェクタの構成）
本変形例のプロジェクタ４００の構成は、実施例１（図１）と同様のため、説明を省略する。

（所定のパターンを選択して、フォーカスを調整する動作）
所定のパターン（校正パターンなど）を選択して、フォーカスを調整する動作について、図１０及び図１１を用いて説明する。

図１０は、本変形例のプロジェクタ４００において、投影する画像のフォーカスを調整する手順の例を示すフローチャートである。

図１０のステップＳ５０１において、制御手段は、操作パネル等からの入力により、校正を開始する。このとき、制御手段は、投影手段等に動作開始の指示を出力する。その後、ステップＳ５０２に進む。

ステップＳ５０２において、投影手段は、校正用パターン格納手段に格納されている所定のパターンのうち、最もパターンの面積が大きいパターンを選択する。その後、ステップＳ５０３に進む。ここで、初回のフォーカスの調整時に、最もパターンの面積が大きいパターンを用いるのは、フォーカスが調整されていなくても、測距手段が対応点を抽出することができるからである。

ここで、投影手段が選択する所定のパターンとして、複数の円形を有するパターンの一例を、図１１に示す。図１１（ａ）は、円形の面積が最も大きいパターンである。図１１（ｂ）は円形の面積が中間の大きさのパターンである。図１１（ｃ）は、円形の面積が小さいパターンである。

円形の直径は、その一つの円形により撮像素子（撮像手段）に結像される像が撮像素子の受光素子の一つ（１画素）となる大きさから、投影対象物に３つの円形を投影できる大きさまでの範囲とすることができる。また、所定のパターンは、光学系若しくは画像処理などによって、パターンの大きさ（円形の直径の大きさなど）を変更してもよい。

次に、ステップＳ５０３〜Ｓ５０７は、実施例１のステップＳ３０２〜Ｓ３０６と同様であるため、説明を省略する。その後、ステップＳ５０８に進む。

ステップＳ５０８において、制御手段は、フォーカス調整手段によりフォーカスを調整した回数が、所定の回数以上か否かを判断する。所定の回数以上の場合は、ステップＳ５０９に進む。それ以外の場合は、ステップＳ５１２に進む。

ここで、フォーカスの調整を所定の回数繰り返して行うことは、初回のフォーカスの調整時には、円形の面積が最も大きいパターンであるため、その調整に誤差が含まれるからである。したがって、フォーカス調整手段は、フォーカスの調整と平面の推定を所定の回数繰り返し、所定のパターンの円形の面積を段階的に小さくすることで、その誤差を解消することができる。ここで、所定の回数は、数値計算及び実験等により、定めることができる。

次に、ステップＳ５０９〜Ｓ５１１は、実施例１のステップＳ３０８〜Ｓ３１０と同様であるため、説明を省略する。その後、図中の「ＥＮＤ」に進み、投影する画像のフォーカスを調整する動作を終了する。

一方、ステップＳ５１２において、投影手段は、校正パターン格納手段に格納されている所定のパターンのうち、ステップＳ５０２で選択したパターンの次に面積が大きいパターンを選択する。その後、ステップＳ５０３に戻る。

実施例２のプロジェクタシステムを用いて、本発明を説明する。

（プロジェクタシステムの構成）
図１２は、本実施例のプロジェクタシステム５００の概略構成図の例である。

図１２において、プロジェクタシステム５００は、プロジェクタ５１０及び外部演算手段５２０を有する。プロジェクタ５１０の基本的な構成は、実施例１と同様のため、説明を省略する。

プロジェクタ５１０は、本実施例では、通信手段５１１を有する。また、外部演算手段５２０も、同様に、通信手段５２１を有する。プロジェクタ５１０と外部演算手段５２０とは、通信手段５１１及び通信手段５２１により、相互に有線または無線で通信することができる。外部演算手段５２０は、クラウドコンピューティングなどを利用することができる。

外部演算手段５２０は、投影用画像変形手段１２６、距離演算手段１４１、平面推定手段１５０、焦点距離算出手段１６１、及び、画像変形量算出手段１７０を有する。外部演算手段５２０は、プロジェクタ５１０から出力された情報に基づいて、距離データの算出、平面の推定、フォーカスの調整に関する情報の算出、及び、画像の補正に関する情報の算出などの演算処理をすることができる。また、外部演算手段５２０は、投影用画像変形手段１２６により、補正に関する情報に基づいて、投影する画像を補正し、その補正後の画像に関するデータを、プロジェクタ５１０（投影用画像格納手段）に出力する。ここで、外部演算手段５２０は、投影用画像変形手段１２６等のうちの少なくとも１つの手段を有する構成でもよい。

以上により、プロジェクタシステム５００は、外部演算手段５２０を用いることにより、プロジェクタ５１０における処理量を低減でき、プロジェクタ５１０を小型化、軽量化、及び、簡素化することができる。また、外部演算手段５２０には、ＰＣ等を利用することができる。プロジェクタ５１０を用いて発表等する場合では、発表時に使用するＰＣ等を外部演算手段５２０として利用することができる。さらに、外部演算手段５２０は、プロジェクタ５１０の撮像手段など、その他の手段を含む構成とすることができる。

１２０ ： 投影手段
１２６ ： 投影用画像変形手段
１３０ ： 撮像手段
１４０ ： 測距手段
１５０ ： 平面推定手段
１６０ ： フォーカス調整手段
１００、２００、３００、４００：プロジェクタ
５００ ： プロジェクタシステム
Ｐｒ ： プログラム
Ｍｄ ： 記録媒体
Ｐｋ ： 所定のパターン（校正パターン、キャリブレーションパターン）

特開平６−２７４３１号公報 特開２００６−１０９４５号公報 特開２００５−１８１７２６号公報

Claims (14)

1. 画像が投影されている対象物を含む領域を撮像する撮像手段と、
   前記撮像手段が取得した撮像データから、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、
   前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、
   前記平面に関する情報に基づき、投影する画像のフォーカスを調整するフォーカス調整手段と、を有し、
   前記測距手段は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出し、
   前記平面推定手段は、前記複数の位置において、前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を再帰的に近似し、
   前記平面推定手段は、再帰的に近似した平面に対応する距離データにおいて前記領域の中心から所定の範囲に位置する距離データの数を算出し、前記複数の距離データの数に対する前記算出した数の割合を算出し、前記割合が所定の割合以下の場合に、前記平面推定手段が除外した距離データに基づいて、平面を再帰的に近似する、ことを特徴とするプロジェクタ。
2. 前記平面推定手段と前記フォーカス調整手段とは、前記対象物に対応する平面を推定する動作と前記対象物に対応するフォーカスを調整する動作とを再帰的に行うことを特徴とする請求項１に記載のプロジェクタ。
3. 所定のパターンを投影する投影手段を有することを特徴とする請求項２に記載のプロジェクタ。
4. 前記投影手段は、前記平面推定手段と前記フォーカス調整手段とが再帰的に行う前記平面を推定する動作とフォーカスを調整する動作とに対応して、前記所定のパターンを選択することを特徴とする請求項３に記載のプロジェクタ。
5. 前記平面推定手段は、色、明るさ、及び、エッジ強度に関する前記撮像データの情報のうちの少なくとも１つの情報に基づいて、平面を推定することを特徴とする請求項１乃至４のいずれか一項に記載のプロジェクタ。
6. 投影する画像を補正する投影用画像変形手段を有することを特徴とする請求項１乃至５のいずれか一項に記載のプロジェクタ。
7. 画像が投影されている対象物を含む領域を撮像し、撮像データを取得する工程と、
   前記撮像データから、前記対象物と前記撮像した位置との離間距離に関する距離データを算出する工程と、
   前記距離データから、前記対象物に対応する平面を推定する工程と、
   前記平面に関する情報に基づき、投影する画像のフォーカスを調整する工程と、を含み、
   前記距離データを算出する工程は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出する工程を含み、
   前記平面を推定する工程は、前記複数の位置において、前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を再帰的に近似する工程を含み、
   前記平面を推定する工程は、再帰的に近似した平面に対応する距離データにおいて前記領域の中心から所定の範囲に位置する距離データの数を算出する工程と、前記複数の距離データの数に対する前記算出した数の割合を算出する工程と、前記割合が所定の割合以下の場合に、前記平面を推定する工程で除外された距離データに基づいて、平面を再帰的に近似する工程、を含むことを特徴とするプロジェクタの制御方法。
8. 前記平面を推定する工程と前記フォーカスを調整する工程とを再帰的に行うことを特徴とする請求項７に記載のプロジェクタの制御方法。
9. 請求項７又は８に記載の制御方法と、
   所定のパターンを投影する工程と、を含むことを特徴とするプロジェクタの制御方法。
10. 前記投影する工程は、再帰的に行う前記平面を推定する工程と前記フォーカスを調整する工程とに対応して、前記所定のパターンを選択することを特徴とする請求項９に記載のプロジェクタの制御方法。
11. 前記平面を推定する工程は、色、明るさ、及び、エッジ強度に関する前記撮像データの情報のうちの少なくとも１つの情報に基づいて、平面を推定することを特徴とする請求項７乃至１０のいずれか一項に記載のプロジェクタの制御方法。
12. 投影する画像を補正する工程を含むことを特徴とする請求項７乃至１１のいずれか一項に記載のプロジェクタの制御方法。
13. 請求項７乃至１２のいずれか一項に記載の制御方法をコンピュータに実行させるためのプログラム。
14. 請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。