JP6295635B2 - 画像投影装置、画像投影システムおよび画像投影方法 - Google Patents

Description

本発明は、画像投影装置、画像投影システムおよび画像投影方法に関する。

近年、プロジェクタを用いて、会議でのプレゼンテーション、および学校等での教育ビデオの投影等が実施されるようになってきている。最近では、画像投影装置からスクリーンまでの距離を従来のプロジェクタよりも短く設定できる短焦点プロジェクタは、プロジェクタ本体をスクリーン近傍に設置することができ、視聴者の視聴スペースを有効に使用できるようになったり、投影画像に視聴者自身が映り込むことを抑制できる。

ここで、プロジェクタから画像が投影されるスクリーン自体を天井からぶら下げたり、または、スタンドに吊り下げられている場合、スクリーンに凹凸が発生することが考えられる。この場合において、プロジェクタがスクリーンに投影画像を投射した場合、スクリーンの凸凹により投影画像に歪みが生じてしまう。このようなスクリーンの凹凸に対応し、プロジェクタの投影画像を高品質化する技術として、投影画像の台形補正、および投影面（スクリーン等）の微妙な凹凸による画像の歪みを補正する歪み補正技術が提案されている。

このような歪み補正を用いた画像投影装置として、検出手段と、歪み補正情報生成手段と、取得手段と、歪み補正手段とを備えた技術が提案されている（特許文献１）。検出手段は、プロジェクタによる投写面への投写光の入射態様に応じて異なる密度で所定の図形が複数配置されている補正用画像の表示位置を検出する。歪み補正情報生成手段は、検出した表示位置と、補正用画像を表す補正用画像データとに基づいて、投写面に投写される画像の歪み補正に用いられる。取得手段は、投写面に投写する画像を表す画像データを取得する。歪み補正手段は、歪み補正情報を用いて取得した画像データに歪み補正処理を施す。

しかしながら、上述のようにスクリーン自体を天井からぶら下げたり、または、スタンドに吊り下げられている場合、投影中にスクリーン自体が動いたり、スクリーン表面の波打ちの状態が変わる場合が考えられる。このような場合、特許文献１に記載された技術においては、投影中にスクリーンの凹凸の状態が変わったとしても、画像投影中であるということから画像投影を途中で停止することができず、画像投影中に即座にテストパターン画像を表示して歪み補正を実施することはできないという問題点がある。

本発明は、上記に鑑みてなされたものであり、スクリーンの状態が変化したとしても画像投影中に歪み補正ができる画像投影装置、画像投影システムおよび画像投影方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像データを被投影体に第１投影画像として投影させる投影手段と、光線が照射された前記第１投影画像が撮像手段により撮像されて生成された第１撮像画像から、前記光線が照射された部分の画像であるポイント画像の位置を検知する照射位置検知手段と、前記投影手段により投影される画像データに対して、前記ポイント画像の位置にドットパターン画像を合成する合成手段と、前記ドットパターン画像が合成された画像データが前記投影手段により投影された第２投影画像が前記撮像手段により撮像されて生成された第２撮像画像において、前記ドットパターン画像の位置を検知する合成位置検知手段と、前記第２撮像画像において、位置が検知された前記ドットパターン画像と前記ポイント画像とのズレ量を検出する比較手段と、前記ズレ量に基づいて、前記投影手段から投影される画像データに対して歪み補正処理を実行する歪み補正手段と、を備えたことを特徴とする。

本発明によれば、画像投影中においてスクリーンの状態が変化したとしてもリアルタイムに歪み補正ができる。

図１は、実施の形態に係る画像投影システムの全体構成およびその使用例を示す図である。 図２は、実施の形態に係る画像投影システムの機能ブロックの構成例を示す図である。 図３は、プロジェクタからの投影画像に対するレーザペンの使用例を示す図である。 図４は、プロジェクタからの投影画像が正しく矩形に表示されていない状態の例を示す図である。 図５は、プロジェクタからの正しく矩形に表示されていない投影画像に対してレーザペンによりレーザ光を照射している状態の例を示す図である。 図６は、台形補正処理を説明する図である。 図７は、スクリーンに凸部が存在する場合の投影画像の見え方を説明する図である。 図８は、実施の形態に係る画像投影システムにより歪み補正処理をする場合において、投影画像に対してレーザペンによりレーザ光を照射している状態の例を示す図である。 図９は、レーザ光が照射された投影画像を撮像して投影する画像データにドットパターン部を合成することを説明する図である。 図１０は、ドットパターン部を重畳した画像データを投影して投影画像を撮像することを説明する図である。 図１１は、レーザポイントとドットパターン部とのズレを示す図である。 図１２は、歪み補正処理において仮想点の画素値の算出方法を説明する図である。 図１３は、歪み補正処理において仮想点の画素値の算出の具体例を示す図である。 図１４は、スクリーンに凹部が存在する場合の投影画像の見え方を説明する図である。 図１５は、レーザペンによるレーザポイントを投影画像上で上下左右に動作させる状態を示す図である。 図１６は、複数の画像領域に分割された投影画像において、各画像領域を横切るレーザポイントの軌跡から画像領域の中央の近傍のレーザポイントをサンプリングする例を示す図である。 図１７は、レーザポイントの軌跡に応じて投影画像を別の形態で複数の画像領域に分割することを説明する図である。 図１８は、実施の形態に係る画像投影システムにおける画像処理の動作の一例を示すフローチャートである。 図１９は、投影画像における各画像領域の領域情報と、画像領域内のズレ量とを保持するためのデータフォーマットの例を示す図である。 図２０は、実施の形態の変形例に係る画像投影システムの全体構成およびその使用例を示す図である。

以下に、図面を参照しながら、本発明に係る画像投影装置、画像投影システムおよび画像投影方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。

（画像投影システムの構成）
図１は、実施の形態に係る画像投影システムの全体構成およびその使用例を示す図である。図２は、実施の形態に係る画像投影システムの機能ブロックの構成例を示す図である。図３は、プロジェクタからの投影画像に対するレーザペンの使用例を示す図である。図１〜３を参照しながら、本実施の形態に係る画像投影システム１の構成について説明する。なお、本実施の形態に係る画像投影システム１におけるプロジェクタとして、短焦点プロジェクタを例に説明する。

図１に示すように、画像投影システム１は、短焦点プロジェクタであるプロジェクタ２と、撮像装置３（撮像手段）と、を備えている。画像投影システム１は、プロジェクタ２から投影光１０を照射し、スクリーン１１（被投影体）に投影画像１００を投影させる。撮像装置３は、プロジェクタ２に接続ケーブルによって接続され、後述する画像処理のために、スクリーン１１に投影されている投影画像１００を撮像する。撮像装置３は、内部に撮像素子を搭載し、スクリーン１１からの光を、撮像素子によってＲＧＢデータである画素値に変換してデジタル画像データに変換する。なお、撮像装置３は、接続ケーブルを延長することにより、プロジェクタ２の設置位置から離れて投影画像を視聴するユーザ側の位置に設置することにより、投影画像１００をユーザの目線と同様に撮影することが可能である。

次に、図２を参照しながら、プロジェクタ２の詳細な機能ブロック構成について説明する。図２において、太線は画像データの流れを示し、細線は制御データまたは制御コマンドの流れを示す。

図２に示すように、プロジェクタ２は、デジタル画像入力Ｉ／Ｆ２０１と、アナログ画像入力Ｉ／Ｆ２０２と、Ａ／Ｄ変換部２０３と、セレクタ２０４と、ラスタ画像変換部２０５と、フレームメモリ２０６と、ワークメモリ２０７と、ビデオメモリ２０８と、画像投影制御部２０９と、画像投影部２１０（投影手段）と、を備えている。

デジタル画像入力Ｉ／Ｆ２０１は、プロジェクタ２の外部の機器から画像データを入力するインターフェースである。デジタル画像入力Ｉ／Ｆ２０１は、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）インターフェース、またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェースによって実現される。

アナログ画像入力Ｉ／Ｆ２０２は、プロジェクタ２の外部のアナログ機器からアナログ画像データを入力するインターフェースである。アナログ画像入力Ｉ／Ｆ２０２は、例えば、コンポジットインターフェースまたはＲＧＢコンピュータインターフェース等によって実現される。

Ａ／Ｄ変換部２０３は、アナログ画像入力Ｉ／Ｆ２０２から入力されたアナログ画像データをデジタル画像データにＡ／Ｄ変換する処理部である。

セレクタ２０４は、デジタル画像入力Ｉ／Ｆ２０１から入力された画像データ、または、アナログ画像入力Ｉ／Ｆ２０２に入力され、Ａ／Ｄ変換部２０３によりＡ／Ｄ変換された画像データのいずれかを切り替えて、後段のラスタ画像変換部２０５に入力させるスイッチング処理部である。

ラスタ画像変換部２０５は、プロジェクタ２の外部機器から入力された画像データをラスタ変換し、後段のワークメモリ２０７に格納しやすい画像フォーマットに変換する処理部である。ラスタ画像変換部２０５は、例えば、デジタル画像でコード化されている画像データをデコードし、１フレーム毎のラスタデータに変換する。ラスタ画像変換部２０５は、プロジェクタ２の外部からデジタル画像データが入力された場合は、そのデジタル画像データをラスター化し、アナログ画像データが入力された場合は、Ａ／Ｄ変換部２０３によりそのアナログ画像データから変換されたデジタル画像データをラスター化する。

フレームメモリ２０６は、大容量の記憶装置であり、ラスタ画像変換部２０５によりラスタ変換されたデジタル画像データを複数フレーム格納するバッファ機能を有する記憶装置である。

ワークメモリ２０７は、フレームメモリ２０６に格納されている画像データを１フレームずつ取り出し、その画像データに編集処理を施すための作業メモリとして機能する記憶装置である。

ビデオメモリ２０８は、画像投影部２１０により投影される画像データを格納する記憶装置である。ビデオメモリ２０８に格納された画像データは、画像投影部２１０によってそのままスクリーン１１に投影されることになる。

画像投影制御部２０９は、ビデオメモリ２０８に格納された画像データと、後段の画像投影部２１０の動作とのタイミング調整の制御を行う処理部である。

画像投影部２１０は、ビデオメモリ２０８に格納された画像データを、スクリーン１１に投影光１０を照射して投影画像１００として投影させる投影処理部である。画像投影部２１０は、例えば、プロジェクタ２が液晶プロジェクタであれば、液晶パネルの制御をしたり、液晶パネルを透過する投影光を発生するランプの点灯動作を制御する。なお、プロジェクタ２は、プロジェクション方式、液晶方式、またはＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式等のいずれの方式であってもよい。

図２に示すように、プロジェクタ２は、さらに、画像格納部２２１と、フレーム位置検知部２２２と、フレーム枠補正部２２３と、画像分割制御部２２４（分割手段）と、照射位置検知部２２５（照射位置検知手段）と、照射位置補正部２２６と、サンプリング部２２７（抽出手段）と、レーザ画像合成部２２８（合成手段）と、合成位置検知部２２９（合成位置検知手段）と、合成位置補正部２３０と、位置比較部２３１（比較手段）と、仮想点係数決定部２３２と、仮想点演算部２３３（歪み補正手段）と、を備えている。

画像格納部２２１は、撮像装置３で撮像された撮像画像の画像データを格納するための記憶装置である。

フレーム位置検知部２２２は、スクリーン１１に投影された投影画像１００の四隅の位置を検知する処理部である。プロジェクタ２により投影された投影画像のフレームは本来なら長方形（矩形）となるはずであるが、スクリーンの傾き、または、プロジェクタ２本体の設置位置とスクリーン１１との位置関係から台形となったり、四辺の長さが異なることがある。フレーム位置検知部２２２は、このような矩形とならない投影画像１００の四隅の位置を検知する処理部である。具体的には、フレーム位置検知部２２２は、例えば、画像格納部２２１により撮像された撮像画像において、スクリーン１１に投影画像１００が投影されていない部分の画像濃度と、投影画像１００が投影されている部分の画像濃度との差異を検知して、投影画像１００の四隅の位置を求める。

フレーム枠補正部２２３は、フレーム位置検知部２２２により検知された投影画像１００の四隅の位置から、本来の長方形（矩形）の投影画像に変換する台形補正処理を実行する処理部である。この台形補正処理のアルゴリズムは、周知技術と同等の方式で実現されるが、台形補正処理の概要については、後述する。

画像分割制御部２２４は、スクリーン１１に投影された投影画像のフレームを所定の大きさの画像領域に分割して、後工程の処理部に、画像領域情報を渡す処理部である。画像分割制御部２２４から画像領域情報を入力した各処理部は、その画像領域毎に処理を切り替える。

照射位置検知部２２５は、画像格納部２２１に格納されている撮像画像の画像データから、レーザペン４によるレーザ光１２０のレーザポイントの軌跡部（軌跡画像）を取り出し、軌跡部の位置を検知する処理部である。具体的には、照射位置検知部２２５は、撮像画像におけるレーザポイント部は、撮像画像のその他の部分に比べて彩度が高いので、予め設定された彩度に関する閾値と、撮像画像の画素値と比較し、閾値以上の彩度を有する画素の部分をレーザポイント部（ポイント画像）と認識する。照射位置検知部２２５は、複数の連続する撮像画像において、認識したレーザポイント部を順次結ぶことによって、投影画像に対するレーザペン４のレーザ光１２０のレーザポイントの軌跡を推測でき、撮像画像においては軌跡部として取り出すことができる。レーザポイント部とは、後述するが、レーザペン４によって投影画像に照射されたレーザ光１２０によるレーザポイントと共に、撮像装置３により投影画像が撮像された撮像画像において、レーザポイントに相当する画像部分をいうものとする。

照射位置補正部２２６は、フレーム枠補正部２２３の台形補正処理における補正パラメータに基づいて、撮像画像におけるレーザ光１２０の軌跡部を補正する。照射位置補正部２２６は、台形補正処理における補正パラメータにより、台形等である撮像画像から長方形（矩形）画像に補正し、撮像画像におけるレーザ光１２０の軌跡部の位置も補正する。

サンプリング部２２７は、画像分割制御部２２４から受けた画像領域情報から、撮像画像を所定のサイズに分割し、その画像領域毎にレーザ光１２０の軌跡部から、レーザ光１２０のレーザポイント部のサンプリングを行う。この画像領域におけるレーザ光１２０のレーザポイント部のサンプリングについての詳細は、後述する。

レーザ画像合成部２２８は、ワークメモリ２０７に展開されている画像データに、サンプリング部２２７でサンプリングした画像領域毎のレーザ光１２０のサンプリング点（レーザポイント部）の位置にドットパターン部を合成する処理部である。レーザ画像合成部２２８が、この合成処理後の画像データをワークメモリ２０７に送信することにより、プロジェクタ２で投影している投影画像の画像領域毎に複数のドットパターン部が合成されて投影される。

合成位置検知部２２９は、レーザ画像合成部２２８によりドットパターン部が合成された画像データが画像投影部２１０により投影され、その投影画像が撮像装置３により撮像され、その撮像画像を画像格納部２２１から受信する。合成位置検知部２２９は、受信した撮像画像から、合成されているドットパターン部の位置を検知する。合成位置検知部２２９は、ドットパターン部が予めレーザ画像合成部２２８により画像データと分離しやすい色で構成されていることから容易に検知することができる。

合成位置補正部２３０は、フレーム枠補正部２２３の台形補正処理における補正パラメータに基づいて、撮像画像において合成位置検知部２２９により検知されたドットパターン部の位置を台形補正する処理部である。

位置比較部２３１は、サンプリング部２２７によりサンプリングした撮像画像におけるレーザポイント部と、合成位置補正部２３０により補正された撮像画像におけるドットパターン部とのズレ量を、撮像画像の画像領域毎に検出する処理部である。

仮想点係数決定部２３２は、位置比較部２３１において検出したズレ量から、仮想点係数を決定する処理部である。ここで、仮想点係数とは、撮像画像におけるレーザポイント部とドットパターン部とのズレ量が、例えば、後述する図１１に示すように、４．４ライン（画素列）あったとすると、端数である１ライン以下の０．４ラインのズレ量に基づいて定まる係数をいう。仮想点係数決定部２３２は、撮像画像における画像領域毎に仮想点係数を決定する。

仮想点演算部２３３は、仮想点係数決定部２３２により決定された仮想点係数により、ワークメモリ２０７内の画像データに対して、画像領域毎に仮想点演算（歪み補正処理）を行い、仮想点演算後の画像データをビデオメモリ２０８に順次格納する。ビデオメモリ２０８に格納された仮想点演算後の画像データが、画像投影制御部２０９および画像投影部２１０を介して、スクリーン１１に投影画像として投影される。仮想点演算（歪み補正処理）の詳細については、後述する。

なお、上述のフレーム位置検知部２２２、フレーム枠補正部２２３、画像分割制御部２２４、照射位置検知部２２５、照射位置補正部２２６、サンプリング部２２７、レーザ画像合成部２２８、合成位置検知部２２９、合成位置補正部２３０、位置比較部２３１、仮想点係数決定部２３２および仮想点演算部２３３は、ハードウェア回路によって構成されてもよく、または、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等においてプログラムが実行されることにより実現されるものとしてもよい。

レーザペン４は、図３に示すように、搭載されたＯＮ／ＯＦＦボタンによりレーザ光１２０を照射および停止することができ、レーザ光１２０によりスクリーン１１の投影画像１００に対して、レーザポイントを表示することができる。なお、レーザ光１２０を照射するものとしてペン形状であるレーザペン４を挙げているが、これに限定されるものではなく、レーザ光を照射できるレーザポインタとしての機能を有する装置であればどのようなものでもよい。

（台形補正処理）
図４は、プロジェクタからの投影画像が正しく矩形に表示されていない状態の例を示す図である。図５は、プロジェクタからの正しく矩形に表示されていない投影画像に対してレーザペンによりレーザ光を照射している状態の例を示す図である。図６は、台形補正処理を説明する図である。図４〜６を参照しながら、画像投影システム１における台形補正処理の概要について説明する。

図４は、スクリーン１１に対して、投影画像１０１が映し出されている図であるが、投影画像１０１は、スクリーン１１またはプロジェクタ２の位置関係から正しい矩形に表示できていない形状となっている。したがって、図５で示すように、レーザペン４のレーザ光１２０が指し示すレーザポイント１０６の投影画像１０１に対する位置を正しく認識することができない。そこで、フレーム枠補正部２２３（図２参照）は、図６に示すように、周知の台形補正処理により、投射されたレーザ光１２０の位置（レーザポイント１０６）（図６（ａ）参照）を、撮像装置３により撮影した投影画像１０１の四隅の位置１０２〜１０５に基づいて正しい位置に補正する。すなわち、フレーム枠補正部２２３は、台形補正処理により補正された位置１０２ａ〜１０５ａを有する補正後投影画像１０１ａに対するレーザ光１２０の位置（レーザポイント１０６ａ）を正しく補正する（図６（ｂ）参照）。

（歪み補正処理）
図７は、スクリーンに凸部が存在する場合の投影画像の見え方を説明する図である。図８は、実施の形態に係る画像投影システムにより歪み補正処理をする場合において、投影画像に対してレーザペンによりレーザ光を照射している状態の例を示す図である。図９は、レーザ光が照射された投影画像を撮像して投影する画像データにドットパターン部を合成することを説明する図である。図１０は、ドットパターン部を重畳した画像データを投影して投影画像を撮像することを説明する図である。図１１は、レーザポイントとドットパターン部とのズレを示す図である。図１２は、歪み補正処理において仮想点の画素値の算出方法を説明する図である。図１３は、歪み補正処理において仮想点の画素値の算出の具体例を示す図である。図１４は、スクリーンに凹部が存在する場合の投影画像の見え方を説明する図である。

まず、図７を参照しながら、スクリーン１１に凹凸がある場合に、スクリーン１１に投影された投影画像がユーザにどのように見えるのかについて説明する。図７においては、スクリーン１１の凸部１１ａにおける投影画像の見え方の例を説明する。

短焦点プロジェクタであるプロジェクタ２の場合、投影光１０ａの光軸の方向と、スクリーン１１から視聴するユーザへ向かう方向が異なる。そのため、図７に示すように、スクリーン１１の歪みによってユーザから投影画像を見ると、正しく投影画像が投影されていないように見えてしまうことがある。例えば、図７において、本来は、ユーザが、スクリーン１１の点ａ１に投影された画像を、その反射光として位置Ａ１において認識できるはずが、スクリーン１１に歪みである凸部１１ａがあるために、点ａ１に投影されるはずの画像が凸部１１ａ上の点ｃ１で反射されてしまう。その結果、本来、点ｂ１に投影されるべき画像であって、その反射光が位置Ｂ１において認識される画像が、点ａ１に投影されるべき画像で置き換えられてしまうことになる。すなわち、ユーザは、位置Ｂ１において、本来、点ａ１に投影されるべき画像を認識することになるため、投影画像が歪んだ画像となって見えることになる。

したがって、本実施の形態に係る画像投影システム１は、スクリーン１１に凸部１１ａ等のような歪みがあったとしても、ユーザが正しい投影画像を認識できるように、位置Ｂ１において認識される点ａ１に投影されるべき画像を、点ｂ１に投影されるべき画像で置き換えるような歪み補正処理を実行する。これによって、本来、点ｂ１に投影されるべき画像が、点ｃ１で投影されるようになり、スクリーン１１における歪んだ投影画像を補正することができる。さらに具体的にいうと、図７に示すように、位置Ｂ１において認識される点ａ１に投影されるべき画像を、点ａ１から距離ｄ離れた点ｂ１に投影されるべき画像で置き換えることによって、ユーザは、本来投影すべき点ｂの画像が正しく位置Ｂ１の方向において認識することができる。したがって、この補正のために必要な上述の距離ｄを、画像投影中であっても正確に検知することによって、プロジェクタ２の投影動作中にスクリーン１１の歪みの状態が変わったりしても、リアルタイムに歪み補正を行うことができる。

次に、図８〜１３を参照しながら、具体的な歪み補正処理について説明する。以下の説明においては、上述のフレーム枠補正部２２３による台形補正処理は実行されているものとし、台形補正処理後の投影画像である投影画像１１０（第１投影画像）がスクリーン１１に投影されているものとして説明する。すなわち、図８に示すように、プロジェクタ２から照射される投影光１０ｂによって、台形補正処理後の投影画像である投影画像１１０がスクリーン１１に投影されているものとする。

まず、図８に示すように、レーザペン４からレーザ光１２０を照射させ、スクリーン１１上の投影画像１１０にレーザポイントとして映し出させる。この状態を、図９（ａ）に示している。図９（ａ）では、投影画像１１０上のレーザポイントは、点ｐ１として示している。撮像装置３は、レーザポイントである点ｐ１が映し出された投影画像１１０を撮像して、図９（ｂ）に示す撮像画像１１１（第１撮像画像）を生成する。撮像画像１１１における点ｐ１は、レーザポイントの画像であるレーザポイント部を示す。

次に、図９（ｂ）に示すように、撮像画像１１１と点ｐ１との相対的な位置関係を演算する。具体的には、照射位置検知部２２５が、撮像画像１１１における点ｐ１を認識し、照射位置補正部２２６が、台形補正処理における補正パラメータにより、点ｐ１の位置を補正する。次に、サンプリング部２２７が、撮像画像１１１の水平幅Ｘおよび垂直幅Ｙに対して、左上端部を基準として、点ｐ１の位置が水平方向にｘ、垂直方向にｙの位置に存在することを認識する。そして、サンプリング部２２７は、水平幅Ｘと値ｘとの比、および垂直幅Ｙと値ｙとの比を求め、記憶装置（ワークメモリ２０７等）に格納する。

図９（ｃ）は、ワークメモリ２０７に格納された投影前の画像データ１１２を示している。レーザ画像合成部２２８は、ワークメモリ２０７に格納された画像データ１１２に対して、上述の水平幅Ｘと値ｘとの比、および垂直幅Ｙと値ｙとの比で定まる位置に、撮像画像１１１におけるレーザポイント部（点ｐ１）と同等の大きさを持つドットパターン部を合成する。図９（ｃ）では、画像データ１１２におけるドットパターン部は、点ｑ１として示している。レーザ画像合成部２２８により合成されるドットパターン部の色は、ワークメモリ２０７上に展開された画像には存在しない色、または、ドットパターン部が合成される位置の周囲部の色と異なる色等を選択する。これによって、画像データ１１２がプロジェクタ２により投影された場合、その投影画像を撮像した撮像画像（後述の撮像画像１１４）において、ドットパターン部の位置が検知しやすくなる。

ドットパターン部が合成された画像データ１１２は、この後、ワークメモリ２０７からビデオメモリ２０８に展開され、このビデオメモリ２０８の画像データがそのまま画像投影制御部２０９を介して、画像投影部２１０によりスクリーン１１に投影される。レーザ画像合成部２２８は、投影画像が時系列に変化しても、歪み補正処理が終了するまで、投影されるワークメモリ２０７内の画像データにおいて、同じ位置に同じ色の同じドットパターン部の合成を継続する。画像データ１１２が投影された投影画像において映し出されるドットパターン部は、ユーザからみるとほんの一瞬であり、表示されたとしても気にならない。

図１０（ａ）は、ドットパターン部が合成された画像データ１１２が画像投影部２１０によりスクリーン１１に投影された投影画像１１３（第２投影画像）を示している。投影画像１１３において、点ｐ１は、レーザペン４から照射されたレーザ光１２０のレーザポイントを示し、点ｑ２は、ドットパターン部（点ｑ１）が合成された画像データ１１２が投影された場合における投影画像１１３上で映し出されるドットパターン部である。点ｐ１および点ｑ２は、本来、スクリーン１１に歪みがなければ、一致するはずであるが、スクリーン１１におけるレーザ光１２０が照射された位置に歪みがある場合、図７に示したようにズレが生じる。つまり、スクリーン１１に歪みがある場合、直接レーザペン４から照射されたレーザ光１２０のレーザポイントが映し出された投影画像１１０を撮像装置３で撮像し、撮像画像１１１におけるレーザポイントの同じ位置に、画像データ１１２においてドットパターン部を合成し、再び投影した投影画像１１３において、ドットパターン部の位置と、レーザ光１２０のレーザポイントとの間にズレが生じる。

撮像装置３は、この点ｐ１と点ｑ２との間にズレが生じている投影画像１１３を再度、撮影して、図１０（ｂ）に示す撮像画像１１４（第２撮像画像）を生成する。撮像画像１１４における点ｐ２は、投影画像１１３上のレーザポイント（点ｐ１）の画像であるレーザポイント部である。図１１（ａ）は、点ｐ２と点ｑ２とのズレの例を示し、そのズレ量が距離ｇである例を示す。このズレ量は、撮像画像１１４の全体領域と、点ｐ２および点ｑ２の中心の距離との比から、位置比較部２３１によって求められる。なお、撮像装置３はコスト的に高くならない程度で、プロジェクタ２よりも高解像度である方が、点ｐ２と点ｑ２との距離（画素のライン数）をできるだけ正確に求める上で望ましい。

図１１（ｂ）は、点ｐ２と点ｑ２とが４．４ラインずれている例を示している。すなわち、図７において説明すると、本来は、ユーザがスクリーン１１の点ａ１に投影された画像を、その反射光として位置Ａ１において認識できるはずが、スクリーン１１の歪みのために、点ａ１に投影されるべき画像が、点ａ１から４．４ライン分ずれた点ｃ１に投影されてしまうことになる。これを回避するために、スクリーン１１の歪みがあることを前提に、点ａ１の位置に、点ａ１から４．４ライン分ずれた点ｃ１の位置の画像を投影させればよい。ただし、図１１（ｂ）において、点ｐ２と点ｑ２とのズレは、ほとんどの場合４．４ラインのように小数点以下の値を含む。この場合、小数点以下の値を含むことを想定したうえで、仮想点における画素値を求める必要がある。ここで、仮想点とは、本来の位置（点ｐ２）で投影されるべき画像が、ずれて投影されている位置（点ｑ２）を示すものとする。

仮想点の画素値を演算する仮想点演算（歪み補正処理）を実施する方法として、三次元コンボリューション法を採用する例を説明する。図１２（ａ）は、仮想点係数γと補正係数ｈ（γ）との関係を示す三次元コンボリューション関数である。図１２（ｂ）は、三次元コンボリューション関数から具体的な計算方法を示した仮想点Ａの画素を求める計算式である。そして、図１２（ｃ）は、各仮想点係数γから図１２（ａ）に示すに三次元コンボリューション関数によって求められた具体的な補正係数ｈを示しており、仮想点係数γと補正係数ｈとを関連付けて記憶装置（図示せず）に格納される補正係数テーブル３００として示している。

まず、仮想点係数決定部２３２は、仮想点Ａの画素値を計算するために、仮想点Ａを中心として、近傍の４点である点ｐａ〜ｐｄを選択する。次に、仮想点係数決定部２３２は、点ｐａ〜ｐｄのうち仮想点Ａからレーザポイント部の点側（図１１の例では点ｐ２）側の点で最も近い点（ここでは点ｐｂとする）と、仮想点Ａとの距離であるγを求め、これを仮想点係数として決定する。

仮想点演算部２３３は、補正係数テーブル３００を参照し、仮想点係数決定部２３２により決定された仮想点係数γから、補正係数ｈ（１＋γ）、ｈ（γ）、ｈ（１−γ）およびｈ（２−γ）を導出する。仮想点演算部２３３は、導出した補正係数ｈ、および４つの点ｐａ〜ｐｄのそれぞれの画素値Ｐａ〜Ｐｄから、図１２（ｂ）に示す計算式によって、仮想点Ａの画素値を算出する。

以下、図１３を参照しながら、三次元コンボリューション関数に基づく補正係数ｈを用いた具体的な計算方法について説明する。図１３（ａ）に示す仮想点である点ｑ２の画素値を計算するために、点ｑ２の前後の２ライン分、すなわち、範囲Ｇの画素値を用いる。図１３（ａ）に示すように、仮想点（点ｑ２）の画素値を計算するために、点ｑ２に対して２ライン上の点ｎ１、１ライン上の点ｎ２、１ライン下の点ｎ３、および２ライン下の点ｎ４の画像値を用いる。まず、仮想点係数決定部２３２は、点ｎ１〜ｎ４のうち仮想点から点ｐ２側の点で最も近い点である点ｎ２と、仮想点との距離である０．４ラインを求め、これを仮想点係数γ（＝０．４）とする。次に、仮想点係数決定部２３２は、補正係数テーブル３００を参照し、補正係数テーブル３００に登録されている仮想点係数γのうち、求めた仮想点係数γと近い値を選択する。仮想点係数決定部２３２は、図１２（ｃ）に示す補正係数テーブル３００においては、求めた仮想点係数γ（＝０．４）が、補正係数テーブル３００に登録されている仮想点係数のうち仮想点係数γ（＝０．３７５）が最も近いと判断し、補正係数ｈを求めるための仮想点係数γとして「０．３７５」に決定する。

仮想点演算部２３３は、補正係数テーブル３００を参照し、仮想点係数決定部２３２により決定された仮想点係数γから、図１３（ｃ）に示す補正係数ｈ（１＋γ）（＝−９／６４）、ｈ（γ）（＝４９／６４）、ｈ（１−γ）（＝３０／６４）およびｈ（２−γ）（＝−６／６４）を導出する。仮想点演算部２３３は、導出した補正係数ｈ、および４つ点ｎ１〜ｎ４のそれぞれの画素値Ｎ１〜Ｎ４から、図１３（ｂ）に示す計算式によって、仮想点（点ｑ２）の画素値を算出する。図１３（ｂ）に示す計算式のＮ１〜Ｎ４は、上述のように、それぞれ点ｎ１〜ｎ４の画素値、すなわち、ＲＧＢの輝度値である。すなわち、仮想点演算部２３３は、仮想点（点ｑ２）のＲ成分の画素値を算出する場合、計算式の画素値Ｎ１〜Ｎ４に、それぞれ点ｎ１〜ｎ４のＲ成分の画素値を代入する。また、仮想点演算部２３３は、仮想点（点ｑ２）のＧ成分の画素値を算出する場合、計算式の画素値Ｎ１〜Ｎ４に、それぞれ点ｎ１〜ｎ４のＧ成分の画素値を代入する。そして、仮想点演算部２３３は、仮想点（点ｑ２）のＢ成分の画素値を算出する場合、計算式の画素値Ｎ１〜Ｎ４に、それぞれ点ｎ１〜ｎ４のＢ成分の画素値を代入する。以上のように、仮想点演算部２３３によって仮想点（点ｑ２）のＲ、Ｇ、Ｂ成分の画素値をそれぞれ算出することにより、仮想点のＲＧＢの輝度値を算出する。

なお、これまで、図７に示すように、スクリーン１１においてユーザから見て凸状態の凸部１１ａにおける歪み補正処理について説明したが、スクリーン１１における歪みは凸状態だけではなく、図１４に示すように凹状態の凹部１１ｂが存在する場合も考えられる。このように、スクリーン１１に凹部１１ｂが存在する場合においては、本来は、ユーザが、スクリーン１１の点ａ２に投影された画像を、その反射光として位置Ａ２においてその画像を認識できるはずが、点ａ２に投影されるはずの画像が凹部１１ｂ上の点ｃ２で反射されてしまう。その結果、本来、点ｂ２に投影されるべき画像であって、その反射光が位置Ｂ２において認識される画像が、点ａ２に投影されるべき画像で置き換えられてしまうことになる。すなわち、ユーザは、位置Ｂ２において、本来、点ａ２に投影されるべき画像を認識することになるため、投影画像が歪んだ画像となって見えることになる。

このような場合においても、上述した仮想点演算（歪み補正処理）によって、スクリーン１１における歪んだ投影画像を補正することができる。図１１（ａ）に示すレーザペン４からのレーザ光１２０によるレーザポイント部（点ｐ２）と、レーザポイント部を投影前の画像データに合成してプロジェクタ２から投影したドットパターン部（点ｑ２）は、それぞれのＲＧＢの輝度値（画素値）に差異が生じる。つまり、点ｐ２および点ｑ２の輝度値は、撮像画像における周囲の画素の輝度値とは明らかに異なり分離できるが、点ｐ２および点ｑ２の輝度値も、それぞれ同じ値になりえない。点ｐ２の方がレーザ光１２０によるレーザポイントをそのまま撮像したものであるため明らかに輝度値としては、点ｑ２の輝度値よりも高い値となる。このため点ｐ２および点ｑ２のうち、いずれがレーザポイント部で、いずれがドットパターン部なのかは両者の輝度値を比較することで容易に認識することができる。つまり、位置比較部２３１は、点ｐ２の輝度値と点ｑ２の輝度値とを比較し、輝度値が高い方がレーザポイント部、低い方がドットパターン部と判定できる。さらに、位置比較部２３１は、点ｐ２がレーザポイント部であり、かつ、点ｑ２がドットパターン部であれば、スクリーン１１の歪みがユーザから見て凸状態であり、点ｐ２がドットパターン部であり、かつ、点ｑ２がレーザポイント部であれば、スクリーン１１の歪みがユーザから見て凹状態であると判定できる。位置比較部２３１は、点ｐ２と点ｑ２との比較により、点ｐ２を仮想点とするか、点ｑ２を仮想点とするかを判定することができ、仮想点演算部２３３は、演算式として、仮想点の位置が異なるだけで上述した三次元コンボリューション法をそのまま使用することができる。

（画像領域毎の歪み補正処理）
図１５は、レーザペンによるレーザポイントを投影画像上で上下左右に動作させる状態を示す図である。図１６は、複数の画像領域に分割された投影画像において、各画像領域を横切るレーザポイントの軌跡から画像領域の中央の近傍のレーザポイントをサンプリングする例を示す図である。図１５および１６を参照しながら、投影画像の画像領域毎に実行される歪み補正処理について説明する。

上述においては、レーザペン４から照射されるレーザ光１２０によって指し示すスクリーン１１の位置に投影される画像の部分における歪み補正処理についての説明をした。しかし、スクリーン１１の歪みはスクリーン１１全体に発生する可能性があるため、スクリーン１１に投影された投影画像全体について上述の歪み補正処理を実行する必要がある。以下、スクリーン１１に投影された投影画像全体について実行する歪み補正処理について説明する。

まず、図１５に示すように、ユーザは、レーザペン４からレーザ光１２０を照射させ、スクリーン１１上の投影画像１１０に映し出されるレーザポイントを、上下左右に動作させ、レーザポイントの軌跡が投影画像１１０全体に行き渡るようにする。そして、画像投影システム１は、投影画像１１０を便宜的に複数の画像領域に区切り、画像領域毎にレーザポイントが通過したときにサンプリングを行う。具体的には、撮像装置３が、スクリーン１１の投影画像１１０上を動くレーザポイントの動画を撮像し、撮像した動画の撮像画像を画像格納部２２１に格納する。画像分割制御部２２４は、図１６（ａ）に示すように、スクリーン１１に投影された投影画像１１０を所定の大きさの複数の画像領域５００に分割する。実際には、画像分割制御部２２４は、投影画像１１０が撮像装置３により撮像された撮像画像の画像データについて、複数の画像領域５００を分割する。照射位置検知部２２５は、画像格納部２２１に格納されている動画の撮像画像の画像データから、レーザポイントの軌跡４００を軌跡部（軌跡の画像部分）として取り出し、照射位置補正部２２６は、台形補正処理における補正パラメータにより、撮像画像における軌跡部の位置を補正し、補正した軌跡部の情報を記憶装置（例えば、ワークメモリ２０７等）に記憶させる。

サンプリング部２２７は、記憶したレーザポイントの軌跡部（以下、図１６（ａ）に示す軌跡４００の文言で説明する）と、画像分割制御部２２４により分割された画像領域５００との位置関係から、画像領域５００の中央部に近い位置にある軌跡４００に含まれるレーザポイント部をサンプリングする。例えば、図１６（ｂ）に示すように、サンプリング部２２７は、各画像領域５００において、軌跡４００と、画像領域５００の中心を通る仮想水平直線５０１および仮想垂直直線５０２との交点のうち、画像領域５００の中心と近い交点をサンプリングポイント４０１として検出すればよい。以上のようサンプリングの処理で、１つの画像領域５００に対して、１つのサンプリングポイント４０１を検出することができる。このサンプリングポイント４０１は、上述の歪み補正処理において説明した、撮像画像１１１の点ｐ１に相当するものである。なお、サンプリング部２２７によるサンプリングにおいては、軌跡４００と、仮想水平直線５０１および仮想垂直直線５０２との交点から検出するものとしているが、これに限定されるものではない。例えば、仮想水平直線５０１および仮想垂直直線５０２ではなく、画像領域５００の対角線と、軌跡４００との交点からサンプリングポイントを検出するものとしてもよい。

そして、画像投影システム１は、各画像領域５００において、サンプリングポイント４０１を用いて、上述の歪み補正処理を実行する。すなわち、画像投影システム１は、画像領域５００を構成する画素を代表するサンプリングポイント４０１に基づいて、画像領域５００内の全ての画素について、上述の歪み補正処理を実行する。画像投影システム１は、この処理を画像領域５００毎に実施する。

なお、図１６（ａ）においては、投影画像１１０が９×８の画像領域５００に分割する例を示しているが、画像投影システム１は、処理能力に応じて画像領域５００の大きさ、および、分割する画像領域５００の数を変更してもよい。例えば、処理能力が高い画像投影システムにおいては、比較的細かく画像領域５００を区切り、スクリーン１１上の投影画像１１０の細部の歪みまで補正することができる。また、処理能力が低い画像投影システムにおいては、比較的粗く画像領域５００を区切り、他の処理の負担とならないようにすることができる。

また、図１６（ａ）においては、投影画像１１０を均等な大きさの複数の画像領域５００において分割した例を示したが、投影画像１１０の分割の態様はこれに限定されるものではない。例えば、ユーザの意図のもと、スクリーン１１上の投影画像１１０において、あまり歪みが見られない部分は、粗い（面積が大きい）画像領域に分割し、歪みが強く見られる部分は、細かい（面積が小さい）画像領域に分割するようにしてもよい。その方法の一例として、例えば、図１７（ａ）に示す投影画像１１０において、投影画像１１０において左上の部分に歪みが強く見られ、他の部分においては左上の部分ほどの歪みは見られないものとする。その場合、図１７（ａ）に示すように、ユーザは、レーザペン４からレーザ光１２０を照射させ、スクリーン１１上の投影画像１１０に映し出されるレーザポイントを、投影画像１１０の左上の部分では、細かく上下左右に動作させて、レーザポイントが細かい軌跡（軌跡４００ｂ）を描くようにする。また、ユーザは、レーザポイントを、投影画像１１０の左上の部分以外の部分では、粗く上下左右に動作させて、レーザポイントが粗い軌跡（軌跡４００ａ）を描くようにする。ここで、投影画像１１０は、画像分割制御部２２４によって、予め均等の大きさの画像領域５００ａに分割されているものとする。このとき、細かい軌跡４００ｂでレーザポイントが動かされた投影画像１１０の左上の部分における画像領域５００ａにおいては、サンプリング部２２７によって、軌跡４００ｂと、画像領域５００ａの中心を通る仮想水平直線および仮想垂直直線との交点が、投影画像１１０の左上の部分以外の部分よりも多く検出される。このとき、サンプリング部２２７は、画像領域５００ａにおける上述の交点が所定数以上検出された場合、画像分割制御部２２４に対して、画像領域５００ａをさらに細かく分割するような制御信号を送る。図１７（ｂ）は、画像分割制御部２２４により制御信号に基づいて画像領域５００ａがさらに４つの画像領域５００ｂに分割された例を示している。サンプリング部２２７は、以上のように、レーザポイントの軌跡の細かさに基づいて分割された大きさの異なる画像領域５００ａおよび画像領域５００ｂにおいて、それぞれサンプリングポイント４０１ａおよびサンプリングポイント４０１ｂの検出を行う。これによって、画像領域５００ｂよりも面積が小さい（図１７（ｃ）の例では、画像領域５００ｂの面積の１／４）画像領域５００ａにおいては、４倍細かく歪み補正処理を実行することができる。すなわち、ユーザは、投影画像１１０における歪みが強く見られる部分においてはレーザポイントが細かい軌跡を描くようにし、歪みが強く見られない部分においてはレーザポイントが粗い軌跡を描くようにすることによって、画像領域のサイズを投影画像１１０の歪みに応じて変化させることができるので、効率的に歪み補正を実行することができる。なお、図１７（ｃ）に示すように、サンプリング部２２７によりサンプリングポイントが検出できなかった画像領域については、歪み補正処理を実行しないものとすればよい。

（画像投影システムの画像処理の動作）
図１８は、実施の形態に係る画像投影システムにおける画像処理の動作の一例を示すフローチャートである。図１８を参照しながら、画像投影システム１における歪み補正処理を含む一連の画像処理の動作を説明する。

＜ステップＳ１１＞
画像投影制御部２０９は、画像投影部２１０に対して、ビデオメモリ２０８に格納された画像データを、投影光を照射させてスクリーン１１に投影画像１０１（図４参照）として投影させる。そして、ステップＳ１２へ進む。

＜ステップＳ１２＞
撮像装置３は、スクリーン１１に投影された投影画像１０１を撮像して、撮像画像の画像データを画像格納部２２１に格納させる。そして、ステップＳ１３へ進む。

＜ステップＳ１３＞
フレーム位置検知部２２２は、画像格納部２２１に格納された撮像画像の画像データを用いて、スクリーン１１に投影された投影画像１０１の四隅の位置を検知する。フレーム枠補正部２２３は、フレーム位置検知部２２２により検知された投影画像１０１の四隅の位置から、本来の長方形（矩形）の投影画像に変換する台形補正処理を実行する。フレーム枠補正部２２３による台形補正処理の実行により長方形（矩形）となったスクリーン１１上の投影画像を投影画像１１０（図８参照）とする。そして、ステップＳ１４へ進む。

＜ステップＳ１４＞
ユーザは、レーザペン４からレーザ光１２０を照射させ、スクリーン１１上の投影画像１１０に映し出されるレーザポイントを、上下左右に動作させ、レーザポイントの軌跡が投影画像１１０全体に行き渡るようにする。なお、レーザポイントの軌跡が投影画像１１０全体に行き渡る必要はなく、投影画像１１０において歪みが強く見られる部分に、レーザポイントの軌跡を描くようにしてもよい。撮像装置３は、スクリーン１１の投影画像１１０上を動くレーザポイントの動画を撮像し、撮像した動画の撮像画像を画像格納部２２１に格納する。そして、ステップＳ１５へ進む。

＜ステップＳ１５＞
画像分割制御部２２４は、スクリーン１１に投影された投影画像１１０を所定の大きさの複数の画像領域５００（図１６（ａ）参照）に分割する。照射位置検知部２２５は、画像格納部２２１に格納されている動画の撮像画像１１１の画像データから、レーザポイントの軌跡４００を軌跡部（軌跡の画像部分）として取り出す。照射位置補正部２２６は、台形補正処理における補正パラメータにより、撮像画像１１１における軌跡部の位置を補正し、補正した軌跡部の情報を記憶装置（例えば、ワークメモリ２０７等）に記憶させる。サンプリング部２２７は、記憶したレーザポイントの軌跡４００と、画像分割制御部２２４により分割された画像領域５００との位置関係から、画像領域５００の中央部に近い位置にある軌跡４００に含まれるレーザポイント部をサンプリングポイント４０１としてサンプリングする。そして、ステップＳ１６へ進む。

＜ステップＳ１６＞
サンプリング部２２７は、各画像領域５００におけるサンプリングポイント４０１の位置を求め、位置情報を記憶装置（ワークメモリ２０７等）に格納する。そして、ステップＳ１７へ進む。

＜ステップＳ１７＞
レーザ画像合成部２２８は、ワークメモリ２０７に格納された画像データ１１２に対して、上述の位置情報により定まる位置に、撮像画像１１１の各画像領域５００におけるサンプリングポイント４０１と同等の大きさを持つドットパターン部を合成する。そして、ステップＳ１８へ進む。

＜ステップＳ１８＞
ドットパターン部が合成された画像データ１１２は、ワークメモリ２０７からビデオメモリ２０８に展開され、このビデオメモリ２０８の画像データ１１２がそのまま画像投影制御部２０９を介して、画像投影部２１０によりスクリーン１１に投影される。そして、ステップＳ１９へ進む。

＜ステップＳ１９＞
撮像装置３は、スクリーン１１に投影されている投影画像を再度撮影して、撮像画像を生成して、画像格納部２２１に格納する。そして、ステップＳ２０へ進む。

＜ステップＳ２０＞
合成位置検知部２２９は、画像格納部２２１に格納された撮像画像における各画像領域５００において、合成されているドットパターン部の位置を検知する。合成位置補正部２３０は、フレーム枠補正部２２３の台形補正処理における補正パラメータに基づいて、撮像画像の各画像領域５００において、合成位置検知部２２９により検知されたドットパターン部の位置を補正し、位置が補正された各画像領域５００におけるドットパターン部を総称して点ｑとする。そして、ステップＳ２１へ進む。

＜ステップＳ２１＞
位置比較部２３１は、合成位置検知部２２９および合成位置補正部２３０によって、検知かつ位置補正された点ｑ（ドットパターン画像）と、ステップＳ１６でサンプリング部２２７により求められたサンプリングポイント４０１（以下、点ｐという）とのズレ量を、各画像領域５００において算出する。そして、ステップＳ２２へ進む。

＜ステップＳ２２＞
仮想点係数決定部２３２は、位置比較部２３１により算出されたズレ量に基づいて、補正係数テーブル３００（図１２（ｃ）参照）を参照し、各画像領域５００において仮想点係数γを決定する。そして、ステップＳ２３へ進む。

＜ステップＳ２３＞
レーザ画像合成部２２８は、ワークメモリ２０７に格納された画像データ１１２に対するドットパターン部の合成を停止する。そして、ステップＳ２４へ進む。

＜ステップＳ２４＞
仮想点演算部２３３は、補正係数テーブル３００を参照し、仮想点係数決定部２３２により決定された各画像領域５００の仮想点係数γから、各画像領域５００に対応する補正係数ｈを導出する。仮想点演算部２３３は、導出した補正係数ｈ、および仮想点（点ｑ）の近傍の点ｎ１〜ｎ４（図１３参照）の画素値Ｎ１〜Ｎ４から、図１３（ｂ）に示す計算式によって、各画像領域５００において仮想点（点ｑ）の画素値を算出する仮想点演算（歪み補正処理）を実行する。そして、ステップＳ２５へ進む。

＜ステップＳ２５＞
仮想点演算部２３３は、各画像領域において仮想点演算（歪み補正処理）を実行した画像データをワークメモリ２０７へ格納する。ワークメモリ２０７へ格納された歪み補正処理後の画像データは、ビデオメモリ２０８へ送信される。画像投影制御部２０９は、画像投影部２１０に対して、ビデオメモリ２０８に格納された歪み補正処理後の画像データを、投影光を照射させてスクリーン１１に投影画像として投影させる。

以上で、画像投影システム１における画像処理が終了する。

（画像領域毎に保持するズレ量を管理するデータフォーマット）
図１９は、投影画像における各画像領域の領域情報と、画像領域毎のズレ量とを保持するためのデータフォーマットの例を示す図である。図１９を参照しながら、画像領域毎のズレ量を保持するためのデータフォーマットの一例について説明する。

図１９（ａ）は、スクリーン１１に投影された投影画像１１０が、予め複数の画像領域に分割されていることを示し、水平方向に２０分割、垂直方向に１６分割した例を示す図である。この画像領域毎に、位置比較部２３１により算出されるズレ量が異なる。図１９（ａ）に示す最小枠が分割された画像領域である。この画像領域は、図１９（ａ）の場合は、均等な大きさに分割されているが、図１７に示した場合のように、均等な画像領域でなくてもよい。

図１９（ｂ）は、各画像領域の領域情報と、その画像領域におけるズレ量を保持するためのデータフォーマットの一例を示している。図１９（ｂ）に示すように、＜Ｈｅａｄｅｒ＞に示すヘッダー情報として、投影画像１１０の水平方向の画素数、垂直方向の画素数、および画像領域数がある。また、＜Ｄａｔａ＞に示す領域情報として、画像領域を一意に識別する領域Ｎｏ、画像領域の左上の水平方向のアドレス（Ｘアドレス）、左上の垂直方向のアドレス（Ｙアドレス）、画像領域の水平方向の画素数、画像領域の垂直方向の画素数、画像領域におけるズレ量がある。本実施の形態に係る画像投影システム１は、初めに上述の画像処理によって各画像領域のズレ量を含む領域情報を求め、次に、この領域情報に基づいて、画像領域毎に歪み補正処理を行う。

以上のように、投影画像に対して、レーザペンからレーザ光を照射することによりレーザポイントを映し出させ、レーザポイントと共に投影画像を撮像し、撮像した撮像画像からレーザポイント部の位置を検知し、投影する画像データにドットパターン部を合成している。そして、合成した画像データを再び投影させて、ドットパターン部が映し出された投影画像を再び撮像し、その撮像画像からレーザポイント部とドットパターン部とのズレ量を求め、ズレ量に基づいて歪み補正処理を実行するものとしている。これによって、画像投影中において、画像投影を停止させることなくリアルタイムに、スクリーンの表面の状態から発生する投影画像の歪みを補正することができる。また、投影画像に対してリアルタイムに歪み補正が可能であるので、画像投影中にスクリーンの表面の凹凸の状態が変化しても歪み補正が可能となる。

また、投影画像を複数の画像領域に分割し、レーザポイントを上下左右に投影画像上を動かすことによって、分割された画像領域毎に画像補正するものとしている。これによって、各画像領域に対応するスクリーンの部分の状態に応じて、画像領域毎に歪み補正を実行することができるので、投影画像全体の歪み補正の精度を向上させることができる。また、投影画像は画像領域に分割されているので、ユーザが意図する画像領域に対して、レーザ光を照射すればよく、所望の画像領域に対して歪み補正を実行することができる。

なお、投影画像に対して、レーザ光の照射によってレーザポイントを映し出させているが、光線によるポイントの映し出しは、レーザ光によるものに限定されるものではない。例えば、ＬＥＤ光源から照射される光を集光させて、投影画像に対してポイントとして映し出すことができる装置等でもよい。

（変形例）
図２０は、実施の形態の変形例に係る画像投影システムの全体構成およびその使用例を示す図である。

図１に示すように、プロジェクタ２は、短焦点プロジェクタであるものとして説明したが、上述の画像投影システム１の画像処理を実行するためには、プロジェクタ２が、短焦点プロジェクタである必要はない。図２０に示す画像投影システム１ａが有するプロジェクタ２ａのように、短焦点プロジェクタではなく、かつ、ユーザの近傍に設置される従来型のプロジェクタであってもよい。このプロジェクタ２ａに撮像装置３ａを接続し、撮像装置３ａによって撮像された撮像画像がプロジェクタ２ａに送信される構成により、画像投影システム１ａは、上述の画像投影システム１の画像処理と同様の処理を実行することができる。

なお、上述の実施の形態のプロジェクタ２のＣＰＵ等で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上述の実施の形態のプロジェクタ２のＣＰＵ等で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供されるようにしてもよい。また、上述の実施の形態のプロジェクタ２のＣＰＵ等で実行されるプログラムは、インターネット等のネットワーク経由で提供または配布されるようにしてもよい。また、上述の実施の形態のプロジェクタ２のＣＰＵ等で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供されるようにしてもよい。

上述の実施の形態のプロジェクタ２のＣＰＵ等で実行されるプログラムは、上述したＣＰＵ等で実行される各機能をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ等が記憶装置からプログラムを読み出して実行することによって、上述の各機能がコンピュータ上で実現されるようになっている。

１、１ａ 画像投影システム
２、２ａ プロジェクタ
３、３ａ 撮像装置
４ レーザペン
１０、１０ａ、１０ｂ 投影光
１１ スクリーン
１１ａ 凸部
１１ｂ 凹部
１００、１０１ 投影画像
１０１ａ 補正後投影画像
１０２〜１０５ 位置
１０２ａ〜１０５ａ 位置
１０６、１０６ａ レーザポイント
１１０ 投影画像
１１１ 撮像画像
１１２ 画像データ
１１３ 投影画像
１１４ 撮像画像
１２０ レーザ光
２０１ デジタル画像入力Ｉ／Ｆ
２０２ アナログ画像入力Ｉ／Ｆ
２０３ Ａ／Ｄ変換部
２０４ セレクタ
２０５ ラスタ画像変換部
２０６ フレームメモリ
２０７ ワークメモリ
２０８ ビデオメモリ
２０９ 画像投影制御部
２１０ 画像投影部
２２１ 画像格納部
２２２ フレーム位置検知部
２２３ フレーム枠補正部
２２４ 画像分割制御部
２２５ 照射位置検知部
２２６ 照射位置補正部
２２７ サンプリング部
２２８ レーザ画像合成部
２２９ 合成位置検知部
２３０ 合成位置補正部
２３１ 位置比較部
２３２ 仮想点係数決定部
２３３ 仮想点演算部
３００ 補正係数テーブル
４００、４００ａ、４００ｂ 軌跡
４０１、４０１ａ、４０１ｂ サンプリングポイント
５００、５００ａ、５００ｂ 画像領域
５０１ 仮想水平直線
５０２ 仮想垂直直線

特開２００９−２００６８３号公報

Claims (10)

1. 画像データを被投影体に第１投影画像として投影させる投影手段と、
   光線が照射された前記第１投影画像が撮像手段により撮像されて生成された第１撮像画像から、前記光線が照射された部分の画像であるポイント画像の位置を検知する照射位置検知手段と、
   前記投影手段により投影される画像データに対して、前記ポイント画像の位置にドットパターン画像を合成する合成手段と、
   前記ドットパターン画像が合成された画像データが前記投影手段により投影された第２投影画像が前記撮像手段により撮像されて生成された第２撮像画像において、前記ドットパターン画像の位置を検知する合成位置検知手段と、
   前記第２撮像画像において、位置が検知された前記ドットパターン画像と前記ポイント画像とのズレ量を検出する比較手段と、
   前記ズレ量に基づいて、前記投影手段から投影される画像データに対して歪み補正処理を実行する歪み補正手段と、
   を備えた画像投影装置。
2. 前記第１撮像画像を複数の画像領域に分割する分割手段と、
   前記画像領域における前記ポイント画像を抽出する抽出手段と、
   をさらに備え、
   前記照射位置検知手段は、前記光線の軌跡の部分の画像である軌跡画像の位置を検知し、
   前記抽出手段は、前記画像領域を通る前記軌跡画像から前記ポイント画像を抽出する請求項１に記載の画像投影装置。
3. 前記分割手段は、前記第１投影画像に映し出された前記軌跡の粗密に基づいて、前記第１撮像画像を分割する前記画像領域の大きさを変化させる請求項２に記載の画像投影装置。
4. 前記抽出手段は、前記画像領域における前記軌跡画像上の点のうち該画像領域を代表する点を前記ポイント画像として抽出する請求項２または３に記載の画像投影装置。
5. 前記抽出手段は、前記画像領域における該画像領域の中心を通る仮想水平直線および仮想垂直直線と、前記軌跡画像との交点を抽出し、
   前記分割手段は、前記抽出手段により求められた前記画像領域における前記交点の数が所定数以上の場合、該画像領域をさらに小さい複数の画像領域に分割する請求項２に記載の画像投影装置。
6. 前記歪み補正手段は、前記ズレ量を、前記第２撮像画像における隣接する画素同士の中心の間隔を１としたときに表される値とした場合、該ズレ量の小数点以下の部分の値に基づいて、前記投影手段から投影される画像データに対して前記歪み補正処理を実行する請求項１〜５のいずれか一項に記載の画像投影装置。
7. 前記合成手段は、前記投影手段により投影される画像データに対して、前記照射位置検知手段により検知された前記ポイント画像の位置の周囲の画素値とは異なる画素値により前記ドットパターン画像を合成する請求項１〜６のいずれか一項に記載の画像投影装置。
8. 前記比較手段は、前記第２撮像画像において、前記ポイント画像と前記ドットパターン画像とを区別するために、画素値が高い方を前記ポイント画像と判定し、画素値が低い方を前記ドットパターン画像と判定する請求項１〜７のいずれか一項に記載の画像投影装置。
9. 前記撮像手段と、
   請求項１〜８のいずれか一項に記載の画像投影装置と、
   を備えた画像投影システム。
10. 画像データを被投影体に第１投影画像として投影させるステップと、
    光線が照射された前記第１投影画像が撮像手段により撮像されて生成された第１撮像画像から、前記光線が照射された部分の画像であるポイント画像の位置を検知するステップと、
    投影する画像データに対して、前記ポイント画像の位置にドットパターン画像を合成するステップと、
    前記ドットパターン画像が合成された画像データを投影した第２投影画像が前記撮像手段により撮像されて生成された第２撮像画像において、前記ドットパターン画像の位置を検知するステップと、
    前記第２撮像画像において、位置を検知した前記ドットパターン画像と前記ポイント画像とのズレ量を検出するステップと、
    前記ズレ量に基づいて、投影する画像データに対して歪み補正処理を実行するステップと、
    を有する画像投影方法。

Images