JP4511433B2 - 画像処理システム、プロジェクタ、携帯型装置および画像処理方法 - Google Patents

Description

本発明は、台形歪みを補正可能な画像処理システム、プロジェクタ、携帯型装置および画像処理方法に関する。

プロジェクタの投影画像において発生するいわゆる台形歪みを補正する種々の手法が提案されている。

例えば、プロジェクタの傾きを検出して垂直方向の台形歪みを自動的に補正する手法がある。

しかし、この手法では、ユーザーは水平方向の台形歪みを補正することはできない。

このため、水平方向の台形歪みを、ユーザーが画像を見ながらリモコンの補正用スイッチを押して台形歪みを手動で補正する手法がある。

しかし、ユーザーが、手動で台形歪みを補正するのは手間がかかる上、手動で適切に補正することは困難である。

このような問題点に鑑み、例えば、特許文献１では、画像の歪みを自動的に補正する手法が開示されている。
特開２００２−１１２１４８号公報

しかし、当該公報においては、プロジェクタの載置面までの距離と、プロジェクタの水平面に対する水平方向および垂直方向の傾きを検出して台形歪みを補正する手法が開示されているに過ぎない。

このため、当該手法では、当該公報の明細書の段落番号０００９に記載されているように、投影スクリーンがプロジェクタの正面に位置することが前提となっている。

しかし、プロジェクタが投影スクリーンの斜め方向に位置している場合、水平方向（横方向）の台形歪みが発生してしまう。

したがって、当該公報の手法では、水平方向の台形歪みを自動的かつ適切に補正することは困難である。

本発明は、上記の課題に鑑みなされたものであり、その目的は、台形歪み、特に、水平方向の台形歪みを自動的かつ適切に補正することが可能な画像処理システム、プロジェクタ、携帯型装置および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、投影像が投影された投影領域をセンシングしてセンシング情報を出力するセンシング手段と、
当該センシング情報に基づき、投影像における垂直水平の少なくとも一方の方向の画素数のヒストグラムを示すヒストグラム情報を生成するヒストグラム生成手段と、
センシング位置から投影領域への直交方向の直交方位と、センシング位置から投影像の中央部分への投影像方位との方位差に基づき、方位情報を生成する方位把握手段と、
前記ヒストグラム情報と、前記方位情報とに基づき、投影像の台形歪みを補正する台形歪み補正手段と、
を含むことを特徴とする。

また、本発明に係るプロジェクタは、投影像を投影する投影手段と、
投影像が投影された投影領域をセンシングしたセンシング情報に基づく投影像における垂直水平の少なくとも一方の方向の画素数のヒストグラムを示すヒストグラム情報と、センシング位置から投影領域への直交方向の直交方位と、センシング位置から投影像の中央部分への投影像方位との方位差に基づく方位情報とを受信する受信手段と、
前記ヒストグラム情報と、前記方位情報とに基づき、投影像の台形歪みを補正する台形歪み補正手段と、
を含むことを特徴とする。

また、本発明に係る携帯型装置は、投影像が投影された投影領域をセンシングするセンシング手段と、
当該センシング情報に基づき、投影像における垂直水平の少なくとも一方の方向の画素数のヒストグラムを示すヒストグラム情報を生成するヒストグラム生成手段と、
センシング位置から投影領域への直交方向の直交方位と、センシング位置から投影像の中央部分への投影像方位との方位差に基づく方位情報とを把握する方位把握手段と、
前記ヒストグラム情報と、前記方位情報とに基づき、投影像の台形歪みを補正して投影像を投影する画像表示装置へ向け、前記ヒストグラム情報と、前記方位情報とを送信する送信手段と、
を含むことを特徴とする。

また、本発明に係る画像処理方法は、投影像が投影された投影領域をセンシングしてセンシング情報を出力し、
当該センシング情報に基づき、投影像における垂直水平の少なくとも一方の方向の画素数のヒストグラムを示すヒストグラム情報を生成し、
センシング位置から投影領域への直交方向の直交方位を検出し、
センシング位置から投影像の中央部分への投影像方位を検出し、
直交方位と投影像方位との方位差に基づき、方位情報を生成し、
前記ヒストグラム情報と、前記方位情報とに基づき、投影像の台形歪みを補正することを特徴とする。

本発明によれば、画像処理システム等は、センシングすることにより、台形歪みを把握することができる。そして、画像処理システム等は、センシング情報をヒストグラムに変換することにより、歪みの程度を数値化することができる。さらに、画像処理システム等は、方位差を把握することにより、センシング方向と投影方向との相対的なずれを把握することができる。

そして、画像処理システム等は、歪み具合を示すヒストグラム情報と、センシング方向と投影方向との相対的なずれを示す方位情報とに基づき、台形歪みを補正することにより、垂直方向の台形歪みだけでなく、水平方向の台形歪みも自動的かつ適切に補正することができる。

また、前記画像処理システムは、前記センシング手段と、前記ヒストグラム生成手段と、前記方位把握手段とを有する携帯型装置と、
前記台形歪み補正手段と、前記投影像を投影する投影手段とを有する画像表示装置とを含み、
前記台形歪み補正手段は、
前記画像表示装置の傾きを検出する傾き検出手段を有し、垂直方向の台形歪みを補正する垂直方向台形歪み補正手段と、
前記ヒストグラム情報と、前記方位情報とに基づき、水平方向の台形歪みを補正する水平方向台形歪み補正手段と
を含んでもよい。

また、前記プロジェクタにおいて、前記台形歪み補正手段は、
前記投影手段の傾きを検出する傾き検出手段を有し、垂直方向の台形歪みを補正する垂直方向台形歪み補正手段と、
前記ヒストグラム情報と、前記方位情報とに基づき、水平方向の台形歪みを補正する水平方向台形歪み補正手段と
を含んでもよい。

また、前記画像処理方法は、画像表示装置の傾きを検出し、
検出した傾きに基づき、垂直方向の台形歪みを補正し、
前記ヒストグラム情報と、前記方位情報とに基づき、水平方向の台形歪みを補正してもよい。

水平方向の台形歪みは、画像表示装置と投影領域の相対的な位置関係によって変化する。これに対し、垂直方向の台形歪みは、主に画像表示装置の傾きによって変化する。

したがって、画像処理システム等は、画像表示装置の傾きに基づいて垂直方向の台形歪みを補正し、投影領域の位置を反映したヒストグラム情報と方位情報とに基づいて水平方向の台形歪みを補正することにより、適切に台形歪みを補正することができる。

以下、本発明を、画像表示装置であるプロジェクタと携帯型装置であるリモコンを用いて投影像の台形歪みを補正する画像処理システムに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

以下、センシング手段を有するリモコンが投影領域のセンシングと方位の把握を行い、プロジェクタが台形歪みを補正する第１の実施例と、光投射手段を有するリモコンが投影領域に長方形のレーザー光を投射し、プロジェクタが投影位置から投影領域のセンシングを行って台形歪みを補正する第２の実施例について説明する。

（第１の実施例の説明）
図１は、本実施形態の一例に係る画像処理システム全体の概略図である。また、図２は、本実施形態の一例に係る投影像７０とヒストグラムを示す模式図である。

第１の実施例では、画像表示装置の一種であるプロジェクタ１０は、投影領域３０に正対しておらず、投影領域３０に正対した状態から左斜め前方を向き、かつ、ユーザーである観察者４０よりも右に離れた位置から画像を投影している。

このような場合、図２に示すように、観察者４０が観察する投影像７０は、最左端が最も長く、最右端が最も短い台形状となる。

本実施の形態では、観察者４０が操作する携帯型装置の一種であるリモコン２０に撮像機能を設け、リモコン２０が投影領域３０をセンシング（撮像）する。

また、リモコン２０にヒストグラム処理機能を設け、リモコン２０が、撮影像６０における投影像７０の水平方向画素数ヒストグラム８０と、垂直方向画素数ヒストグラム８２を生成する。

さらに、リモコン２０に方位把握機能を設け、リモコン２０が、仮想視点位置５０から投影領域３０への直交方向の直交方位θn、仮想視点位置５０から投影像の中央部分への投影像方位θiとの方位差θに基づき、方位情報を生成する。

なお、仮想視点位置５０とは、例えば、観察者４０の視点を仮想的に設定した位置のことである。第１の実施例では、リモコン２０のセンシング位置が仮想視点位置５０となっている。

また、プロジェクタ１０は、ヒストグラム情報（水平方向画素数ヒストグラム８０および垂直方向画素数ヒストグラム８２）と、方位情報に基づき、投影像７０の台形歪みを補正する台形歪み補正機能を有する。

本実施の形態における画像処理システムは、これらの機能により、仮想視点位置５０を考慮して投影像７０の台形歪みを自動的かつ適切に補正する。

次に、このような機能を実現するためのプロジェクタ１０の機能ブロックについて説明する。

図３は、本実施形態の一例に係るプロジェクタ１０の機能ブロック図である。

プロジェクタ１０は、入力信号処理部１１０と、色変換部１２０と、出力信号処理部１３０と、画像投影部１９０と、台形歪み補正部１４０と、受信部１６０とを含んで構成されている。

入力信号処理部１１０は、ＰＣ(Personal Computer)等から入力される入力画像情報の一種であるアナログ形式のＲＧＢ信号を構成するＲ１信号、Ｇ１信号、Ｂ１信号を、デジタル形式のＲ２信号、Ｇ２信号、Ｂ２信号に変換する。

また、入力信号処理部１１０は、このようなアナログデジタル変換を行うＡ／Ｄ変換部１１２と、台形歪み補正手段の一部として機能し、入力画像信号を調整することによって投影像７０の位置やサイズを調整するリサイジング部１１４とを含んで構成されている。

また、キャリブレーション信号発生部１５０は、キャリブレーション画像の表示に用いられるデジタル形式のＲ２信号、Ｇ２信号、Ｂ２信号を生成する。

このように、キャリブレーション信号を液晶プロジェクタの内部で生成することにより、ＰＣ等の外部入力装置からキャリブレーション信号を液晶プロジェクタに入力することなく、液晶プロジェクタ単体でキャリブレーションを行うことができる。なお、キャリブレーション信号発生部１５０を設けずに、ＰＣ等からキャリブレーション画像信号を入力してもよい。

色変換部１２０は、入力信号処理部１１０やキャリブレーション信号発生部１５０からのＲ２信号、Ｇ２信号、Ｂ２信号に基づき、プロジェクタ１０の標準設定に基づいた色温度等を補正してＲ３信号、Ｇ３信号、Ｂ３信号として出力する。

また、出力信号処理部１３０は、Ｄ／Ａ変換部１３２を含んで構成されている。Ｄ／Ａ変換部１３２は、色変換部１２０からのＲ３信号、Ｇ３信号、Ｂ３信号をアナログ形式のＲ４信号、Ｇ４信号、Ｂ４信号に変換する。

なお、プロジェクタ１０がデジタル形式のＲＧＢ信号のみを用いる場合、Ａ／Ｄ変換部１１２およびＤ／Ａ変換部１３２は不要である。

また、投影手段として機能する画像投影部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成され 駆動部１９４は、出力信号処理部１３０からのＲ４信号、Ｇ４信号、Ｂ４信号に基づき、空間光変調器１９２を駆動する。そして、画像投影部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投影する。

また、受信部１６０は、リモコン２０から送信されるヒストグラム情報と方位情報を受信する。

また、台形歪み補正部１４０は、傾きセンサー１４２を有し、垂直方向の台形歪みを補正する垂直方向台形歪み補正部１４１と、３Ｄ−ＬＵＴ１４４を有し、水平方向の台形歪みを補正する水平方向台形歪み補正部１４３とを含んで構成されている。

傾きセンサー１４２は、プロジェクタ１０の垂直方向の傾きを検出し、垂直方向台形歪み補正部１４１は、当該傾きに応じて垂直方向台形歪み補正値（例えば、手動調整時と同様の−ｎ〜ｎの整数値）をリサイジング部１１４に送信する。

また、水平方向台形歪み補正部１４３は、受信部１６０で受信されたヒストグラム情報と方位情報に応じて３Ｄ−ＬＵＴ１４４に記憶された水平方向台形歪み補正値（例えば、手動調整時と同様の−ｎ〜ｎの整数値）を選択し、選択した水平方向台形歪み補正値をリサイジング部１１４に送信する。

次に、リモコン２０の機能を実現するための機能ブロックについて説明する。

図４は、本実施形態の一例に係るリモコン２０の機能ブロック図である。

リモコン２０は、ＣＣＤセンサー等のセンサーを用いて投影領域３０を撮像して撮影像６０を得るセンシング手段として機能するエリアセンサー部２１０と、撮影像６０から投影像７０を抽出する投影像領域抽出部２２０と、投影像７０の水平方向画素数ヒストグラム８０と垂直方向画素数ヒストグラム８２を生成するヒストグラム生成手段として機能するヒストグラム処理部２３０とを含んで構成されている。

投影像領域抽出部２２０は、撮影像６０から最高輝度検出画素の例えば６５％〜８０％以上の輝度検出領域を投影像７０として抽出する。

また、ヒストグラム処理部２３０は、図２に示すように、投影像７０を水平方向に走査した場合の走査ラインごとの画素数の合計値を水平方向画素数ヒストグラム８０として生成し、投影像７０を垂直方向に走査した場合の走査ラインごとの画素数の合計値を垂直方向画素数ヒストグラム８２として生成する。

また、ヒストグラム処理部２３０は、図２に示すように、水平方向画素数ヒストグラム８０の上底の長さａと下底の長さｂの比と、垂直方向画素数ヒストグラム８２の上底の長さｃから下底の長さｄを減算した値の符号をヒストグラム情報として送信部２５０に送信する。

ここで、水平方向画素数ヒストグラム８０の上底の長さａと下底の長さｂの比は、歪みの程度を表す。例えば、比の値が大きくなるほど歪みの程度は大きい。また、垂直方向画素数ヒストグラム８２の上底の長さｃから下底の長さｄを減算した値の符号は左右どちらの方向に歪んでいるかを示す。

したがって、ヒストグラム情報は、台形歪みを数値で表した情報と言える。

また、リモコン２０は、方位センサー２４２を有する方位把握部２４０と、ヒストグラム処理部２３０からの水平方向画素数ヒストグラム８０および垂直方向画素数ヒストグラム８２を含むヒストグラム情報と、方位把握部２４０からの方位情報をプロジェクタ１０へ向け送信する送信部２５０とを含んで構成されている。

方位把握部２４０は、図１に示すように、方位センサー２４２を用いて仮想視点位置５０からの光軸が投影領域３０と直交する方向の直交方位θn、仮想視点位置５０から投影像７０の中央部分への投影像方位θiを測定し、直交方位θnから投影像方位θiを減算した方位差θを示す方位情報を生成する。

方位情報は、仮想視点位置５０とプロジェクタ１０との位置関係を示す。例えば、方位差θが０であればプロジェクタ１０は観察者４０の正面にあり、方位差θが正の値であればプロジェクタ１０は観察者４０の右側にあり、方位差θが負の値であればプロジェクタ１０は観察者４０の左側にある。

次に、これらの各部を用いた画像処理の流れについてフローチャートを用いて説明する。

図５は、本実施形態の一例に係る台形歪み補正処理の流れを示すフローチャートである。

まず、垂直方向台形歪み補正部１４１は、傾きセンサー１４２によって検出されたプロジェクタ１０の垂直方向の傾きに応じた垂直方向台形歪み補正値をリサイジング部１１４に送信し、リサイジング部１１４は、入力画像信号のリサイジングを行って垂直方向の台形歪み補正を行う（ステップＳ１）。

キャリブレーション信号発生部１５０は、全面白色最高階調の画像が表示されるようにキャリブレーション信号を発生し、画像投影部１９０は、全面白色最高階調のキャリブレーション画像を投影する（ステップＳ２）。

観察者４０は、リモコン２０を投影領域３０の直交方向に向けた状態で直交方位測定ボタンを押す。この操作に伴い、方位把握部２４０は、直交方位θnを測定する（ステップＳ３）。

そして、観察者４０は、リモコン２０を水平に保ちつつ投影像７０の中心付近に向けた状態で台形歪み補正ボタンを押す。この操作に伴い、方位把握部２４０は、投影像方位θiを測定する（ステップＳ４）。

また、この操作に伴い、エリアセンサー部２１０は、投影領域３０をセンシングし、撮影像６０から投影像７０の領域を抽出する（ステップＳ５）。

そして、ヒストグラム処理部２３０は、投影像７０に基づき、水平方向画素数ヒストグラム８０と垂直方向画素数ヒストグラム８２を生成し、上述したａ、ｂ、ｃ、ｄの値を導出し、ヒストグラム情報を生成する（ステップＳ６）。

そして、方位把握部２４０は、方位差θ＝θｎ−θiを導出し、方位情報を生成する（ステップＳ７）。

そして、リモコン２０の送信部２５０は、ヒストグラム情報と方位情報をプロジェクタ１０へ向け送信する。プロジェクタ１０の受信部１６０は、リモコン２０からのヒストグラム情報と方位情報を受信する。

そして、水平方向台形歪み補正部１４３は、ヒストグラム情報と方位情報に基づく３Ｄ−ＬＵＴ１４４の補正値に基づき、水平方向台形歪み補正値をリサイジング部１１４に送信する。リサイジング部１１４は、当該補正値に基づき、水平方向の台形歪みが補正されるように入力画像信号を補正することにより、水平方向の台形歪みを補正する（ステップＳ８）。

以上の手順により、プロジェクタ１０とリモコン２０を含む画像処理システムは、仮想視点位置５０を考慮して台形歪みを自動的かつ適切に補正することができる。

なお、上述したプロジェクタ１０のハードウェアとしては、例えば、以下のものを適用できる。

図６は、本実施形態の一例に係るプロジェクタ１０のハードウェアブロック図である。

例えば、Ａ／Ｄ変換部１１２としては、例えばＡ／Ｄコンバーター９３０等、色変換部１２０、台形歪み補正部１４０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、Ｄ／Ａ変換部１３２としては、例えばＤ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実現できる。

なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。

また、プロジェクタ１０とリモコン２０間の情報の伝送路は、有線でも無線でもよい。プロジェクタ１０の受信部１６０およびリモコン２０の送信部２５０としては、無線で情報をやりとりする場合は赤外線ポート等、有線で情報をやりとりする場合は入出力ポート等を用いることができる。

また、リモコン２０のその他のハードウェアとしては、エリアセンサー部２１０としては、例えばＣＣＤセンサー等、投影像領域抽出部２２０およびヒストグラム処理部２３０としては画像処理回路等を用いて実現できる。

また、これらの各部は回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。

さらに、台形歪み補正部１４０としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って台形歪み補正部１４０の機能をコンピュータに実現させてもよい。

このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。

また、情報記憶媒体９００に代えて、上述した各機能を実現するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。

以上のように、本実施の形態によれば、画像処理システムは、センシング位置である仮想視点位置５０からセンシングすることにより、台形歪みを把握することができる。そして、画像処理システムは、センシング情報を水平方向画素数ヒストグラム８０および垂直方向画素数ヒストグラム８２に変換することにより、歪みの程度を数値化することができる。さらに、画像処理システムは、方位差θを把握することにより、センシング方向と投影方向との相対的なずれを把握することができる。

そして、画像処理システムは、歪み具合を示すヒストグラム情報と、センシング方向と投影方向との相対的なずれを示す方位情報とに基づき、台形歪みを補正することにより、垂直方向の台形歪みだけでなく、水平方向の台形歪みも自動的かつ適切に補正することができる。

また、水平方向の台形歪みは、プロジェクタ１０と投影領域３０との相対的な位置関係によって変化し、垂直方向の台形歪みは、主にプロジェクタ１０の傾きによって変化する。

したがって、画像処理システムは、プロジェクタ１０に設けられた傾きセンサー１４２を用いて垂直方向の台形歪みを補正することができ、プロジェクタ１０と投影領域３０との相対的な位置関係を示すヒストグラム情報等に基づいて水平方向の台形歪みを補正することができるため、垂直方向と水平方向の台形歪みを適切に補正することができる。

（第２の実施例の説明）
次に、仮想視点位置５０から投影領域３０に長方形のレーザー光を投射し、投影位置５２から投影領域３０のセンシングを行って台形歪みを補正する第２の実施例について説明する。なお、第２の実施例では、仮想視点位置５０は、レーザー光の投射位置である。

図７は、本実施形態の一例に係る投影像７０とレーザー光投射像９０を示す模式図である。

本実施の形態では、観察者４０が操作するリモコンから投影像７０内に観察者４０が見た場合に長方形となるレーザー光を投射する。

この結果、撮影像６０は、台形ＡＢＣＤの投影像７０と、台形ＡＢＣＤ内の長方形ＥＦＧＨのレーザー光投射像９０を含むことになる。なお、投影像７０の内部にレーザー光投射像９０を形成することが好ましい。

そして、長方形ＥＦＧＨの４隅の座標を空間光変調器１９２における４つの変換座標に対応付け、入力画像の座標を当該４つの変換座標内にマッピングすることにより、投影像７０を長方形に変形し、台形歪みを補正する。

次に、このような機能を実現するためのプロジェクタ１０とリモコンの機能ブロックについて説明する。

図８は、本実施形態の他の一例に係るプロジェクタ１０の機能ブロック図である。また、図９は、本実施形態の他の一例に係るリモコン２１の機能ブロック図である。

本実施形態のリモコン２１は、光投射手段として機能するレーザー光投射部２８０と、操作部２７０と、操作開始信号等をプロジェクタ１０へ向け送信する送信部２６０とを含んで構成されている。

また、本実施形態のプロジェクタ１０は、第１の実施例で説明した図３に示すプロジェクタ１０と同様の構成であるが、図３に示すプロジェクタ１０と比較すると、台形歪み補正部１４０の機能が異なり、センシング手段として機能するエリアセンサー部１８０を設けている点でも異なる。

また、本実施形態の台形歪み補正部１４０は、制御部１４５と、判定部１４６と、座標変換部１４７と、センシング情報に基づき、撮影像６０における投影像７０の４隅の座標と撮影像６０におけるレーザー光投射像９０の４隅の座標を抽出する領域抽出部１４８とを含んで構成されている。

また、エリアセンサー部１８０は、図１に示す投影位置５２から投影領域３０をセンシングするようにプロジェクタ１０に設けられている。

なお、投影像７０の輝度や色は、レーザー光投射像９０の輝度や色と異なっている。したがって、領域抽出部１４８は、輝度や色に応じた区分を行うことにより、撮影像６０におけるレーザー光投射像９０と投影像７０を識別することが可能である。

次に、これらの各部を用いた処理の流れについて説明する。

図１０は、本実施形態の一例に係るリモコン２１による処理の流れを示すフローチャートである。

まず、リモコン２１による処理の流れについて説明する。

観察者４０は、投影領域３０の正面に位置し、リモコン２１の歪み補正ボタンを押す。これにより、操作部２７０は、送信部２６０に制御信号を出力し、送信部２６０は、台形歪み補正の開始を意味する開始信号をプロジェクタ１０へ向け送信する（ステップＳ１１）。

観察者４０は、プロジェクタ１０によってパッチ（キャリブレーション画像）が投影された場合（ステップＳ１２）、リモコン２１の投射ボタンを押す。これにより、操作部２７０は、レーザー光投射部２８０にレーザー光を投射するように制御信号を出力する。

レーザー光投射部２８０は、制御信号に基づき、長方形のレーザー光を投射する（ステップＳ１３）。

次に、プロジェクタ１０による処理の流れについて説明する。

図１１は、本実施形態の一例に係るプロジェクタ１０による処理の流れを示すフローチャートである。

判定部１４６は、受信部１６０がリモコン２１から台形歪み補正の開始信号を受信したかどうかを判定する（ステップＳ２１）。

開始信号を受信した場合、画像投影部１９０は、キャリブレーション信号発生部１５０によるキャリブレーション信号に基づき、全白のパッチを投影する（ステップＳ２２）。

なお、パッチの投影時、観察者４０は、パッチの投影像７０の内部にレーザー光が長方形で表示されるようにリモコン２１の位置や方向を調整する。

そして、エリアセンサー部１８０は、レーザー光投射像９０と投影像７０が表示された投影領域３０をセンシングし、センシング情報を生成する（ステップＳ２３）。

領域抽出部１４８は、センシング情報に基づき、投影光の輝度範囲にある投影像領域（投影像７０の４隅ＡＢＣＤのセンシング領域における座標）を抽出する（ステップＳ２４）。

また、これに伴い、領域抽出部１４８は、センシング情報に基づき、レーザー光の輝度範囲にあるレーザー枠領域（レーザー光投射像９０の４隅ＥＦＧＨのセンシング領域における座標）を抽出する（ステップＳ２５）。

そして、判定部１４６は、領域抽出部１４８によって抽出された座標に基づき、投影像領域内にレーザー枠領域があるかどうかを判定する（ステップＳ２６）。

投影像領域内にレーザー枠領域がある場合、座標変換部１４７は、レーザー枠領域の座標ＥＦＧＨを画像投影部１９０内の空間光変調器１９２の処理系における座標Ｅ’Ｆ’Ｇ’Ｈ’に変換する（ステップＳ２７）。

そして、リサイジング部１１４は、入力画像信号を座標Ｅ’Ｆ’Ｇ’Ｈ’内にマッピングする。

画像投影部１９０は、マッピングされた画像情報に基づき、画像を投影する（ステップＳ２９）。

なお、投影像領域内にレーザー枠領域がない場合、制御部１４５は、投影像領域内にレーザー枠領域を投射するように観察者４０に促すメッセージ画像が投影されるように制御信号をキャリブレーション信号発生部１５０に出力する。

キャリブレーション信号発生部１５０は、当該メッセージ画像用の信号を発生し、画像投影部１９０は、当該メッセージ画像用の信号に基づき、メッセージを表示する（ステップＳ２８）。

以上のように、本実施の形態によれば、仮想視点位置５０から見た場合に歪みがない状態で投影領域３０に投射された長方形状の光を、投影位置５２からセンシングして長方形の光の座標を把握することができる。

すなわち、長方形の光の座標は、歪みのない画像の座標と捉えることができ、当該座標に入力画像の座標をマッピングすることにより、画像投影時に歪みのない画像を投影することができる。

これにより、垂直方向の台形歪みだけでなく、水平方向の台形歪みも自動的かつ適切に補正することができる。

また、第１の実施例と比べ、３Ｄ−ＬＵＴ１４４を用いる必要がないため、必要な記憶容量を低減できる。

（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。

例えば、第２の実施例では、入力画像信号をレーザー枠領域内にマッピングしているが、レーザー光情報を歪み情報取得のみに用いることも可能である。例を挙げると、第２の実施例のシステムを用いてレーザー枠を投影してセンシングし、センシング像のレーザー枠の歪みを第１の実施例のヒストグラム処理部（ここではプロジェクタ１０に内蔵）で把握し、この歪み具合に応じて入力画像をリサイジングすることにより、レーザー枠の大きさに関わらず、適切な大きさ（例えば可能な限りの大きさ）で台形歪みを補正した画像を得ることができる。

さらに、第２の実施例では、投影領域３０の正面に観察者４０が位置している場合を想定しているが、第２の実施例のリモコン２１に第１の実施例のリモコン２０の方位把握部２４０を設け、第２の実施例のプロジェクタ１０に、第１の実施例のリモコン２０のヒストグラム処理部と第１の実施例のプロジェクタ１０の３Ｄ−ＬＵＴを設けてもよい。そして、プロジェクタ１０が方位とレーザー光の歪み情報を把握して台形歪み補正を行うことにより、投影領域３０の正面に観察者４０が位置する必要はなくなる。

また、第２の実施例では、レーザー光は、長方形に見える場合を例に採り説明したが、正方形であってもよいし、円形等であってもよい。

また、第２の実施例では、レーザー光を適用したが、投影像７０と区別できる光であれば適用可能であり、例えば、赤外光等を適用してもよい。

また、第１の実施例では、傾きセンサー１４２を用いて垂直方向の台形歪みを補正したが、傾きセンサー１４２を用いずにヒストグラム情報と方位情報のみに基づいて垂直と水平の両方向の台形歪みを補正してもよい。

さらに、レンズ１９８やエリアセンサー部２１０にズーム機能が設けられている場合、プロジェクタ１０は、ズームに関する情報（例えば、最も望遠になった状態が０で最も広角になった状態が１で表される数値等）を取得して台形歪みを補正してもよい。

これによれば、望遠機能や広角機能を用いる場合であっても、台形歪みを自動的かつ適切に補正することが可能となる。

また、第１の実施例では、ステップＳ４、Ｓ５の処理において、リモコンを投影像７０の中心付近に向けて投影像方位θiの測定および投影領域３０のセンシングを実施したが、リモコンを確実に投影像７０の中心に向けるため、次のような処理を行ってもよい。

すなわち、プロジェクタ１０が、投影像７０の中心に所定マーク（例えば、×印等）を表示し、ユーザーが、レーザーポインティング機能を持つリモコン２０を用いて当該所定マークにレーザー光を重ね合せてから（重ね合せながら）台形歪み補正ボタンを押し、リモコン２０が、投影像方位θiを測定し、投影領域３０のセンシングを行ってもよい。これによれば、画像処理システムは、より確実にリモコンを投影像７０の中心付近に向けることができる。

また、上述した実施例では、キャリブレーション画像（パッチ）は、全白の画像であったが、全白に限定されず、種々のキャリブレーション画像を適用可能である。

また、画像処理システムの構成や、プロジェクタ１０とリモコン２０、２１との機能分担は上述した実施例に限定されない。例えば、第１の実施例における投影像領域抽出部２２０とヒストグラム処理部２３０の機能をプロジェクタ１０に設けてもよい。また、例えば、第１の実施例におけるプロジェクタ１０の水平方向台形歪み補正部１４３の機能をリモコン２０に設けてもよい。また、例えば、第２の実施例における台形歪み補正部１４０の機能をリモコン２１に設けてもよい。

また、仮想視点位置５０および投影位置５２は図１に示す位置に限定されない。

また、上述した実施例では、携帯型装置としてリモコン２０、２１を用いたが、例えば、ハンディターミナル、ＰＤＡ、携帯電話等を携帯型装置として用いてもよい。

また、上述した実施例では、画像表示装置として液晶プロジェクタを用いたが、例えば、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。

なお、上述したプロジェクタ１０の機能は、例えば、プロジェクタ単体で実現してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実現してもよい。

本実施形態の一例に係る画像処理システム全体の概略図である。 本実施形態の一例に係る投影像とヒストグラムを示す模式図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るリモコンの機能ブロック図である。 本実施形態の一例に係る台形歪み補正処理の流れを示すフローチャートである。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る投影像とレーザー光投射像を示す模式図である。 本実施形態の他の一例に係るプロジェクタの機能ブロック図である。 本実施形態の他の一例に係るリモコンの機能ブロック図である。 本実施形態の一例に係るリモコンによる処理の流れを示すフローチャートである。 本実施形態の一例に係るプロジェクタによる処理の流れを示すフローチャートである。

符号の説明

１０ プロジェクタ（画像表示装置）、２０ リモコン（携帯型装置）、３０
投影領域、４０ 観察者、５０ 仮想視点位置（センシング位置）、６０ 撮影像、７０ 投影像、９０ レーザー光投射像、１１４ リサイジング部（台形歪み補正手段）、１４０ 台形歪み補正部（台形歪み補正手段）、１４１ 垂直方向台形歪み補正部、１４３ 水平方向台形歪み補正部、１４８ 領域抽出部、１６０ 受信部、１８０、２１０ エリアセンサー部（センシング手段）、１９０ 画像投影部（投影手段）、１９２ 空間光変調器、２２０ 投影像領域抽出部（ヒストグラム生成手段）、２３０ ヒストグラム処理部（ヒストグラム生成手段）、２４０ 方位把握部、２６０ 送信部、２８０ レーザー光投射部（光投射手段）

Claims (7)

1. センシング位置から投影領域への直交方向の直交方位と、前記センシング位置から前記投影領域に投影された投影像の中央部分への投影像方位との方位差を示す方位情報を生成する方位把握手段と、
   前記投影像が投影された前記投影領域を、前記センシング位置から前記投影像方位でセンシングしてセンシング情報を生成するセンシング手段と、
   当該センシング情報に基づき、前記投影像における垂直水平の少なくとも一方の方向の画素数のヒストグラムを示すヒストグラム情報を生成するヒストグラム生成手段と、
   前記ヒストグラム情報と、前記方位情報とに基づき、投影像の台形歪みを補正する台形歪み補正手段と、
   を含むことを特徴とする画像処理システム。
2. 請求項１において、
   前記センシング手段と、前記ヒストグラム生成手段と、前記方位把握手段とを有する携帯型装置と、
   前記台形歪み補正手段と、前記投影像を投影する投影手段とを有する画像表示装置とを含み、
   前記台形歪み補正手段は、
   前記画像表示装置の傾きを検出する傾き検出手段を有し、垂直方向の台形歪みを補正する垂直方向台形歪み補正手段と、
   前記ヒストグラム情報と、前記方位情報とに基づき、水平方向の台形歪みを補正する水平方向台形歪み補正手段と
   を含むことを特徴とする画像処理システム。
3. 投影領域に投影像を投影する投影手段と、
   センシング位置から前記投影領域への直交方向の直交方位と、前記センシング位置から前記投影領域に投影された前記投影像の中央部分への投影像方位との方位差を示す方位情報と、前記投影像が投影された前記投影領域を前記センシング位置から前記投影像方位でセンシングされることによって生成されたセンシング情報に基づく投影像における垂直水平の少なくとも一方の方向の画素数のヒストグラムを示すヒストグラム情報とを受信する受信手段と、
   前記ヒストグラム情報と、前記方位情報とに基づき、投影像の台形歪みを補正する台形歪み補正手段と、
   を含むことを特徴とするプロジェクタ。
4. 請求項３において、
   前記台形歪み補正手段は、
   前記投影手段の傾きを検出する傾き検出手段を有し、垂直方向の台形歪みを補正する垂直方向台形歪み補正手段と、
   前記ヒストグラム情報と、前記方位情報とに基づき、水平方向の台形歪みを補正する水平方向台形歪み補正手段と
   を含むことを特徴とするプロジェクタ。
5. センシング位置から投影領域への直交方向の直交方位と、前記センシング位置から前記投影領域に投影された投影像の中央部分への投影像方位との方位差を示す方位情報とを把握する方位把握手段と、
   前記投影像が投影された前記投影領域を、前記センシング位置から前記投影像方位でセンシングしてセンシング情報を生成するセンシング手段と、
   当該センシング情報に基づき、前記投影像における垂直水平の少なくとも一方の方向の画素数のヒストグラムを示すヒストグラム情報を生成するヒストグラム生成手段と、
   前記ヒストグラム情報と、前記方位情報とに基づき、投影像の台形歪みを補正して投影像を投影する画像表示装置へ向け、前記ヒストグラム情報と、前記方位情報とを送信する送信手段と、
   を含むことを特徴とする携帯型装置。
6. 投影領域に投影像を投影し、
   センシング位置から前記投影領域への直交方向の直交方位を検出し、
   前記センシング位置から前記投影領域に投影された前記投影像の中央部分への投影像方位を検出し、
   前記投影像が投影された前記投影領域を、前記センシング位置から前記投影像方位でセンシングしてセンシング情報を生成し、
   当該センシング情報に基づき、投影像における垂直水平の少なくとも一方の方向の画素数のヒストグラムを示すヒストグラム情報を生成し、
   前記直交方位と前記投影像方位との方位差を示す方位情報を生成し、
   前記ヒストグラム情報と、前記方位情報とに基づき、投影像の台形歪みを補正することを特徴とする画像処理方法。
7. 請求項６において、
   画像表示装置の傾きを検出し、
   検出した傾きに基づき、垂直方向の台形歪みを補正し、
   前記ヒストグラム情報と、前記方位情報とに基づき、水平方向の台形歪みを補正することを特徴とする画像処理方法。

Images