JP6103855B2 - 投影装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、投影装置及びその制御方法、プログラム、並びに記憶媒体に関する。

従来、投影装置の歪補正の一手法として、ユーザからの投影画像の４隅の点の移動指示に従い投影画像を変形することで歪補正を行う技術が知られている。しかし、この技術では４隅の点を投影画像外に移動することはできないため、ユーザは予め歪補正前に、投影画像がスクリーンを包含するように投影装置を設置する必要があった。

本課題に対し、例えば特許文献１および特許文献２では以下のような技術が開示されている。まず、歪補正前に撮像手段で投影方向を撮影し、投影領域と投影画像との位置関係を認識する。次に、投射画像の外周がスクリーン領域内に位置せず、且つ投射画像が可及的に小さくなるズーム条件を計算して、その条件を満たすようにズームレンズを駆動し、その後に画像を変形して投影画像の歪補正を行う。

特許第４５７８３４１号公報 特開２００６−１２１２４０号公報

しかしながら、特許文献１および特許文献２に記載の技術では、歪補正前に投影領域の認識のために撮像手段が必要であり、コストアップの要因となる。また、無地の壁に投影する場合など、投影領域が撮影画像から特定できない場合には、適切に歪補正ができない。

本発明は、上記課題に鑑みてなされ、その目的は、撮像手段を用いることなく、歪補正前の投影画像と投影領域との位置関係によらず、投影画像を適切な大きさ及び形状に歪補正を行うことができる投影装置およびその制御方法を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮影装置は、画像を投影面に投影する投影手段と、ユーザ操作に応じて前記投影面に投影された画像における複数の補正点の位置を移動させる設定手段と、前記設定手段により設定された前記補正点の位置に応じて、前記投影された画像の形状を変形する変形手段と、前記投影手段による投影範囲をズームにより光学的に補正する補正手段と、前記変形手段による変形後の投影された画像における前記複数の補正点に対応する位置が前記投影範囲の内側である場合、前記投影範囲を縮小するように前記補正手段を制御する制御手段と、を有する。

本発明によれば、歪補正時にユーザが投影画像の補正点の位置を決定すると、ズーム動作が行われて投影画像は目標投影位置を包含する関係を保ちながらも限りなく縮小され、その縮小率に応じて投影画像が歪補正される。そのため、撮像手段を用いることなく、歪補正前の投影画像と投影領域との位置関係によらず、投影画像を適切な大きさ及び形状に歪補正を行うことができる。

本発明に係る実施形態の投影装置の構成を示す図。 本実施形態のプロジェクタの基本動作を示すフローチャート。 実施形態１の画像処理部の内部構成を示す図。 実施形態１の変形処理を示すフローチャート。 実施形態１の液晶パネル上の投影領域と、スクリーン上に投影される投影領域とを対比させて変形処理を説明する図。 実施形態１の変形処理を説明する図。 実施形態２の変形処理を示すフローチャート。 射影変換を説明する図。 図４のＳ４０６での変形例を示すフローチャート。 実施形態２の変形処理を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］以下、本発明を、例えば、画像を投影する液晶プロジェクタに適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の投影装置の構成及び機能の概略について説明する。

本実施形態の液晶プロジェクタ（以下、プロジェクタと略称する）は、表示するべき画像に応じて、液晶素子の光の透過率を制御して、液晶素子を透過した光源からの光をスクリーンに投影することで、画像をユーザに提示する。

図１において、本実施形態のプロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、プロジェクタ１００は、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。さらに、プロジェクタ１００は、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。

ＣＰＵ１１０は、プロジェクタ１００の各動作ブロックを制御する。ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶する。ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納する。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体１９２に記録させることもできる。

また、操作部１１３は、例えばスイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなり、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信する。また、操作部１１３は、例えば、不図示のリモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、プロジェクタ１００の各動作ブロックを制御する。

画像入力部１３０は、外部装置から画像信号や映像信号を受信する。画像入力部１３０は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子等を含む。また、画像入力部１３０は、アナログの画像信号や映像信号を受信した場合には、受信したアナログ信号をデジタル信号に変換し、画像処理部１４０に送信する。ここで、外部装置は、画像信号や映像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。

画像処理部１４０は、例えば画像処理用のマイクロプロセッサからなり、画像入力部１３０から受信した画像信号や映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信する。また、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行してもよい。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換処理、歪み補正処理（キーストン補正処理）といった機能を実行することが可能である。また、画像処理部１４０は、画像入力部１３０から受信した信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。この画像処理部１４０による歪補正処理に関する具体的な挙動については後述する。

液晶制御部１５０は、例えば制御用のマイクロプロセッサからなり、画像処理部１４０で処理された画像信号や映像信号に基づいて、各液晶パネルの液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。なお、液晶制御部１５０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が液晶制御部１５０と同様の処理を実行してもよい。例えば、画像処理部１４０に映像信号が入力されている場合、液晶制御部１５０は、画像処理部１４０から１フレームの画像を受信するごとに、画像に対応する透過率となるように、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを制御する。液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整する。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整する。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整する。

光源制御部１６０は、光源１６１のオン／オフの制御や光量の制御をする、例えば制御用のマイクロプロセッサからなる。なお、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行してもよい。また、光源１６１は、例えばハロゲンランプ、キセノンランプ、高圧水銀ランプであり、スクリーン１８０に画像を投影するための光を出力する。また、色分離部１６２は、例えばダイクロイックミラーやプリズムからなり、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離する。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、例えばダイクロイックミラーやプリズムからなり、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成する。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御される。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

光学系制御部１７０は、例えば制御用のマイクロプロセッサからなり、投影光学系１７１を制御する。なお、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行してもよい。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影する。投影光学系１７１は、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、シフト、焦点調整などを行うことができる。

記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生したり、また、撮像部１９４により得られた静止画データや動画データをＣＰＵ１１０から受信して記録媒体１９２に記録する。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録してもよい。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するためのマイクロプロセッサからなる。なお、記録再生部１９１には、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行してもよい。また、記録媒体１９２は、静止画データや動画データ、その他、本実施形態のプロジェクタに必要な制御データなどを記録することができるものである。記録媒体１９２は、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。

通信部１９３は、外部装置からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであってもよい。ここで、外部装置は、プロジェクタ１００と通信が可能な機器であれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

表示制御部１９５は、表示制御用のマイクロプロセッサなどからなり、プロジェクタ１００に備えられた表示部１９６にプロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をする。なお、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行してもよい。また、表示部１９６は、プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示する。表示部１９６は、画像を表示できればどのようなものであってもよい。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであってよい。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

なお、本実施形態の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの動作ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあってもよい。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行してもよい。

＜基本動作＞次に、図１及び図２を参照して、本実施形態のプロジェクタ１００の基本動作について説明する。

図２は、本実施形態のプロジェクタ１００の基本動作を示すフローチャートである。図２の動作は、ＣＰＵ１１０が、ＲＯＭ１１１に格納されたプログラムを、ＲＡＭ１１２のワークエリアに展開し、各動作ブロックを制御することにより実現される。図２の動作は、ユーザが操作部１１３やリモコンによりプロジェクタ１００の電源をオンすると開始される。操作部１１３やリモコンによりユーザがプロジェクタ１００の電源をオンすると、ＣＰＵ１１０は、不図示の電源制御部によりプロジェクタ１００の各部へ不図示の電源部から電力の供給を開始する。

次に、ＣＰＵ１１０は、ユーザによる操作部１１３やリモコンの操作により選択された表示モードを判定する（Ｓ２１０）。本実施形態のプロジェクタ１００の表示モードの１つは、画像入力部１３０より入力された画像や映像を表示する「入力画像表示モード」である。また、本実施形態のプロジェクタ１００の表示モードの１つは、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データを表示する「ファイル再生表示モード」である。また、本実施形態のプロジェクタ１００の表示モードの１つは、通信部１９３から受信した静止画データや動画データを表示する「ファイル受信表示モード」である。なお、本実施形態では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、前回終了時の表示モードになっていてもよく、また、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ２１０の処理は省略可能である。

ここでは、Ｓ２１０で、「入力画像表示モード」が選択されたものとして説明する。

「入力画像表示モード」が選択されると、ＣＰＵ１１０は、画像入力部１３０から画像や映像が入力されているまで待機する（Ｓ２２０）。そして、入力された場合（Ｓ２２０でＹｅｓ）投影処理（Ｓ２３０）に移行する。

Ｓ２３０では、ＣＰＵ１１０は、画像入力部１３０より入力された画像や映像を画像処理部１４０に送信し、画像処理部１４０に、画像や映像の画素数、フレームレート、形状の変形を実行させ、処理の施された１画面分の画像を液晶制御部１５０に送信する。そして、ＣＰＵ１１０は、液晶制御部１５０により、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、各液晶パネルの液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御する。そして、ＣＰＵ１１０は、光源制御部１６０により光源１６１からの光の出力を制御する。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、それぞれの光を、各液晶パネルの液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。各液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに供給された各色の光は、各液晶素子の画素毎に透過する光量が制限される。そして、各液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの光は、色合成部１６３に供給され再び合成される。そして、色合成部１６３で合成された光は、投影光学系１７１を介して、スクリーン１８０に投影される。

この投影処理は、画像を投影している間、１フレームの画像毎に順次、実行されている。

なお、このとき、ユーザにより操作部１１３から投影光学系１７１の操作指示が入力されると、ＣＰＵ１１０は、光学系制御部１７０により、投影画像の焦点を変更したり、光学系の拡大率を変更したりするように投影光学系１７１のアクチュエータを制御する。

この表示処理実行中に、ＣＰＵ１１０は、ユーザにより操作部１１３から表示モードを切り替える指示が入力されたか否かを判定する（Ｓ２４０）。ここで、操作部１１３から表示モードを切り替える指示が入力されると（Ｓ２４０でＹｅｓ）、ＣＰＵ１１０は、再びＳ２１０に戻り、表示モードの判定を行う。このとき、ＣＰＵ１１０は、画像処理部１４０に、表示モードを選択させるためのメニュー画面をＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像として送信し、投影中の画像に対して、このＯＳＤ画面を重畳させるように画像処理部１４０を制御する。ユーザは、この投影されたＯＳＤ画面を見ながら、表示モードを選択する。

一方、表示処理実行中に、ユーザにより操作部１１３から表示モードを切り替える指示が入力されない場合は（Ｓ２４０でＮｏ）、ＣＰＵ１１０は、ユーザにより操作部１１３から投影終了の指示が入力されたか否かを判定する（Ｓ２５０）。ここで、操作部１１３から投影終了の指示が入力された場合には（Ｓ２５０でＹｅｓ）、ＣＰＵ１１０は、プロジェクタ１００の各動作ブロックに対する電源供給を停止させ、投影処理を終了する。一方、操作部１１３から投影終了の指示が入力されない場合には（Ｓ２５０でＮｏ）、ＣＰＵ１１０は、Ｓ２２０へ戻り、以降、操作部１１３から投影終了の指示が入力されるまで、Ｓ２２０からＳ２５０までの処理を繰り返す。

以上のようにして、本実施形態のプロジェクタ１００は、スクリーンに対して画像を投影する。

なお、「ファイル再生表示モード」では、ＣＰＵ１１０は、記録再生部１９１により、記録媒体１９２から静止画データや動画データのファイルリストや各ファイルのサムネイルデータを読み出し、ＲＡＭ１１２に一時的に記憶する。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時的に記憶されたファイルリストに基づく文字画像や各ファイルのサムネイルデータに基づく画像を生成し、画像処理部１４０に送信する。そして、ＣＰＵ１１０は、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。

次に、投影画面上において、記録媒体１９２に記録された静止画データや動画データにそれぞれ対応する文字や画像を選択する指示が操作部１１３を介して入力される。そうすると、ＣＰＵ１１０は、選択された静止画データや動画データを記録媒体１９２から読み出すように記録再生部１９１を制御する。そして、ＣＰＵ１１０は、読み出された静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。

そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。

また、「ファイル受信表示モード」では、ＣＰＵ１１０は、通信部１９３により受信した静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データを再生する。そして、ＣＰＵ１１０は、例えば再生した動画データを順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御する。

＜画像処理部の構成＞次に、図３を参照して、本実施形態の画像処理部の構成について説明する。

図３において、画像処理部１４０は、信号処理部３１０、ＯＳＤ重畳部３２０、変形処理部３３０を有する。

元画像信号ｓ３０１は、前述のように、表示モードに応じて画像入力部１３０、記録再生部１９１、あるいは通信部１９３から入力される。また、タイミング信号ｓ３０２は、元画像信号ｓ３０１に同期した垂直同期信号、水平同期信号、クロックなどであって、元画像信号ｓ３０１の供給元から供給される。画像処理部１４０内の各ブロックは、タイミング信号ｓ３０２に基づいて動作するが、画像処理部１４０の内部でタイミング信号を作り直して使用してもよい。

信号処理部３１０は、ＣＰＵ１１０と連携して、元画像信号ｓ３０１に対し、画像信号のヒストグラムやＡＰＬ等の統計情報の取得や、ＩＰ変換、フレームレート変換、解像度変換、γ変換、色域変換、色補正、エッジ強調などの信号処理を施す。信号処理部３１０で処理された処理画像信号ｓ３０３は、ＯＳＤ重畳部３２０に対して出力される。

ＯＳＤ重畳部３２０は、ＣＰＵ１１０の指示により、ユーザ用のメニューや操作のためのガイド情報をＯＳＤ画像として処理画像信号ｓ３０３に重畳し、生成したＯＳＤ重畳信号ｓ３０４を変形処理部３３０に対して出力する。

変形処理部３３０は、所定の変形式に基づいて変形前後の画素の座標を求め、ＯＳＤ重畳信号ｓ３０４に変形処理を施し、変形後画像信号ｓ３０５を出力する。

本実施形態における変形処理部３３０は、射影変換を用いて画像を変形するものとし、以下に図８を参照して、この変形処理について説明する。

図８において、８１０はＰｓ１〜Ｐｓ４の４点を頂点とする歪補正前の画像（元画像）、８２０はＰｄ１〜Ｐｄ４の４点を頂点とする歪補正後の画像をそれぞれ示している。

なお、射影変換における、元画像８１０の座標（ｘｓ、ｙｓ）と変形後画像８２０の座標（ｘｄ、ｙｄ）の関係は下記式１で表わされる。

Ｍは変形後画像から元画像への３×３の射影変換行列であり、ＣＰＵ１１０から変形処理部３３０に入力される。ｘｓ１、ｙｓ１は、元画像８１０の１つの頂点Ｐｓ１の座標であり、ｘｄ１、ｙｄ１は変形後画像８２０の頂点Ｐｄ１の座標値である。

上記式１により求められた元画像の座標（ｘｓ、ｙｓ）が整数であれば、これをそのまま変形後画像の座標（ｘｄ、ｙｄ）の画素値としてよい。しかし、式１により求められた元画像の座標は整数になるとは限らない。その場合は、元画像の座標の周辺画素の画素値を用いて補間することで、変形後座標（ｘｄ、ｙｄ）の持つ画素値を求める。補間の方法は、バイリニア、バイキュービック、その他の任意の補間方法を用いればよい。また、式１に基づいて求められた元画像の座標が、元画像８１０の範囲外である場合には、その画素値は黒またはユーザが設定した背景色とする。

変形処理部３３０は、以上の手順で変形後座標の全てについて画素値を求めることで、変形後の画像を作成する。

なお、上記例では、ＣＰＵ１１０から変形処理部３３０に、射影変換行列Ｍが入力されるとしたが、画像処理部１４０の内部で射影変換行列Ｍを求めてもよい。なお、射影変換行列Ｍは、元画像の４隅の点および変形後画像の座標の４隅の点から、一意に求められる。この方法は公知のため詳細は省略する。

変形処理部３３０が出力する変形後画像信号ｓ３０５は、前述の通り、液晶制御部１５０に供給され、液晶パネルに表示される。

＜歪補正処理＆ズーム動作＞次に、図４〜図６を参照して、本実施形態のプロジェクタ１００による歪補正処理について説明する。

図５は、液晶パネルの投影領域と、投影面上に投影される投影領域とを対比させて示し、（ａ）は液晶パネル上、（ｂ）はスクリーン上の投影画像をそれぞれ示している。液晶パネルは、代表して１枚を図示している。

液晶パネル全面を投影領域５１０として、これをスクリーン上に投影すると、プロジェクタ１００とスクリーンが相対的に正対していない場合には、傾斜角や光学条件によって形状は異なるが、スクリーン上の投影画像は５２０のように歪んだ四角形になる。Ｐ１〜Ｐ４は液晶パネル上の投影領域の四隅であり、補正点として移動される点である。ＰＳ１〜ＰＳ４は、補正点Ｐ１〜Ｐ４に対応する投影画像の四隅である。

図４は本実施形態のプロジェクタ１００による歪補正処理を示している。図４の処理は、ＣＰＵ１１０が、ＲＯＭ１１１に格納されたプログラムを、ＲＡＭ１１２のワークエリアに展開し、各動作ブロックを制御することにより実現される。

図４において、ＣＰＵ１１０はまず、ユーザから操作部１１３やリモコンを介して、画像中の４隅の補正点を移動することで歪補正を行う処理（４隅指定型の歪補正）を開始する指示を受信したか否かを判定する（Ｓ４０１）。ＣＰＵ１１０がユーザから４隅指定形の歪補正の開始指示を受信したと判定すると、Ｓ４０２に進む。

次に、ＣＰＵ１１０は、ユーザから操作部１１３やリモコンを介して、４隅の補正点のうち移動対象とする点を選択する指示を受信したか否かを判定する（Ｓ４０２）。ＣＰＵ１１０が、移動対象とする点を選択する指示を受信したと判定した場合はＳ４０３に進む。このとき、移動対象として選択された補正点をユーザに分かりやすく提示するために、ＣＰＵ１１０はＯＳＤ重畳部３２０に対し、補正点付近にＯＳＤを重畳させてもよい。例えば、ＰＳ１の近傍の色を目立つ色に変えたり、点滅させたりするなど、選択中の補正点が特定できる情報であれば表示内容はどのようなものであってもよい。

一方、Ｓ４０２にてＣＰＵ１１０が当該指示を受信しなかったと判定した場合は、Ｓ４１１に進む。

Ｓ４０３では、ＣＰＵ１１０は、ユーザの補正点移動指示を待つ。補正点移動指示とは、例えば、操作部１１３もしくはリモコンの方向キー（上、下、左、右）が押下され、補正点が設定されたときの信号である。ＣＰＵ１１０が補正点移動指示を受信したと判定した場合はＳ４０４に進む。一方、ＣＰＵ１１０が当該指示を受信しなかったと判定した場合は、Ｓ４１１に進む。

Ｓ４０４では、ＣＰＵ１１０は、ユーザが方向キーを押下したと判定すると、押下された方向キーに応じて、移動後（設定終了後）の補正点の液晶パネル上の座標を計算する（Ｓ４０４）。例えば、選択中の補正点Ｐ４の移動前の液晶パネル上の座標が（ｘ４、ｙ４）である場合に、右キーが押されたとすると、移動後の座標は（ｘ４＋ｍ、ｙ４）となる。ここで、ｍは予め定められた移動量である。ただし、液晶パネルの解像度を（ｘｐ、ｙｐ）とすると、ｘ４＋ｍ＜０若しくはｘｐ≦ｘ４＋ｍのときは液晶パネルの投影領域外（投影範囲の外側）であると判定し、移動を行わない。

次に、ＣＰＵ１１０は、ユーザから操作部１１３やリモコンを介して、選択中の補正点の移動終了指示を受信したか否かを判定する（Ｓ４０５）。補正点移動終了指示は、例えば、操作部１１３もしくはリモコンの決定キーやキャンセルキーなど予め定められたキーが押下されたときに設定終了と判定すればよい。ＣＰＵ１１０が選択中の補正点の移動終了指示を受信したと判定すると、Ｓ４０６に進む。一方ＣＰＵ１１０が当該指示を受信しなかったと判定した場合は、Ｓ４０３に戻る。

Ｓ４０６では、ＣＰＵ１１０は、変形処理部３３０に対し、入力画像を補正点Ｐ１〜Ｐ４を頂点とする画像に変形するよう指示する。このとき、ＣＰＵ１１０は、画像変形のための射影変換行列Ｍを求め変形処理部３３０に送信する。変形処理部３３０はＣＰＵ１１０から受信した情報に従い、入力画像を変形する。

次に、ＣＰＵ１１０は、ユーザから操作部１１３やリモコンを介して、４隅指定形の歪補正を終了する指示を受信したか否かを判定する（Ｓ４０７）。ＣＰＵ１１０が補正点の移動終了指示を受信したと判定すると、Ｓ４０８に進む。一方、ＣＰＵ１１０が当該指示を受信しなかったと判定した場合は、Ｓ４０２に戻る。

Ｓ４０８では、ＣＰＵ１１０は、補正点Ｐ１〜Ｐ４の液晶パネル上の座標が液晶パネルの投影領域の端部に接しているか（投影範囲の内側か否か）を判定する。ＣＰＵ１１０が、補正点Ｐ１〜Ｐ４の少なくとも１つが液晶パネルの投影領域の端部に接していると判定した場合には本処理を終了する。一方、ＣＰＵ１１０が、補正点Ｐ１〜Ｐ４が全て液晶パネルの投影領域の端部に接していないと判定した場合にはＳ４０９に進む。

Ｓ４０９では、ＣＰＵ１１０は、光学系制御部１７０に対し、ズームレンズを駆動して投影画像を光学的に縮小するよう指示する。光学系制御部１７０はＣＰＵ１１０の指示に従い、ズームレンズを駆動する（Ｓ４０９）。

Ｓ４１０では、ＣＰＵ１１０は、Ｓ４０７にて決定された補正点Ｐ１〜Ｐ４の投影面上の位置ＰＳ１〜ＰＳ４が、Ｓ４０９にてズームが変更された後も同一になるような、補正点Ｐ１〜Ｐ４の液晶パネル上の座標を再計算する（詳細は後述する）。

Ｓ４１１では、ＣＰＵ１１０は変形処理部３３０に対し、入力画像をＳ４１０にて決定された補正点Ｐ１〜Ｐ４を頂点とする画像に変形するよう指示する。このとき、ＣＰＵ１１０は、画像変形のための射影変換行列Ｍを求め変形処理部３３０に送信する。変形処理部３３０はＣＰＵ１１０から受信した情報に従い、入力画像を変形する。変形処理部３３０が変形を終了するとＳ４０８に戻る。

＜歪補正処理中の投影画像の変化の様子の説明＞次に、図６を参照して、歪補正処理中の投影画像の変化の様子を、ユーザ操作と投影面上の投影画像の変化を対応付けて説明する。

ここでは、歪補正処理の開始前において、図６（ａ）のように投影画像５２０が目標形状５３０の全体を包含していない場合を例に説明する。

まずＳ４０２にて、ユーザが補正点Ｐ４を選択したとする。そして、ＰＳ４の位置が目標形状５３０の頂点に重なるまで、リモコンの方向キーを押して補正点ＰＳ４の位置を移動する。このとき、プロジェクタ１００では、Ｓ４０３〜Ｓ４０５が繰り返される。そして、ユーザがリモコンの決定ボタンを押すと、変形処理部３３０によって投画像は図６（ｂ）のようになる。

次に、ユーザは同様の手順で補正点Ｐ３、Ｐ２、Ｐ１を順に選択し、各補正点が目標形状５３０の頂点に一致するように移動指示を行う。全ての補正点の移動が終了すると投影画像は図６（ｃ）のようになり、投影画像は目標形状５３０と等しくなる。

このとき、ＣＰＵ１１０は図６（ｃ）の投影状態において、液晶パネル上の補正点Ｐ１〜Ｐ４が液晶パネルの投影領域の端部に接しているか否かを判定する。これは、歪補正前の投影画像（図６（ａ）の５２０）の外周に、歪補正後の投影画像（図６（ｃ）の５２０）の４隅が接しているか否かを判定することに等しい。

本例では、液晶パネル上の補正点Ｐ１〜Ｐ４が液晶パネルの投影領域の端部に接していないため、Ｓ４０９にて、投影画像がズーム縮小される。ただし、図６（ｃ）のような投影状態において、単純にズームにより縮小してしまうと、図６（ｄ）のようになり、投影画像５２０は目標形状５３０を外れてしまう。そこで、ＣＰＵ１１０は、ズームにより縮小する前に投影画像５２０を目標形状５３０に一致する図６（ｅ）の状態にするために、以下に述べる補正点Ｐ１〜Ｐ４の液晶パネル上の座標を補正する処理を行う。

＜補正点の座標補正処理＞以下に、図７を参照して補正点の座標補正処理について説明する。

図７はプロジェクタ１００と投影面７００の関係をプロジェクタ１００の真上から見た図であり、便宜的に投影画像は上辺のみを示している。

まず、図７（ａ）に示すように、歪補正前の投影画像の端点をＰＳ１’、ＰＳ２’とする。また、このときのプロジェクタ１００の左右の投影角をθＲ、θＬとする。

ここで、歪補正が行われ、図６（ｃ）のように投影画像の投影面上の補正点ＰＳ１、ＰＳ２が目標形状５３０の頂点に一致した位置に移動されたとする。このときの液晶パネル上の点Ｐ１およびＰ２の位置関係は、プロジェクタ１００と正対した仮想投影面７１０上のそれと等しく、図７（ａ）のような射影関係となる。歪補正後の左右の投影角を図７（ａ）に示すようにφＬ、φＲとする。これは、補正点Ｐ１、Ｐ２の液晶パネル上の座標とθＬ、θＲから幾何的に求められる。

ここで、プロジェクタ１００がズーム動作を行ったとする。ズーム動作とは投影角θＬ、θＲが変化することである。図７（ｂ）は、図７（ａ）からズーム動作が行われ投影画像が縮小された状態を示しており、このときθ’Ｌ＜θＬ、θ’Ｒ＜θＲとなる。

ズーム動作の前後で補正点のスクリーン上の４隅の位置ＰＳ１、ＰＳ２が同じこととは、図７（ａ）と図７（ｂ）にてφＬ、φＲが変化しないことである。そのためには、ズーム動作後に液晶パネル上の補正点Ｐ１〜Ｐ４の座標を補正する必要があり、例えばＰ１の補正後のＸ座標は、幾何的に以下のように求められる。

まず、仮想パネルの幅Ｗは、プロジェクタ１００と仮想投影面７１０との距離をＤとすると、
Ｗ＝Ｄ・ｔａｎ（θ’Ｌ）＋Ｄ・ｔａｎ（θ’Ｒ）
である。

ここで仮想パネル上の左端からＰ１までの距離（仮想パネル上の座標）ＤＰ１は、
ＤＰ１＝Ｄ・ｔａｎ（θ’Ｌ）−Ｄ・ｔａｎ（φ’Ｌ）
となる。

ここで液晶パネルの解像度をＰＸとすると、液晶パネル上のＰ１のＸ座標Ｘｄ１は、
Ｘｄ１＝（ＤＰ１×ＰＸ）／Ｗ
と求められる。

以上、Ｐ１のＸ座標の補正方法について説明したが、同様の手順で、Ｐ１のＹ座標、またＰ２〜Ｐ４のＸ、Ｙ座標についても求めることができる。

このように、補正点Ｐ１〜Ｐ４の投影画像の中心に投影領域の中心が近づくように座標を補正した後に、ズーム動作を行う。

以上説明したように、本実施形態のプロジェクタによれば、ユーザが歪補正時に４隅の補正点の位置を決定すると、ズーム動作が行われて投影画像は目標投影位置を包含する関係を保ちながらも限りなく縮小され、その縮小率に応じて投影画像が歪補正される。そのため、撮像手段を用いることなく、歪補正前の投影画像と投影領域との位置関係によらず、投影画像を適切な大きさ及び形状に歪補正を行うことができる。

［実施形態２］本実施形態のプロジェクタは、レンズシフトも連動する構成である。なお、本実施形態のプロジェクタの全体構成、基本動作、画像処理部の構成については、実施形態１と同様であるため説明は省略する。

図９は本実施形態のプロジェクタ１００の動作を示している。図９の動作は、ＣＰＵ１１０が、ＲＯＭ１１１に格納されたプログラムを、ＲＡＭ１１２のワークエリアに展開し、各動作ブロックを制御することにより実現される。図７におけるＳ９０１〜Ｓ９０８の処理は、図４のＳ４０１〜Ｓ４０８と同様であるので説明は省略する。

図９において、Ｓ９０８にて、ＣＰＵ１１０は、補正点Ｐ１〜Ｐ４は液晶パネルの投影領域端に接していないと判定した場合にはＳ９０９に進む。

Ｓ９０９では、ＣＰＵ１１０は、光学系制御部１７０にズームレンズを駆動させてズーム動作を行うか、若しくはシフトレンズを駆動させてレンズシフトを行うかを判定する。この判定は例えば、図７のθＬ、θＲが、後述するＳ９１０の条件を満たすまではレンズシフトを行い、それ以外はズームを行うと判定する。

ＣＰＵ１１０がズームを行うと判定した場合はＳ９１１に、レンズシフトを行うと判定した場合はＳ９１０に進む。

Ｓ９１０では、ＣＰＵ１１０は、光学系制御部１７０に対し、レンズシフトを行うように指示する。光学系制御部１７０はＣＰＵ１１０の指示に応じて、シフトレンズを駆動し投影面上の投影画像の位置を移動させる。Ｓ９０９またはＳ９１０の動作が終了するとＳ９１２に進む。

なお、レンズシフトによる投影画像の移動方向は、Ｓ９１１およびＳ９１２において、ズームの縮小と補正点の座標の再計算が行われる際に、現在の投影状態のままＳ９１１およびＳ９１２を行う場合と比較して、よりズームを縮小方向に変化できる方向である。
図７（ａ）の記号を用いて説明すると、
θＬ：θＲ＝φｐ１：φｐ２
となるようにθＬおよびθＲを変更すると、ズームを縮小した際に補正点Ｐ１、Ｐ２が共に液晶パネルの左右の投影領域端に位置することになる。ただし、不図示のＰ３、Ｐ４および各補正点のＹ座標も考慮したほうがよく、同様にθＬおよびθＲの値をそれぞれ求め、例えばその平均値をレンズシフトの目標値とすればよい。Ｓ９１０でレンズシフトが終了すると、ＣＰＵ１１０はＰ１〜Ｐ４の液晶パネル上の座標を補正する。これは実施形態１で説明したズーム動作の際の補正と同様に、投影角θＬ、θＲが変化した時に、φＬ、φＲが変化しない条件を求めればよい。

Ｓ９１１〜Ｓ９１３の処理は、図４のＳ４０９〜Ｓ４１１の処理と同様であるので説明は省略する。

＜歪補正処理中の投影画像の変化の様子の説明＞次に、図１０を参照して、歪補正処理中の投影画像の変化の様子を、ユーザ操作と投影面上の投影画像の変化を対応付けて説明する。ここでは、歪補正処理の開始前において、図１０（ａ）のように投影画像５２０が目標形状５３０の全体を包含している場合を例に説明する。

まずユーザは、実施形態１と同様の手順で補正点Ｐ１〜Ｐ４を順に選択し、補正点が目標形状の頂点に一致するように移動指示を行う。全ての補正点の移動が終了すると投影画像は図１０（ｂ）のようになり、投影画像は目標形状５３０と等しくなる。

このとき、ＣＰＵ１１０は図１０（ｂ）の投影状態において、液晶パネル上の補正点Ｐ１〜Ｐ４が液晶パネルの有効投影領域端に接しているか否かを判定する。本例では、液晶パネル上の補正点Ｐ１〜Ｐ４が液晶パネルの有効投影領域端に接していないため、Ｓ４０９にて、光学系制御部１７０がシフトレンズを駆動し、投影画像が投影面上で移動され、前述の手順で、補正点Ｐ１〜Ｐ４の液晶パネル上の座標の補正が行われ、図１０（ｄ）のような投影状態となる。

その後、実施形態１と同様の手順でズームによる縮小とそれに伴う補正点Ｐ１〜Ｐ４の液晶パネル上での座標位置の補正が行われ、投影状態は図１０（ｅ）のようになる。

以上の手順により、投影画像５２０を目標形状５３０に一致させるよう歪補正を行うことができる。なお、実施形態１のようにレンズシフトを行わない手順においては、投影画像は図１０（ｃ）となる。一方、本実施形態のプロジェクタ１００が歪補正を行った投影画像は図１０（ｅ）のようになり、実施形態１に比べ、歪補正による解像度劣化を抑えることができる。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (7)

1. 画像を投影面に投影する投影手段と、
   ユーザ操作に応じて前記投影面に投影された画像における複数の補正点の位置を移動させる設定手段と、
   前記設定手段により設定された前記補正点の位置に応じて、前記投影された画像の形状を変形する変形手段と、
   前記投影手段による投影範囲をズームにより光学的に補正する補正手段と、
   前記変形手段による変形後の投影された画像における前記複数の補正点に対応する位置が前記投影範囲の内側である場合、前記投影範囲を縮小するように前記補正手段を制御する制御手段と、を有することを特徴とする投影装置。
2. 前記制御手段は、前記設定手段により設定された前記複数の補正点のいずれか１つに対応する位置が前記投影範囲の外側にならないように、前記投影範囲を縮小するように前記補正手段を制御することを特徴とする請求項１に記載の投影装置。
3. 前記補正手段は、シフトレンズを駆動することによって前記投影範囲を移動するレンズシフト手段を有し、
   前記制御手段は、前記設定手段により設定された前記複数の補正点の中心に前記投影範囲の中心が近づくように移動させた後に、前記投影範囲を縮小することを特徴とする請求項１または２に記載の投影装置。
4. 前記制御手段は、前記設定手段により設定された前記複数の補正点のいずれか１つに対応する位置が前記投影範囲の端部に接すると、前記投影範囲を縮小する補正を停止することを特徴とする請求項１に記載の投影装置。
5. 画像を投影面に投影する投影手段と、前記投影手段による投影範囲をズームにより光学的に補正する補正手段と、を有する投影装置の制御方法であって、
   ユーザ操作に応じて前記投影面に投影された画像における複数の補正点の位置を移動させる設定工程と、
   前記設定された前記補正点の位置に応じて、前記投影された画像の形状を変形する変形工程と、
   前記変形後の投影された画像における前記複数の補正点に対応する位置が前記投影範囲の内側である場合、前記投影範囲を縮小するように前記補正手段を制御する制御工程と、を有することを特徴とする制御方法。
6. コンピュータを、請求項１から４のいずれか１項に記載された投影装置の各手段として機能させるためのプログラム。
7. コンピュータを、請求項１から４のいずれか１項に記載された投影装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。

Images