JP2024058763A - 画像処理方法、画像処理システム、及びプログラム - Google Patents

Abstract

【課題】投射画像の品質を低下させることなく、色彩又は模様が付与されている投射面に投射される投射画像の色又は輝度の補正を行う。【解決手段】プロジェクター１０は、光学装置１２０、カメラ１３０、及び処理装置１１０を備える。処理装置１１０は、画像信号に基づいて光学装置１２０から投射面ＳＳに投射される投射画像と投射画像が表示されている領域よりも外側の調整領域に位置する複数の特徴点と、を含む撮像画像をカメラ１３０から取得する。処理装置１１０は、撮像画像において投射画像に対応する領域の位置に基づいて補正データ群のうち投射画像の色を補正に用いる補正データの範囲を決定し、決定した範囲に含まれる補正データを用いて投射画像の色を補正する。【選択図】図１

Description

本開示は、画像処理方法、画像処理システム、及びプログラム、に関する。

投射面に表示される画像又は映像の位置を検出する従来技術として、特許文献１に開示の技術が挙げられる。特許文献１には、映像の４つのコーナー部にマーカーを重畳させ、各コーナー部にマーカーが重畳された映像が表示されている投射面の撮像画像に基づいて投射面におけるコーナー部の座標が算出される。

特開２０２０－１２７１６２号公報

投射画像の補正のために投射画像にマーカーを重畳させると、マーカーが表示されている期間は、マーカーを表示していない場合と比較すると、マーカーの重畳により投射画像の品質が低下する。

本開示の一態様による画像処理方法は、投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、前記撮像画像に基づいて投射画像の色又は輝度を補正することと、を含む。

また、本開示の一態様による画像処理システムは、処理装置を含み、前記処理装置は、投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、前記撮像画像に基づいて投射画像の色又は輝度を補正することと、を実行する。

また、本開示の一態様によるプログラムは、コンピューターに、投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、前記撮像画像に基づいて投射画像の色又は輝度を補正することと、を実行させる。

本開示の画像処理システムの一実施形態によるプロジェクター１０の構成例を示す図である。 プロジェクター１０から画像を投射される投射面ＳＳの一例を示す図である。 投射面ＳＳにおける表示領域と調整領域の関係を示す図である。 投射画像とともにプロジェクター１０から投射面ＳＳに投射されるマーカー画像の一例を示す図である。 表示領域の位置の変化後に使用する補正データの範囲を説明するための図である。 プロジェクター１０の処理装置１１０がプログラムＰＲＡに従って実行する画像処理方法の流れを示すフローチャートである。

以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。
（Ａ：実施形態）
図１は、本開示の一実施形態による画像処理方法を実行するプロジェクター１０の構成例を示す図である。プロジェクター１０には、図示せぬ画像供給装置が有線又は無線により接続される。プロジェクター１０は、画像供給装置から供給される画像信号の表す画像を投射面ＳＳに投射する。画像供給装置の具体例としては、例えばパーソナルコンピューターが挙げられる。本実施形態における投射面ＳＳは、プロジェクター１０が設置される部屋の壁面である。投射面ＳＳには、投射スクリーンとは異なり、様々な模様が様々な色彩で描かれている。図２は、投射面ＳＳの一例を示す図である。図２に示される投射面ＳＳには、例えば白色の下地に水色等の白色とは異なる色で水玉模様が描かれている。図２における斜め線のハッチングは白色とは異なる色を表す。

図１に示されるようにプロジェクター１０は、処理装置１１０、光学装置１２０、カメラ１３０、及び記憶装置１４０、を含む。プロジェクター１０は、処理装置１１０、光学装置１２０、カメラ１３０、及び記憶装置１４０の他に、画像供給装置と有線又は無線により通信する通信装置、及びユーザーの各種入力操作を受け付けるキーボード等の入力装置を含む。しかし、通信装置、及び入力装置については、本開示との関連が薄いため、図１では図示が省略されている。

処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置１１０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。処理装置１１０は、記憶装置１４０に記憶されているプログラムＰＲＡに従って作動することにより、プロジェクター１０の制御中枢として機能する。

光学装置１２０は、投射レンズ、液晶駆動部、液晶パネル、及び光源部、を含む。なお、図１では、投射レンズ、液晶駆動部、液晶パネル、及び光源部の図示は省略されている。液晶駆動部は、処理装置１１０から供給される画像信号に従って液晶パネルを駆動することにより、この画像信号の表す画像を液晶パネルに描画する。光源部は、例えば、ハロゲンランプ又はレーザーダイオードなどの光源を含む。光源部からの光は、液晶パネルにおいて画素毎に変調され、投射レンズを介して画像光として投射される。この画像光が投射面ＳＳに投射されることにより、投射面ＳＳに画像が表示される。なお、光学装置１２０は、画像光を投射面ＳＳに投射できる構成であればよく、液晶駆動部、及び液晶パネルに代えて、デジタルミラーデバイス（ＤＭＤ）を備える構成であってもよい。

本実施形態では、光学装置１２０が投射可能な最大の画像を表す画像信号が画像供給装置からプロジェクター１０へ供給される一方、光学装置１２０は、処理装置１１０による制御の下、当該画像信号が表す画像よりも小さい画像を投射面ＳＳに投射する。例えば、図３に示されるように、光学装置１２０が投射可能な最大の画像の輪郭が枠Ｚ１により表わされる場合、光学装置１２０は、画像供給装置から与えられる画像信号の表す画像を枠Ｚ２により輪郭が表される画像に縮小して投射面ＳＳに投射する。以下では、枠Ｚ２の内側の領域は表示領域と称される、また、以下では、画像供給装置から与えられる画像信号の表す画像は処理対象画像と称され、表示領域に投射される画像は投射画像と称される。枠Ｚ２の外側の領域のうち枠Ｚ２と枠Ｚ１との間の領域は調整領域と称される。本実施形態では、光学装置１２０は、１９２０×１０８０ピクセルの解像度を有し、処理対象画像の解像度も１９２０×１０８０ピクセルであるが、投射画像の解像度、即ち表示領域の大きさは１６００×８００ピクセルである。このため、本実施形態では、表示領域の左右には幅１６０ピクセルの調整領域が設けられ、表示領域の上下には幅９０ピクセルの調整領域が設けられる。

カメラ１３０は、例えば、レンズ等の光学系にて集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備える。カメラ１３０は、投射面ＳＳの中心に光軸が向くように姿勢を調整済である。カメラ１３０には、可視光を受光するため、可視光を透過させるフィルターが取り付けられている。カメラ１３０は、処理装置１１０による制御の下、投射面ＳＳの画像を撮像する。カメラ１３０は、投射面ＳＳを撮像する毎に、撮像した画像を表す画像信号を処理装置１１０へ出力する。

記憶装置１４０は、処理装置１１０が読み取り可能な記録媒体である。記憶装置１４０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。記憶装置１４０の不揮発性メモリーには、本開示の画像処理方法を処理装置１１０に実行させるプログラムＰＲＡが予め記憶されている。記憶装置１４０の揮発性メモリーは、プログラムＰＲＡを実行する際のワークエリアとして処理装置１１０によって利用される。

また、揮発性メモリーには、カメラ１３０により撮像される撮像画像上の位置と光学装置１２０における液晶パネル上の位置とを相互に変換するための変換データ、及び投射面ＳＳに投射する画像の色補正に用いる補正データ群が記憶される。補正データ群は、液晶パネル上の各位置を示す２次元座標と当該位置におけるＲ、Ｇ、及びＢの各色の補正量を示す補正データの集合体であり、具体的には、３Ｄ―ＬＵＴ、即ち３次元ルックアップテーブルである。変換データ、及び補正データ群は、キャリブレーションを行うことにより生成され、揮発性メモリーに記憶される。

キャリブレーションとは、カメラ１３０により撮像される撮像画像上の位置を規定するカメラ座標系と光学装置１２０における液晶パネル上の位置を規定するパネル座標系とを対応付けるための処理のことをいう。変換データの具体例としては、カメラ座標系とパネル座標系とを相互変換するための第１の変換行列が挙げられる。変換データは、例えばガウシアンドット等のパターン画像を光学装置１２０から投射されている状態の投射面ＳＳをカメラ１３０により撮像することで得られた撮像画像と当該パターン画像とを比較することで生成される。この変換データよって、投射面ＳＳ上の位置と液晶パネル上の位置とが対応付けられる。

補正データ群は、Ｒ、Ｇ、及びＢの各色の値が（０，０，０）、（０，０，６４）、（０，０，１２８）…（２５５，２５５，１９２）、（２５５，２５５，２５５）の合計１２５枚の画像を表示領域に順次投射し、各画像が表示領域に投射されている状態の投射面ＳＳをカメラ１３０により撮像することで得られる１２５枚の撮像画像に基づいて生成される。より詳細には、補正データ群は、１２５枚の撮像画像の各々について変換データを用いた射影変換等を施すことにより表示領域に対応する部分を抽出し、当該抽出した部分に即する画素の画素値と液晶パネルにおいて当該画素に対応する画素の画素値との差分を算出することにより生成される。従って、補正データ群は、投射面ＳＳにおける表示領域上の各位置を示す２次元座標と当該位置におけるＲ、Ｇ、及びＢの各色の補正量を示す補正データの集合体とも言える。なお、補正データ群の生成の際には、色数を削減する減色処理を含め、既存技術が適宜用いられればよい。また、１２５枚の撮像画像を順次撮像する過程では、カメラ１３０の露光及びシャッタースピードは固定であることが好ましい。また、カメラ１３０のホワイトノイズ及び投射面ＳＳの微細パターンを除去するために１２５枚の撮像画像の各々には、メディアンフィルターによるノイズ除去処理が施されることが好ましい。

処理装置１１０は、プロジェクター１０の電源投入を契機としてプログラムＰＲＡを不揮発性メモリーから揮発性メモリーへ読み出し、読み出したプログラムＰＲＡの実行を開始する。プログラムＰＲＡに従って作動している処理装置１１０は、図１に示される初期設定部１１０ａ、投射制御部１１０ｂ、及び補正制御部１１０ｃとして機能する。図１に示される初期設定部１１０ａ、投射制御部１１０ｂ、及び補正制御部１１０ｃは、プログラムＰＲＡに従って処理装置１１０を作動させることにより実現されるソフトウェアモジュールである。図１に示される初期設定部１１０ａ、投射制御部１１０ｂ、及び補正制御部１１０ｃの各々が担う機能は次の通りである。

初期設定部１１０ａは、前述のキャリブレーションを行い、変換データ、及び補正データ群を生成して揮発性メモリーに記憶させる。

投射制御部１１０ｂは、処理対象画像を表示領域に応じた大きさの画像に縮小し、更に補正データ群を用いた色補正を行い、縮小及び色補正済の画像を投射画像として光学装置１２０に投射させる。

補正制御部１１０ｃは、投射画像が投射面ＳＳに投射されている状況下において、投射面ＳＳに対するプロジェクター１０の相対的な位置関係の変化を検出する。投射面ＳＳに対するプロジェクター１０の相対的な位置関係の変化は、例えばプロジェクター１０をユーザーが誤って押す等した場合に発生する。補正制御部１１０ｃは、投射画像が投射面ＳＳに投射されている状況下において、複数の特徴点の各々に対応するマーカーを表すマーカー画像を調整領域に投射し、投射画像及びマーカー画像が投射されている状態の投射面ＳＳをカメラ１３０に撮像させる処理を定期的に実行する。換言すれば、補正制御部１１０ｃは、撮像画像を取得することに先立って、マーカー画像を調整領域に投射する。

図４は、投射画像及びマーカー画像が投射されている状態の投射面ＳＳの一例を示す図である。図４に示されるように、本実施形態におけるマーカーは黒地に白色で描かれたドットであり、ドットパターンの画像がマーカー画像である。マーカー画像は、調整領域、即ち表示領域の輪郭の外側の領域に投射されるため、投射画像とマーカー画像とが重なることはない。補正制御部１１０ｃは、投射画像とともにマーカー画像が投射されている投射面ＳＳをカメラ１３０に撮像させることにより、投射画像と、表示領域よりも外側の領域に位置する複数の特徴点の画像と、を含む撮像画像を表す画像信号をカメラ１３０から取得する。

補正制御部１１０ｃは、カメラ１３０により撮像された撮像画像に基づいて、投射面ＳＳに対するプロジェクター１０の相対的な位置関係の変化を検出する。投射面ＳＳに対するプロジェクター１０の相対的な位置関係の変化は、投射面ＳＳにおいて表示領域が占める範囲の変化として現れる。このため、補正制御部１１０ｃは、定期的にカメラ１３０により撮像される撮像画像において調整領域に存在する特徴点の位置の変化を検出することにより、投射面ＳＳに対するプロジェクター１０の相対的な位置関係の変化を検出する。具体的には、補正制御部１１０ｃは、表示領域の輪郭の４隅の最寄りに位置する各特徴点の位置の変化を追跡することで、表示領域が当初の位置からどの方向にどの程度移動したのかを検出する。

補正制御部１１０ｃは、投射面ＳＳにおいて表示領域の位置の変化を検出した場合、変化後の表示領域の位置と変化前の表示領域の位置とを対応付ける第２の変換行列を生成する。なお、特徴点の位置の変化の検出、及び第２の変換行列の導出については、既知のイメージレジストレーション技術、例えばＳＩＦＴ(Scale-invariant feature transform)又はＳＵＲＦ (Speeded Up Robust Features)といったアルゴリズムが適宜採用され得る。

次いで、補正制御部１１０ｃは、投射面ＳＳにおける表示領域の位置の変化量が所定の閾値未満であるか否かを判定し、当該変化量が所定の閾値以上である場合にはキャリブレーションの再実行を促す通知を行う。なお、表示領域の位置の変化量を示す指標としては、第２の変換行列を構成する行列要素、即ち行列の成分のうち最大の成分が挙げられる。

これに対して、投射面ＳＳにおける表示領域の位置の変化量が０ではなく、且つ所定の閾値未満である場合、補正制御部１１０ｃは、補正データ群のうち、変化後の表示領域に投射する画像の色補正に用いる補正データの範囲を決定する。以降、投射制御部１１０ｂは、補正制御部１１０ｃにより決定された範囲の補正データを用いて色補正を行う。例えば、プロジェクター１０と投射面ＳＳとの相対的な位置関係の変化により、図５にて実線で示される表示領域の位置が、点線で示される位置に変化したとする。この場合、図５にてハッチングで示した領域、即ち位置が変化する前の表示領域と位置が変化した後の表示領域との重複する領域についてはキャリブレーションにて補正データ群を作成済である。このため、投射制御部１１０ｂは、当該領域に対応する液晶パネル上の画素については、第１の変換行列及び第２の変換行列を用いて、表示領域の位置が変化した後の当該画素に対応する投射面ＳＳ上の位置を求め、作成済の補正データのうち当該求めた位置に対応する補正データを利用して色補正を行う。これに対して、位置が変化する前の表示領域と位置が変化した後の表示領域との重複する領域の外の画素については、投射制御部１１０ｂは色補正を行わない。なお、投射面ＳＳにおける表示領域の位置の変化量が所定の閾値以上である場合に、キャリブレーションの再実行を促すのは、位置が変化する前の表示領域と位置が変化した後の表示領域との重複する領域が狭く、再利用できる補正データが少ないからである。

また、プログラムＰＲＡに従って作動している処理装置１１０は、図６のフローチャートにより流れが示される画像処理方法を実行する。図６に示されるように、この画像処理方法は、初期設定処理ＳＡ１００、投射制御処理ＳＡ１１０、第１判定処理ＳＡ１２０、第２判定処理ＳＡ１３０、通知処理ＳＡ１４０、決定処理ＳＡ１５０、第３判定処理ＳＡ１６０、及びスリープ処理ＳＡ１７０を含む。

初期設定処理ＳＡ１００では、処理装置１１０は、初期設定部１１０ａとして機能する。初期設定処理ＳＡ１００では、処理装置１１０は、前述のキャリブレーションを実行し、変換データ及び補正データ群を揮発性メモリーに記憶させる。

投射制御処理ＳＡ１１０では、処理装置１１０は、投射制御部１１０ｂとして機能する。投射制御処理ＳＡ１１０では、処理装置１１０は、画像供給装置から供給される画像信号に画像を縮小する処理及び補正データ群を用いた色補正を施して光学装置１２０に供給し、縮小及び色補正済の画像を表示領域に投射させる。

第１判定処理ＳＡ１２０、第２判定処理ＳＡ１３０、通知処理ＳＡ１４０、決定処理ＳＡ１５０、及び第３判定処理ＳＡ１６０では、処理装置１１０は、補正制御部１１０ｃとして機能する。第１判定処理ＳＡ１２０では、処理装置１１０は、マーカー画像を調整領域に投射させるとともに、マーカー画像と投射画像とを含む撮像画像をカメラ１３０に撮像させ、当該撮像画像を取得する。そして、第１判定処理ＳＡ１２０では、当該撮像画像に基づいて、投射面ＳＳにおいて表示領域の位置が変化したか否かを判定する。

第１判定処理ＳＡ１２０の判定結果が“Ｎｏ”である場合、即ち投射面ＳＳにおいて表示領域の位置が変化していないと判定した場合には、処理装置１１０は、第３判定処理ＳＡ１６０を実行する。第３判定処理ＳＡ１６０では、処理装置１１０は、投射終了を指示する入力操作が為されたか否かを判定する。第３判定処理ＳＡ１６０の判定結果が“Ｙｅｓ”である場合、即ち投射終了を指示する入力操作が為されたと判定した場合には、処理装置１１０は、本画像処理の実行を終了し、投射面ＳＳへの画像の投射を終了する。第３判定処理ＳＡ１６０の判定結果が“Ｎｏ”である場合、即ち投射終了を指示する入力操作が為されていない判定した場合には、処理装置１１０は、スリープ処理ＳＡ１７０を実行する、スリープ処理ＳＡ１７０では、処理装置１１０は、例えば数ミリ秒等の一定時間のスリープ、即ち休眠を行う。スリープ処理ＳＡ１７０の実行完了後、処理装置１１０は、投射制御処理ＳＡ１１０以降の処理を再度実行する。

第１判定処理ＳＡ１２０の判定結果が“Ｙｅｓ”である場合、即ち投射面ＳＳにおいて表示領域の位置が変化したと判定した場合には、処理装置１１０は、第２判定処理ＳＡ１３０を実行する。第２判定処理ＳＡ１３０では、処理装置１１０は、投射面ＳＳにおける表示領域の位置の変化量が所定の閾値未満であるか否かを判定する。第２判定処理ＳＡ１３０の判定結果が“Ｎｏ”である場合、即ち投射面ＳＳにおける表示領域の位置の変化量が所定の閾値以上であると判定した場合には、処理装置１１０は、通知処理ＳＡ１４０を実行する。通知処理ＳＡ１４０では、処理装置１１０は、キャリブレーションの再実行を促す通知を行う。通知処理ＳＡ１４０の実行を完了すると、処理装置１１０は、前述の第３判定処理ＳＡ１６０を実行する。

第２判定処理ＳＡ１３０の判定結果が“Ｙｅｓ”である場合、即ち投射面ＳＳにおける表示領域の位置の変化量が所定の閾値未満であると判定した場合には、処理装置１１０は、決定処理ＳＡ１５０を実行する。決定処理ＳＡ１５０では、処理装置１１０は、補正データ群のうち、変化後の表示領域に投射する画像の色補正に用いる補正データの範囲を決定する。決定処理ＳＡ１５０の実行を完了すると、処理装置１１０は、第３判定処理ＳＡ１６０を実行する。前述したように、第３判定処理ＳＡ１６０の判定結果が“Ｙｅｓ”である場合、即ち投射終了を指示する入力操作が為されたと判定した場合には、処理装置１１０は、本画像処理の実行を終了し、投射面ＳＳへの画像の投射を終了する。第３判定処理ＳＡ１６０の判定結果が“Ｎｏ”である場合、即ち投射終了を指示する入力操作が為されていない判定した場合には、処理装置１１０は、スリープ処理ＳＡ１７０を実行し、更にスリープ処理ＳＡ１７０の実行完了後、投射制御処理ＳＡ１１０以降の処理を再度実行する。決定処理ＳＡ１５０の実行後に実行される投射制御処理ＳＡ１１０では、決定処理ＳＡ１５０にて決定された範囲の補正データを用いて色補正が実行される。

以上説明したように本実施形態によれば、投射面ＳＳとプロジェクター１０との相対的な位置関係を検出するためのマーカー画像が投射画像に重なることはないので、この位置関係に変化が生じたときに、投射画像の品質を低下させることなく、色彩又は模様が付与されている投射面に投射される投射画像の色補正を行うことが可能になる。加えて、本実施形態によれば、投射面ＳＳに対するプロジェクター１０の相対的な位置関係が変化しても、その変化量が僅かである場合には、再度キャリブレーションを行うことなく投射画像の色補正を行うことが可能になる。

（Ｂ：変形）
上記各実施形態は、以下のように変形され得る。
（１）上記実施形態における補正データ群は、投射面ＳＳ上の位置を示す２次元座標と当該位置におけるＲ、Ｇ、及びＢの各色の補正量を示す補正データの集合体であった。しかし、本開示における補正データ群は、投射面ＳＳ上の位置を示す２次元座標と当該位置に表示される画素の輝度の補正量を示す補正データの集合体であってもよい。また、補正データ群は、色の補正量を示す補正データと、輝度の補正量を示す補正データとの集合体であってもよい。要は、本開示における画像処理方法では、画像信号に基づいて光学装置１２０から投射面ＳＳに投射される投射画像と表示領域よりも外側の調整領域に位置する複数の特徴点とを含む撮像画像に基づいて投射画像の色又は輝度の補正が行われればよい。また、調整領域には、マーカー画像に加えて色補正用のパターンの画像が投射されてもよい。

（２）例えば、青味が強い画像が表示領域に投射されている状況下において赤味が強いマーカー画像が調整領域に表示される場合のように、表示領域に表示される画像と調整領域に表示されるマーカー画像の色又は輝度がかけ離れている場合、視聴者に違和感を与える場合がある。このような違和感が視聴者に与えられることを回避するため、表示領域に投射する画像全体又は当該画像における外周部付近の色又は輝度のヒストグラムを取得し、マーカー画像に関する当該ヒストグラムとの差異が所定の閾値を下回るタイミングにおいてマーカー画像の投射が行われてもよい。また、互いに色が異なる複数のマーカー画像のうち、上記画像に関する色又は輝度のヒストグラムと、マーカー画像に関する色又は輝度のヒストグラムとの差異が所定の閾値を下回るマーカー画像を用いて、マーカー画像の投射が行われてもよい。

（３）画像供給装置からプロジェクター１０へ出力される画像信号の表す画像の大きさは、光学装置１２０が投射面ＳＳに投射可能な画像の最大の大きさよりも小さくてもよい。また、台形補正等のＷＡＲＰ処理において発生する非表示領域が調整領域と見なされてもよい。また、上記実施形態では、常に調整領域が設けられたが、選挙速報又は災害情報の表示のためにテレビ放送等で用いられるＬ字型画面と同様に、通常時は調整領域を設けず、投射面ＳＳとの相対的な位置関係の検出をユーザーに指示されたことを契機として調整領域が設けられてもよい。

（４）上記実施形態では、処理装置１１０は、投射画像とともにマーカー画像を光学装置１２０に投射させた。しかし、特徴点を抽出するためのマーカーは、例えば投射面ＳＳに対する貼り付け等によって投射面ＳＳに予め配置されていてもよく、また、投射面ＳＳに描かれている模様がマーカーとして用いられてもよい。投射面ＳＳに予めマーカーが設けられている場合、プロジェクター１０から投射面ＳＳへのマーカー画像の投射は省略可能である。つまり、マーカー画像の投射は本開示の画像処理方法の必須構成要素ではなく、省略可能である。

（５）上記実施形態ではカメラ１３０がプロジェクター１０に含まれたが、カメラ１３０はプロジェクター１０に含まれず、別体であってもよい。また、光学装置１２０も処理装置１１０とは別体の装置であってもよい。要は、投射面ＳＳに画像を投射する光学装置１２０と、投射面ＳＳを撮像するカメラ１３０と、光学装置１２０及びカメラ１３０の作動制御を行う処理装置１１０とを含む画像処理システムであれば、本開示の適用が可能である。

（６）上記実施形態では、調整領域にマーカー画像を投射する光学装置と表示領域に投射画像を投射する光学装置とが共通であったが、両者が別個の光学装置であってもよい。この場合、調整領域にマーカー画像を投射する光学装置の投射位置を表示領域の位置ずれに同期して変更する必要があるため、当該光学装置はプロジェクター本体に固定され、且つ表示領域に干渉しない構成であることが必要となる。また、プロジェクター本体の位置ずれの他に、投射画像の拡大或いは縮小、又はレンズシフト等のユーザーの操作に合わせて、調整領域にマーカー画像を投射する光学装置の投射位置が動く必要がある。これらの条件が満たせれば、必ずしも表示領域付近の特徴点を追跡する必要はなく、投射面ＳＳ上の任意の点を照明又は撮影することにより、ある程度の位置補整は可能となる。

（７）上記実施形態における初期設定部１１０ａ、投射制御部１１０ｂ、及び補正制御部１１０ｃはソフトウェアモジュールであった。しかし、初期設定部１１０ａ、投射制御部１１０ｂ、及び補正制御部１１０ｃのうちの何れか一つ或いは複数、又は全部がＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアモジュールであってもよい。初期設定部１１０ａ、投射制御部１１０ｂ、及び補正制御部１１０ｃのうちの何れか一つ或いは複数、又は全部がハードウェアモジュールであっても、上記実施形態と同じ効果が奏される。

（８）プログラムＰＲＡは単体で製造されてもよく、有償又は無償で提供されてもよい。プログラムＰＲＡを提供する際の具体的な態様としては、フラッシュＲＯＭ等のコンピューター読み取り可能な記録媒体にプログラムＰＲＡを書き込んで提供する態様、又はインターネット等の電気通信回線経由のダウンロードによりプログラムＰＲＡを提供する態様が挙げられる。これらの態様により提供されるプログラムＰＲＡに従って一般的なコンピューターを作動させることで、当該コンピューターに本開示の画像処理方法を実行させることが可能になる。

（Ｃ：本開示のまとめ）
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
以下、本開示のまとめを付記する。

（付記１）
本開示の一態様による画像処理方法は、投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、前記撮像画像に基づいて投射画像の色又は輝度を補正することと、を含む。（付記１）の画像処理方法によれば、投射面において投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点に基づいて投射画像の色又は輝度が補正されるので、投射画像が表示される領域に特徴点に対応するマーカーを表示する必要はなく、マーカーが表示されている期間においてもマーカーを表示していない場合と比較して、投射画像の品質は低下しない。

（付記２）
より好ましい態様の画像処理方法は、前記投射画像の色又は輝度を補正することは、前記撮像画像において前記投射画像に対応する領域の位置に基づいて、前記投射画像の色を補正することに用いる２次元座標で表される補正データのうち、前記投射画像の色を補正することに用いる座標の範囲を決定することと、前記範囲に含まれる補正データを用いて前記投射画像の色を補正することと、を含む、（付記１）に記載の画像処理方法である。（付記２）の画像処理方法によれば、撮像画像において投射画像に対応する領域の位置に基づいて、投射画像の色を補正することに用いる２次元座標で表される補正データのうち、投射画像の色を補正することに用いる座標の範囲を決定し、当該範囲に含まれる補正データを用いて投射画像の色を補正することができる。

（付記３）
別の好ましい態様の画像処理方法は、前記投射面には、前記複数の特徴点の各々に対応するマーカーが含まれる、（付記１）に記載の画像処理方法である。（付記３）の画像処理方法によれば、マーカーが表示されている期間においてもマーカーを表示していない場合と比較して投射画像の品質を低下させずに、複数の特徴点の各々に対応するマーカーに基づいて投射画像の色又は輝度を補正することができる。

（付記４）
更に別の好ましい態様の画像処理方法は、前記投射画像の大きさは、前記光学装置が前記投射面に投射可能な最大の画像の大きさよりも小さく、前記撮像画像を取得することに先立って、前記最大の画像の輪郭と前記投射画像の輪郭との間に前記光学装置から前記マーカーを表すマーカー画像を投射すること、を更に含む、（付記３）の画像処理方法である。（付記４）の画像処理方法によれば、光学装置が前記投射面に投射可能な最大の画像の輪郭と投射画像の輪郭との間に表示されるマーカーの画像に基づいて、投射画像の色又は輝度を補正することができる。

（付記５）
更に別の好ましい態様の画像処理方法は、前記投射画像の大きさは、前記画像信号が示す画像の大きさよりも小さく、前記撮像画像を取得することに先立って、前記画像信号が示す大きさで画像を投射した場合の画像の輪郭と前記投射画像の輪郭との間に前記光学装置から前記マーカーを表すマーカー画像を投射すること、を更に含む、（付記３）の画像処理方法である。（付記５）の画像処理方法によれば、画像信号が示す大きさで画像を投射した場合の当該画像の輪郭と投射画像の輪郭との間に表示されるマーカーの画像に基づいて、投射画像の色又は輝度を補正することができる。

（付記６）
更に好ましい態様の画像処理方法は、前記投射画像と前記マーカー画像とは重ならない、（付記３）又は（付記４）に記載の画像処理方法である。（付記６）の画像処理方法では、投射画像とマーカー画像とが重ならないため、マーカー画像が表示されている期間においてもマーカー画像を表示していない場合と比較して投射画像の品質を低下させずに、マーカー画像に基づいて投射画像の色又は輝度を補正することができる。

（付記７）
更に好ましい態様の画像処理方法は、前記投射面の前記投射画像よりも外側の領域に色補正用のパターンの画像を前記光学装置から投射することを更に含む、（付記１）から（付記６）のうちの何れか一の態様の画像処理方法である。（付記７）の画像処理方法によれば、投射面において投射画像の外側の領域に光学装置から投射される色補正用のパターンの画像から複数の特徴点を抽出し、当該複数の特徴点に基づいて投射画像の色又は輝度を補正することができる。

（付記８）
本開示の一態様による画像処理システムは、処理装置を含み、前記処理装置は、投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、前記撮像画像に基づいて投射画像の色又は輝度を補正することと、を実行する。（付記８）の画像処理システムによれば、（付記１）の画像処理方法と同様に、投射面において投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点に基づいて投射画像の色又は輝度が補正されるので、投射画像が表示される領域に特徴点に対応するマーカーを表示する必要はなく、マーカーが表示されている期間においてもマーカーを表示していない場合と比較して、投射画像の品質は低下しない。

（付記９）
本開示の一態様によるプログラムは、コンピューターに、投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、前記撮像画像に基づいて投射画像の色又は輝度を補正することと、を実行させる。（付記９）のプログラムによれば、（付記１）の画像処理方法と同様に、投射面において投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点に基づいて投射画像の色又は輝度が補正されるので、投射画像が表示される領域に特徴点に対応するマーカーを表示する必要はなく、マーカーが表示されている期間においてもマーカーを表示していない場合と比較して、投射画像の品質は低下しない。

１０…プロジェクター、１１０…処理装置、１１０ａ…初期設定部、１１０ｂ…投射制御部、１１０ｃ…補正制御部、１２０…光学装置、１３０…カメラ、１４０…記憶装置、ＰＲＡ…プログラム、ＳＳ…投射面。

Claims (9)

1. 投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、
   前記撮像画像に基づいて投射画像の色又は輝度を補正することと、
   を含む、画像処理方法。
2. 前記投射画像の色又は輝度を補正することは、
   前記撮像画像において前記投射画像に対応する領域の位置に基づいて、前記投射画像の色を補正することに用いる２次元座標で表される補正データのうち、前記投射画像の色を補正することに用いる座標の範囲を決定することと、
   前記範囲に含まれる補正データを用いて前記投射画像の色を補正することと、
   を含む、請求項１に記載の画像処理方法。
3. 前記投射面には、前記複数の特徴点の各々に対応するマーカーが含まれる、請求項１に記載の画像処理方法。
4. 前記投射画像の大きさは、前記光学装置が前記投射面に投射可能な最大の画像の大きさよりも小さく、
   前記撮像画像を取得することに先立って、前記最大の画像の輪郭と前記投射画像の輪郭との間に前記光学装置から前記マーカーを表すマーカー画像を投射すること、
   を更に含む、請求項３に記載の画像処理方法。
5. 前記投射画像の大きさは、前記画像信号が示す画像の大きさよりも小さく、
   前記撮像画像を取得することに先立って、前記画像信号が示す大きさで画像を投射した場合の画像の輪郭と前記投射画像の輪郭との間に前記光学装置から前記マーカーを表すマーカー画像を投射すること、
   を更に含む、請求項３に記載の画像処理方法。
6. 前記投射画像と前記マーカー画像とは重ならない、請求項３又は請求項４に記載の画像処理方法。
7. 前記投射面の前記投射画像よりも外側の領域に色補正用のパターンの画像を前記光学装置から投射することを更に含む、請求項１から５のうちの何れか１項に記載の画像処理方法。
8. 処理装置を含み、
   前記処理装置は、
   投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、
   前記撮像画像に基づいて投射画像の色又は輝度を補正することと、を実行する、
   画像処理システム。
9. コンピューターに、
   投射面を撮像することによって、画像信号に基づいて光学装置から前記投射面に投射される投射画像と、前記投射面において前記投射画像が表示されている領域よりも外側の領域に位置する複数の特徴点と、を含む撮像画像を取得することと、
   前記撮像画像に基づいて投射画像の色又は輝度を補正することと、を実行させる、
   プログラム。

Images