WO2005002240A1 - 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置 - Google Patents

Abstract

表示特性補正データの算出方法において、テストパターンデータを生成し(S1)、このテストパターンデータに基づき画像表示装置にテストパターンを表示し(S2)、このテストパターンを撮影して撮影データを取得し(S3)、この撮影データから画像表示装置の表示特性補正データを算出する。このとき、撮影データが、画像の全部を正常に含んでいない場合には、その非正常領域を補完対象領域として設定し(S6,S7)、該補完対象領域以外の領域からこの補完対象領域の補完を行うことにより(S9,S14)、上記テストパターンデータに係る画像の全部に関する補正データを算出する。

Description

表示特性補正データの算出方法、 表示特性捕正データの算出プログラム、 表示特性補正デ ータの算出装置 技術分野

この発明は、 テストパターンの撮影データに基づき画像表示装置の表示特性に対する捕 正データを算出する表示特性補正デー明タの算出方法、 表示特性補正データの算出プロダラ ム、 表示特性補正データの算出装置に関する。

田 背景技術

画像表示装置は、 1台の映像装置のみで構成されることもあるが、 より大画面を達成す るために、 複数台の映像装置を組み合わせて構成されたものも知られている。 具体的な例 としては、 複数のプロジェクタを用いて、 各プロジェクタから部分的な画像を投影するこ とにより、 1つのスクリーン上において大きな 1つの画像を構成するようになされたプロ ジェクションシステムが知られている。

このような画像表示装置では、 個々の映像装置において、 画像の歪み、 画像の位置ずれ 、 色むら、 輝度むら、 ホワイトバランスのずれ、 ガンマ特性の非最適性、 などが生じるこ とがあり、 さらに、 映像装置同士の組み合わせにおいて、 幾何ずれ、 色ずれ、 輝度ずれ、 ガンマ特性の違い、 等が生じることがある。 このような幾何特性、 色特性、 輝度特性、 ホ ワイトバランス特性、 ガンマ特性などの表示特性に非均一性があると、 それが視覚的に認 識されてしまい、 画像全体の品質を損ねることがあった。

こうした点に対応するために、 画像表示装置にテストパターンを表示して、 その画像を 例えばデジタルカメラ等の撮影装置により撮影し、 撮影された画像に基づいて表示特性を 補正するための補正データを作成し、 該補正データに基づいて画像表示装置の表示特性を 補正することにより、 高品質な映像を表示するようにしたシステムが、 従来より提案され ている。

このような技術として、 例えば、 特開平 9一 3 2 6 9 8 1号公報には、 スクリーンの前 にカメラを設置して、 テストパターンを該スクリーンに表示し、 表示されたテストパター ンを撮影して、 撮影された画像に基づいて補正データを算出し、 その補正データに基づい て入力画像を補正して出力表示することにより、 例えば幾何補正等を行う技術が記載され ている。

また、 国際公開番号 WO 9 9 / 3 1 8 7 7には、 部分画像を各投影する複数のプロジェ クタを用いてスクリーン上に 1つの画面を構成するマルチプロジェクション装置において 、 スクリーン状態監視カメラを設置し、 該カメラから入力した画像情報に基づいて上記部 分画像の幾何変形と局所的色補正とを行うようにする技術が記載されている。

' これらの技術は何れも、 補正データを算出するに当たって、 画像表示装置に表示される 画像の全てが撮影装置により撮影されること、 すなわち、 画像の全領域に係る撮像データ が取得されること、 を前提としたものとなっている。

しカゝし、 実際の運用においては、 画像表示装置の表示領域の全体を撮影することができ ない場合が生じることがある。 例えば、 画像表示装置を舞台などに設置する場合には、 該 画像表示装置と、 この画像表示装置の表示補正をするために設置した撮影装置と、 の間に 、 マイクロフォンや舞台装置等が位置してしまう場合である。 あるいは、 設置場所のスぺ ースの関係から、 画像表示装置の表示領域を全て画面内に納めることができるような距離 に、 撮影装置を配置することができない場合もある。

さらに、 画像表示領域の全体を撮影することはできるが、 撮影された画像データの少な くとも一部が正しい表示特性を保持していない場合もある。 例えば、 画像表示装置がプロ ジェクシヨンタイプのものであって、 そのスクリーンの面内に枠が設けられていると、 該 枠の近傍部分に微妙な影等が生じて、 その影響で正確な表示特性を撮影することができな いなどである。

本発明は上記事情に鑑みてなされたものであり、 テストパターンを撮影して得られる撮 影データが、 テストパターンデータに係る画像の全てを正常に含んでいない場合でも、 画 像全体に関する表示特性補正データを算出することができ、 高品位な画像を表示すること が可能となる表示特性補正データの算出方法、 表示特性補正データの算出プログラム、 表 示特性補正データの算出装置を提供することを目的としている。 発明の開示

第 1の発明による表示特性補正データの算出方法は、 テストパターンデータに基づき画 像表示装置にテストパターンを表示し、 上記テストパターンを撮影して撮影データを取得 し、 取得した撮影データに基づき上記画像表示装置の表示特性を補正するための補正デー タを算出する、 表示特性補正データの算出方法であって、 取得された上記撮影データが、 上記テストパターンデータに係る画像の全部を正常に含んでいない場合には、 該正常に含 んでいない領域を含むように補完対象領域を設定し、 該補完対象領域以外の領域に基づい て該補完対象領域の補完を行うことにより、 補完対象領域の補正データを含む、 上記テス トパターンデータに係る画像の全部に関する補正データ、 を算出する方法である。

第 2の発明による表示特性補正データの算出方法は、 上記第 1の発明による表示特性捕 正データの算出方法において、 上記画像表示装置にテストパターンを表示するに先だって 、 上記テストパターンデータを生成する方法である。

第 3の発明による表示特性補正データの算出方法は、 上記第 1または第 2の発明による 表示特性補正データの算出方法において、 上記表示特性が、 幾何特性、 色特性、 輝度特性 、 ホワイトバランス特性、 ガンマ特性、 の内の少なくとも 1つを含む方法である。

第 4の発明による表示特性補正データの算出方法は、 上記第 1から第 3の発明による表 示特性補正データの算出方法において、 上記補完対象領域の補正データの算出が、 上記補 完対象領域以外の領域の撮影データに基づいて上記補完対象領域の撮影データを補完する ことにより上記テストパターンデータに係る画像の全部に関する撮影データを取得し、 取 得された撮影データに基づレ、て上記テストパターンデータに係る画像の全部に関する補正 データを算出することにより、 行われるものである。

第 5の発明による表示特性補正データの算出方法は、 上記第 1から第 3の発明による表 示特性捕正データの算出方法において、 上記補完対象領域の補正データの算出が、 上記捕 完対象領域以外の領域の撮影データに基づいて該補完対象領域以外の領域の補正データを 算出し、 算出された補完対象領域以外の領域の補正データに基づいて上記補完対象領域の 捕正データを補完することにより、 行われるものである。

第 6の発明による表示特性補正データの算出方法は、 上記第 1から第 3の発明による表 示特性補正データの算出方法において、 上記補完対象領域の補正データの算出が、 上記撮 影データに基づいて該撮影データに係る画像の全領域の補正データを算出し、 算出された 補正データの内の補完対象領域以外の領域の補正データに基づいて上記補完対象領域の補 正データを補完することにより、 行われるものである。

第 7の発明による表示特性補正データの算出方法は、 上記第 1力 ら第 6の発明による表 示特性補正データの算出方法において、 上記補完対象領域を設定するに先だって上記撮影 データに係る画像を表示し、 表示した画像に係る手動による操作に応じて上記補完対象領 域を設定するものである。

第 8の発明による表示特性補正データの算出方法は、 上記第 1から第 6の発明による表 示特性補正データの算出方法において、 上記補完対象領域が、 上記撮影データを解析する ことにより、 上記テストパターンデータに係る画像を正常に含んでいない領域を認識した 結果に基づいて、 該領域を含むように自動的に設定されるものである。

第 9の発明による表示特性補正データの算出方法は、 上記第 8の発明による表示特性補 正データの算出方法において、 上記撮影データの解析が、 複数のテストパターンデータに 対応する複数の撮影データ同士を比較することにより行われるものである。

第 1 0の発明による表示特性補正データの算出方法は、 上記第 6の発明による表示特性 補正データの算出方法において、 上記補完対象領域が、 上記撮影データに係る画像の全領 域の補正データを解析することにより、 上記テストパターンデータに係る画像を正常に含 んでいない領域を認識した結果に基づいて、 該領域を含むように自動的に設定されるもの である。

第 1 1の発明による表示特性補正データの算出方法は、 上記第 1 0の発明による表示特 性補正データの算出方法において、 上記撮影データの解析が、 複数のテストパターンデー タに対応する複数の撮影データに係る画像の全領域の補正データ同士を比較することによ り行われるものである。

第 1 2の発明による表示特性補正データの算出方法は、 上記第 1から第 6の発明による 表示特性補正データの算出方法において、 上記補完対象領域を設定するに先だって障害物 検出装置を用いて障害物を検出し、 上記補完対象領域は、 検出された障害物に該当する画 像領域を、 上記テストパターンデータに係る画像を正常に含んでいない領域として認識し た結果に基づいて、 該領域を含むように自動的に設定されるものである。

第 1 3の発明による表示特性補正データの算出方法は、 上記第 1の発明による表示特性 補正データの算出方法において、 上記補完対象領域のデータの補完が、 該捕完対象領域以 外の領域のデータをコピーすることにより行われるものである。

第 1 4の発明による表示特性補正データの算出方法は、 上記第 1の発明による表示特性 補正データの算出方法において、 上記補完対象領域のデータの補完が、 該補完対象領域以 外の領域のデータから、 所定の相関関係に基づき算出されるものである。

第 1 5の発明による表示特性補正データの算出方法は、 上記第 1 4の発明による表示特 性補正データの算出方法において、 上記所定の相関関係が、 上記補完対象領域内における 補完対象部分の位置と、 上記補完対象領域以外の領域における補完元のデータが存在する 位置と、 の距離である。

第 1 6の発明による表示特性補正データの算出方法は、 上記第 1の 明による表示特性 補正データの算出方法において、 上記画像表示装置が、 画像を投影するプロジェクタと、 このプロジェクタにより投影される画像を表示するスクリーンと、 を有してなるプロジェ クション装置である。

第 1 7の発明による表示特性補正データの算出方法は、 上記第 1の発明による表示特性 補正データの算出方法において、 上記画像表示装置が、 部分画像を各投影する複数のプロ ジェクタと、 これら複数のプロジェクタにより投影される画像を表示するスクリーンと、 を有し、 上記プロジェクタにより上記スクリーンに投影される部分画像をその辺縁におい て隣接する部分画像に重畳領域をもって重ね合わせながら配列することにより全体として 一画像を構成するようになされたマルチプロジェクション装置である。

第 1 8の発明による表示特性補正データの算出プログラムは、 コンピュータに、 テスト パターンデータに基づき画像表示装置にテストパターンを表示させ、 上記テストパターン を撮影して撮影データを取得させ、 取得した撮影データに基づき上記画像表示装置の表示 特性を補正するための補正データを算出させるための、 表示特性補正データの算出プログ ラムであって、 取得された上記撮影データが、 上記テストパターンデータに係る画像の全 部を正常に含んでいない場合には、 該正常に含んでいない領域を含むように補完対象領域 を設定させ、 該補完対象領域以外の領域に基づいて該補完対象領域の補完を行わせること により、 補完対象領域の補正データを含む、 上記テストパターンデータに係る画像の全部 に関する補正データ、 を算出させるプログラムである。

第 1 9の発明による表示特性補正データの算出装置は、 テストパターンデータに基づき 画像表示装置に表示させたテストパターンを撮影して撮影データを取得する撮影装置と、 取得した撮影データに基づき上記画像表示装置の表示特性を捕正するための補正データを 算出する演算装置と、 を具備し、 上記演算装置は、 取得した上記撮影データが、 上記テス トパターンデータに係る画像の全部を正常に含んでいない場合には、 該正常に含んでいな い領域を含むように補完対象領域を設定し、 該補完対象領域以外の領域に基づいて該補完 対象領域の補完を行うことにより、 補完対象領域の補正データを含む、 上記テストパター ンデータに係る画像の全部に関する補正データ、 を算出するものである。 図面の簡単な説明

図 1は、 本発明の一実施形態におけるマルチプロジェクションシステムの表示特卡生を捕 正する構成の概要を示す図。

図 2は、 上記実施形態におけるマルチプロジェクションシステムの表示特性補正システ ムの機能的な構成を示すプロック図。

図 3は、 上記実施形態におけるマルチプロジェクションシステムの表示特性補正システ ムの作用の概要を示すフローチヤ一ト。

図 4は、 上記実施形態において、 撮影領域内に障害物が位置している例を示す図。 図 5は、 上記実施形態において、 障害物が存在する下で輝度の高いテストパターンを撮 影したときの撮影データを示す図。

図 6は、 上記実施形態において、 障害物が存在する下で輝度の低いテストパターンを撮 影したときの撮影データを示す図。

図 7は、 上記実施形態において、 撮影データ中の補完対象領域をマージンを設けながら 設定する様子を示す図。

図 8は、 上記実施形態において、 撮影データ中における補完対象領域の様子の一例を示 す図。

図 9は、 上記実施形態において、 補完対象領域以外の領域の撮影データを用いて該補完 対象領域の撮影データを補完する様子を示す図。

図 1 0は、 上記実施形態において、 表示特性補正データ中における補完対象領域の様子 の一例を示す図。

図 1 1は、 上記実施形態において、 補完対象領域以外の領域の表示特性補正データを用 Vヽて該補完対象領域の表示特性補正データを補完する様子を示す図。

図 1 2は、 上記実施形態における重み付けによる補完方法を説明するための図。

図 1 3は、 上記実施形態において、 幾何特性を補正するためのテストパターンの撮影デ ータに障害物が含まれている様子を示す図。

図 1 4は、 上記実施形態において、 テストパターン中のマーカを補完する様子を示す図 図 1 5は、 上記実施形態において、 幾何的な歪みが発生しているときのテストパターン 中のマーカ補完の様子を示す図。

図 1 6は、 上記実施形態において、 色特性を補正するためのテストパターンの撮影デー タを示す図。

図 1 7は、 上記実施形態において、 色特性を補正するためのテストパターンの撮影デー タに障害物が含まれている様子を示す図。

図 1 8は、 上記実施形態において、 テストパターンの撮影データを小さいプロックに区 分する様子を示す図。

図 1 9は、 上記実施形態において、 小さいプロックに区分された撮影データに障害物が 含まれている様子を示す図。

図 2 0は、 上記実施形態において、 撮影装置による撮影範囲が画像表示装置による表示 領域よりも狭いときの様子を示す図。

図 2 1は、 上記実施形態において、 画像表示装置の表示画面内に構造上の枠が存在する 様子を示す図。 発明を実施するための最良の形態

以下、 図面を参照して本発明の実施の形態を説明する。

図 1から図 2 1は本発明の一実施形態を示したものであり、 図 1はマルチプロジヱクシ ョンシステムの表示特性を補正する構成の概要を示す図である。

画像表示装置であるマルチプロジェクションシステムは、 複数の L C Dプロジェクタあ るいは複数の D L Pプロジェクタ等で構成される複数のプロジェクタ 1と、 記録媒体や通 信回線等から供給される静止画像データや動画像データに基づレヽてこれらのプロジェクタ 1のそれぞれにより投影される部分画像を生成して出力する画像処理装置 2と、 上記プロ ジェクタ 1からの部分画像が投影されるスクリーン 5と、 を有して構成されていて、 該プ ロジェクタ 1によりスクリーン 5に投影した部分画像をその辺縁において隣接する部分画 像に重畳領域をもつて重ね合わせながら配列することにより全体として一画像を構成する ようになされたものである。

このようなマルチプロジェクシヨンシステムは、 上述したように、 各プロジェクタ 1の それぞれにおいて、 あるいはプロジェクタ 1同士の相対的な関係において、 表示特性が均 —でない場合がある。

そこで、 マルチプロジェクシヨンシステムを製造したときや、 設置したとき、 あるいは 設置後のメンテナンスのときなどに、 こうした表示特性を補正する必要がある。 そのため の表示特性補正システムにおける表示特性捕正データの算出装置を構成するのが、 撮影装 置としてのデジタルカメラ 4と、 障害物検出装置としての障害物センサ 7と、 演算装置と してのコンピュータ 3と、 である。

上記デジタルカメラ 4は、 上記スクリーン 5の表示領域に表示されている画像を撮影し て電子的な撮影画像データを生成するためのものである。

なお、 ここでは撮影装置としてデジタルカメラ 4を用いているが、 これに限るものでは なく、 例えば銀塩カメラを用いて撮影を行レ、、 現像後のフィルムから直接、 またはフィル ムから作成されたプリントを、 スキャナ等でスキャンすることにより、 撮影画像データを 生成することも可能である。 さらには、 撮影装置が、 例えばラインセンサ等を用いて、 ス クリーン 5の表示領域を直接スキャンするシステム等であっても構わない。

上記デジタル力メラ 4とスクリーン 5との間に例えば立木等の障害物 6が存在するとす る。 ここに障害物 6とは、 撮影装置であるデジタルカメラ 4と画像表示装置の表示領域を 構成するスクリーン 5との間に存在して、 該デジタルカメラ 4によりスクリーン 5上に表 示されたテストパターンを撮影する際に、 撮影された画像からテストパターンの情報の少 なくとも一部を欠落させる要因となるものを指している。 このような障害物 6を検出する ための手段の 1つとして用いられるのが上記障害物センサ 7である。 この障害物センサ 7 は、 種々の構成のものを採用することが可能であるが、 幾つかの例として、 超音波を用い たもの、 レーザ光線を用いたもの、 などが挙げられる。

なお、 この図 1においては、 障害物センサ 7を配置した例を示しているが、 障害物 6の 検出は障害物センサ 7を用いなくても、 後述するように、 例えば撮影データから検出する ことも可能である。

また、 テストパターンに係る画像の全てに関する、 正常な撮影データを得られない原因 としては、 上記障害物 6だけでなく、 その他の種々の要因があるが、 これについては後で 幾つかの例について述べる。

上記コンピュータ 3は、 システム全体の制御を行うとともに、 後述するような各種の演 算ゃ処理を行うものであり、 テストパターンを生成して上記画像処理装置 2を介して上記 プロジェクタ 1によりスクリーン 5に表示を行わせ、 表示されたテストパターンを上記デ ジタルカメラ 4により撮像させて、 該デジタルカメラ 4から取得した撮影データと、 上記 障害物センサ 7からの障害物位置情報と、 に基づいて、 取得された撮影データが上記テス トパターンデータに係る画像の全部を正常に含んでいなレ、場合でも、 該正常に含んでいな い領域を含むように補完対象領域を設定し、 該補完対象領域以外の領域に基づいて該補完 対象領域の捕完を行うことにより、 上記テストパターンデータに係る画像の全部に関する 補正データ、 を算出するようになっている。

この図 1に示す例においては、 コンピュータ 3は、 一般的なパーソナルコンピュータ （ P C) と同様に、 C P Uやメモリ、 ハードディスク等を内蔵する本体 3 aと、 この本体 3 aに接続されていて該本体 3 aから出力される画像を表示するモニタ 3 bと、 上記本体 3 aに接続されていてモニタ 3 bの画面内に表示されている位置をポイントしたり選択した りするためのマウス 3 cと、 該本体 3 aに接続されていて文字データ等を入力するために 用いられるキーボード 3 dと、 を有して構成されている。

こうして、 コンピュータ 3により算出された補正データを、 画像処理装置 2に設定する ことにより、 以後は、 デジタルカメラ 4、 障害物センサ 7、 およびコンピュータ 3をマル チプロジェクションシステムから取り外しても、 該マルチプロジェクションシステムは、 補正された高品位な画像を表示することが可能となる。

次に、 図 2は、 マルチプロジェクシヨンシステムの表示特性補正システムの機能的な構 成を示すブロック図である。

この表示特性補正システムは、 図 2に示すように、 システム全体の制御を行うための制 御部 1 1と、 表示特性補正データ （画像補正データ） を求めるためのテストパターンデー タを生成するテストパターン生成部 1 2と、 このテストパターン生成部 1 2により生成さ れたテストパターンデータに基づき表示を行う画像表示部 1 3と、 この画像表示部 1 3に 表示されたテストパターンを撮影して撮影データを出力するテストパターン撮影部 1 4と 、 上記撮影データ中におけるテストパターンが正常に表示されていなレ、領域を補完対象領 域として手動で設定するための補完対象領域手動設定部 1 5と、 上記撮影データ中におけ るテストパターンが正常に表示されていない領域を補完対象領域として自動的に検出する ための補完対象領域自動検出部 1 6と、 上記補完対象領域手動設定部 1 5または補完対象 領域自動検出部 1 6により設定された補完対象領域の撮影データを該補完対象領域以外の 領域の撮影データに基づいて補完する撮影データ補完部 1 7と、 上記撮影データの一部ま たは全部に基づいて画像補正データを算出する画像補正データ算出部 1 8と、 上記画像補 正データ算出部 1 8により算出された画像捕正データが元のテストデータの全てに係るも のでない場合あるいはテストパターンが正常に表示されていない部分を含む撮影データに 基づいて画像補正データが算出されたものである場合に画像補正データの補完を行う画像 補正データ補完部 1 9と、 上記画像補正データ算出部 1 8または画像補正データ補完部 1 W

9により生成された補正データに基づいて上記画像表示部 1 3に表示するための画像デー タを補正する画像補正部 2 0と、 を有して構成されている。

上記補完対象領域手動設定部 1 5は、 上記テストパターン撮影部 1 4から出力されるテ ストパターンの撮影データを上記モユタ 3 bに表示させるテストパターン撮影画像表示部 2 2と、 このモニタ 3 bに表示されたテストパターンの撮影データを見ながら操作者が上 記マウス 3 c等を用いて補完対象領域を指定する操作を行うと、 その手動による操作に応 じて補完対象領域を設定するための補完対象領域指定部 2 3と、 を有して構成されている 上記補完対象領域自動検出部 1 6は、 上記テストパターン撮影部 1 4から出力されるテ ストパターンの撮影データに基づいて障害物の検出を行う障害物検出部 2 5と、 この障害 物検出部 2 5の検出結果に基づいて補完対象領域を判定する補完対象領域判定部 2 6と、 を有して構成されている。

ここに、 テストパターン撮影部 1 4はデジタルカメラ 4に、 画像表示部 1 3はプロジェ クタ 1およびスクリーン 5に、 画像補正部 2 0は画像処理装置 2に、 それぞれ対応してい る。

また、 その他の構成要素、 すなわち、 制御部 1 1、 テストパターン生成部 1 2、 補完対 象領域手動設定部 1 5、 補完対象領域自動検出部 1 6、 撮影データ補完部 1 7、 画像補正 データ算出部 1 8、 画像補正データ補完部 1 9は、 コンピュータ 3に対応している。 このコンピュータ 3に対応する構成要素の中でも、 特に、 テストパターン撮影画像表示 部 2 2はモユタ 3 bに、 補完対象領域指定部 2 3はマウス 3 c (あるいはキーボード 3 d ) に、 それぞれ対応している。

なお、 障害物センサ 7を用いる場合には、 上記障害物検出部 2 5がこれに対応すること になる。

図 3は、 上述したようなマルチプロジェクシヨンシステムの表示特性補正システムの作 用の概要を示すフローチヤ一トである。

上述したような構成が、 マルチプロジェクションシステムの表示特性補正システムとし て機能する際には、 コンピュータ 3のオペレーティングシステム上において、 表示特性補 正データの算出プログラムが実行されている。

まず、 制御部 1 1の制御に基づいて、 テストパターン生成部 1 2により、 表示特性を補 正するためのテストパターンデータが生成される （ステップ S 1 ) 。 このテストパターン データは、 画像表示装置の、 幾何特性、 色特性、 輝度特性、 ホワイトパランス特性、 ガン マ特性、 等の表示特性を明確化するように構成されたものであり、 さらに加えて、 障害物

6の位置や形状を明確化するように構成されたものとなっている。 該テストパターンデー タは、 1つのみで複数の表示特性の補正データを算出することができるようにしても構わ ないが、 補正対象とする表示特性毎に異なるテストパターンデータを生成するようにして も構わない。

上記テストパターン生成部 1 2により生成されたテストパターンデータは、 画像表示部 1 3に送られて、 テストパターンとして表示される （ステップ S 2 ) 。 具体的には、 テス トパターンデータが画像処理装置 2により各プロジェクタ 1に対応する部分画像データに 変換され、 各プロジェクタ 1がこれらの部分画像データを投影することにより、 スクリー ン 5上にテストパターンが表示される。

スクリーン 5に表示されたテストパターンは、 テストパターン撮影部 1 4、 つまりデジ タルカメラ 4により撮影され、 撮影データとして出力される （ステップ S 3 ) 。

この撮影データは、 コンピュータ 3の本体 3に設けられたインターフェースを介して内 部のバッファメモリやあるいはハードディスク等に格納される。

コンピュータ 3において実行されている表示特性補正データの算出プログラムは、 撮影 データを受け取ると、 補完対象領域を手動で設定するか自動で設定するかを判断する （ス テツプ S 4 ) 。 この判断は、 例えば、 該表示特性補正データの算出プログラムが表示する 操作画面のチェックマークが、 補完対象領域の自動設定を行うチェックボックスと手動設 定を行うチェックボックスとの何れに付されているかにより判断するようになっている。 ここで、 手動設定が選択されていると判断された場合には、 取得した撮影データを補完 対象領域手動設定部 1 5のテストパターン撮影画像表示部 2 2、 つまりモニタ 3 bに表示 して、 撮影されたテストパターンを該モニタ 3 b上で確認することができるようにする （ ステップ S 5 ) 。

そして、 操作者が補完対象領域指定部 2 3、 つまりマウス 3 c等を用いることにより、 補完対象領域の指定を手動により行うと、 該操作に応じて C P Uが補完対象領域の設定を 行う （ステップ S 6 ) 。 このときに補完対象領域を範囲指定するために用いる図形の形状 は、 四角形、 三角形、 円形、 自由多角形、 自由曲線など、 どのような形状のものでも構わ ないが、 2次元な領域を指定することができる形状のものを用いる必要がある。 また、 障 害物 6が複数存在することもあるために、 領域を複数設定することも可能となっている。 また、 上記ステップ S 4において、 自動設定が選択されていると判断された場合には、 補完対象領域自動検出部 1 6の障害物検出部 2 5が障害物検出を行い、 その結果検出され た障害物に該当する画像領域を、 補完対象領域判定部 2 6が、 上記テストパターンデータ に係る画像を正常に含んでいない領域として認識し、 該領域を含むように補完対象領域を 自動的に設定する （ステップ S 7 ) 。

ここに、 上記障害物検出部 2 5による障害物の検出は、 上記図 1に示したような障害物 センサ 7による検出結果に基づき行っても良いし、 あるいは上記撮影データを解析するこ とにより行っても構わないし、 両方を兼用して用いるようにしても良い。

撮影データを解析する場合は、 例えば、 次のようにして行う。 一例として、 表示特性と して輝度特性を補正する場合に、 高輝度のテストパターンデータを作成すれば、 障害物が 存在すると、 その部分が相対的に低輝度となる。 従って、 ある閾値を設定して、 この閾値 よりも輝度が低い領域を補完対象領域と設定することが考えられる。 さらに精度を高める ために、 高輝度のテストパターンデータと、 低輝度のテストパターンデータと、 の両方を 作成する例については後述する。

また、 補完対象領域判定部 2 6は、 障害物が存在する領域もしくはその近傍のみを補完 対象に指定するとは限らず、 その他の要因により、 表示特性を補正するための画像データ として用いるに適さない領域や、 演算処理を容易に行うための設定領域も、 補完対象領域 と判定するようになっている。

その他の要因が存在するケースとしては、 上述したように、 スクリーン 5にフレーム部 材が配置されていてその影部分がある場合、 あるいは通常のモニタを複数台配列して大画 面を構成したとき等の表示画面同士の間の部分がある場合、 が挙げられる。

さらには、 例えば、 プロジェクタ 1がテストパターンをスクリーン 5に投影する際に、 光束が広がり過ぎた （投影画角が大きすぎた） とすると、 テストパターンデータに係る画 像の全てがスクリーン 5に表示されない （つまり、 画像の方がスクリーン 5の表示領域よ りも大きい） 場合がある。 この場合にスクリーン 5の表示領域を撮影して得られる撮影デ ータは、 テストパターンに係る画像の全てを含んでいないことになる。 このような撮影デ ータに基づいて表示特性補正データを求めても、 テストパターンに係る画像の全てに関す る表示特性補正データは得られない。 これに対して、 後で投影画角を含む表示特性の調整 を行えば、 適切な画角での投影が行われることになるために、 表示特性補正データとして は、 表示対象となる画像データの全てに対する表示特性補正データが必要となる。 従って 、 テストパターンに係る画像の内のスクリーン 5に表示されていない部分についても補完 対象領域として設定し、 この補完対象領域についても他の補完対象領域と同様に表示特性 補正データを算出する必要がある。

また、 演算処理を容易に行うための設定領域としては、 障害物の輪郭が複雑な形状であ る場合に、 補完対象領域を、 該障害物を含むように例えば矩形に設定する場合が挙げられ る。

従って、 補完対象領域判定部 2 6は、 上述したような領域についても、 必要に応じて補 完対象領域であると判定するようになっている。

こうして上記ステップ S 6またはステップ S 7で設定された補完対象領域に関しても、 補完処理を行うことにより、 表示特性補正データを算出することになるが、 このときに、 大まかに次のような 2つの方法がある。 1つは、 補完対象領域の撮 データを補完により 求めて、 全領域に関する撮影データを算出してから、 全領域の表示特性補正データを算出 する方法である。 もう 1つは、 補完対象領域以外の領域の撮影データに基づいて補完対象 領域以外の領域の表示特性補正データを算出し、 該補完対象領域以外の領域の表示特性補 正データから補完対象領域の表示特性補正データを算出する方法である。

従って、 ここで、 補完対象が撮影画像 （つまり、 撮影データ） である力、否かを判断する (ステップ S 8 ) 。 この判断についても、 例えば、 表示特性補正データの算出プログラム が表示する操作画面のチェックマークが、 補完対象を撮影画像にするチェックボックスと 表示特性補正データにするチェックボックスとの何れに付されているかにより判断するよ うになつている。

ここで、 撮影画像が選択されている場合には、 上述したように、 まず、 補完対象領域の 撮影データを、 補完対象領域以外の領域の撮影データから補完することにより求める （ス テツプ S 9 ) 。

そして、 算出された全領域の撮影データに基づいて、 全領域の表示特性補正データを算 出し （ステップ S 1 0 ) 、 この処理を終了する。

一方、 上記ステップ S 8において、 補完対象が撮影画像でない場合には、 補完対象領域 も含めた撮影データの全てに基づいて表示特性補正データを算出する力否かを判断する （ ステップ S 1 1 ) 。

ここで、 撮影データの全てを用いない場合には、 該撮影データの内の補完対象領域以外 の部分に基づいて、 表示特性補正データを算出する （ステップ S 1 2 ) 。 また、 上記ステップ S I 1において、 撮影データの全てを用いる場合には、 該撮影デー タに基づいて、 表示特性補正データを算出する （ステップ S 1 3 ) 。 このように表示特性 補正データの算出を、 補完対象領域を除いた領域で行うことができるだけでなく、 補完対 象領域を考慮することなく全撮影データについて行うことも可能となっている。

こうして、 ステップ S 1 2またはステップ S 1 3で求められた表示特性補正データに基 づき、 正常な撮影データに係る表示特性補正データが未だ求められていない補完対象領域 について、 捕完を行うことにより、 表示特性補正データを求めて （ステップ S 1 4 ) 、 こ の処理を終了する。

なお、 上記ステップ S 4において、 補完対象領域を自動的に検出する設定がなされてい る場合には、 上記ステップ S 7において撮影データに基づき実際の検出処理を行っている が、 これに限るものではなく、 補完対象領域を設定することなく （障害物 6を考慮するこ となく） ステップ S 1 3における全撮影データに関する表示特性捕正データの算出を行つ た後に、 算出された表示特性補正データに基づいて、 補完対象領域の自動検出を行うよう にすることも可能である。

すなわち、 上述した例と同様に、 表示特性としての輝度特性を補正するために、 高輝度 のテストパターンデータを作成した場合には、 障害物が存在すると、 その部分が相対的に 低輝度となる。 このような撮影データを用いて表示特性補正データを作成すると、 該低輝 度の部分については、 他の部分に比べて輝度を大幅に上昇させるような捕正データが作成 されることになる。 従って、 補正データを解析して、 適宜の閾値を越えるデータ部分を障 害物が存在する部分であると見なして、 該部分を含むように補完対象領域を設定すればよ い。 このように、 補完対象領域は、 撮影データに基づいて設定するに限るものではない。 こうして、 補完対象領域を操作者が任意に設定することが可能であるとともに、 該操作 者による補完対象領域の設定を必要とすることなく障害物の判定から最終的な表示特性補 正データの算出までの一連の流れを自動的に行うことも可能となっている。

上述したようにコンピュータ 3により算出された表示特性補正データの内の、 電子的な 画像補正に用いられるデータ部分は、 画像処理装置 2に送信されて、 該画像処理装置 2に おいて、 表示対象となる画像データの補正が行われる。

また、 上記コンピュータ 3により算出された表示特性補正データの内の、 手動による調 整作業が必要な部分については、 該コンピュータ 3のモニタ 3 bに調整項目などとして表 示され、 作業員やユーザによる調整が行われることになる。 手動による調整作業が必要な 部分の例としては、 プロジェクタ 1の投影光学系に電動ズーム機能がない場合の上記投影 画角の調整や、 あるいは各プロジェクタの投影方向の調整などが例として挙げられる。 も ちろん、 これらを電動により調整可能となるように構成しても良いが、 装置全体のコスト や重量等を考慮すると、 ある程度の調整部分については手動により行うようにする方が効 率的と考えられるからである。

なお、 図 2に示した構成では、 テストパターン生成部 1 2により生成したテストパター ンデータを画像表示部 1 3に直接出力することも可能であるが、 画像補正部 2 0を介して 出力しても構わない。 この場合には、 1回目のテストパターンデータは画像補正部 2 0に より何等の捕正を行うことなく画像表示部 1 3に出力し、 このテストパターンによって算 出された表示特性補正データを画像補正部 2 0に設定した後に、 2回目のテストパターン データ （例えば、 1回目のテストパターンデータと同一でも構わない） を該画像補正部 2 0により補正した後に画像表示部 1 3により表示させて、 その撮影データから再度、 表示 特性補正データを算出すれば、 より精度を高めることが可能となる。 このように、 表示特 性を補正する精度を高めるために、 再帰的に調整を行うようにしても構わない。

次に、 図 4から図 7は、 補完対象領域を自動的に検出するための手段の一例を説明する ための図であり、 図 4は、 撮影領域 3 1内に障害物 6が位置している例を示す図である。 この図 4に示すような場合において、 補完対象領域を検出するには、 例えば以下のよう に行う。

まず、 テストパターン生成部 1 2により輝度の高い画像に対応するテストパターンデー タを生成して、 画像表示部 1 3により表示させ、 図 5に示すような画像を撮影する。 ここ に図 5は、 障害物が存在する下で輝度の高いテストパターンを撮影したときの撮影データ を示す図である。 撮影データ 3 2には、 障害物 6に係る画像部分 6 aが含まれている。 次に、 テストパターン生成部 1 2により輝度の低い画像に対応するテストパターンデー タを生成して、 画像表示部 1 3により表示させ、 図 6に示すような画像を撮影する。 ここ に図 6は、 障害物が存在する下で輝度の低いテストパターンを撮影したときの撮影データ を示す図である。 撮影データ 3 3には、 同様に、 障害物 6に係る画像部分 6 aが含まれて いる。

これらの撮影データ 3 2 aと撮影データ 3 3 aとを比較すると、 テストパターンに係る 部分は輝度の変化が大きいはずであり、 逆に、 輝度の変化が小さい部分が障害物 6に係る 画像部分 6 aであると推定することができる。 従って、 図 7に示すように、 この障害物 6に係る画像部分 6 aを含むように、 多少のマ 一ジンを設けながら、 撮影データ 3 4中の補完対象領域 3 5を設定するようになっている 。 ここに図 7は、 撮影データ中の補完対象領域をマージンを設けながら設定する様子を示 す図である。 なお、 このマージンは、 障害物 6に係る画像部分 6 aが、 それ以外の画像部 分に影響を及ぼす可能性があったり、 障害物 6が、 スクリーン 5を撮影するデジタルカメ ラ 4の被写界深度內にないためにボケが発生していたり、 といったことを取り除くために 設定するものであり、 任意の幅に設定することが可能となっている。

また、 このときの補完対象領域 3 5は、 障害物 6の画像部分 6 aの輪郭に沿つて設定す ることも可能であるが、 処理の容易さ等を考慮して、 障害物 6の画像部分 6 aを含む任意 の形状 （例えば矩形形状） にとるようにしても構わない。

なお、 ここでは、 高輝度と低輝度の 2つのテストパターンを表示して、 これらのテスト パターンを比較すること （例えば、 両方の撮影データの差分をとるなど） により障害物 6 の画像部分 6 aを自動検出して精度の向上を図っているが、 障害物 6との輝度差が明確で ある場合などには、 1つのテストパターンによって自動検出を行い、 処理時間を短縮する ことも可能である。 具体的には、 上述したように、 高輝度のテストパターンを表示して、 撮影データ中の所定の輝度以下の部分を障害物 6と推定するなどである。

さらに、 表示するテストパターンの輝度を異ならせるに限るものではなく、 表示するテ ストパターンの色を異ならせる、 あるいは特定のテクスチャのテストパターンを表示する 、 などにより障害物 6を検出することも可能である。 加えて、 障害物 6がスクリーン 5よ りもデジタルカメラ 4に近接した側に位置すること力 ら、 A F技術を応用した距離検出に よって障害物 6を自動検出するようにしても構わないし、 いわゆる画像認識技術を用いて 障害物 6を自動的に検出することも可能である。 特に、 あらかじめ撮影画像における障害 物の形状が大まかに分かっている場合には、 パターンマッチングなどの一般的に知られて いる画像に対する形状の認識技術の内の、 該障害物の形状を検出するのに適したものを選 択して、 障害物が占める領域の検出に用いるようにすると良い。 もちろん、 上述したよう な技術を組み合わせることにより、 より高精度な障害物検出を行うようにしても良い。 次に、 図 8および図 9を参照して、 撮影データの補完方法の一例について説明する。 図 8は撮影データ中における補完対象領域の様子の一例を示す図、 図 9は補完対象領域以外 の領域の撮影データを用いて該補完対象領域の撮影データを補完する様子を示す図である 。 この撮影データの補完処理は、 上記図 3に示したステップ S 9において行われるもので W ある。

例えば、 図 8に示すように、 撮影データ 3 7中に、 障害物 6に係る画像部分が検出され て、 補完対象領域 6 b , 6 cが設定されたとする。

このときに、 例えば補完対象領域 6 bについて、 図 9に示すように、 補完処理を行う。 この図 9は、 上記図 8における補完対象領域 6 bの部分を拡大した様子を示している。 ここでは、 補完対象領域 6 b内の各着目点における撮影データを、 該捕完対象領域 6 b の外側となる周辺近傍の撮影データに基づいて、 該着目点と周辺近傍との距離を考慮して 重み付けを行いながら、 補完する処理を行う。

例えば、 補完対象領域 6 b内の中心点 3 8を着目点とすると、 該中心点 3 8の上方の周 辺近傍からの寄与分 （下向き矢印 3 9 dに示す） と、 該中心点 3 8の下方の周辺近傍から の寄与分 （上向き矢印 3 9 uに示す） と、 は同等であり、 同様に、 該中心点 3 8の左方の 周辺近傍からの寄与分 （右向き矢印 3 9 rに示す） と、 該中心点 3 8の右方の周辺近傍か らの寄与分 （左向き矢印 3 9 1に示す） と、 は同等となる。

また、 着目点が周辺近傍の何れかに近い場合には、 その重み付けを重くし、 逆に周辺近 傍の ¼れかから遠い場合には重み付けを軽くする、 などを行うことになる。 この重み付け の具体的な例については、 後で図 1 2を参照して説明する。

このようにして、 補完対象領域 6 b内の全ての点を着目点として、 順に補完データを作 成することにより、 該捕完対象領域 6 b全体の補完を行う。

そして、 上記補完対象領域 6 cについても、 この補完対象領域 6 bと同様に補完処理を 行うことになる。

なお、 ここでは、 着目点と周辺近傍との距離に基づいて、 撮影データの相関関係を推定 して補完するようにしたが、 特定のパターンが繰り返されるようなテストパターンデータ の場合には、 それを考慮した相関関係を推定して補完を行うようにすると良い。

また、 撮影データの補完処理は、 画像を構成する画素を単位として行っても構わないが 、 ここで行う補完処理は、 表示特性補正データを算出するための処理であるために、 必ず しも画素単位といった詳細な精度で処理を行う必要はない。 そこで、 例えば複数画素を 1 プロックとしてまとめて、 このブロック単位で補完処理を行うようにしても構わない。 こ の場合には、 処理時間を大幅に短縮することが可能となる利点がある。

さらに、 ここでは撮影データを補完する場合について説明したが、 同様の補完方法を、 表示特性補正データを補完する場合に適用することも可能である。 次に、 図 1 0および図 1 1を参照して、 表示特性補正データの補完方法の一例について 説明する。 図 1 0は表示特性補正データ中における補完対象領域の様子の一例を示す図、 図 1 1は補完対象領域以外の領域の表示特性捕正データを用いて該補完対象領域の表示特 性補正データを補完する様子を示す図である。 この表示特性補正データの補完処理は、 上 記図 3に示したステップ S 1 4において行われるものである。

補完対象領域以外の領域の撮影データに基づいて表示特性補正データを算出すると、 該 補完対象領域以外についての表示特性補正データが得られる。 これが例えば図 1 0に示す ようになったとする。

この図 1 0に示す例においては、 画像を構成する画素を所定数まとめてプロックとして 扱い、 このブロックを単位として表示特性補正データの算出を行うようになっている。 こ の表示特性捕正データ 4 1の左端部には、 縦長の補完対象領域 6 eが存在し、 さらに、 該 表示特性補正データ 4 1の中程やや右側には、 略 L字形状の補完対象領域 6 dが存在して いる。 なお、 実際の表示特性補正データは、 画像上の各位置 （各ブロック位置、 あるいは 1プロックを 1画素とした場合には各画素位置） に対応する表示特性補正データの集合体 であって、 2次元状の画像データ的な表示が行われるわけではないが、 この図 1 0および 図 1 1においては、 画像データの同一位置に対応した視覚的な図示を行っている。

このような補完前の表示特性補正データに基づレ、て、 捕完対象領域 6 d , 6 eに係る表 示特性補正データの補完処理を行うが、 ここでは、 これらの内の補完対象領域 6 dの表示 特性補正データを補完する処理について、 図 1 1を参照して説明する。

この表示特性補正データの補完処理においては、 補完対象領域 6 dを少なくとも 1部で も含むプロックについて、 該着目プロックに近接するプロックの表示特性補正データを、 例えばコピーすることにより行う。

具体的には、 補完対象領域 6 dに完全に含まれているプロック 4 2の表示特性補正デー タを、 補完対象領域 6 d以外の領域において、 該ブロック 4 2に最も近接しているブロッ ク 4 3の表示特性補正データからコピーすることにより、 補完を行う。

また、 補完対象領域 6 dに一部が含まれているブロック 4 5の表示特性補正データにつ いても、 補完対象領域 6 d以外の領域において、 該ブロック 4 5に最も近接しているプロ ック 4 6の表示特性補正データからコピーすることにより、 補完を行う。

なお、 補完対象領域 6 dに一部が含まれているブロック 4 4の表示特性補正データに,つ いては、 該ブロック 4 4の右側に隣接するブロックが補完対象領域 6 d以外の領域のプロ ックとして最も近接しているために、 該プロックの表示特性補正データを用いるようにし ても構わないが、 処理を簡略ィ匕するために、 上記ブロック 4 6の表示特性捕正データを上 記ブロック 4 5へコピーする際に、 該プロック 4 4へもまとめてコピーする処理も可能で ある。

このときの処理をどのように行うかについては、 補正対象としている表示特性の種類に 応じて、 または生成したテストパターンに応じて、 あるいは補完対象領域の大きさや形状 などに応じて、 最適な処理 （つまり、 処理時間が短く精度の良い結果を得られるような処 理） を選択すれば良い。

なお、 補完をコピーにより行う場合、 例えば、 画像の上側から下側に向けてブロック毎 にコピーするような場合には、 同一のデータが縦方向に並ぶことになるために、 縦方向の 縞模様のパターンが生成されてしまうことになる。 従って、 このような場合には、 補完後 のデータ （補完後の撮影データ、 または補完後の表示特性補正データ） をぼかすようなフ ィルタ処理を行うと良い。

また、 ここでは補完対象領域 6 dに近接する該補完対象領域 6 d以外の領域の表示特性 補正データを、 コピーすることにより、 該補完対象領域 6 dの表示特性補正データを補完 するようにしたが、 これに限るものではなく、 補完対象となるプロックと補完元のプロッ クとの距離やパターンなどの相関関係に応じて、 複数プロックの表示特性補正データに重 み付けをして補完するようにしても構わないことは勿論である。

上述したようなコピーによる表示特性補正データの補完処理は、 例えば表示特性が色特 性であるときに用いるのに適した処理となっている。

次に、 図 1 2は、 重み付けによる補完方法を説明するための図である。 この図 1 2に示 すような重み付けによる補完方法は、 撮影データの補完処理に適用しても良いし、 表示特 性補正データの補完処理に適用しても構わない。

補完対象領域内のデータ （撮影データ、 または表示特性補正データ） を、 補完対象領域 以外の領域のデータに基づいて補完をする際に、 単にコピーを行うよりも、 相関関係を考 慮してより自然な補完を行うようにした例について説明する。 この図 1 2に示す例は、 着 目ブロック （あるいは着目画素） のデータを、 その近傍のブロック （あるいは画素） のデ ータから、 距離を相関関係とした重み付けを行って算出するようにしたものである。 データ 5 1において、 図中の太線で囲んだ領域が補完対象領域 6 f である。 この補完対 象領域 6 f における例えば左上角のプロック 5 2を補完する場合について説明する。 該ブロック 5 2に近接し、 かつ補完対象領域 6 f以外の領域のプロックは、 該プロック 5 2の上隣のブロック 5 3と、 左隣のブロック 5 4と、 左上隣のプロック 5 5と、 である 。 従って、 プロック 5 2のデータを、 これらのブロック 5 3， 5 4， 5 5のデータに基づ き補完するが、 その際に距離を考慮して、 ブロック 5 3 , 5 4のデータを 2という割合で 考慮するとすると、 ブロック 5 5のデータについては 1という割合で考慮する。 すなわち 、 ブロック 5 3 , 5 4 , 5 5のデータをそれぞれ X， Υ, Zとすると、 プロック 5 2のデ —タは、 （2 X + 2 Y + Z ) Z 5として算出される。

なお、 ここでは加重平均を取ることによりブロック 5 2のデータを算出しているが、 そ のデータの増減が 1次関数的でない場合には、 それに適した算出法を用いることは勿論で める。

このような演算を、 補完対象領域 6 f 内の全てのブロックについて行うことによって、 該補完対象領域 6 f に関するデータを全て取得することができる。

また、 ここで説明した算出法は、 データが、 撮影データである場合と、 表示特性補正デ ータである場合と、 の何れにも適用することが可能である。

続いて、 図 1 3から図 1 5を参照して、 表示特性としての幾何特性を補正する例につい て説明する。 図 1 3は幾何特性を補正するためのテストパターンの撮影データに障害物が 含まれている様子を示す図、 図 1 4はテストパターン中のマーカを補完する様子を示す図 、 図 1 5は幾何的な歪みが発生しているときのテストパターン中のマーカ補完の様子を示 す図である。

幾何特性の補正を行う際には、 テストパターン生成部 1 2は、 例えば十文字形状をなす マーカが適宜の間隔で 2次元的に配列されたテストパターンデータを作成するようになつ ている。

このようなテストパターンを画像表示部 1 3により表示した際に、 障害物 6が存在する と、 マーカの一部がテストパターン撮影部 1 4により撮影されないことになる。

すなわち、 撮影データ 6 1において、 斜線で示す部分が障害物 6の存在している部分を 含む補完対象領域 6 gであるとする。 このときには、 該捕完対象領域 6 gに本来含まれて いるはずのマーカ 6 2が欠損することになる。

上記撮影データ補完部 1 7は、 この欠損したマーカ 6 2の座標情報 （より詳しくは、 マ 一力の十文字形状が交差する点の座標情報） を、 撮影データ 6 1の補完対象領域 6 g以外 の部分に基づいて算出するようになっている。 まず、 撮影データ 6 1の補完対象領域 6 g以外に含まれるマーカ 6 2の座標検出は、 次 のように行われる。

テストパターン生成部 1 2によって生成されたテストパターンデータに基づいて、 マー 力 6 2が含まれると考えられるマーカ検出領域 6 3を各マーカ 6 2毎に設定し、 該マーカ 検出領域 6 3内においてマーカ 6 2の自動的な検出をそれぞれ行う。 このマーカ検出領域 6 3を設定するのは、 全領域を検出対象とした場合に比して処理時間を短縮することがで きるためである。 これにより、 補完対象領域 6 g以外のマーカ 6 2の座標が検出される。 マーカ 6 2の 2次元的な配列が例えば格子点の配列となっている場合には、 各マーカを 、 行インデックスと列インデックスとを用いて指定することができる。 このようなインデ ッタスの内の欠落しているものが、 補完対象領域 6 g内における欠損するマーカ 6 2のィ ンデックスとなる。 例えば、 図 1 3に示す例においては、 2つのマーカ 6 2が欠損してい るが、 インデックスを （行， 列） として表すとすると、 これらの内の一方は （4， 4 ) と いうインデックスになり、 他方は （5， 4 ) というインデックスとなる。

補完を行う場合には、 欠損するマーカ 6 2 (複数存在する場合にはその内の 1つ） を上 述したような行ィンデックスおよび列ィンデックスにより指定して、 この着目している欠 損マーカ 6 2と行インデックスが同一のマーカ 6 2を第 1のマーカ群として選び、 さらに 該着目している欠損マーカ 6 2と列インデックスが同一のマーカ 6 2を第 2のマーカ群と して選ぶ。

そして図 1 4に示すように、 第 1のマーカ群に含まれるマーカ 6 2の各座標に基づいて 、 横方向の並びの直線 6 3 hを推定し、 同様に、 第 2のマーカ群に含まれるマーカ 6 2の 各座標に基づいて、 縦方向の並びの直線 6 3 Vを推定する。

こうして推定した 2つの直線 6 3 h， 6 3 Vが交差する点の座標 6 2 aが、 着目してい る欠損マーカ 6 2の座標の推定値となる。

また、 例えば図 1 5に示すような弓形の幾何的な歪みが生じている場合には、 直線で推 定することはできない。 この場合には、 第 1のマーカ群に含まれるマーカ 6 2の各座標か ら、 例えばスプライン補間によって横方向の並びの曲線 6 3 h， を推定することになる。 そして、 第 2のマーカ群に含まれるマーカ 6 2の各座標に基づいて推定した縦方向の並 ぴの直線 6 3 Vと、 この曲線 6 3 h， と、 が交差する点の座標 6 2 bとして、 着目してい る欠損マーカ 6 2の座標を推定することができる。

さらに、 横方向の並びだけでなく、 縦方向の並びについても歪みが生じている場合には 、 第 2のマーカ群についてもスプライン補間等を行うことになる。

なお、 ここでは曲線を推定するアルゴリズムとして、 スプライン補間を例に挙げたが、 これに限らずラダランジェ捕間などの種々のァルゴリズムを採用することができる。 このような補完に用いるアルゴリズムは、 画像表示部 1 3の表示面の特性 （例えば、 凹 面や凸面となっているなど） や、 テストパターン撮影部 1 4の撮影特性 （例えば、 撮影光 学系の歪曲収差など） などに応じて、 最適なものを採用することが望ましい。

こうして補間を行うことにより、 画像全体のマーカ 6 2の位置が確定する。 その後は、 これらのマーカ 6 2が本来の表示位置になるように、 幾何補正データを算出することにな る。 この幾何補正データの算出は、 具体的には、 例えば上記特開平 9一 3 2 6 9 8 1号公 報に記載されているような技術を用いれば良い。

次に、 図 1 6から図 1 9を参照して、 表示特性としての色特性を補正する例について説 明する。 図 1 6は色特性を補正するためのテストパターンの撮影データを示す図、 図 1 7 は色特性を補正するためのテストパターンの撮影データに障害物が含まれている様子を示 す図、 図 1 8はテストパターンの撮影データを小さいプロックに区分する様子を示す図、 図 1 9は小さいブロックに区分された撮影データに障害物が含まれている様子を示す図で ある。

色補正を行うときには、 幾何補正や輝度補正を行うときとは異なる、 図 1 6に示すよう な撮影データ 7 1内に設定される色情報測定領域 7 2〜7 6を用いるようになっている。 これらの色情報測定領域 7 2〜 7 6の内の何れかが、 例え一部でも障害物により遮られた 場合、 つまり図 1 7に示すように、 撮影データ 7 1上における色情報測定領域 7 2〜 7 6 がー部でも欠損した場合には、 色補正に影響を与えてしまうことになる。

さらに、 撮影データ 7 1上において色情報測定領域 7 2〜7 6と障害物とが全く重なつ ていなくても、 撮影データ 7 1が撮影装置の光学系のフレアの影響などを受けることによ り、 障害物部分が色情報測定領域 7 2〜 7 6に影響を与え、 色補正用のデータを正確に取 得できないことがある。

色補正に対するこうした影響を低減するために、 以下のような補完を行うようにしてい る。 但し、 撮影データ上に障害物が存在したとしても、 色情報測定領域に影響を及ぼすこ とがない場合には、 この補完処理を省略することが可能である。

ここでは、 上記図 3のステップ S 9におけるような、 撮影データを補完する例について 説明する。 撮影データが、 図 1 7に示すようになった場合、 つまり色情報測定領域 7 2〜 7 6の内 の中央部に位置する色情報測定領域 7 2が、 障害物 6により遮蔽されて、 障害物の像 6 h となっている場合には、 該障害物の像 6 hを含むようにマージンを設けながら、 補完対象 領域 7 7を設定する。 この補完対象領域 7 7の設定を例えば上記ステップ S 6において手 動で行う場合には、 図示のように、 マウス 3 c等を用いて画面上のポインタを移動させ、 例えば 4箇所の点 7 7 a , 7 7 b , 7 7 c , 7 7 dをクリックするなどにより領域設定す る。

なお、 ここでは 4箇所の点を入力して矩形状の領域を設定したが、 点の数を増減させれ ば、 三角形状や多角形状の領域を設定することも可能である。

また、 このときのマージンの幅は、 例えば、 上述したようなフレア等の影響を受ける可 能性がある領域まで含むようにとると良い。

さらに、 ここでは、 手動により補完対象領域を設定したが、 自動による設定を行うこと も可能であるのは上述した通りである。

このようにして設定した補完対象領域 7 7に対して、 例えば上記図 1 2において説明し たような方法により、 撮影データの補完を行うことになる。

なお、 上述では、 色情報測定領域を円形としているが、 もちろんこれに限るものではな く、 矩形としても構わないし、 その他の形状を採用することも可能である。 また、 1つの 色情報測定領域の大きさも、 変更することが可能である。 さらに、 色情報測定領域の数を 、 上記図 1 6に示した例では 5つとしているが、 これを減らすことも增やすことも可能、 すなわち、 1つから、 全領域を網羅することができる数まで、 任意に設定することが可能 となっている。

ここで、 図 1 8は、 マス目で示される色情報測定領域の数を多く （例えば最大に） して 、 全領域 7 8を網羅するようにした例を示している。 この場合でも、 障害物の像 6 hが存 在する場合には、 図 1 9に示すように、 補完対象領域 7 7を設¹定して、 同様に補完処理を 行えばよい。

また、 表示特性としての輝度特性を補正する場合には、 上述したような幾何特性を補正 するテストパターンや、 色特性を補正するテストパターンと兼ねることも可能であるし、 白一色で構成されるテストパターン （あるいは、 それに座標位置を決めるための格子点な どを組み込んだテストパターン） を用いても良い。

このような輝度特性の補正においても、 上述したような手動または自動により補完対象 領域を設定し、 設定した補完対象領域に対して、 コピーによる補完や、 相関関係を考慮し た補完を行うことにより、 輝度が均一となるようにすれば良い。 ただし、 輝度特性は、 自 然な輝度分布となるように補正することが重要であるために、 相関関係を考慮した補完を 行うことが望ましい。

データが、 輝度の補正量を γ値の十一補正係数によって扱うものであり、 相関関係とし て上述したような距離を用いる場合には、 上記図 1 2のプロック 5 2を補完する際に、 上 述したような算出式 （2 Χ + 2 Υ + Ζ ) / 5を用いることができる。

図 2 0は、 撮影装置による撮影範囲が画像表示装置による表示領域よりも狭いときの様 子を示す図である。

上述したように、 画像表示装置の表示領域 5 aに表示された画像を全て撮影することが できないのは、 有体物である障害物が撮影装置 4と画像表示装置の表示領域 5 aとの間に 存在する場合だけではない。 この図 2 0に示すように、 例えば撮影装置 4の設置位置が限 られていて （つまり、 室内などで撮影装置 4をそれ以上画像表示装置から遠ざけることが できない場合など） 、 画像表示装置の表示領域 5 aの全てを撮影範囲 4 a内にとらえきれ ない場合がある。

あるいは、 これとは逆に、 上述したように、 画像表示装置が投影型のものである場合に 、 投影する光束がスクリーンよりも広がって、 テストパターンデータをスクリーン上に全 て表示することができない場合もある。

さらに、 図 2 1は、 画像表示装置の表示画面内に構造上の枠が存在する様子を示す図で ¾る。

この図 2 1に示したような例では、 スクリーン 5に配置された枠 8 1の部分にはテスト パターンが表示されず、 さらに、 該枠 8 1の近傍において表示されるテストパターンも、 該枠 8 1の影等の影響を受けることが考えられる。 該図 2 1に該当するケースとしては、 スクリーン 5の平面性を保持するために枠部材を用いて骨組み構造が形成されている場合 や、 複数のモニタ等を配列することにより大画面を構成している場合などが挙げられる。 これらの図 2 0や図 2 1に示すようなケースであっても、 テストパターンデータに係る 画像の内の、 撮影装置により撮影されなかった部分 （あるいは、 それにマージンを設けた 部分） を補完対象領域に設定すれば、 上述と同様に補完処理を行うことにより、 テストパ ターンデータに係る画像の全範囲に対する表示特性捕正データを算出することが可能とな る。 なお、 取得された撮影データが、 テストパターンデータに係る画像の全部を正常に含ん でいないケースとしては、 これらに限るものではなく、 その他にも例えば、 画像表示装置 の表示領域の湾曲形状や、 撮影装置の撮影光学系の収差などの影響により、 撮影データに 係る画像の周辺部などが歪んだりぼけたりしたときの、 該周辺部分が挙げられ、 さらに、 画像表示装置の表示領域に外光 （例えば、 室内の照明光、 太陽光、 空の自然光、 波の反射 光など） による写り込みが発生したときの該写り込み部分が挙げられる。

これらの場合にも、 その正常とはいえな 、領域を含むように補完対象領域を設定するこ とにより、 上述と同様の補完処理を行うことが可能となる。

特に、 上記収差等による周辺部分の補完処理を行う場合には、 例えば正常な撮影データ が得られている画像の中心から、 撮影データが正常でない画面の周辺に向かって、 放射状 にデータをコピーするなどが考えられる。

また、 画像表示装置の表示領域が湾曲形状となっているケースとは、 例えばスクリーン を凹面状に形成するケースや、 C R Tを用いた画像表示装置の表示領域が凸面状になって いるケース、 例えば円筒形の壁面に沿って配置されるアーチ型スクリーン、 あるいは、 例 えばブラネタリゥム等に使用される半球形のドーム型スクリーンなどが、 具体的に挙げら れる。

そして、 上述では、 補完対象領域の設定を、 自動的に行うか、 または手動で行うかを選 択するようにしているが、 これに限らず、 例えばまず自動で行って、 その後に手動により 任意に変更するようしても良い。 これによれば、 操作者の負担を減らしながら、 人間の視 覚を用いたより高精度の領域設定を行うことが可能となる。

なお、 障害物 6の設定は、 セッティングを変更しない限り、 一度行えば足りるが、 必要 に応じて、 補正対象とする表示特性の種類毎に （つまり、 輝度特性を補正対象とする場合 、 幾何特性を補正対象とする場合、 色特性を捕正対象とする場合、 などの各々において） 設定することも可能である。

また、 上述では画像表示部として投影型の画像表示装置であるプロジェクタ 1およびス クリーン 5を用いているが、 本発明はこれに限定されるものではなく、 例えば、 プラズマ ディスプレイや液晶ディスプレイを用いた画像表示部にも同様に適用することが可能であ る。

さらに、 上述したような表示特 1"生を補正するシステムは、 プロジェクシヨンシステムに のみ適用されるものではなく、 C R Tモニタや液晶モニタ等の画像表示装置、 あるいはこ れらを複数台組み合わせて構成されるマルチタイプの画像表示装置に対しても、 適用する ことが可能である。

このような実施形態によれば、 テストパターンを撮影して得られる撮影データ力 テス トパターンデータに係る画像の全てを正常に含んでいない場合でも、 画像全体に関する表 示特性捕正データを算出することが可能となる。

従って、 撮影装置と画像表示装置との間に障害物が存在したり、 撮影装置による撮影範 囲から画像表示装置の表示領域がはみ出したり、 画像表示装置の表示領域内に枠等の構造 物があったり、 する場合でも、 これらの要因を取り除くことなく、 画像全体に関する表示 特性補正データを算出して、 高品位な画像を表示することが可能となる。

また、 表示特性補正データの算出を、 捕完対象領域を除いた領域で行う場合には、 処理 データが少なくなるために、 処理時間を短縮することが可能となる。

一方、 表示特性補正データの算出を、 補完対象領域を考慮することなく全撮影データに ついて行ってから、 その後に補完対象領域の表示特性補正データを無効にして補間する場 合には、 表示特性補正データの算出までの処理を、 従来のソフトウェアや装置等を用いて そのまま行うことができるために、 補完部分だけをァドオンタイプの処理モジュールゃ処 理装置として付加するだけで、 正確な表示特性補正データを算出することが可能となる。 従って、 既に開発されているソフトウェアや装置を有効に活用することができ、 開発コス トを削減することが可能となる。

なお、 本発明は上述した実施形態に限定されるものではなく、 発明の主旨を逸脱しない 範囲内において種々の変形や応用が可能であることは勿論である。 産業上の利用可能性

以上説明したように本発明の表示特性補正データの算出方法、 表示特性補正データの算 出プログラム、 表示特性補正データの算出装置によれば、 テストパターンを撮影して得ら れる撮影データが、 テストパターンデータに係る画像の全てを正常に含んでいない場合で も、 画像全体に関する表示特性補正データを算出することができ、 高品位な画像を表示す ることが可能となる。

Claims

1 · テストパターンデータに基づき画像表示装置にテストパターンを表示し、 上記テストパターンを撮影して撮影データを取得し、

取得した撮影データに基づき上記画像表示装置の表示特性を補正するための捕正データ を算出する、 表示特性補正データの算出方法であって、

取得された上記撮影データが、 上記テストパターンデータに係る画像の全部を正常に含

一一口盲

んでいない場合には、 該正常に含んでいない領域を含むように補完対象領域を設定し、 該 補完対象領域以外の領域に基づいて該補完対象領域の補完を行うことにより、 補完対象領 の

域の補正データを含む、 上記テストパターンデータに係る画像の全部に関する補正データ 、 を算出することを特徴とする表示特性補正データの算出方法。

2 , 上記画像表示装置にテストパターンを表示す囲るに先だって、 上記テストパターンデ ータを生成することを特徴とする請求の範囲第 1項に記載の表示特性補正データの算出方 法。

3. 上記表示特性は、 幾何特十生、 色特性、 輝度特性、 ホワイトバランス特性、 ガンマ特 性、 の内の少なくとも 1つを含むことを特徴とする請求の範囲第 1項または第 2項に記載 の表示特性捕正データの算出方法。

4. 上記補完対象領域の捕正データの算出は、

上記補完対象領域以外の領域の撮影データに基づいて上記補完対象領域の撮影データを 補完することにより上記テストパターンデータに係る画像の全部に関する撮影データを取 得し、

取得された撮影データに基づいて上記テストパターンデータに係る画像の全部に関する 補正データを算出することにより、

行われるものであることを特徴とする請求の範囲第 1項から第 3項の何れか 1項に記載 の表示特性補正データの算出方法。

5 . 上記補完対象領域の補正データの算出は、

上記補完対象領域以外の領域の撮影データに基づいて、 該補完対象領域以外の領域の補 正データを算出し、

算出された補完対象領域以外の領域の補正データに基づいて上記補完対象領域の補正デ ータを補完することにより、 行われるものであることを特徴とする請求の範囲第 1項から第 3項の何れか 1項に記載 の表示特性補正データの算出方法。

6 . 上記補完対象領域の補正データの算出は、

上記撮影データに基づいて、 該撮影データに係る画像の全領域の補正データを算出し、 算出された補正データの内の補完対象領域以外の領域の補正データに基づいて上記補完 対象領域の補正データを補完することにより、

行われるものであることを特徴とする請求の範囲第 1項から第 3項の何れか 1項に記載 の表示特性補正データの算出方法。

7. 上記補完対象領域を設定するに先だって、 上記撮影データに係る画像を表示し、 表示した画像に係る手動による操作に応じて、 上記補完対象領域を設定するものである ことを特徴とする請求の範囲第 1項から第 6項の何れか 1項に記載の表示特性補正データ の算出方法。

8 . 上記補完対象領域は、 上記撮影データを解析することにより、 上記テストパターン データに係る画像を正常に含んでいない領域を認識した結果に基づいて、 該領域を含むよ うに自動的に設定されるものであることを特徴とする請求の範囲第 1項から第 6項の何れ か 1項に記載の表示特性補正データの算出方法。

9. 上記撮影データの解析は、 複数のテストパターンデータに対応する複数の撮影デー タ同士を比較することにより行われるものであることを特徴とする請求の範囲第 8項に記 載の表示特性補正データの算出方法。

1 0. 上記補完対象領域は、 上記撮影データに係る画像の全領域の補正データを解析す ることにより、 上記テストパターンデータに係る画像を正常に含んでいない領域を認識し た結果に基づいて、 該領域を含むように自動的に設定されるものであることを特徴とする 請求の範囲第 6項に記載の表示特性補正データの算出方法。

1 1 . 上記撮影データの解析は、 複数のテストパターンデータに対応する複数の撮影デ ータに係る画像の全領域の補正データ同士を比較することにより行われるものであること を特徴とする請求の範囲第 1 0項に記載の表示特性補正データの算出方法。

1 2 . 上記補完対象領域を設定するに先だって、 障害物検出装置を用いて障害物を検出 し、

上記捕完対象領域は、 検出された障害物に該当する画像領域を、 上記テストパターンデ ータに係る画像を正常に含んでいない領域として認識した結果に基づいて、 該領域を含む ように自動的に設定されるものであることを特徴とする請求の範囲第 1項から第 6項の何 れか 1項に記載の表示特性補正データの算出方法。

1 3 . 上記補完対象領域のデータの補完は、 該補完対象領域以外の領域のデータをコピ 一することにより行われるものであることを特徴とする請求の範囲第 1項に記載の表示特 性補正データの算出方法。

1 4. 上記補完対象領域のデータの補完は、 該捕完対象領域以外の領域のデータから、 所定の相関関係に基づき算出されるものであることを特徴とする請求の範囲第 1項に記載 の表示特性補正データの算出方法。

1 5 . 上記所定の相関関係は、 上記補完対象領域内における補完対象部分の位置と、 上 記補完対象領域以外の領域における補完元のデータが存在する位置と、 の距離であること を特徴とする請求の範囲第 1 4項に記載の表示特性補正データの算出方法。

1 6 . 上記画像表示装置は、 画像を投影するプロジェクタと、 このプロジェクタにより 投影される画像を表示するスクリーンと、 を有してなるプロジェクション装置であること を特徴とする請求の範囲第 1項に記載の表示特性補正データの算出方法。

1 7. 上記画像表示装置は、 部分画像を各投影する複数のプロジェクタと、 これら複数 のプロジェクタにより投影される画像を表示するスクリーンと、 を有し、 上記プロジェク タにより上記スクリーンに投影される部分画像をその辺縁において隣接する部分画像に重 畳領域をもつて重ね合わせながら配列することにより全体として一画像を構成するように なされたマルチプロジェクション装置であることを特徴とする請求の範囲第 1項に記載の 表示特性補正データの算出方法。

1 8 . コンピュータに、

テストパターンデータに基づき画像表示装置にテストパターンを表示させ、

上記テストパターンを撮影して撮影データを取得させ、

取得した撮影データに基づき上記画像表示装置の表示特性を補正するための補正データ を算出させるための、 表示特性補正データの算出プログラムであって、

取得された上記撮影データが、 上記テストパターンデータに係る画像の全部を正常に含 んでいない場合には、 該正常に含んでいない領域を含むように補完対象領域を設定させ、 該補完対象領域以外の領域に基づいて該補完対象領域の補完を行わせることにより、 補完 対象領域の捕正データを含む、 上記テストパターンデータに係る画像の全部に関する補正 データ、 を算出させることを特徴とする表示特性補正データの算出プログラム。

1 9 . テストパターンデータに基づき画像表示装置に表示させたテストパターンを撮影 して撮影データを取得する撮影装置と、

取得した撮影データに基づき上記画像表示装置の表示特性を補正するための捕正データ を算出する演算装置と、

を具備し、

上記演算装置は、 取得した上記撮影データが、 上記テストパターンデータに係る画像の 全部を正常に含んでいない場合には、 該正常に含んでいない領域を含むように補完対象領 域を設定し、 該補完対象領域以外の領域に基づいて該補完対象領域の補完を行うことによ り、 補完対象領域の補正データを含む、 上記テストパターンデータに係る画像の全部に関 する補正データ、 を算出するものであることを特徴とする表示特性捕正データの算出装置