JPWO2019187510A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

撮像の際のアーティファクトにより投影画像のセンシング精度が悪化する。そこで撮像画像の現像を行う情報処理装置は、投影装置が投影するテストパターンに応じた補間方向情報を用いて補間処理を行う。即ちテストパターンの投影画像を撮像した画像信号に対して、取得した補間方向情報に応じた補間方向での画素情報の補間処理を行うようにする。これによりアーティファクトを抑え、センシング精度を向上させる。

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、特に投影装置のキャリブレーションのためにおこなう投影画像の撮像・現像についての技術分野に関する。

液晶プロジェクタ等の投影装置により投影されたスクリーン上の画像を撮像装置（カメラ）で撮像し、その撮像された画像に基づいて投影装置のキャリブレーションを行う場合がある。
下記特許文献１には、投影画像の色ずれ量の検出のためにカメラで投影画像を撮像することが記載されている。

特開平６−６８１６号公報

ところで、投影装置のキャリブレーション、例えば幾何補正等のために、投影画像における各画素の識別情報（例えば水平垂直方向の画素ナンバ）を撮像画像上で得たい場合がある。即ちスクリーン上の投影画像の各画素についての撮像された画像データ上の位置（対応点）を判定したい。
このために、所定のテストパターンを投影し、これを撮像・現像することで得られた撮像画像から、投影画像の画素位置を検出することがおこなわれる。

ところが撮像の際の現像処理における補間処理によりアーティファクト（画像処理過程で発生するデータ誤りや信号歪み）が生じる場合がある。
通常、補間処理では撮像された画像から補間方向を検波し、適応的に補間方向を選択して補間処理を行う。補間を行うことで解像度の維持又は高解像度化ができるため、補間処理は高精細な画像撮像に適している。しかし補間方向の検波を誤るとアーティファクトが生じてしまう。例えば高周波のパターン画像などは方向検波に失敗しやすい。
このアーティファクトにより撮像画像の精度、即ち投影画像の画素位置の検出精度が悪化してしまい、精度のよいキャリブレーションの障害となることがある。

そこで本技術は投影画像を撮像する際に、適切な補間処理が行われるようにし、もって投影画像の画素位置の検出精度を向上させることを目的とする。

本技術に係る情報処理装置は、投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う補間処理部を備える。
このような本技術は、液晶プロジェクタ等の投影装置のキャリブレーションのためにテストパターンを投影し、それを撮像装置で撮像して、撮像画像上で投影画像の画素の対応点を検出する場合を想定している。撮像された画像信号は現像処理において補間処理が行われる。このときに個々のテストパターンに応じた補間方向で補間処理が行われるようにする。

上記した本技術に係る情報処理装置においては、前記テストパターンは複数用意され、各テストパターンは複数のテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされ、前記投影装置は前記複数のテストパターンを順次投影させるものとされる場合に、前記補間処理部は、前記投影装置が前記複数のテストパターンのそれぞれを投影させる際に、当該投影対象のテストパターンに応じた前記補間方向情報に基づいた補間方向での画素情報の補間処理を行うことが考えられる。
テストパターンは、複数枚のセットで、その撮像画像から投影画像の各画素の識別情報（例えば画素の水平・垂直方向のナンバ）を表現できるパターン画像とする。この場合、投影装置は各テストパターンを順次投影し、それを撮像（センシング）していくことになるが、情報処理装置は、各テストパターンの撮像の際にそれぞれに応じた補間方向情報に基づいて補間処理を行う。

上記した本技術に係る情報処理装置においては、前記補間処理部が補間処理を行った前記複数のテストパターンに対応する画像信号を用いて、投影画像における各画素の識別情報をデコードする撮像画像デコード部を備えることが考えられる。
テストパターンが、複数枚のセットでそれらの撮像画像から投影画像の各画素位置を表現できるパターン画像である場合、その複数枚の撮像画像（現像した画像信号）を用いて各画素の識別情報を求める。

上記した本技術に係る情報処理装置においては、前記補間方向情報は、画素の相関性のある方向が水平方向であるか垂直方向であるかを示す情報であることが考えられる。
テストパターンは、例えば水平方向にストライプ状となったパターン画像や、垂直方向にストライプ状となったパターン画像を想定する。この場合、画素の信号値の相関性のある方向（相関方向）は、水平方向にストライプ状となったパターン画像の場合は水平方向で、垂直方向にストライプ状となったパターン画像の場合は垂直方向である。補間方向情報はこのような相関方向を示す情報とする。

上記した本技術に係る情報処理装置においては、前記補間処理部は、前記補間方向情報により垂直方向が示された場合は垂直方向の画素を用いた垂直補間処理を行い、前記補間方向情報により水平方向が示された場合は水平方向の画素を用いた水平補間処理を行うことが考えられる。
つまり画素の相関性のある方向が垂直方向か水平方向かを認識して、それに応じて垂直補間処理又は水平補間処理を行う。

上記した本技術に係る情報処理装置においては、前記補間方向情報に応じた補間方向で、ノイズリダクションのための平滑化処理を行う現像部を備えることが考えられる。
ノイズリダクションのための平滑化に関しても、画素の相関性のある方向の画素間で行うようにすることで、情報のつぶれが生じないようにすることができる。

上記した本技術に係る情報処理装置においては、前記投影装置が投影するテストパターンに応じた前記補間方向情報を取得する情報取得部を備えることが考えられる。
これにより補間処理部がテストパターンに応じた補間情報を取得できるようにする。
上記した本技術に係る情報処理装置においては、前記情報取得部は、前記投影装置との通信により送信されてきた前記補間方向情報を取得することが考えられる。
例えば投影装置が、投影するテストパターンに応じて補間方向情報を生成し、情報処理装置に送信してくるようにする。

上記した本技術に係る情報処理装置においては、前記情報取得部は、前記投影装置の情報を取得して前記補間処理部又は撮像を行う撮像部の制御に供することが考えられる。
例えば投影装置の情報として、投影画像の輝度情報、フォーカス情報、機種情報などを取得するようにする。

本技術に係る情報処理方法は、撮像された画像信号について補間処理を行う情報処理装置による情報処理方法として、投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う。
本技術に係るプログラムは、上記情報処理方法を実現する処理を、撮像された画像信号について現像処理を行う情報処理装置に実行させるプログラムである。
これにより情報処理装置により適切な方向での補間処理が行われるようにする。

本技術によれば、投影されるテストパターンに応じた適切な補間方向で補間処理が行われるようになり、これによりアーティファクトを発生させず、投影画像の画素位置の検出精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態の投影システム構成例の説明図である。 実施の形態の投影システム構成例の説明図である。 実施の形態のプロジェクタ、撮像装置及び情報処理装置のブロック図である。 実施の形態の情報処理装置のハードウエア構成のブロック図である。 実施の形態で行われる画素位置検出のためのテストパターン投影の説明図である。 実施の形態で行われるテストパターンのセンシングの説明図である。 補間処理のエラーによるアーティファクトの説明図である。 実施の形態の垂直補間と水平補間の説明図である。 実施の形態による現像画像の説明図である。 実施の形態の効果を示す説明図である。 実施の形態の処理のフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．投影システムの構成例＞
＜２．テストパターンを用いた画素位置の検出の際の補間処理＞
＜３．処理手順＞
＜４．まとめ及び変形例＞

＜１．投影システムの構成例＞
実施の形態の投影システムについて説明する。
実施の形態の投影システムは、例えば図１Ａのようにプロジェクタ１、撮像装置２、情報処理装置３を有する。

プロジェクタ１は投影装置の一例としての例えば液晶プロジェクタである。プロジェクタ１は投影光学系１０を備え、スクリーン１００に画像投影を行う。
撮像装置２は撮像素子を備えて画像撮像が可能とされた機器である。撮像装置２はスクリーン１００に投影された画像を撮像可能に配置される。この撮像装置２としては一般的なデジタルスチルカメラを用いてもよいし、この投影システムに専用のカメラを用いてもよい。
この撮像装置２は必ずしも固定配置されている必要はない。特に後述するテストパターンの撮像の際など必要なときに設置されるものでもよい。

情報処理装置３は、撮像装置２の撮像素子で撮像された撮像画像信号（ロウ（RAW）画像信号）に対する現像処理を行う装置として示している。
この図１Ａの構成例の場合、情報処理装置３は撮像装置２に内蔵される部位としている。例えば撮像装置２の撮像素子により得られた撮像画像信号が入力され、現像処理を行う画像信号処理プロセッサが情報処理装置３となる。従って情報処理装置３は、例えば画像処理プロセッサとして機能するマイクロコンピュータ、ＣＰＵ（Central Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等を含む部位として実現される。
後述するように情報処理装置３は、少なくともプロジェクタ１から情報を取得する情報取得部（図３の現像情報取得部２５）と補間処理を含む現像処理を行う現像処理部（図３の現像部２３）を備えた装置となる。

この図１Ａの構成の場合、プロジェクタ１と撮像装置２（情報処理装置３）は通信可能に接続され、情報の送受信が可能とされる。
情報処理装置３によっては、現像した撮像画像データから投影画像の画素の位置情報をデコードする処理を行う。この情報を用いてプロジェクタ１のキャリブレーションを行うことができる。

投影システムのプロジェクタ１、撮像装置２、情報処理装置３の構成例は、図１Ａの例に限らず、例えば図１Ｂ、図２Ａ、図２Ｂのような構成例も想定される。

図１Ｂの場合、情報処理装置３は撮像装置２に内蔵された装置であるとともに、撮像装置２はプロジェクタ１に内蔵された例である。即ちプロジェクタ１、撮像装置２、情報処理装置３が一体的な装置として構成されている。

図２Ａは、プロジェクタ１、撮像装置２、情報処理装置３がそれぞれ別体の装置として構成される例を示している。
撮像装置２は、例えば撮像素子により得た撮像画像信号（ロウ画像信号）を情報処理装置３に送信する。
情報処理装置３は、撮像装置２から供給される撮像画像信号に対する現像処理を行う。
情報処理装置３はプロジェクタ１と通信可能とされている。

図２Ｂは、撮像装置２、情報処理装置３がプロジェクタ１に内蔵された例であるが、撮像装置２とされる部位とは別に情報処理装置３とされる部位が設けられる例である。例えばプロジェクタ１内の撮像ユニットとして信号処理系を含む撮像装置２が設けられるが、本実施の形態としての機能を有する情報処理装置３は、他のマイクロコンピュータなどとしてプロジェクタ１に内蔵されるような例である。この情報処理装置３は、例えばプロジェクタ１の投影動作制御系のマイクロコンピュータなどとして実現されることもある。

以上の各例のように、プロジェクタ１、撮像装置２、情報処理装置３を有する投影システムの構成例は各種考えられる。
以下では、図１Ａの構成例に沿って詳細を説明するが、その説明は他図１Ｂ、図２Ａ、図２Ｂのような構成の場合にも適用できるものである。

図３にプロジェクタ１、撮像装置２、情報処理装置３の構成例を示す。
プロジェクタ１は、投影光学系１０、画像信号処理部１１、画像入力部１２、テストパターン発生部１３、制御部１４、現像情報生成部１５、通信部１６を有する。

画像入力部１２は、画像ソースとなる外部装置からの画像信号ＰＳを入力する。画像入力部１２は画像信号ＰＳを各画像信号処理部１１に供給する。
画像信号処理部１１は、入力された画像信号ＰＳに対し、各種補正処理、ガンマ処理、色処理、輝度処理、コントラスト調整、シャープネス調整、表示画像を作るための入力画像の切り出し、拡大・縮小等の各種処理を行い、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の画像信号を投影光学系１０に供給する。
なお、画像信号処理部１１での補正処理としては、幾何補正、位置ずれ補正、レンズボケ補正等としての補正フィルタ処理が含まれる。これにより、各種補正された画像信号としてのＲ信号、Ｇ信号、Ｂ信号が投影光学系１０に供給される。

投影光学系１０は、例えば光源部、光変調部、投影レンズ系等を有し、Ｒ、Ｇ、Ｂの画像信号に基づいて画像投影を行いスクリーン１００に画像を表示させる。
例えば投影光学系１０における光源部としては、ＬＥＤ（Light Emitting Diode）、レーザー光源、キセノンランプ、水銀ランプ等の各種の光源が考えられる。
投影光学系１０における光変調部としては、一例としてＲ、Ｇ、Ｂの液晶ライトバルブが想定される。即ち投影光学系１０では、画像信号処理部１１からのＲ、Ｇ、Ｂの画像データを受け、これにより液晶駆動信号としてのＲ画像信号、Ｇ画像信号、Ｂ画像信号を生成し、Ｒ、Ｇ、Ｂの液晶ライトバルブに供給して、赤色画像、緑色画像、青色画像を表示させる。
投影光学系１０内では、光源部からの光がＲ光、Ｇ光、Ｂ光に分離され、それぞれがＲ、Ｇ、Ｂの液晶ライトバルブを通過することで、赤色画像、緑色画像、青色画像の投影光が形成される。これらが合成されて、投影レンズ系から投射されることで、カラー画像がスクリーン１００に投影表示されることになる。
投影レンズ系では、このような投射を行うとともに、投影画像のフォーカス調整、画像サイズ調整、投影角度調整等も可能とされている。
なお、以上は透過型液晶プロジェクタとしての構成例となるが、反射型液晶プロジェクタとしての構成も考えられる。

テストパターン発生部１３は後述するテストパターンＴＰとしての画像信号を発生させる。テストパターンとしての画像信号は画像信号処理部１１で処理される。そして投影光学系１０によってテストパターン画像が投影される。
このテストパターンＴＰは、プロジェクタ１のキャリブレーションのための投影画像であり、プロジェクタ１による投影画像の画素位置の検出のために撮像装置２によって撮像される投影画像である。
特に本実施の形態の場合、テストパターンは複数用意され、各テストパターンは複数のテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされている。テストパターンＴＰの具体例は後述する。

現像情報生成部１５は、投影表示するテストパターンの別や、制御部１４の指示に基づいて、現像情報を生成する。
現像情報とは、情報処理装置３における現像処理に利用できる情報であり、この現像情報には、補間方向情報が含まれる。詳細は後述する。

通信部１６は、情報処理装置３の通信部２６との間で各種のデータや制御信号の通信を行う部位である。通信方式は有線通信であってもよいし、無線通信であってもよい。また、図１Ｂ、図２Ｂのようにプロジェクタ１と情報処理装置３が一体装置内であれば、装置内の配線による通信であればよい。

制御部１４はプロジェクタ１の動作制御を行う。例えば画像信号処理部１１における各種処理の制御、投影光学系１０における液晶パネルやレンズ動作の制御、テストパターン発生部１３によるテストパターン発生制御、現像情報生成部１５に対する情報生成指示、通信部１６を介した通信の制御などを行う。

撮像装置２は撮像部２１、制御部２２、現像部２３、撮像画像デコード部２４、現像情報取得部２５、通信部２６、格納部２７を有する。
この図３の例では、制御部２２、現像部２３、撮像画像デコード部２４、現像情報取得部２５、通信部２６、格納部２７を含む部分を情報処理装置３としているが、これは一例である。

撮像部２１は、撮像のためのレンズ系や、被写体光を光電変換して撮像画像信号を出力する撮像素子（イメージャ）を有する。
撮像部２１により図１Ａ等に示したスクリーン１００に投影された投影画像が撮像され、その撮像画像信号が現像部２３に供給される。

制御部２２は撮像部２１による撮像動作を制御する。
また制御部２２は、例えば通信部２６を介したプロジェクタ１との通信により検知されるタイミングで撮像部２１の撮像動作を実行させるような制御も可能とされる。例えばプロジェクタ１のキャリブレーションのためにテストパターンの投影を行っているタイミングで撮像装置２が自動的に撮像を行うように撮像部２１の画角、撮像方向、レリーズタイミング等を制御するようにもできる。
さらに制御部２２は、現像部２３の処理，格納部２７の記憶再生、撮像画像デコード部２４の処理、現像情報取得部２５の処理の指示も行う。

現像部２３は、撮像部２１の撮像素子により得られた撮像画像信号（ロウ画像信号）に対して現像処理を行う。
具体的には現像部２３は例えば、ＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。そして現像部２３は、撮像素子からの撮像画像信号に対して、前処理部、ＹＣ処理、補間処理、記録用や通信用の符号化としてのコーデック等を行って、現像された画像データを生成する。
特に図３では、現像部２３において補間処理を行う補間処理部２３ａを示しているが、この補間処理部２３ａはテストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う。
なお、補間処理部２３ａは、必ずしも現像部２３内に設けられなくてもよく、現像部２３を構成するプロセッサ等とは別体のプロセッサ等により形成されてもよい。

格納部２７は現像された画像データを格納する。例えば多数のテストパターンが順次投影されるような場合、各テストパターンの投影画像を撮像した画像データがそれぞれ格納される。

撮像画像デコード部２４は、多数のテストパターンの撮像画像データに基づいて、投影画像の各画素の位置情報（水平垂直方向の画素ナンバ）のデコードを行う。このデコード処理による位置情報Ｄｄｃは、プロジェクタ１のキャリブレーションに用いられる。

通信部２６はプロジェクタ１の通信部１６に対応する通信部である。
現像情報取得部２５は、プロジェクタ１から送信され通信部２６により受信された情報のうちで、現像処理に用いることのできる現像情報を抽出し取得する。この現像情報には補間方向情報が含まれる。現像情報取得部２５が取得した現像情報により、現像部２３や撮像画像デコード部２４の動作が制御される。

本実施の形態では、例えば以上のような機能を備えたプロジェクタ１、撮像装置２、情報処理装置３が構成される。
なお、補間処理部２３ａを少なくとも含む情報処理装置３、或いはさらに現像部２３や現像情報取得部２５とを含む情報処理装置３は、撮像装置２の内部に構成される他、図２Ａのように別体の装置とされてもよい。
その場合、情報処理装置３は汎用のパーソナルコンピュータを用いて実現してもよい。さらにはスマートフォン等の携帯端末装置を用いて実現することもできる。いずれにしても情報処理装置３は演算処理能力を持つ装置であれば適用可能であり、内部のマイクロコンピュータ等の演算装置が所定のソフトウエアに基づいて処理を行うことで、少なくとも補間処理部２３ａとしての機能、或いはさらに現像部２３や現像情報取得部２５としての機能を実行できるものとされればよい。
なお、情報処理装置３は、例えばプロジェクタ１とオンラインで常時接続されても良いし、通常時はオフラインの装置とされて、プロジェクタ１と時限的な通信を行うものでもよい。

情報処理装置３は、例えば図４のようなハードウエア構成で実現することができる。
図４に示すように情報処理装置３は、ＣＰＵ１５１、ＲＯＭ（Read Only Memory）１５２、ＲＡＭ（Random Access Memory）１５３を有して構成される。
ＣＰＵ１５１は、ＲＯＭ１５２に記憶されているプログラム、または記憶部１５９からＲＡＭ１５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１５３にはまた、ＣＰＵ１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１５１、ＲＯＭ１５２、およびＲＡＭ１５３は、バス１５４を介して相互に接続されている。このバス１５４にはまた、入出力インタフェース１５５も接続されている。

入出力インタフェース１５５には、液晶パネル或いは有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ１５６、キーボード、マウスなどよりなる入力部１５７、スピーカ１５８、ＨＤＤ（Hard Disk Drive）などより構成される記憶部１５９、通信部１６０などが接続可能である。

ディスプレイ１５６は情報処理装置３と一体でも良いし別体の機器でもよい。例えば撮像画像の表示、演算結果の表示、操作メニュー表示などが行われる。
入力部１５７は、情報処理装置３を使用するユーザ（例えば投影システムの調整作業者）が用いる入力デバイスを意味する。
通信部１６０は周辺各部の機器との間の有線又は無線による通信を行う。通信部１６０はインターネットを含むネットワークを介しての通信処理を行うことで、例えば必要なソフトウエアをダウンロードしたり、各種情報を送信したりすることができるようにしても良い。

入出力インタフェース１５５にはまた、必要に応じてドライブ１６１が接続され、ドライブ１６１にメモリカード１６２が装着され、メモリカード１６２から読み出されたコンピュータプログラムが、必要に応じて記憶部１５９にインストールされたり、ＣＰＵ１５１で処理したデータが記憶される。もちろんドライブ１６１は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。

以上のように情報処理装置３は、コンピュータ装置としてのハードウエア構成を備える。
なお、実施の形態の情報処理装置３は、図４のようなハードウエア構成のコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ（Local Area Network）等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ（Virtual Private Network）等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
この図４のような構成のコンピュータ装置は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらにはコンピュータ装置としての機能を有する専用装置、モニタ装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置３としての機能を搭載することができる。例えば図２Ａのように情報処理装置３が撮像装置２と別体とされる場合は、これらの装置により本実施の形態の情報処理装置３が実現できる。
また図１Ａ、図１Ｂ、図２Ｂの構成の場合、情報処理装置３は、例えば図４のＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３、入出力インタフェース１５５を少なくとも備え、入出力インタフェース１５５を介して撮像装置２やプロジェクタ１と情報の授受を行うようにすれば良い。

＜２．テストパターンを用いた画素位置の検出の際の補間処理＞
上記の構成の本実施の形態の投影システムにおけるテストパターンを用いた画素位置の検出、及び検出のための現像の際の補間処理について説明する。

まず図５により、投影画像の画素位置の検出のためのテストパターンについて説明する。
図５Ａは、投影画像として例えば水平４０９６画素×垂直２１６０画素の構成を模式的に示している。画素数は一例である。
例えばこのような投影画像の各画素について、撮像画像から投影位置を検出するには、撮像画像から各画素の識別情報が検出できればよい。例えば画素の水平・垂直のナンバが検出できればよい。
仮に図５Ａの画素数の場合、水平方向の画素ナンバ０〜４０９５に関しては、「００００００００００００」〜「１１１１１１１１１１１１」の１２ビットで表現できる。また垂直方向の画素ナンバ０〜２１５９に関しては「００００００００００００」〜「１００００１１０１１１１」の１２ビットで表現できる。

そこで、例えば水平方向、垂直方向とも、１２ビットを表現できる１２個のテストパターンＴＰを用意する。
図５Ｂは水平方向の画素ナンバ検出のためのテストパターンＴＰｈ１〜ＴＰｈ１２を示している。
まずテストパターンＴＰｈ１は、水平方向の画素ナンバ０〜４０９５としての「００００００００００００」〜「１１１１１１１１１１１１」のＭＳＢ（most significant bit：最上位ビット）を集めた画像である。
つまり各画素の水平ナンバのＭＳＢを「０００・・・０００１１１・・・１１１」と４０９６個並べ、「０」を白、「１」を黒とした画像である。左側半分の画素はＭＳＢが「０」、右側半分の画素はＭＳＢが「１」なので、図のように白黒が左右に分かれた画像となる。

次にテストパターンＴＰｈ２は、同じく水平方向の画素ナンバ「００００００００００００」〜「１１１１１１１１１１１１」の上位から２番目のビット（説明上「２ＳＢ」（2nd significant bit）と表記する）を集めた画像である。図のように左右に１／４の画素数毎に白／黒／白／黒が分かれた画像となる。
テストパターンＴＰｈ３、ＴＰｈ４・・・ＴＰｈ１１は図示していないが、同様に、３番目のビット、４番目のビット・・・１１番目のビットが並べられたパターンとなり、徐々に垂直方向のストライプが狭くなっていくような画像となる。
最後のテストパターンＴＰｈ１２は、水平方向の画素ナンバ「００００００００００００」〜「１１１１１１１１１１１１」のＬＳＢ（least significant bit：最下位ビット）を集めた画像である。これは「０１０１０１・・・０１０１」というように、１画素毎に白／黒が変わる、最も細かい垂直ストライプの画像となる。

図５Ｃは垂直方向の画素ナンバ検出のためのテストパターンＴＰｖ１〜ＴＰｖ１２を示している。これも上記の水平方向と同様の考え方で形成された画像パターンとなる。
テストパターンＴＰｖ１は、垂直方向の画素ナンバ０〜２１５９としての「００００００００００００」〜「１００００１１０１１１１」のＭＳＢを集めた画像である。
テストパターンＴＰｖ２は、垂直方向の画素ナンバ「００００００００００００」〜「１００００１１０１１１１」の２ＳＢを集めた画像である。
テストパターンＴＰｖ３、ＴＰｖ４・・・ＴＰｖ１１は図示していないが、同様に、３番目のビット、４番目のビット・・・１１番目のビットが並べられたパターンとなり、徐々に水平方向のストライプが狭くなっていくような画像となる。
最後のテストパターンＴＰｖ１２は、垂直方向の画素ナンバ「００００００００００００」〜「１００００１１０１１１１」のＬＳＢを集めた画像である。これは「０１０１０１・・・０１０１」というように、１画素毎に白／黒が変わる、最も細かい水平ストライプの画像となる。

このように計２４個のテストパターンＴＰを用意する。
そして図６に模式的に示すように、これらのテストパターンＴＰを順番にスクリーン１００に投影する。投影画像９０はテストパターンＴＰの画像となる。
この投影画像９０を撮像装置２で撮像し、情報処理装置３で現像処理を行って撮像画像データ９１を得る。
プロジェクタ１による投影画像には幾何的な歪みが生じ、また撮像装置２が必ずしも完全に正対して撮像できるものではなく、さらには光学系の歪みもあるため、撮像した画像は完全には元のテストパターンＴＰと同形状とはならない。
そこで投影画像９０の各画素について、撮像画像データ９１上での位置検出を行うことで、対応がとれるようにする。
プロジェクタ１及び撮像装置２の位置関係や調整状態を同一の状態としたまま、上記の２４個のテストパターンの投影及び撮像を行うと、２４枚の撮像画像データ９１が得られる。各撮像画像データ９１には、テストパターンＴＰの画像９２が同一の形状で写されている。

ここで、１２個の水平方向の位置検出用のテストパターンＴＰｈ１〜ＴＰｈ１２のそれぞれの白／黒のパターンをデコードすることで、０〜４０９５の値が検出できる。つまり水平方向の画素位置が、撮像画像データ９１上でどの位置にあるかが検出できる。
同様に、１２個の垂直方向の位置検出用のテストパターンＴＰｖ１〜ＴＰｖ１２のそれぞれの白／黒のパターンをデコードすることで、０〜２１５９の値が検出できる。つまり垂直方向の画素位置が、撮像画像データ９１上でどの位置にあるかが検出できる。
これを組み合わせれば、投影画像の全ての画素の撮像画像データ９１上での位置（対応点）が検出できることになる。
このように投影画像の各画素の位置を撮像画像データ９１上で対応づけられることで、撮像画像データ９１を用いたキャリブレーションを正確に行うことができる。

ところが以上は、ＭＳＢからＬＳＢまでのテストパターンＴＰが正しく表現された撮像画像データ９１が得られることが前提となる。
実際には、撮像時のアーティファクトによるセンシング精度の悪化が生じる。
現像処理の際には、撮像された画像から補間方向を検波し、適応的に補間方向を選択して補間処理を行うことで、解像度の維持又は高解像度化を実現する。補間処理を行わなければセンシング精度が低下するためである。
ところが補間方向の検波を誤るとアーティファクトが生じてしまう。特にＬＳＢ用のテストパターンＴＰｖ１２、ＴＰｈ１２のような一様の高周波のパターン画像などは方向検波に失敗しやすい。
図７には補間処理のエラーを模式的に示している。例えば図７Ａはベイヤー配列の画素において、中央のＲ（赤）画素に足りない「Ｂ（青）」と「Ｇ（緑）」の成分を周囲の画素から補間する補間処理を示している。
この場合、例えば図７Ｂのような高周波パターンに対して補間処理を行うと、図７Ｃのようにモアレ、色偽が発生する。
ＬＳＢ用のテストパターンＴＰｖ１２、ＴＰｈ１２は、画素毎に０，１を繰り返すパターンとなるが、白／黒のパターンを１つ間違えると、隣の画素のナンバになってしまう。
このように補間処理のエラーにより、検出される画素位置の精度が悪化してしまい、精度のよいキャリブレーションの障害となることがある。

そこで本実施の形態では、情報処理装置３は、現像情報取得部２５がプロジェクタ１からテストパターンＴＰ毎の現像情報を受信する。そして現像部２３においては、各テストパターンＴＰの撮像画像の現像処理の際に、受信した現像情報に基づいた処理が行われるようにする。具体的には、現像部２３における補間処理部２３ａは、受信した現像情報に含まれる補間方向情報に基づいて、補間方向が決められるようにする。
例えばプロジェクタ１は、垂直方向に相関のある図８ＡのようなテストパターンＴＰｈ１２を投影する場合に、その垂直方向が相関方向であり、適切な補間処理方向であることを示す情報を生成し、情報処理装置３に送信する。情報処理装置３は、その補間方向情報を取得することで、撮像画像に対して図８Ｂに示す垂直補間を行う。即ち対象画素に対して垂直方向に隣接する２つの画素（又は垂直方向に並ぶ３以上の画素でもよい）を用いて補間処理を行う。
同様にプロジェクタ１は、水平方向に相関のある図８ＣのようなテストパターンＴＰｖ１２を投影する場合に、その水平方向が相関方向であり、適切な補間処理方向であることを示す情報を生成し、情報処理装置３に送信する。情報処理装置３は、その補間方向情報を取得することで、撮像画像に対して図８Ｄに示す水平補間を行う。即ち対象画素に対して水平方向に隣接する２つの画素（又は水平方向に並ぶ３以上の画素でもよい）を用いて補間処理を行う。

このように現像部２３でテストパターンＴＰの相関情報に従って適応的に補間方向を切り替える。
これにより高解像度の情報取得を行うことができ、それにともなってプロジェクタ投影画像の座標を高精度に算出することができる。
例えば図９ＡのテストパターンＴＰの撮像を行い現像した撮像画像データ９１を図９Ｂに示している。この図９Ｂの破線領域９５の拡大図を図９Ｃ、図９Ｄに示している。図９Ｃは本実施の形態の例で、補間方向情報に基づいて補間処理を行った場合、図９Ｄは比較例として図７Ａのような均等補間を行った場合である。
比較例の図９Ｄの場合、テストパターンＴＰにおけるストライプがつぶれてしまっているが、本実施の形態の図９Ｃの場合、ストライプパターンが正確に現像できている。

また、現像部２３ではノイズリダクション処理を行う場合もある。ノイズリダクション処理では、周囲の画素間で平滑化を行うことでノイズを低減する。
この場合にも、相関方向を示す補間方向情報に従って、その相関方向に平滑化処理を行うことで、ディテールを失うことなくノイズを低減することができる。

図１０は、実施の形態のように補間処理を行うことによるセンシング精度向上を比較例と比較したものである。
比較例は均等に補間を行った場合、実施の形態は図８のような垂直補間と水平補間を適応的に行った場合である。
説明の簡易化のため、座標系はＣ１列に示した一次元で扱う。
位置情報のセンシングでは、撮像画像上の座標（Ｃ１列）に対して、プロジェクタ１による投影画像の座標系の座標（Ｃ２列）が対応する。
投影画像の座標系の真値は小数精度である。
プロジェクタ１から座標情報を２進数化したデータ（テストパターンＴＰ）を投影し、センシングしたデータを比較例手法で得たビットデータ（Ｃ３列〜Ｃ６列）、および実施の形態で得たビットデータ（Ｃ９列〜Ｃ１２列）を示している。

比較例の手法では、最下位のビット（Ｃ６列）のデータが暴れているために、Ｃ３列〜Ｃ６列のビットデータを２進数→１０進数デコードした座標値（Ｃ７列）は正解（Ｃ２列）との誤差（Ｃ８列）が大きい。Ｃ８列下方に示した誤差二乗和は１３．９６となっている。
一方、実施の形態の手法では、最下位のビット（Ｃ１２列）のデータが安定的に求まるため、Ｃ９列〜Ｃ１２列のビットデータを２進数→１０進数デコードした座標値（Ｃ１３列）は正解（Ｃ２列）との誤差（Ｃ１４列）が小さい。Ｃ１４列下方に示した誤差二乗和は１．３３と小さい値となっている。
このように、実施の形態の補間手法を用いることで、センシング精度が格段に向上している。

＜３．処理手順＞
実施の形態の図３の構成例におけるプロジェクタ１、撮像装置２（情報処理装置３を含む）の処理例を図１１に示す。
図１１では左側にプロジェクタ１の処理、右側に撮像装置２及び情報処理装置３の処理を示している。
テストパターンＴＰとして図５Ｂ、図５Ｃで説明した１２個のテストパターンＴＰｈ１〜ＴＰｈ１２、ＴＰｖ１〜ＴＰｖ１２を用いる場合で説明する。

プロジェクタ１の処理では、ループ処理ＬＰ１として水平方向の処理と垂直方向の処理を行う。さらにループ処理ＬＰ１内でのループ処理ＬＰ２として、水平垂直の各方向で１２回づつステップＳ１０１〜Ｓ１０４を行うことになる。

例えばまずループ処理ＬＰ１の１回目として水平方向の位置検出のための投影を行う。この場合、ループ処理ＬＰ２としての１２回の処理で、テストパターンＴＰｈ１〜ＴＰｈ１２を順次投影していく処理を行う。
次にループ処理ＬＰ１の２回目として垂直方向の位置検出のための投影を行う。この場合、ループ処理ＬＰ２としての１２回の処理で、テストパターンＴＰｖ１〜ＴＰｖ１２を順次投影していく処理を行う。

プロジェクタ１の制御部１４は、まずステップＳ１０１ではテストパターン選択を行う。つまり、上記の順番でテストパターンＴＰを選択し、テストパターン発生部１３に、選択したテストパターンＴＰの出力を指示する。
ステップＳ１０２で制御部１４は、画像信号処理部１１及び投影光学系１０による、テストパターン投影を実行させる。

ステップＳ１０３で制御部１４は情報送信制御を行う。
制御部１４はテストパターンＴＰを投影したこと示す情報を撮像装置２に送信する。つまり撮像装置２にとっての撮像タイミングを通知する情報である。
またことのとき制御部１４は、ステップＳ１０１で選択したテストパターンＴＰに応じて、相関方向に応じた補間方向情報を含む現像情報を、現像情報生成部１５に生成させ、通信部１６から情報処理装置３に送信させる。

なおループ処理ＬＰ１として水平方向処理が行われている期間における１２回のループ処理ＬＰ２では、垂直ストライプ画像であるテストパターンＴＰｈ１〜ＴＰｈ１２が順次選択されて投影されるため、その期間は継続して相関方向は垂直方向である。従ってこの期間における１２回のステップＳ１０３では、毎回、補間方向情報として垂直方向を示すようにする。
もしくは、情報処理装置３側で、特に補間方向情報がなければ、相関方向は前回と同じと解釈するアルゴリズムが設けられていれば、１２回のうちの最初の１回のみ垂直方向を示す補間方向情報を送信するのみとしてもよい。
また、２回目以降は「前回と同じ」という意味の情報を送信してもよい。
一方、ループ処理ＬＰ１として垂直方向処理が行われている期間における１２回のループ処理ＬＰ２では、水平ストライプ画像であるテストパターンＴＰｖ１〜ＴＰｖ１２が順次選択されて投影されるため、その期間は継続して相関方向は水平方向である。従ってこの期間における１２回のステップＳ１０３では、毎回、補間方向情報として水平方向を示すようにする。もしくは、情報処理装置３が前回と同じと解釈できるのであれば１２回のうちの最初の１回のみ水平方向を示す補間方向情報を送信するのみとしてもよいし、２回目以降は「前回と同じ」という意味の情報を送信してもよい。

なおこのとき、制御部１４は現像情報には、補間方向情報に加えてボケ量情報を含むようにしてもよい。
制御部１４は、投影光学系１０に対するフォーカス制御情報を用いて、投影パターンのボケ量の情報を得ることができるため、そのボケ量情報も現像情報の１つとして、補間方向情報とともに情報処理装置３に送信するようにすることができる。

また現像処理に用いる現像情報に限らず、制御部１４は他の情報を情報処理装置３に送信してもよい。
例えば制御部１４は、投影画像の輝度（ゲイン）情報を送信するようにしてもよい。
さらには、制御部１４はプロジェクタ１の機種情報を送信することも考えられる。
なお、これらの情報は、特にテストパターンＴＰ毎に変化するものではないため、ループ処理ＬＰ２内のステップＳ１０３で毎回送信する必要はない。例えば最初に１回送信すればよい。

ステップＳ１０４で制御部１４は、情報処理装置３側での現像完了を待機する。情報処理装置３側から現像完了の通知が検知されたら、ループ処理ＬＰ２内の１回の処理を終える。
従ってプロジェクタ１の制御部１４は、１つのテストパターンＴＰを投影したら、そのテストパターンＴＰについての情報処理装置３側での現像処理が完了したことを確認して、次のテストパターンＴＰの投影に移ることになる。

撮像装置２及び情報処理装置３の処理も、ループ処理ＬＰ３として水平方向の処理と垂直方向の処理を行う。さらにループ処理ＬＰ３内でのループ処理ＬＰ４として、水平垂直の各方向で１２回づつステップＳ２０１〜Ｓ２０８を行うことになる。

ステップＳ２０１で撮像装置２（情報処理装置３）の制御部２２は、プロジェクタ１でテストパターンＴＰの投影が行われることを待機する。
上述のようにプロジェクタ１からはステップＳ１０３の処理で、テストパターンＴＰの投影の通知が送られてくる。制御部２２がこれを認識したら、制御部２２の処理はステップＳ２０１からＳ２０２に進み、現像情報取得部２５に、同じくプロジェクタ１から送信されてくる現像情報の取得を指示する。
現像情報取得部２５はこれにより、受信された情報のうちで現像情報、特に補間方向情報を読み取り、これを制御部２２に供給する。
なお、現像情報としてボケ量情報が含まれていれば、現像情報取得部２５はそのボケ量情報も読み出して現像部２３に供給する。
また制御部２２は、受信された情報として、投影画像の輝度（ゲイン）情報や、プロジェクタ１の機種情報が含まれていたら、それらを読み出して取得する。

ステップＳ２０３で制御部２２は、撮像部２１による撮像を実行させる。これによりテストパターンＴＰの投影画像が撮像されることになる。
なお、プロジェクタ１の制御部１４から輝度（ゲイン）情報を得ていた場合、制御部２２は、それに応じて撮像部２１の露出制御を高精度に行うことができる。
またプロジェクタ１の機種情報に応じた露出制御を行うこともできる。

ステップＳ２０４では制御部２２は、補間方向情報として示された相関方向により処理を分岐する。
制御部２２は相関方向として水平方向が示されていた場合はステップＳ２０５に進み、現像部２３の現像処理の際に補間処理部２３ａで水平補間処理を行うように指示する。
このとき制御部２２は現像部２３に、ノイズリダクション処理の平滑化方向を水平方向とするように指示してもよい。
また制御部２２は相関方向として垂直方向が示されていた場合はステップＳ２０６に進み、現像部２３の現像処理の際に補間処理部２３ａで垂直補間処理を行うように指示する。
このとき制御部２２は現像部２３に、ノイズリダクション処理の平滑化方向を垂直方向とするように指示してもよい。

またステップＳ２０５，Ｓ２０６のいずれの場合も制御部２２は、投影パターンのボケ量情報を得ていた場合、現像部２３に、ボケ量に応じた適切な強度のボケ復元処理を指示することができる。
さらに制御部２２は、現像部２３によるプロジェクタ１の機種情報に応じた劣化復元処理の強度を制御することもできる。

次に制御部２２はステップＳ２０７に進み、現像部２３による現像処理を行って得られた撮像画像データを格納部２７に記憶させる。
そしてステップＳ２０８で制御部２２は、プロジェクタ１の制御部１４に対して現像完了の通知を送信する。

以上のようにループ処理ＬＰ４としてのステップＳ２０１〜Ｓ２０８の処理が、プロジェクタ１側の動作と連係して行われる。
これにより、プロジェクタ１側で２４個のテストパターンＴＰが順次投影される際に、撮像装置２側では、順次撮像・現像が行われ、２４枚の撮像画像データが格納部２７に格納されることになる。

以上の処理を終えたら、制御部２２はステップＳ２１０に進み、２４枚の撮像画像データを格納部２７から読み出してデコード処理を行う。
これによって投影画像の各画素の位置情報（水平垂直の画素ナンバ）を、撮像画像データから取得し、撮像画像データ上での投影画像の各画素の対応点を検出することができる。

そして以上の処理においては、補間処理が画像の相関方向に応じて行われることで、位置情報センシングの精度が向上される。

＜４．まとめ及び変形例＞
以上説明してきた本実施の形態では次のような効果が得られる。
実施の形態の情報処理装置３は、プロジェクタ１（投影装置）によって投影されるテストパターンＴＰの投影画像を撮像した画像信号に対して、テストパターンＴＰに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う補間処理部２３ａを備えている。
より具体的な例としては、プロジェクタ１が投影するテストパターンＴＰに応じた補間方向情報を取得する現像情報取得部２５（情報取得部）と、プロジェクタ１によるテストパターンの投影画像を撮像した画像信号に対して、現像情報取得部２５が取得した補間方向情報に応じた補間方向での画素情報の補間処理を含む現像処理を行う、補間処理部２３ａを含む現像部２３とを備える。
これにより、例えば水平方向にストライプ状となった、水平方向に相関のあるテストパターンの場合には水平方向に補間を行うなど画像を劣化させない適切な補間方向の補間処理が実現できる。
結果としてアーティファクトの発生等による現像画像の劣化を生じさせないようにすることができる。
従って、テストパターンのセンシングを精度よく実行できることになる。特にＬＳＢ用テストパターン（ＴＰｖ１２、ＴＰｈ１２）のセンシングにおいて、補間による“つぶれ”がなくなり、ＬＳＢパターンであっても正確にセンシングできる。つまり誤差が少なく高解像度のセンシングを行うことができる。
また現像処理において補間処理を行わないようにすると解像度が低下することがあるが、本実施の形態の場合、補間処理によるアーティファクトを防止することで補間処理の実行による精度低下が解消されるため、補間処理を活用でき、もって現像画像の解像度低下が生じないようにすることができる。
これらのことから、テストパターンのセンシング結果を用いたプロジェクタのキャリブレーションの精度を向上させることができる。
また実施の形態の場合、撮影画像から補間方向の検波を行う必要がないため、現像処理の負荷が小さい。

実施の形態では、テストパターンＴＰは複数用意され、各テストパターン（ＴＰｈ１〜ＴＰｈ１２、ＴＰｖ１〜ＴＰｖ１２）は、これらのテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされている。そしてプロジェクタ１はこれら複数のテストパターンを順次投影させる。これに対応して現像情報取得部２５は、プロジェクタ１が複数のテストパターンのそれぞれを投影させる際に、当該投影対象のテストパターンに応じた補間方向情報を取得するようにしている（図１１のＳ２０２）。
これにより、パターン画像の異なる複数のテストパターンを用いる場合も、各テストパターンの相関方向に応じた適切な補間方向で補間処理を行うことができる。

実施の形態の情報処理装置３は、補間処理部２３ａが補間処理を行った（即ち現像部２３が現像処理を行った）複数のテストパターンＴＰに対応する画像信号を用いて、投影画像における各画素の識別情報をデコードする撮像画像デコード部２４を備えている。
これにより、投影画像の各画素の識別情報（水平垂直方向の画素値）を、プロジェクタのキャリブレーションに利用する情報として取得できる。特に現像の際の補間処理が相関方向に応じた補間方向で行われていることで、デコードされる識別情報の精度も向上される。

実施の形態では補間方向情報は、画素の相関性のある方向が水平方向であるか垂直方向であるかを示す情報であるとした。
テストパターンＴＰとしては、水平方向にストライプ状となったパターン画像（ＴＰｖ１〜ＴＰｖ１２）や、垂直方向にストライプ状となったパターン画像（ＴＰｈ１〜ＴＰｈ１２）を例示した。このようなパターンは、水平垂直方向にマトリクス状に並ぶ画素のナンバ表現に適している。
そしてこの場合、画素の相関性のある方向（相関方向）は、水平方向にストライプ状となったパターン画像の場合は水平方向で、垂直方向にストライプ状となったパターン画像の場合は垂直方向である。補間方向情報はこのような相関方向を示す情報とする。これにより情報処理装置３は、テストパターン毎に画素の相関性のある方向を把握できる。

実施の形態では補間処理部２３ａは、補間方向情報により垂直方向が示された場合は垂直方向の画素を用いた垂直補間処理を行い（Ｓ２０６）、補間方向情報により水平方向が示された場合は水平方向の画素を用いた水平補間処理を行う（Ｓ２０５）。
つまり画素の相関性のある方向が垂直方向か水平方向かを認識して、それに応じて垂直補間処理又は水平補間処理を行う。
例えば図５Ｃのように水平方向にストライプ状となったテストパターン（即ち垂直方向の画素ナンバを得るためのテストパターンＴＰｖ１〜ＴＰｖ１２）の場合には、水平補間を行い、また図５Ｂのように、垂直方向にストライプ状となったテストパターン（即ち水平方向の画素ナンバを得るためのテストパターンＴＰｈ１〜ＴＰｈ１２）の場合には垂直補間を行うような補間処理が実現される。
この場合、相関性のある方向で補間処理が行われることでアーティファクトによる画像劣化を防止し、精度のよい現像画像を得ることができる。
テストパターンＴＰの画像の相関方向を、水平又は垂直に限ることで、補間処理も水平補間と垂直補間を都度選択すればよいものとなり、大きな処理負担も生じない。

実施の形態の現像部２３は、補間方向情報に応じた補間方向で、ノイズリダクションのための平滑化処理を行うことを述べた。
ノイズリダクションのための平滑化に関しても、画素の相関性のある方向の画素間でおこなうようにすることで、情報のつぶれが生じないようにすることができる。
これによりノイズリダクション処理を有効に活用でき、現像品質を向上させることができる。
なお、補間処理やノイズリダクション処理以外でも、相関方向に行うことが適した処理に関しては、補間方向情報に従って適応的に処理方向を切り換えることが好適である。

実施の形態では、現像情報取得部２５は、プロジェクタ１との通信により送信されてきた補間方向情報を取得するようにした。
従って実施の形態の情報処理装置３は、プロジェクタ１との間で通信可能とされていればよく、それによりテストパターンＴＰに応じて補間方向情報を取得し、現像処理に反映させることができる。

実施の形態の現像情報取得部２５は、プロジェクタ１の情報を取得して現像部２３又は撮像を行う撮像部２１の制御のために制御部２２に供給する例を述べた。
例えばプロジェクタ１の情報として、投影画像の輝度情報、フォーカス情報、機種情報などを取得する。
これらの情報を用いることで、撮像又は現像処理において、プロジェクタ１側の都合や投影状況に応じた撮像処理、現像処理が可能となり、より精度のよい現像画像を得ることができる。

本開示の技術は実施の形態の例に限定されない。
本技術は透過型又は反射型液晶パネルを用いたプロジェクタ１に限らず、例えば自発光型の投影装置にも適用可能である。

実施の形態のプログラムは、撮像された画像信号について補間処理を行う情報処理装置３に、投影装置（プロジェクタ１）によって投影されるテストパターンＴＰの投影画像を撮像した画像信号に対して、テストパターンＴＰに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を実行させるプログラムである。
より具体的な例としては、撮像された画像信号について現像処理を行う情報処理装置３に、プロジェクタ１が投影するテストパターンＴＰに応じた補間方向情報を取得する処理（Ｓ２０２）と、プロジェクタ１によるテストパターンＴＰの投影画像を撮像した画像信号に対して、取得した補間方向情報に応じた補間方向での画素情報の補間処理を含む現像処理（Ｓ２０５，Ｓ２０６）とを、情報処理装置３に実行させるプログラムである。
即ち図１１の処理を情報処理装置３や、図４のＣＰＵ１５１に実行させるプログラムである。

このようなプログラムにより本実施の形態の情報処理装置３の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う補間処理部を備えた
情報処理装置。
（２）
前記テストパターンは複数用意され、各テストパターンは複数のテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされ、前記投影装置は前記複数のテストパターンを順次投影させるものとされる場合に、
前記補間処理部は、前記投影装置が前記複数のテストパターンのそれぞれを投影させる際に、当該投影対象のテストパターンに応じた前記補間方向情報に基づいた補間方向での画素情報の補間処理を行う
上記（１）に記載の情報処理装置。
（３）
前記補間処理部が補間処理を行った前記複数のテストパターンに対応する画像信号を用いて、投影画像における各画素の識別情報をデコードする撮像画像デコード部を備えた
上記（１）又は（２）に記載の情報処理装置。
（４）
前記補間方向情報は、画素の相関性のある方向が水平方向であるか垂直方向であるかを示す情報である
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記補間処理部は、
前記補間方向情報により垂直方向が示された場合は垂直方向の画素を用いた垂直補間処理を行い、
前記補間方向情報により水平方向が示された場合は水平方向の画素を用いた水平補間処理を行う
上記（４）に記載の情報処理装置。
（６）
前記補間方向情報に応じた補間方向で、ノイズリダクションのための平滑化処理を行う現像部を備えた
上記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記投影装置が投影するテストパターンに応じた前記補間方向情報を取得する情報取得部を備えた
上記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記情報取得部は、前記投影装置との通信により送信されてきた前記補間方向情報を取得する
上記（７）に記載の情報処理装置。
（９）
前記情報取得部は、前記投影装置の情報を取得して前記補間処理部又は撮像を行う撮像部の制御に供する
上記（７）又は（８）に記載の情報処理装置。
（１０）
撮像された画像信号について補間処理を行う情報処理装置による情報処理方法として、
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う情報処理方法。
（１１）
撮像された画像信号について補間処理を行う情報処理装置に、
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を実行させるプログラム。

１…プロジェクタ、２…撮像装置、３…情報処理装置、１０…投影光学系、１１…画像信号処理部、１２…画像入力部、１３…テストパターン発生部、１４…制御部、１５…現像情報生成部、１６…通信部、２１…撮像部、２２…制御部、２３…現像部、２３ａ…補間処理部、２４…撮像画像デコード部、２５…現像情報取得部、２６…通信部、２７…格納部

Claims (11)

1. 投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う補間処理部を備えた
   情報処理装置。
2. 前記テストパターンは複数用意され、各テストパターンは複数のテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされ、前記投影装置は前記複数のテストパターンを順次投影させるものとされる場合に、
   前記補間処理部は、前記投影装置が前記複数のテストパターンのそれぞれを投影させる際に、当該投影対象のテストパターンに応じた前記補間方向情報に基づいた補間方向での画素情報の補間処理を行う
   請求項１に記載の情報処理装置。
3. 前記補間処理部が補間処理を行った前記複数のテストパターンに対応する画像信号を用いて、投影画像における各画素の識別情報をデコードする撮像画像デコード部を備えた
   請求項２に記載の情報処理装置。
4. 前記補間方向情報は、画素の相関性のある方向が水平方向であるか垂直方向であるかを示す情報である
   請求項１に記載の情報処理装置。
5. 前記補間処理部は、
   前記補間方向情報により垂直方向が示された場合は垂直方向の画素を用いた垂直補間処理を行い、
   前記補間方向情報により水平方向が示された場合は水平方向の画素を用いた水平補間処理を行う
   請求項４に記載の情報処理装置。
6. 前記補間方向情報に応じた補間方向で、ノイズリダクションのための平滑化処理を行う現像部を備えた
   請求項１に記載の情報処理装置。
7. 前記投影装置が投影するテストパターンに応じた前記補間方向情報を取得する情報取得部を備えた
   請求項１に記載の情報処理装置。
8. 前記情報取得部は、前記投影装置との通信により送信されてきた前記補間方向情報を取得する
   請求項７に記載の情報処理装置。
9. 前記情報取得部は、前記投影装置の情報を取得して前記補間処理部又は撮像を行う撮像部の制御に供する
   請求項７に記載の情報処理装置。
10. 撮像された画像信号について補間処理を行う情報処理装置による情報処理方法として、
    投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う情報処理方法。
11. 撮像された画像信号について補間処理を行う情報処理装置に、
    投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を実行させるプログラム。

Images