JPWO2018155269A1 - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

本開示は、投影面内におけるPSFの位置と形状を求めることができるようにする画像処理装置および方法、並びにプログラムに関する。小パタンは、横７ドット×縦５ドット分の計３５ドットを全て１４画素間隔に配置し、さらに、１画素の幅の線（外枠）でそれらを囲ったものである。小パタンを複数配置され、スクリーン全体に投影するテストパタンをプロジェクタから投影し、その様子をカメラで撮影した画像から、プロジェクタのPSF(Point Spread Function:点広がり関数)が求められる。本開示は、例えば、プロジェクタで画像を投影し、プロジェクタにより投影された画像を撮像して、PSFを算出する投影撮像装置に適用することができる。

Description

本開示は、画像処理装置および方法、並びにプログラムに関し、特に、特殊デバイスでなくても、投影面内におけるPSFの位置と形状を求めることができるようにした画像処理装置および方法、並びにプログラムに関する。

投影面内のプロジェクタのPSF(Point Spread Function:点広がり関数)は、テストパタンを投影面内に投影し、それを撮影した画像から、その大きさの分布を推定し、それを用いて、投影面内のボケ補正を行う提案がなされている。例えば、非特許文献１においては、十字のテストパタンを投影面に複数並べたテストパタンが用いられている。

Michael S. Brown, Peng Song, Tat-Jen Cham,"Image Pre-conditioning for Out-of-Focus Projector Blur",Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on 09 October 2006 ,09 October 2006

しかしながら、上述した技術では、投影面内の各位置におけるPSFがどのような形状をしているか、また、プロジェクタ１画素のスケールに対するPSFを求めることが困難であった。

本開示は、このような状況に鑑みてなされたものであり、投影面内におけるPSFの位置と形状を求めることができるものである。

本技術の一側面の画像処理装置は、所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部を備える。

前記小パタンには、前記位置情報として、番号が付加されている。

前記小パタンには、前記位置情報として、２値コードが付加されている。

前記小パタンには、前記位置情報として、QRコード（登録商標）が付加されている。

前記PSF算出部は、前記撮像画像を用いて、カメラスケールのPSFとドットサイズとを算出するPSFドットサイズ算出部と前記PSFドットサイズ算出部により算出されたカメラスケールのPSFに対して、前記PSFドットサイズ算出部により算出されたドットサイズによってスケーリングすることで、プロジェクタのPSFを算出するプロジェクタPSF算出部とを備えることができる。

前記テストパタンは、Structured Light（SL）で用いられる。

前記テストパタンは、Imperceptible Structured Light(ISL)で用いられる。

本技術の一側面の画像処理方法は、画像処理装置が、所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出する。

本技術の一側面においては、所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンが投影される。そして、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)が算出される。

本技術によれば、投影面内におけるPSFの位置と形状を求めることができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

対応点検出の様子の例を示す図である。 ISLの例を説明する図である。 本技術を適用するテストパタンにおける小パタンの構成例を示す図である。 図３の小パタンを複数配置し、画内全体に投影する全体テストパタンの例を示す図である。 本技術を適用した投影撮像システムの構成例を示すブロック図である。 PSFドットサイズ算出部の構成例を示すブロック図である。 PSF算出処理について説明するブロック図である。 １つの小パタンのみを撮像した撮像画像の例を示す図である。 複数の小パタンを一度に撮像した撮像画像の例を示す図である。 カメラスケールPSFとドットサイズ算出処理について説明するフローチャートである。 小パタンに付加させる情報の例を示す図である。 小パタンに付加させる情報の例を示す図である。 小パタンに付加させる情報の例を示す図である。 小パタンに付加させる情報の例を示す図である。 外枠内に含まれる１ドットの数や配置を利用して位置情報を表したパタンの例を示す図である。 外枠内に含まれる１ドットの輝度を利用して位置情報を表したパタンの例を示す図である。 外枠内に含まれる１ドットのRGBチャンネルの値を利用して位置情報を表したパタンの例を示す図である。 本技術を適用したコンピュータのハードウエア構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。

＜背景＞
プロジェクタおよびカメラの姿勢を推定するためには、プロジェクタ・カメラ間の対応点を検出する必要がある。この対応点検出処理は、一般的にStructured Light（SL:構造化光）と呼ばれる。

例えば、図１の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいてプロジェクタおよびカメラの姿勢を推定することができる。

このようにプロジェクタ・カメラ間の対応点を検出するためには、プロジェクタから投影しようとしている画像（GrayCodeやDotおよびCheckerなどのパタン画像や、入力画像など）をカメラで撮像する必要がある。静止画像（パタン画像や静止画映像）であれば、常に同じ映像が投影されているので、撮像タイミングを合わせなくても、所望の画像が撮像でき、対応点を検出することができる。

動画像投影中に対応点を検出して、プロジェクタとカメラの姿勢を推定する方法をオンラインセンシングと呼ぶことにする。オンラインセンシングでの対応点検出には、動画像内に人間の目では知覚されないパタンを重畳して対応点検出を行うImperceptible Structured Light(ISL)(図２)や動画像内の特徴点を検出して特徴点同士の対応付けを行う方法などが挙げられる。

ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。

図２に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。

これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮像画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。

このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。

＜本技術のテストパタン＞
本技術のテストパタンは、上述したSL方式やISL方式などで用いられるパタンである。本技術のテストパタンの基本構成としては、１ドット（１画素）を既知の間隔に複数配置したものを一領域における小パタンとして、これが投影面内に複数配置される。

図３は、本技術を適用するテストパタンにおける小パタンの構成例を示す図である。図３の例において、小パタンは、横７ドット×縦５ドット分の計３５ドットを全て１４画素間隔に配置し、さらに、１画素の幅の線（外枠）でそれらを囲ったものとして示されている。なお、外枠の幅は、１画素ではなく、数画素でもよいが、１画素の幅が好ましい。

なお、１ドットの数や各ドットの間隔の画素数（ドット間距離）はこの限りではなく、ドット数は２以上、ドット間隔距離は、プロジェクタのボケ度合いより十分大きい、あらゆる数の組み合わせにて適用可能である。また、ドット間距離は、小パタン内で全て同じである必要はなく、様々な大きさでドットを配置することも可能である。これによって、後述するドットサイズ算出の精度を上げることができる。

図４は、図３の小パタンを複数配置し、画内全体に投影する全体テストパタン（以下、単にテストパタンと称する）の例を示す図である。図４の例においては、小パタンを、横３つ×縦３つの計９つ配置した例が示されているが、配置する数は、この限りではない。

本技術においては、図４に示されるようなテストパタンをプロジェクタから投影し、その様子をカメラで撮影した画像から、プロジェクタのPSF(Point Spread Function:点広がり関数)が求められる。

なお、このとき、小パタンを配置した場所においてPSFを算出するが、算出されない場所においては、配置した場所から算出された周辺のPSFから線形補間などで算出することが可能である。

＜投影撮像システムの構成例＞
図５は、本技術を適用した投影撮像システムの構成例を示すブロック図である。図５の例において、投影撮像システム１００は、投影撮像装置１０１およびスクリーン１０２により構成される。

図５の例において、投影撮像装置１０１は、プロジェクタ１１１、カメラ１１２、PSFドットサイズ算出部１１３、プロジェクタPSF算出部１１４、補正部１１５、出力制御部１１６、および記憶部１１７を含むように構成されている。

プロジェクタ１１１は、記憶部１１７からのテストパタンと補正部１１５からの補正画像を、必要に応じて、スクリーン１０２に投影する。カメラ１１２は、プロジェクタ１１１からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、PSFドットサイズ算出部１１３に供給する。

なお、プロジェクタ１１１も、カメラ１１２も複数台であってもよい。また、プロジェクタ１１１に対して、カメラ１１２が１台であってもよいし、複数のプロジェクタ１１１に対して、カメラ１１２が１台であってもよいし、複数のカメラ１１２に対して、プロジェクタ１１１が１台であってもよい。

PSFドットサイズ算出部１１３は、カメラ１１２からの撮像画像から、撮像画像におけるPSF(カメラスケールPSFと称する)と、撮像画像中でプロジェクタ１画素に相当する画素数（ドットサイズと称する）とを算出する。PSFドットサイズ算出部１１３は算出されたカメラスケールPSFとドットサイズとをプロジェクタPSF算出部１１４に供給する。

プロジェクタPSF算出部１１４は、PSFドットサイズ算出部１１３からのカメラスケールPSFとドットサイズとに基づいて、プロジェクタスケールPSFを算出し、算出したプロジェクタスケールのPSFを補正部１１５に供給する。

補正部１１５は、プロジェクタPSF算出部１１４からのプロジェクタスケールPSFを参照して、カメラ１１２からの撮像画像が正しく見えるように撮像画像を補正して、補正画像を生成し、生成した補正画像を、出力制御部１１６に出力する。

記憶部１１７は、テストパタンなどを記憶している。出力制御部１１６は、記憶部１１７のテストパタンまたは補正部１１５からの補正画像をプロジェクタ１１１に出力する制御を行う。

＜PSFドットサイズ算出部の構成例＞
図６は、PSFドットサイズ算出部の構成例を示すブロック図である。

図６の例において、PSFドットサイズ算出部１１３は、前処理部１５１、フレーム領域抽出部１５２、フレーム内ドット領域抽出部１５３、ドットピーク座標検出部１５４、およびドットサイズ算出部１５５を含むように構成されている。

前処理部１５１は、カラーで撮像されている入力データ（撮像画像）から、輝度画像やグレースケール画像など、１チャンネルの成分のみを抽出する前処理を行う。もし、撮像画像がRAWデータである場合には、現像処理もここに含まれる。

フレーム領域抽出部１５２は、前処理部１５１により抽出された1チャンネルのデータに含まれる撮像ノイズを２値化やラベリング処理などによって除去し、フレーム領域を抽出する。

フレーム内ドット領域抽出部１５３は、抽出されたフレーム内のみのデータに対して、さらに２値化やラベリング処理などにより撮像ノイズとドットの分離を行い、オブジェクトとしての面積が大きいものをドット領域とする。ここで、抽出されたドット領域がカメラスケールPSFである。フレーム内ドット領域抽出部１５３は、カメラスケールPSFをプロジェクタPSF算出部１１４に供給する。

ドットピーク座標検出部１５４は、フレーム内ドット領域抽出部１５３からのドット領域内の最高輝度点や重心点をドット座標として検出する。ドットサイズ算出部１５５は、ドットピーク座標検出部１５４により検出されたドット座標によって撮影画像に写っている各ドット間の距離を求めることができ、これらを各ドット間距離に対応するパタンにおける１ドットの間隔で除算することで、ドットサイズを算出する。ドットサイズ算出部１５５は、算出されたドットサイズを、プロジェクタPSF算出部１１４に供給する。

プロジェクタPSF算出部１１４は、フレーム内ドット領域抽出部１５３からのカメラスケールPSFに対して、ドットサイズ算出部１５５からのドットサイズによってスケーリング処理することにより、プロジェクタスケールPSFを求めることができる。

＜投影撮像システムの動作例＞
次に、図７のフローチャートを参照して、PSF算出処理について説明する。

ステップＳ１１１において、プロジェクタ１１１は、出力制御部１１６により記憶部１１７から読み出されたテストパタンを、スクリーンに向けて投影する。ステップＳ１１２において、カメラ１１２は、スクリーンに投影されたパタンを撮像して、撮像画像を生成して、PSFドットサイズ算出部１１３に供給する。

例えば、図８は、投影された１つの小パタンのみを撮像した撮像画像の例を示す図である。図９は、投影された複数の小パタンを一度に撮像した撮像画像の例を示す図である。

ステップＳ１１３において、PSFドットサイズ算出部１１３は、カメラ１１２からの撮像画像から、カメラスケールPSFとドットサイズとを算出する。このカメラスケールPSFとドットサイズの算出処理は、図１０を参照して後述される。ステップＳ１１３の処理によりカメラスケールPSFとドットサイズとが算出され、プロジェクタPSF算出部１１４に供給される。

ステップＳ１１４において、プロジェクタPSF算出部１１４は、PSFドットサイズ算出部１１３からのカメラスケールPSFとドットサイズとに基づいて、プロジェクタスケールPSFを算出する。

次に、図１０のフローチャートを参照して、図７のステップＳ１１３のカメラスケールPSFとドットサイズ算出処理について説明する。

ステップＳ１３１において、前処理部１５１は、カラーで撮像されている入力データ（撮像画像）から、輝度画像やグレースケール画像など、１チャンネルの成分のみを抽出する前処理を行う。

ステップＳ１３２において、フレーム領域抽出部１５２は、ステップＳ１３１により抽出された1チャンネルのデータに含まれる撮像ノイズを２値化やラベリング処理などによって除去し、フレーム領域を抽出する。例えば、図９を参照して上述したように、複数の小パタンを１枚の画像として撮像したものが入力となる場合には、複数フレームが抽出されることになる。この場合は、抽出したいパタンの大まかな座標を与えて、その座標に最も近いフレームを抽出するようにされる。

ステップＳ１３３において、フレーム内ドット領域抽出部１５３は、フレーム内ドット領域を抽出する。すなわち、フレーム内ドット領域抽出部１５３は、抽出されたフレーム内のみのデータに対して、さらに２値化やラベリング処理などにより撮像ノイズとドットの分離を行い、オブジェクトとしての面積が大きいものをドット領域とする。ここで、抽出されたドット領域がカメラスケールPSFである。フレーム内ドット領域抽出部１５３は、カメラスケールPSFをプロジェクタPSF算出部１１４に供給する。

ステップＳ１３４において、ドットピーク座標検出部１５４およびドットサイズ算出部１５５は、ドットサイズを算出する。すなわち、ドットピーク座標検出部１５４は、フレーム内ドット領域抽出部１５３からのドット領域内の最高輝度点や重心点をドット座標として検出する。ドットサイズ算出部１５５は、ドットピーク座標検出部１５４により検出されたドット座標によって撮影画像に写っている各ドット間の距離を求めることができ、これらを各ドット間距離に対応するパタンにおける１ドットの間隔で除算することで、ドットサイズを算出する。ドットサイズ算出部１５５は、算出されたドットサイズを、プロジェクタPSF算出部１１４に供給する。

以上のように、カメラスケールPSFとドットサイズとが算出されるので、図７のステップＳ１１４において、プロジェクタPSF算出部１１４は、フレーム内ドット領域抽出部１５３からのカメラスケールPSFに対して、ドットサイズ算出部１５５からのドットサイズによってスケーリング処理することにより、プロジェクタスケールPSFを求めることができる。

本技術においては、さらに、この小パタンを１つの領域として、パタンの外枠の周辺において、パタン毎に異なる番号やコードなどを付加させるようにする。これにより、各小パタンの配置された場所を特定することができるようになる。

＜小パタンに付加させる情報の例＞
図１１乃至図１７は、小パタンに付加させる情報の例を示す図である。

図１１は、位置情報を番号として表示させたパタンの例を示す図である。例えば、図１１の例においては、小パタンの外枠の左下に、位置情報である番号（06）が配置されている。

図１２は、位置情報を２値コードで表示させたパタンの例を示す図である。例えば、図１２の例においては、小パタンの外枠の上に、位置情報の番号を表す２値コードが配置されている。

図１３は、位置情報をQRコードで表示させたパタンの例を示す図である。例えば、図１３の例においては、小パタンの外枠の左下に、位置情報の番号を表すQRコードが配置されている。

なお、図１１乃至図１３の例において、各位置情報の配置される位置は、記載の例に限定されず、外枠の周辺であれば、どこでもよい。

図１４は、位置情報をQRコードで表示させたパタンの他の例を示す図である。例えば、図１４の例においては、位置情報の番号を表すQRコード内に小パタンが配置されている。

図１４の例においては、QRコードの中央に小パタンを配置する例を説明したが、QRコード内であればどこでもよい。ただし、この例に限ることではないが、できるだけ、白の領域が少ないほうが好ましい。

図１５は、外枠内に含まれる１ドットの数や配置を利用して位置情報を表したパタンの例を示す図である。例えば、太線で囲まれた５つの位置（左上隅、左下隅、右上隅、右上隅の直下、右下隅）のドットの表示／非表示により位置情報が表される。図１５の例においては、太線で囲まれた５つの位置のうち、左上隅と右下隅が表示となり、左下隅、右上隅、右上隅の直下が非表示となっている。なお、図１５の太線は、実際には表示されない。

図１６は、外枠内に含まれる１ドットの輝度を利用して位置情報を表したパタンの例を示す図である。例えば、太線で囲まれた２つの位置（左上隅、右上隅）のドットの輝度を変化させることで位置情報が表される。図１６の例においては、太線で囲まれた２つの位置の輝度が低くなっている。なお、図１６の太線も、実際には表示されない。図１５および図１６の例の場合、太線で囲まれる対象の位置は、決まっていれば、どの位置でもかまわない。

図１７は、外枠内に含まれる１ドットのRGBチャンネルの値を利用して位置情報を表したパタンの例を示す図である。例えば、外枠内に含まれる各ドットのRGBチャンネルの値を異なるものにさせることで位置情報が表される。図１７の例においては、各ドットがRGBのいずれかで構成されている。

なお、図１６および図１７においては、輝度やRGBチャンネルの値が異なる１ドットの並び順を、位置に応じて変化させることで、位置情報を表現することも可能である。また、図１７の例のように、RGB別々のドットを配置することで、RGBそれぞれのRSFを取得することも可能となる。

以上のように、本技術によれば、テストパタンを投影し、撮影した画像から、プロジェクタのスケールにおけるRGB別のPSFの形状と、各PSFに対応する投影面内における位置を求めることができる。

これにより、投影面全体を1つの画像に撮影する場合にも、各位置におけるパタンを個別に撮影する場合にも、絶対的なPSFの大きさを求めることができ、撮影時の制約緩和の効果がある。取得した各位置のPSFは、プロジェクタのレンズの評価やレンズボケ補正に利用することができるといった効果がある。

＜パーソナルコンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図１８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部を
備える画像処理装置。
（２） 前記テストパタンは、前記小パタンの投影面内における位置を示す位置情報が付加された前記小パタンが複数配置されて構成されている
前記（１）に記載の画像処理装置。
（３） 前記小パタンには、前記位置情報として、番号が付加されている
前記（２）に記載の画像処理装置。
（４） 前記小パタンには、前記位置情報として、２値コードが付加されている
前記（２）に記載の画像処理装置。
（５） 前記小パタンには、前記位置情報として、QRコードが付加されている
前記（２）に記載の画像処理装置。
（６） 前記テストパタンは、前記小パタン内の１画素の数、配置、輝度、および色の少なくとも１つを利用した位置情報が含まれる小パタンが複数配置されて構成されている
前記（１）に記載の画像処理装置。
（７） 前記PSF算出部は、前記撮像画像を用いて、カメラスケールのPSFとドットサイズとを算出するPSFドットサイズ算出部と
前記PSFドットサイズ算出部により算出されたカメラスケールのPSFに対して、前記PSFドットサイズ算出部により算出されたドットサイズによってスケーリングすることで、プロジェクタのPSFを算出するプロジェクタPSF算出部と
を備える前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記テストパタンは、Structured Light（SL）で用いられる
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記テストパタンは、Imperceptible Structured Light(ISL)で用いられる
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（１０） 画像処理装置が、
所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出する
画像処理方法。
（１１） 所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部
として、コンピュータを機能させるプログラム。

１００ 投影撮像システム， １０１ 投影撮像装置， １０２ スクリーン， １１１ プロジェクタ， １１２ カメラ， １１３ PSFドットサイズ算出部， １１４ プロジェクタPSF算出部，１１５ 補正部， １１６ 出力制御部， １１７ 記憶部， １５１ 前処理部， １５２ フレーム領域抽出部， １５３ フレーム内ドット領域抽出部， １５４ ドットピーク座標検出部， １５５ ドットサイズ算出部

Claims (11)

1. 所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部を
   備える画像処理装置。
2. 前記テストパタンは、前記小パタンの投影面内における位置を示す位置情報が付加された前記小パタンが複数配置されて構成されている
   請求項１に記載の画像処理装置。
3. 前記小パタンには、前記位置情報として、番号が付加されている
   請求項２に記載の画像処理装置。
4. 前記小パタンには、前記位置情報として、２値コードが付加されている
   請求項２に記載の画像処理装置。
5. 前記小パタンには、前記位置情報として、QRコードが付加されている
   請求項２に記載の画像処理装置。
6. 前記テストパタンは、前記小パタン内の１画素の数、配置、輝度、および色の少なくとも１つを利用した位置情報が含まれる小パタンが複数配置されて構成されている
   請求項１に記載の画像処理装置。
7. 前記PSF算出部は、前記撮像画像を用いて、カメラスケールのPSFとドットサイズとを算出するPSFドットサイズ算出部と
   前記PSFドットサイズ算出部により算出されたカメラスケールのPSFに対して、前記PSFドットサイズ算出部により算出されたドットサイズによってスケーリングすることで、プロジェクタのPSFを算出するプロジェクタPSF算出部と
   を備える請求項１に記載の画像処理装置。
8. 前記テストパタンは、Structured Light（SL）で用いられる
   請求項１に記載の画像処理装置。
9. 前記テストパタンは、Imperceptible Structured Light(ISL)で用いられる
   請求項１に記載の画像処理装置。
10. 画像処理装置が、
    所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出する
    画像処理方法。
11. 所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部
    として、コンピュータを機能させるプログラム。

Images