JP7190701B2 - 投写画像調整システム及び方法 - Google Patents

Description

本開示は、投写型表示装置の投写画像を調整するための投写画像調整システム及び方法に関する。

特許文献１は、テストパターン画像の全体を撮像装置によって撮像することができず、特徴点の数が多いようなケースであっても、各特徴点を簡易に検出することを可能とする投写型映像表示装置を開示している。このテストパターンでは、特徴点を少なくとも３つの領域が互いに隣接する点とし、隣接領域の配置の組み合わせによって特徴点を特定している。

また、グレイコードパターンに代表される、白黒のストライプパターンを複数枚投影及び撮像し、白と黒の出現順により特徴点を特定する方法も広く知られている。

特開２０１２－２２２４６号公報

特許文献１で開示されるテストパターンにおいて、隣接する複数の領域は、輝度、彩度又は色相等の特徴を有しているが、投写面の模様や色、外光の影響等の条件によっては、撮像画像から隣接領域間の輝度、彩度、又は色相の差を得ることが困難となり、特徴点を正しく特定できない可能性がある。

一方、グレイコードパターンでは、撮像した画像から精度の高い二値判定を行うことが可能であるが、多数の特徴点を取得するためには、特許文献１の方法よりも多数の投写テストパターン画像を用意する必要がある。テストパターン画像を表示及び撮像するためには時間を要するため、必要な投写テストパターンの枚数はなるべく少ないことが望ましい。

本開示は以上の課題を鑑みて、投写面の模様及び色、並びに外光の影響等によらず、かつ従来技術と比較して少ない枚数のテストパターン画像により、投写型表示装置の映像が歪まないように調整する投写画像調整システム及び方法を提供する。

本開示の一態様に係る投写画像調整システムは、投写テストパターンを用いて投写型表示装置の投写画像が歪まないように調整するための投写画像調整システムであって、投写テストパターンは、二値表現される複数の第１属性の組み合わせにより表現される第２属性をそれぞれ有する複数の領域に分割され、複数の領域のうち３つ以上が点隣接する複数の特徴点を含む画像であり、投写画像調整システムは、投写テストパターンを、第１属性ごとの二値テストパターンに分解するパターン生成部と、複数の二値テストパターンをそれぞれ投写する投写型表示装置と、表示された複数の二値テストパターンをそれぞれ撮像し、各撮像画像を二値化した各二値撮像画像から合成撮像画像を合成するパターン合成部と、投写画像の特徴点の位置と投写テストパターンにおける特徴点の位置との関係を用いて投写画像を変形させる算出部とを備える。

本開示に係る投写画像調整システムによれば、投写面の模様及び色、並びに外光の影響等によらず、かつ従来技術と比較して少ない枚数のテストパターン画像により、投写型表示装置の映像が歪まないように調整することが可能となる。

本開示の実施の形態１に係る投写画像調整システム１の外観例を示す模式図 図１の制御装置２００の詳細構成例を示すブロック図 図１の投写画像調整システム１における投写テストパターン５００の例を示す正面図 図２の記憶部２０１に格納された色チャネルデータベース６００のデータ構成例を示す表 図１の投写画像調整システム１における二値テストパターン生成処理の動作例を示す正面図 図１の投写画像調整システム１における撮像画像合成処理の動作例を示す正面図 実施の形態２に係る投写画像調整システム１Ａにおける色チャネルデータベース６００Ａのデータ構成例を示す表 図７の投写画像調整システム１Ａにおける二値テストパターン生成処理の動作例を示す図 変形例に係る投写画像調整システムにおけるテストパターン９００Ａの、点隣接する領域Ｒの数が３個である領域分割の例を示す図 変形例に係る投写画像調整システムにおけるテストパターン９００Ｂの、点隣接する領域Ｒの数が４個である領域分割の例を示す図 変形例に係る投写画像調整システムにおけるテストパターン９００Ｃの、点隣接する領域Ｒの数が５個である領域分割の例を示す図 変形例に係る投写画像調整システムにおけるテストパターン９００Ｄの、点隣接する領域Ｒの数が６個である領域分割の例を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１～図６を用いて、実施の形態１を説明する。

［１．構成］
図１は、本開示の実施の形態１に係る投写画像調整システム１の外観例を示す模式図である。図１において、投写画像調整システム１は、投写型表示装置１００と、制御装置２００と、撮像装置３００と、投写面４００とを含む。

図１において、投写型表示装置１００は、制御装置２００からの画像信号に従って、投写面４００に投写映像４０１を投写する。投写面４００は完全な平面ではなく、これにより投写映像４０１には歪みが生じる。撮像装置３００は例えばカメラなどの撮像装置であり、制御装置２００からの撮像信号に応答して、投写映像４０１を含む領域を撮像し、撮像画像信号を制御装置２００に送信する。

制御装置２００は例えばＰＣなどの制御装置であり、投写型表示装置１００及び撮像装置３００と相互通信可能に接続される。投写画像調整システム１は、後述の動作により投写する映像を調整し、歪まないように調整された投写映像４０２を表示する。ここで「歪まない」とは、表示される元画像と表示された投写画像とが実質的に同一となることをいう。

図２は、図１の制御装置２００の詳細構成例を示すブロック図である。図２において、記憶部２０１は磁気ハードディスクドライブ等の記憶装置である。記憶部２０１は、投写テストパターン５００及び、撮像装置３００から取得部２０４を介して入力された撮像画像７０１～７０３等の、調整処理に必要なデータを格納する。

図２において、パターン生成部２０２は、投写テストパターン５００をＲＧＢの各チャネルに分解して３枚の二値テストパターン５０１～５０３を生成し、映像送出部２０３を介して投写型表示装置１００に出力して表示させる。

取得部２０４は、映像送出部２０３の映像出力信号に応答して、投写面４００を撮像するように指示する撮像指示信号を撮像装置３００に送信する。撮像装置３００は、撮像指示信号に応答して投写面４００を撮像し、撮像画像７０１～７０３を、取得部２０４を介して記憶部２０１に格納させる。パターン合成部２０５は、記憶部２０１に格納された３枚の撮像画像をそれぞれ二値化し、それらをＲＧＢの各チャネルの二値画像として合成して合成撮像画像７００を得る。

特定部２０６は、得られた合成撮像画像７００において投写テストパターン５００の各特徴点Ｐに対応する座標を特定し、投写テストパターン５００の特徴点Ｐの位置と、合成撮像画像７００における各特徴点の座標との関係を求める。算出部２０７はこの対応関係に基づいて、投写映像４０１を歪みのない形状の投写映像４０２へ変形させるための変形データを算出し、投写型表示装置１００へ出力する。投写型表示装置１００は当該変形データに基づいて投写する映像を調整し、歪まないように調整された投写映像４０２を表示する。

図３は、図１の投写画像調整システム１における投写テストパターン５００の例を示す正面図である。図３において投写テストパターン５００は、各々が７色（赤、青、緑、シアン、マゼンタ、黄、白）のいずれかを有する複数の領域Ｒに分割された画像データである。投写テストパターン５００において、２つの領域Ｒが辺隣接する線を境界線Ｌで表し、４つの領域Ｒが点隣接する点を特徴点Ｐで表す。ここで、「辺隣接」とは、２つの領域Ｒが同じ境界線Ｌを辺として共有していることをいい、「点隣接」とは、３つ以上の領域Ｒが同じ特徴点Ｐを頂点として共有していることをいう。

以下、特徴点Ｐで点隣接する４つの領域Ｒについて「色の組み合わせ」といった場合、２個の特徴点Ｐにおいて同じ４色の領域Ｒが点隣接していても、その順列が異なっているか、又は回転されているならば別の組み合わせとして扱う。例えば、図３において符号を付した２個の特徴点Ｐで点隣接する２組の４領域Ｒの色の組み合わせは、いずれも時計回りに青、マゼンタ、黄、赤の順だが、互いに１８０度回転した関係にあるため別の組み合わせである。

すべての特徴点Ｐで隣接する４領域Ｒは、互いに異なる色の組み合わせを有する。従って、ある特徴点Ｐで４領域Ｒが点隣接していた場合、特徴点Ｐがすべての特徴点Ｐのうちのいずれであるかは一意に決定できる。各特徴点Ｐと色の組み合わせ及び座標との対応関係は、記憶部２０１にデータベースとして格納される。

図４は、図２の記憶部２０１に格納された色チャネルデータベース６００を示すテーブル図である。図４において、色チャネルデータベース６００は、例えば記憶部２０１に格納されている。色チャネルデータベース６００は、投写テストパターン５００における領域Ｒの色と、ＲＧＢの各チャネルにおけるオンオフとの対応関係を示すデータベースである。図４において、色チャネルデータベース６００は、ある画素の色に対して、ＲＧＢの各チャネルがオン（１）であるか、オフ（０）であるかの対応関係を示す。例えば、色チャネルデータベース６００は、マゼンタの色と、Ｒチャネル及びＢチャネルが１であり、Ｇチャネルが０である状態とが対応することを示している。

［２．動作］
以上のように構成された投写画像調整システム１の動作を以下に説明する。

はじめに、パターン生成部２０２は、記憶部２０１に格納された投写テストパターンを、ＲＧＢの各チャネルに分解し、実際に投写型表示装置で投写する３枚の二値テストパターン５０１～５０３を生成する。この二値テストパターン生成処理の詳細な動作を以下説明する。

図５は、図１の投写画像調整システム１における二値テストパターン生成処理の動作例を示す正面図である。図５において、パターン生成部２０２は投写テストパターン５００及び色チャネルデータベース６００に基づいて、３枚の二値テストパターン５０１～５０３を生成する。具体的には、投写テストパターン５００の各画素をその画素のＲチャネルの値（０又は１）に変換した二値画像であるＲチャネルの二値テストパターン５０１を生成する。すなわち、Ｒチャネルの二値テストパターン５０１は、投写テストパターン５００において赤、黄、マゼンタ又は白の色を有する画素が白（１）、他の画素がすべて黒（０）であるような二値画像である。同様に、Ｇチャネル及びＢチャネルの二値テストパターン５０２，５０３も生成する。

図５において、パターン生成部２０２は、生成した二値テストパターン５０１～５０３を映像送出部２０３に出力する。映像送出部２０３は二値テストパターン５０１～５０３の入力に応答して、二値テストパターン５０１～５０３を示す信号を、順次投写型表示装置１００に出力する。これにより、投写面４００には３つの二値テストパターンが順次投写される。また、映像送出部２０３は、Ｒチャネルの二値テストパターン５０１を出力すると同時に、Ｒチャネルの二値テストパターン５０１を出力していることを示す赤色映像出力信号を取得部２０４に送信する。Ｇチャネル及びＢチャネルの二値テストパターン５０２，５０３に対しても同様に、それぞれ緑色映像出力信号及び青色映像出力信号を送信する。

取得部２０４は、映像送出部２０３からの赤色映像出力信号に応答して、撮像装置３００に対し、撮像指示信号を送信する。撮像装置３００は撮像指示信号に応答して、Ｒチャネルの二値テストパターン５０１が投写された投写面４００を撮像する。記憶部２０１は取得部２０４を介してＲチャネルの撮像画像７０１を格納する。制御装置２００は、緑色映像出力信号、青色映像出力信号についても同様の処理を繰り返すことで、記憶部２０１に３枚の撮像画像７０１～７０３を格納する。

図６は、図１の投写画像調整システム１における撮像画像合成処理の動作例を示す図である。図６において、パターン合成部２０５は、記憶部２０１に格納された３枚の撮像画像７０１～７０３を二値化した後、色チャネルデータベース６００に基づいて、得られた３枚の二値撮像画像を合成撮像画像７００に合成して特定部２０６に出力する。合成撮像画像７００は、各画素の色に対応する各チャネルの値が、３枚の二値撮像画像の対応する画素の値であるような画像である。例えば、Ｒチャネル及びＢチャネルの二値撮像画像における対応する画素の値が１、Ｇチャネルの二値撮像画像における対応する画素の値が０であるような画素は、マゼンタの色の画素とする。

ここで、投写型表示装置１００により表示され、撮像装置３００により撮像される投写映像４０１は、白（１）と黒（０）の二値画像である。従って、投写面４００の模様及び色、並びに外光の影響等によらず、正確な合成撮像画像７００を得ることができる。

特定部２０６は、入力された合成撮像画像７００から、４つの異なる色の領域Ｒが隣接するすべての点の位置と、各点が投写テストパターン５００のどの特徴点Ｐに対応するかを特定する。これにより、投写映像４０１の画素座標と、合成撮像画像７００の画素座標との関係を求めることができる。算出部２０７は、この画素座標の関係に基づいて、投写型表示装置１００から投写される投写映像４０１を歪みのない形状の投写映像４０２に変形させるためのパラメータである変形データを算出し、投写型表示装置１００に出力する。この変形は例えば、投写映像４０２の各領域Ｒを、それぞれ投写テストパターン５００の対応する領域Ｒと実質的に同一の形状で表示されるようにメッシュ変形することで行う。

特徴点の位置を特定するために表示及び撮像させるテストパターン画像の枚数について、従来技術のグレイコードパターンを用いる場合と比較しながら、以下説明する。

投写画像調整システム１では、７種類の色のうち４つの色の領域Ｒが隣接する点を特徴点とする。従って、互いに区別が可能な特徴点は最大で_７Ｐ_４＝８４０個作ることができる。この８４０個の特徴点の位置を特定するために表示及び撮像されるテストパターン画像は、各チャネルに対する二値テストパターン５０１～５０３の枚数であり、３枚である。

これに対して、従来技術のグレイコードパターンを用いる投写画像調整システムでは、同じ８４０個の特徴点の位置を特定するために、少なくともｃｅｉｌ（ｌｏｇ（８４０））＝１０枚の二値テストパターンを表示及び撮像させる必要がある。ここでｌｏｇは２を底とする対数関数であり、ｃｅｉｌ（ｘ）は実数ｘ以上で最小の整数を返す天井関数である。このように、本開示に係る投写画像調整システム１は、グレイコードパターンを用いる場合よりも少ない枚数のテストパターン画像で、投写画像調整処理を行うことができる。

［３．効果等］
以上のように、実施の形態１に係る投写画像調整システム１は、パターン生成部２０２と、投写型表示装置１００と、パターン合成部２０５と、算出部２０７を備える。パターン生成部は、投写テストパターン５００を第１属性ごとの二値テストパターン５０１～５０３に分解する。投写型表示装置１００は、複数の二値テストパターンをそれぞれ投写面４００に投写する。パターン合成部２０５は、表示された複数の二値テストパターン５０１～５０３をそれぞれ撮像し、各撮像画像を二値化した各二値撮像画像から合成撮像画像を合成する。算出部２０７は、投写画像の特徴点の位置が投写テストパターンにおける特徴点の位置と一致するように投写画像を変形させる。

これにより投写画像調整システム１は、投写面４００の模様及び色、並びに外光の影響等によらず、かつ従来技術と比較して少ない枚数のテストパターン画像により、投写型表示装置１００の映像が歪まないように調整することができる。

なお、実施の形態１では撮像装置３００は投写型表示装置１００と併設されているが、撮像装置３００は投写型表示装置１００に内蔵された装置であってもよい。また、投写型表示装置１００、制御装置２００及び撮像装置３００が互いに通信可能に接続される接続は、有線であっても無線であってもよい。さらに、実施の形態１では投写テストパターン５００の領域Ｒの色には黒（全チャネルが０）を含めなかったが、領域Ｒの色に黒を含めてもよい。

（実施の形態２）
以下、図７及び図８を用いて、実施の形態２を説明する。

図７は、実施の形態２に係る投写画像調整システム１Ａの、色チャネルデータベース６００Ａを示すテーブル図である。実施の形態１ではＲＧＢの３つのチャネルにより、黒を除く７種類の色を領域Ｒが有する属性とした。これに対して実施の形態２では、４以上の自然数ｎに対して、チャネルＣ１～チャネルＣｎのｎ個の色チャネルを用いる。この場合、１つの領域Ｒが有し得る色は図７に示すように、黒を除いた２^ｎ－１種類の色となる。

図８は、図７の投写画像調整システム１Ａにおける二値テストパターン生成処理の動作例を示す図である。実施の形態２では、実施の形態１で投写テストパターン５００を３つのチャネルの二値テストパターン５０１～５０３に分解したのと同様に、投写テストパターン８００をチャネルＣ１～Ｃｎの二値テストパターン８０１（１）～８０１（ｎ）に分解する。その後同様に二値テストパターン８０１（１）～８０１（ｎ）を表示及び撮像し、ｎ枚の撮像画像を合成撮像画像に合成する。

実施の形態１では３つのチャネルを用いていたのに対し、本実施の形態ではｎ個のチャネルを用いるため、領域Ｒが有し得る属性は２^ｎ種類であり、従って互いに区別が可能な特徴点は最大で

個作ることができる。例えばチャネルの数ｎが４であれば、最大で_１６Ｐ_４＝４３６８０個の特徴点を作ることができる。グレイコードパターンを用いて４３６８０個の特徴点を作るには少なくとも１６枚のテストパターン画像が必要であるのに対し、本実施の形態で用いるテストパターン画像は４枚である。このように、領域Ｒの色を表現するチャネルの数を増やすことにより、さらに多くの特徴点を作ることができるようになる。

（他の実施形態）
図９～図１２を用いて、他の実施形態を説明する。図９～図１２は、投写テストパターン９００Ａ～９００Ｄの領域分割の例を示す図である。図９～図１２は、それぞれ投写テストパターン９００Ａ～９００Ｄの一部を示す。実施の形態１及び２では、投写テストパターン５００，８００を、特徴点Ｐで点隣接する領域Ｒの数がすべて４個となるように分割する場合を説明した。しかしながらこのように投写テストパターン９００Ａを六角形の領域Ｒに分割すれば、特徴点Ｐで点隣接する領域Ｒの数がすべて３個であるようにも分割することができる。

同様に、図１０では、投写テストパターン９００Ｂを菱形の領域Ｒに分割することで、特徴点Ｐで点隣接する領域Ｒの数がすべて４個となるようにしている。図１１では、投写テストパターン９００Ｃを菱形及び三角形の領域Ｒに分割することで、特徴点Ｐで点隣接する領域Ｒの数がすべて５個となるようにしている。図１２では、投写テストパターン９００Ｄを三角形の領域Ｒに分割することで、特徴点Ｐで点隣接する領域Ｒの数がすべて６個となるようにしている。このように、投写テストパターンにおいて特徴点Ｐで点隣接する領域Ｒの数は４個に限らず、３個以上の任意の数であってよい。なお、すべての特徴点Ｐで点隣接する領域Ｒの数が同じ数でなくともよい。

実施の形態１では、ＲＧＢの３つのチャネルにより最大で８種類の色を、投写テストパターン５００の領域Ｒが有する属性として挙げた。また実施の形態２では、ｎ個のチャネルによる最大で２^ｎ種類の色を属性として領域Ｒを区別した。しかしながら本開示はこれに限らず、例えば輝度を属性としてもよい。例えば実施の形態１について、８段階の輝度階調を有する投写テストパターン５００の輝度値（０～７）を２進表示した値（０００～１１１）の各桁を輝度チャネルとして用いることでも同様の効果が得られる。

また、実施の形態１及び２では、１つの特徴点Ｐで点隣接する４つの領域Ｒはすべて異なる色である。しかしながら、辺隣接する２つの領域Ｒ同士が互いに異なる色を有する限り、点隣接する４つの領域Ｒで同じ色が複数回用いられていてもよい。例えば、それぞれが白、緑、白、青の順で色を有する４つの領域Ｒが点隣接する特徴点Ｐを作ることができる。これにより、同じ数の色でさらに多くの特徴点を作ることができる。

本開示は、投写型表示装置の投写画像の歪みを補正する技術として広く適用可能である。例えば本開示は、曲面に映像を投写するプロジェクションマッピング等の技術に適用可能である。

１，１Ａ 投写画像調整システム
１００ 投写型表示装置
２００ 制御装置
２０１ 記憶部
２０２ パターン生成部
２０３ 映像送出部
２０４ 取得部
２０５ パターン合成部
２０６ 特定部
２０７ 算出部
３００ 撮像装置
４００ 投写面
４０１，４０２ 投写映像
５００，８００，９００Ａ～９００Ｄ 投写テストパターン
６００ 色チャネルデータベース
７００ 合成撮像画像
７０１～７０３ 撮像画像
５０１～５０３，８０１（１）～８０１（２^ｎ－１） 二値テストパターン
Ｒ 領域
Ｌ 境界線
Ｐ 特徴点

Claims (6)

1. 投写テストパターンを用いて投写型表示装置の投写画像が歪まないように調整するための投写画像調整システムであって、
   前記投写テストパターンは、二値表現される複数の第１属性の組み合わせにより表現される第２属性をそれぞれ有する複数の領域に分割され、前記複数の領域のうち３つ以上が点隣接する複数の特徴点を含む画像であり、
   前記投写画像調整システムは、
   前記投写テストパターンを、前記第１属性ごとの二値テストパターンに分解するパターン生成部と、
   前記複数の二値テストパターンをそれぞれ投写する投写型表示装置と、
   前記表示された複数の二値テストパターンをそれぞれ撮像し、当該各撮像画像を二値化した各二値撮像画像から合成撮像画像を合成するパターン合成部と、
   前記合成撮像画像における前記投写テストパターンの前記特徴点に対応する座標と前記投写テストパターンにおける前記特徴点の位置との対応関係を特定する特定部と、
   前記対応関係を用いて前記投写画像を変形させるための変形データを算出する算出部とを備える、
   投写画像調整システム。
2. 前記第１属性は複数の色チャネルの値であり、
   前記第２属性は前記複数の色チャネルの値の組み合わせにより表現される色である、
   請求項１に記載の投写画像調整システム。
3. 前記複数の色チャネルは、赤色、緑色、及び青色に対応する３つの色チャネルである、
   請求項２に記載の投写画像調整システム。
4. 前記第１属性は複数の輝度チャネルの値であり、
   前記第２属性は前記複数の輝度チャネルの値の組み合わせにより表現される輝度である、
   請求項１に記載の投写画像調整システム。
5. 前記特徴点の各々で点隣接する前記領域の数は、すべての前記特徴点で同じ所定の数である、
   請求項１～４のいずれか１つに記載の投写画像調整システム。
6. 投写テストパターンを用いて投写型表示装置の投写画像が歪まないように調整するための投写画像調整方法であって、
   前記投写テストパターンは、二値表現される複数の第１属性の組み合わせにより表現される第２属性をそれぞれ有する複数の領域に分割され、前記複数の領域のうち３つ以上が点隣接する複数の特徴点を含む画像であり、
   前記投写画像調整方法は、
   前記投写テストパターンを、前記第１属性ごとの二値テストパターンに分解するステップと、
   前記複数の二値テストパターンをそれぞれ投写するステップと、
   前記表示された複数の二値テストパターンをそれぞれ撮像し、当該各撮像画像を二値化した各二値撮像画像から合成撮像画像を合成するステップと、
   前記合成撮像画像における前記投写テストパターンの前記特徴点に対応する座標と前記投写テストパターンにおける前記特徴点の位置との対応関係を特定するステップと、
   前記対応関係を用いて前記投写画像を変形させるための変形データを算出するステップとを含む、
   投写画像調整方法。

Images