JPWO2017187842A1 - 画像投影装置、投影撮像システムおよび補正方法 - Google Patents

Abstract

この画像投影装置は、投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像と、測定用画像を投影面に向けて投射する投影部とを備え、測定用画像は、それぞれが複数の色の図形を含む複数のユニット画像を有し、各ユニット画像では、複数の色の図形の各重心位置が略一致するものである。

Description

本開示は、カラーの画像を投影する画像投影装置および投影撮像システム、ならびに投影用の画像を補正する補正方法に関する。

プロジェクタ等の画像投影装置では、レンズ特性、投影面の凹凸あるいは投影面に対する投射角度等に起因し、投影画像に幾何的な歪みが生じる。また、レンズの倍率色収差等により、投影基本色（例えば赤色、緑色および青色）同士の間で、投影位置のずれ（以下、色ずれという）が生じることがある。そこで、パターン画像を投影面に投射して投影画面を撮像し、その撮像画像に基づいて、画像の歪みや色ずれを補正する手法が提案されている（例えば、特許文献１〜３）。

特開２０１５−１７３３３９号公報 特開２００６−１６２８０８号公報 特開２０１３−２１６７４号公報

しかしながら、上記の手法では、パターン画像の投影時あるいは投影画面の撮像時において、ユーザの利便性が低く、改善が望まれる。

ユーザの利便性を向上することが可能な画像投影装置、投影撮像システムおよび補正方法の実現が望まれている。

本開示の一実施の形態の画像投影装置は、投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像と、測定用画像を投影面に向けて投射する投影部とを備え、測定用画像は、それぞれが複数の色の図形を含む複数のユニット画像を有し、各ユニット画像では、複数の色の図形の各重心位置が略一致するものである。

本開示の一実施の形態の画像投影装置では、投影部により投影面に向けて投射される測定用画像が、複数の色の図形を含むユニット画像を複数有し、このユニット画像では、複数の色の図形の各重心位置が略一致している。これにより、例えば複数の色毎に測定用画像を投影することなく、色ずれを測定することが可能となる。換言すると、測定用画像は、色毎に用意する必要がなく複数色に対して１種類を用意すればよい。

本開示の一実施の形態の投影撮像システムは、投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像を投影面に向けて投射する投影部と、測定用画像の投射された投影画面を撮像する撮像部とを備え、測定用画像は、それぞれが複数の色の図形を含む複数のユニット画像を有し、各ユニット画像では、複数の色の図形の各重心位置が略一致するものである。

本開示の一実施の形態の投影撮像システムでは、投影部により投影面に向けて投射される測定用画像が、複数の色の図形を含むユニット画像を複数有し、このユニット画像では、複数の色の図形の各重心位置が略一致している。これにより、例えば複数の色毎に測定用画像を投影することなく、また、色毎に撮像することなく、色ずれを測定することが可能となる。換言すると、測定用画像は、色毎に用意する必要がなく、複数色に対して１種類を用意すればよく、これにより撮像回数も削減される。

本開示の一実施の形態の補正方法は、投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像を投影面に向けて投射し、測定用画像の投射された投影画面を撮像し、投影画面の撮像画像に基づいて、投影対象の画像を補正するものである。測定用画像は、それぞれが複数の色の図形を含む複数のユニット画像を有し、各ユニット画像では、複数の色の図形の各重心位置が略一致する。

本開示の一実施の形態の補正方法では、投影面に向けて投射される測定用画像が、複数の色の図形を含むユニット画像を複数有し、このユニット画像では、複数の色の図形の各重心位置が略一致している。これにより、例えば複数の色毎に測定用画像を投影することなく、また、色毎に撮像することなく、色ずれを測定し、補正することが可能となる。換言すると、測定用画像は、色毎に用意する必要がなく、複数色に対して１種類を用意すればよく、これにより撮像回数も削減される。

本開示の一実施の形態の画像投影装置によれば、投影部により投影面に向けて投射される測定用画像が、複数の色の図形を含むユニット画像を複数有し、このユニット画像では、複数の色の図形の各重心位置が略一致している。これにより、例えば複数の色毎に測定用画像を投影することなく、色ずれを測定することが可能となる。よって、ユーザの利便性を向上させることが可能となる。

本開示の一実施の形態の投影撮像システムによれば、投影部により投影面に向けて投射される測定用画像が、複数の色の図形を含むユニット画像を複数有し、このユニット画像では、複数の色の図形の各重心位置が略一致している。これにより、例えば複数の色毎に測定用画像を投影することなく、また、色毎に撮像することなく、色ずれを測定することが可能となる。特に、色毎に投影画面の撮像を行う場合には、三脚等を用いて撮像部を固定しつつ撮像を行うこととなるため、利便性が低い。これに対し、上記のようなユニット画像を有する測定用画像を用いることにより、一度の撮像で色ずれを測定可能となる。よって、ユーザの利便性を向上させることが可能となる。

本開示の一実施の形態の補正方法によれば、投影面に向けて投射される測定用画像が、複数の色の図形を含むユニット画像を複数有し、このユニット画像では、複数の色の図形の各重心位置が略一致している。これにより、例えば複数の色毎に測定用画像を投影することなく、また、色毎に撮像することなく、色ずれを測定し、補正することが可能となる。特に、色毎に投影画面の撮像を行う場合には、三脚等を用いて撮像部を固定しつつ撮像することとなるため、利便性が低い。これに対し、上記のようなユニット画像を有する測定用画像を用いることにより、一度の撮像で色ずれを測定可能となる。よって、ユーザの利便性を向上させることが可能となる。

尚、上記内容は本開示の一例である。本開示の効果は、上述したものに限らず、他の異なる効果であってもよいし、更に他の効果を含んでいてもよい。

本開示の一実施の形態に係る画像投影装置を備えた投影撮像システムの全体構成の一例を示す構成図である。 測定用画像の一例を表す模式図である。 図２に示したユニット画像の詳細を説明するための模式図である。 図１に示した投影撮像システムにおける測定用画像の投影から補正処理までの流れを表す図である。 測定用画像の投影画面を撮像した画像（撮像画像）を説明するための模式図である。 図５の画像のうちの赤色に対応するグレースケール画像を表す模式図である。 図５の画像のうちの緑色に対応するグレースケール画像を表す模式図である。 図５の画像のうちの青色に対応するグレースケール画像を表す模式図である。 図６Ａの画像の二値化処理後の画像を表す模式図である。 図６Ｂの画像の二値化処理後の画像を表す模式図である。 図６Ｃの画像の二値化処理後の画像を表す模式図である。 図３に示したユニット画像の効果を説明するための模式図である。 図３に示したユニット画像の効果を説明するための模式図である。 投影部における色調整について説明するための特性図である。 図１０に示した青色の投影画像を表す模式図である。 図１１に示した投影画像のＲＧＢ成分を表す特性図である。 図１１に示した投影画像を撮像した画像（撮像画像）のＲＧＢ成分を表す特性図である。 撮像部における分光感度特性の一例を表す特性図である。 緑色に対応する投影画像を表す模式図である。 図１４に示した投影画像のＲＧＢ成分を表す特性図である。 図１４に示した投影画像を撮像した画像（撮像画像）のＲＧＢ成分を表す特性図である。 測定用画像の一例を表す模式図である。 図１６に示した測定用画像の投影画面における色ずれを説明するための模式図である。 投影画像、投影画面および撮像画像における色毎の重心位置を説明するための模式図である。 投影面の歪みに起因する色ずれを説明するための模式図である。 比較例に係る測定用画像を表す模式図である。 図２０に示した測定用画像の投影画面を説明するための模式図である。 図２１に示した投影画面の撮像画像に基づく補間処理について説明するための模式図である。 輝度分布の補正処理を説明するための模式図である。 変形例１に係る測定用画像の構成を表す模式図である。 図２４に示したユニット画像の詳細を説明するための模式図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（所定のユニット画像を含む測定用画像を投影する投影部を備えた画像投影装置の例）
２．変形例１（測定用画像の他の例）

＜実施形態＞
［構成］
図１は、本開示の一実施の形態に係る画像投影装置（画像投影装置１Ａ）を備えた投影撮像システム（投影撮像システム１）の構成を表したものである。投影撮像システム１は、画像投影装置１Ａと、撮像部２０とを備えている。尚、ここで説明する構成は一例である。この例では、画像投影装置１Ａが解析部３０を有する（解析部３０が画像投影装置１Ａ内に設けられる）場合について説明するが、解析部３０は、画像投影装置１Ａではなく撮像部２０内に設けられていてもよい。

画像投影装置１Ａは、例えば、投影部１０と、解析部３０と、補正部４０とを備えている。この画像投影装置１Ａは、また、投影基本色としての複数の色同士の間の投影位置のずれ（色ずれ）を測定するための測定用画像（測定用画像Ｄcp）を保持している。但し、この測定用画像Ｄcpは、外部から入力されても構わない。この画像投影装置１Ａは、例えば、図示しない制御部の制御により、測定用画像Ｄcp（および投影用の画像）が投影面２００に向けて投射されると共に、撮像部２０から供給される撮像画像Ｄ１に基づいて色ずれが測定（検出）され、この測定結果（色ずれ情報Ｄ２）に基づいて投影用の画像が補正されるように構成されている。測定用画像Ｄcpの構成については後述する。

投影部１０は、例えば光源を有する照明部と、照明部から出射される照明光に基づいて画像を生成するライトバルブと、このライトバルブからの出射光を投影面２００に向けて投射する投射レンズとを含むプロジェクタモジュールである。

この投影部１０に用いられる投射レンズとしては、特に限定されないが、本実施の形態の測定用画像を用いた補正方法は、いわゆる超短焦点型のレンズが用いられる場合に特に有効である。超短焦点型のレンズのスローレシオ（Throw Ratio）は、例えば０．３８以下である。ここで、スローレシオとは、投射レンズから投影面２００までの距離と、投影面２００上に形成される投影画面の幅との比率に相当する。

撮像部２０は、例えば画像投影装置１Ａへの撮像画像Ｄ１の送信を可能とする撮像装置である。撮像部２０としては、望ましくは、ユーザが手持ちで投影画面を撮像することの可能なカメラを内蔵した電子機器、例えばスマートフォン、タブレット型パーソナルコンピュータ、携帯電話機、デジタルカメラ等が用いられる。尚、ここでは、撮像部２０が、画像投影装置１Ａ（投影部１０）とは独立した電子機器であるものとして説明するが、撮像部２０が画像投影装置１Ａに内蔵され、１つの機器を構成していてもよい。また、撮像部２０が解析部３０を内蔵していていも構わない。

解析部３０は、撮像画像Ｄ１に基づいて色ずれを測定する信号処理部である。詳細は後述するが、この解析部３０では、撮像画像Ｄ１に基づいて、色毎に重心位置座標を算出し、これらの重心位置座標から各色間の位置ずれ量を算出するようになっている。

補正部４０は、色ずれ情報Ｄ２に基づいて、投影用の画像を補正する信号処理部である。この補正部４０は、また、必要に応じて、投影画面および撮像画像の輝度分布を補正する（輝度むらを抑制する）処理を行うものである。

尚、本実施の形態の投影撮像システムでは、これらの解析部３０および補正部４０による信号処理は、画像投影装置１Ａ内のプロセッサにより実行される。但し、解析部３０による信号処理は、撮像部２０内のプロセッサにより実行されてもよい。また、これらの解析部３０および補正部４０による信号処理は、他の装置（例えばパーソナルコンピュータ等）において実行されてもよい。また、ユーザの要望に応じて、解析部３０による色ずれの測定処理までを行い、補正部４０による補正処理を行わない構成とされてもよい。

投影面２００は、例えばスクリーン、壁、テーブル、床等とすることができる。投影部１０の投射レンズとして超短焦点型のレンズを用いる場合には、例えば、画像投影装置１Ａが投影面２００の近傍に設置された状態で、投影面２００に対して斜め方向から画像が投射される。

（測定用画像Ｄcp）
図２は、測定用画像Ｄcpの一例を表したものである。測定用画像Ｄcpは、投影基本色となる複数の色同士の間の位置ずれを測定するためのパターン画像である。ここでは、投影基本色として、赤色（Ｒ），緑色（Ｇ）および青色（Ｂ）の３色を例に挙げる。測定用画像Ｄcpは、例えばマトリクス状に配置された複数のユニット画像Ｕ１を有している。この例では、これらの複数のユニット画像Ｕ１が、敷き詰められて（互いに隣接して）配置されている。但し、ユニット画像Ｕ１同士は必ずしも隣接しなくともよい。

図３には、ユニット画像Ｕ１を拡大したものを示す。ユニット画像Ｕ１は、Ｒ，Ｇ，Ｂの各色の図形（赤色図形Ｓｒ，緑色図形Ｓｇ，青色図形Ｓｂ）を含んでいる。ユニット画像Ｕ１では、これらの赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂの各重心（Ｇｒ，Ｇｇ，Ｇｂ）の位置が略一致している。この例では、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂのうちの一の図形（例えば、緑色図形Ｓｇ）が円形状を有し、他の色の図形（例えば赤色図形Ｓｒおよび青色図形Ｓｂ）が、その円形状を囲む円環状を有する。詳細には、円形状の緑色図形Ｓｇの外周に沿って、円環状の赤色図形Ｓｒが配置され、この赤色図形Ｓｒの外周に沿って、円環状の青色図形Ｓｂが配置されている。

このユニット画像Ｕ１は、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂのうち、隣り合う図形同士の境界に、黒色領域（黒色領域ｂｋ）を有する。この例では、黒色領域ｂｋは、緑色図形Ｓｇと赤色図形Ｓｒとの境界と、赤色図形Ｓｒと青色図形Ｓｂとの境界とにそれぞれ配置されている。また、測定用画像Ｄcpの背景（ユニット画像Ｕ１同士の間隙に相当する部分の画像）が、例えば白色である場合には、図３に示したように青色図形Ｓｂの外縁部にも、黒色領域ｂｋが配置されることが望ましい。尚、この例における緑色図形Ｓｇおよび赤色図形Ｓｒの組み合わせと、赤色図形Ｓｒおよび青色図形Ｓｂの組み合わせとが、本開示の「第１の図形」および「第２の図形」の組み合わせの一具体例に相当する。

黒色領域ｂｋは、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂ同士の全ての境界に配置されてもよいが、選択的な色の図形同士の境界にのみ配置されていてもよい。選択的な色の図形同士の境界にのみ配置する場合には、特に、色ずれ測定過程で生じる各色間のクロストークが生じ易い組み合わせとなる色同士が隣り合う境界に、黒色領域ｂｋが配置されることが有効である。例えば、詳細は後述するが、緑色図形Ｓｇと赤色図形Ｓｒとの間では比較的クロストークが生じ易いことから、これらの緑色図形Ｓｇと赤色図形Ｓｒとの境界に黒色領域ｂｋを配置するとよい。一方で、例えば赤色図形Ｓｒと青色図形Ｓｂとの境界において、クロストークが許容できる場合には、これらの赤色図形Ｓｒと青色図形Ｓｂとの境界には黒色領域ｂｋが配置されなくともよい。このように、黒色領域ｂｋは必ずしも配置されている必要はなく、色間のクロストークの度合いに応じて配置されればよい。但し、本実施の形態のように、測定用画像Ｄcpに黒色領域ｂｋを用いることにより、クロストークが生じた場合にも、各色の重心位置を精度良く算出することができる。また、投影時または撮像時に画像にぼけが生じた場合にも、各色の図形の輪郭を精度良く抽出することができる。これらのことから、黒色領域ｂｋを配置することにより、色ずれの測定精度を高めることができる。

青色図形Ｓｂの外縁部の黒色領域ｂｋは、背景色とのクロストークを考慮して配置される。背景色が黒色の場合、あるいはクロストークが許容できる場合には、この青色図形Ｓｂの外縁部の黒色領域ｂｋは配置されなくともよい。

尚、色間のクロストークとは、例えば二値化処理後の図形同士が位置ずれによって接触あるいは部分的に重なることによって、判別がつかない状態を示している。

このユニット画像Ｕ１では、また、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂのうち、クロストークが生じ易い色の組み合わせとなる図形同士の間の距離が相対的に大きくなるように配置されている。この例では、緑色および青色間のクロストークが、赤色および青色の間あるいは赤色および緑色の間のクロストークよりも生じ易い（大きい）場合を考慮した配置となっている。本実施の形態の緑色図形Ｓｇおよび青色図形Ｓｂが、本開示の「第３の図形」および「第４の図形」の組み合わせの一具体例に相当する。

上記のように、ユニット画像Ｕ１では、赤色図形Ｓｒ、緑色図形Ｓｇ、青色図形Ｓｂおよび黒色領域ｂｋのレイアウトが、各色間のクロストークの特性に応じて決定されることが望ましい。このクロストークの特性は、後述するように、投影部１０、撮像部２０あるいは投影面２００等の使用環境や機器の特性に応じて異なるものである。したがって、例えば、このクロストーク特性に関する情報が、予め別手段により取得され、取得されたクロストーク情報に基づいて、測定用画像Ｄcpが決定されることが望ましい。あるいは、予め複数種類の測定用画像Ｄcpを用意しておき、取得されたクロストーク情報に基づいて、最適な測定用画像Ｄcpを選択するようしてもよい。更には、許容されるクロストーク範囲を予め設定しておき、各色の配置図形間の距離を予め定めても良い。

ユニット画像Ｕ１では、更に、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂのそれぞれの少なくとも一部同士が、平行移動により一致しない、ように配置されることが望ましい。即ち、ユニット画像Ｕ１では、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂの各一部の形状、サイズおよび向きが同一ではない。または、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂのそれぞれの形状、サイズおよび向きが同一ではない。これは、特定の色の図形において位置ずれが生じた場合に、この位置ずれによって、他の色の図形と完全に一致してしまうと、あるいは一致する部分があると、重心位置を正確に算出することが難しいためである。

ユニット画像Ｕ１では、更に、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂのうちの一の図形が他の図形に、平行移動により内包されない、ように配置されることが望ましい。これは、特定の色の図形において位置ずれが生じた場合に、この図形が、他の色の図形に内包されてしまうと、重心位置を正確に算出することが難しいためである。

［処理動作］
以下に、画像投影装置１Ａおよび投影撮像システムの動作として、上記のような測定用画像Ｄcpを用いた色ずれ測定および補正処理のフローについて説明する。図４に、そのフローの一例を示す。

まず、画像投影装置１Ａの投影部１０が、投影面２００に向けて、上述したようなユニット画像Ｕ１を有する測定用画像Ｄcpを投射する（ステップＳ１１）。続いて、撮像部２０が、投影面２００に投射された測定用画像Ｄcpの画面（投影画面）を撮像することにより、撮像画像Ｄ１を取得する（ステップＳ１２）。

図５に、撮像画像Ｄ１の一例を示す。尚、図５では、簡便化のため、撮像画像Ｄ１のうちの一部の領域（３×３のユニット画像を含む領域）のみを示している。このように、測定用画像Ｄcpの投影画面を撮像して得られた撮像画像Ｄ１は、ユニット画像Ｕ１に相当するユニット画像Ｕ２を有する。ユニット画像Ｕ２には、ユニット画像Ｕ１と同様、ＲＧＢで表された画像であり、赤色図形（赤色図形Ｓｒ１）、緑色図形（緑色図形Ｓｇ１）、青色図形（青色図形Ｓｂ１）および黒色領域（黒色領域ｂｋ１）を含む。この撮像画像Ｄ１は、画像投影装置１Ａの解析部３０へ供給される。

続いて、解析部３０は、入力された撮像画像Ｄ１に基づいて、色毎のグレースケール画像を生成する（ステップＳ１３）。具体的には、撮像画像Ｄ１をＲ，Ｇ，Ｂの各色成分の画像に分離した後、それぞれの画像の色成分に基づいて階調表現されたグレースケール画像に変換する。

一例として、図６Ａに、赤色に対応するグレースケール画像（画像Ｄ１１ｒ）を、図６Ｂに、緑色に対応するグレースケール画像（画像Ｄ１１ｇ）を、図６Ｃに、青色に対応するグレースケール画像（画像Ｄ１１ｂ）を、それぞれ示す。図６Ａに示した画像Ｄ１１ｒでは、撮像画像Ｄ１のユニット画像Ｕ２のうちの赤色図形Ｓｒ１に相当する図形（図形Ｓｒ２）が白色で表され、その他の図形部分では、赤色成分の量に応じてグレーから黒色の階調で表されている。図６Ｂに示した画像Ｄ１１ｇでは、撮像画像Ｄ１のユニット画像Ｕ２のうちの緑色図形Ｓｇ１に相当する図形（図形Ｓｇ２）が白色で表され、その他の図形部分では、緑色成分の量に応じてグレーから黒色の間の階調で表されている。図６Ｃに示した画像Ｄ１１ｂでは、撮像画像Ｄ１のユニット画像Ｕ２のうちの青色図形Ｓｂ１に相当する図形（図形Ｓｂ２）が白色で表され、その他の図形部分では、青色成分の量に応じてグレーから黒色の間の階調で表されている。

続いて、解析部３０は、これらのグレースケールの画像Ｄ１１ｒ，Ｄ１１ｇ，Ｄ１１ｂのそれぞれに対して二値化処理を施す（ステップＳ１４）。二値化処理としては、例えば所定の閾値を用いた適応的二値化処理が挙げられる。

一例として、図７Ａに、画像Ｄ１１ｒの二値化処理後の画像（画像Ｄ１２ｒ）を、図７Ｂに、画像Ｄ１１ｇの二値化処理後の画像（画像Ｄ１２ｇ）を、図７Ｃに、画像Ｄ１１ｂの二値化処理後の画像（画像Ｄ１２ｂ）を、それぞれ示す。図７Ａに示した画像Ｄ１２ｒでは、撮像画像Ｄ１の赤色図形Ｓｒ１（画像Ｄ１１ｒの図形Ｓｒ２）に相当する図形（図形Ｓｒ３）が白色で表され、その他の図形部分は黒色で表されている。図７Ｂに示した画像Ｄ１２ｇでは、撮像画像Ｄ１の緑色図形Ｓｇ１（画像Ｄ１１ｇの図形Ｓｇ２）に相当する図形（図形Ｓｇ３）と、撮像画像Ｄ１の赤色図形Ｓｒ１に相当する図形部分（図形Ｓｒ３）とが白色で表され、その他の図形部分は黒色で表されている。図７Ｃに示した画像Ｄ１２ｂでは、撮像画像Ｄ１の青色図形Ｓｂ１（画像Ｄ１１ｂの図形Ｓｂ２）に相当する図形（図形Ｓｂ３）と、撮像画像Ｄ１の緑色図形Ｓｇ１に相当する図形部分（図形Ｓｇ３）とが白色で表され、その他の図形部分は黒色で表されている。

このように、二値化処理後には、例えば、緑色成分に基づいて生成された画像Ｄ１２ｇにおいて、緑色図形Ｓｇに対応する図形Ｓｇ３だけでなく、赤色図形Ｓｒに対応する図形Ｓｒ３も白色で表される。また、青色成分に基づいて生成された画像Ｄ１２ｂでは、青色図形Ｓｂに対応する図形Ｓｂ３だけでなく、緑色図形Ｓｇに対応する図形Ｓｇ３も白色で表される。

続いて、解析部３０は、これらの二値化処理後の画像Ｄ１２ｒ，Ｄ１２ｇ，Ｄ１２ｂのそれぞれに基づいて輪郭（輪郭画素）を抽出する（ステップＳ１５）。具体的には、各画像Ｄ１２ｒ，Ｄ１２ｇ，Ｄ１２ｂにおける二値の境界を成す画素の集合を抽出する。

次に、解析部３０は、ノイズ輪郭の除去を行う（ステップＳ１６）。ここで、抽出された輪郭画素に中には、クロストーク等に起因するノイズにより構成される輪郭画素が含まれている。このようなノイズ輪郭を、各輪郭により囲まれた図形の面積や、形状、色情報（撮像画像Ｄ１を参照し取得した色情報）を用いて、除去する。これにより、各色成分の図形Ｓｒ３，Ｓｇ３，Ｓｂ３の輪郭が得られる。

このとき、測定用画像Ｄcpのユニット画像Ｕ１が各色の図形の境界に黒色領域ｂｋを含んで構成されることにより、輪郭を特定し易く、ノイズ輪郭を除去し易くなる。ここで仮に、測定用画像が黒色領域ｂｋを含まない場合、二値化処理後に異なる色の領域を判別することが困難になることがある。図８に、黒色領域ｂｋを含まない測定用画像（図３に示したユニット画像において黒色領域ｂｋが配置されていない場合の画像）の投影画面を撮像し、得られた撮像画像に対して上記のような二値化処理を行った後の緑色に対応する画像Ｄ１００ｇを示す。この画像Ｄ１００ｇでは、緑色図形Ｓｇに対応する図形Ｓｇ３と、赤色図形Ｓｒに対応する図形Ｓｒ３とがいずれも白色で表され、それらの境界が判別しにくくなる。このため、ノイズ輪郭除去が困難である。これに対し、本実施の形態のように、測定用画像Ｄcpが黒色領域ｂｋを含むことにより、二値化処理後の画像Ｄ１２ｇにおいて、緑色図形Ｓｇに対応する図形Ｓｇ３と、赤色図形Ｓｒに対応する図形Ｓｒ３との境界に黒色領域ｂｋ３が介在する。このため、図形Ｓｇ３，Ｓｒ３の判別が可能となり、ノイズ輪郭除去が容易となる。

続いて、解析部３０は、各色成分の図形Ｓｒ３，Ｓｇ３，Ｓｂ３の輪郭の情報（位置情報）に基づいて、色毎の重心位置座標を算出する（ステップＳ１７）。この後、算出した色毎の重心位置座標間のずれ量（色ずれ量）を算出する（ステップＳ１８）。算出された色ずれ量に関する情報（色ずれ情報Ｄ２）は、補正部４０へ供給される。

次に、補正部４０は、入力された色ずれ情報Ｄ２に基づいて、投影用の画像を補正する（ステップＳ１９）。具体的には、色毎の位置ずれが低減されるように補正係数を算出し、算出した補正係数を用いて画像補正を行う。補正係数としては、例えば、二次元的な補正ベクトルマップが用いられる。この補正後の画像（画像Ｄ３）は、投影部１０へ供給される。これにより、投影部１０は、補正部４０から入力された、色ずれ補正後の画像Ｄ３に基づいて画像表示を行うことができる。

［効果］
以上のように、本実施の形態の投影撮像システム１では、投影部１０により測定用画像Ｄcpが投影面２００上に投影され、この投影画面が撮像部２０により撮像される。この撮像画像Ｄ１に基づいて色ずれ量が解析部３０により測定される。測定された色ずれ量に基づいて、補正部４０により、投影用の画像が補正される。

ここで、一般的なプロジェクタ等の画像投影装置では、レンズ特性、投影面の凹凸あるいは投影面に対する投射角度等に起因し、投影画像に幾何的な歪みを生じる。また、レンズの倍率色収差等により、上記のような色ずれが生じる。そこで、これまでにも、測定用のパターン画像を投影面に投射して投影画面を撮像し、その撮像画像に基づいて、画像の歪みや色ずれを補正する手法が提案されている（例えば、上記特許文献１〜３）。

例えば、特許文献１の手法は、投影画面の幾何的な歪みを補正するために、２値から成る３重の同心円と、面積分すると同色となる背景とから構成されたパターンを有する測定用画像を用いる。この測定用画像の投影画面を撮像し、撮像画像の平滑化処理を行うことで、投影画面の歪み検出を行う。また、特許文献２の手法では、測定用画像の投影画面を撮像した画像を二値化処理することにより、各図形の重心座標を算出し、歪みを検出する。また、特許文献３の手法は、投影画面の歪みや色ずれを補正するために、投影基本色毎に測定用画像を投影し、色毎に撮像した画像を解析する。

しかしながら、これらの技術を用いて色ずれ量を測定するためには、色毎に（複数種類の）測定用画像を用意することとなる。また、撮像時には、これらの色毎の測定用画像をそれぞれ投影した画面を撮像することになる。このため、撮像位置間の校正ができない場合には、色毎に投影画面の撮像を行う間、撮像装置を三脚等で固定することとなる。このため、ユーザの利便性が低い。

これに対し、本実施の形態では、上述したような各色の図形同士の重心位置が一致したユニット画像Ｕ１を有する測定用画像Ｄcpを用いることで、例えば複数の色毎に測定用画像Ｄcpを投影することなく、また、色毎に撮像することなく、色ずれを測定することが可能となる。換言すると、測定用画像Ｄcpは、色毎に用意する必要がない（複数色に対して１種類を用意すればよい）。また、これにより撮像回数も削減される（１回の撮像で済む）。このように、本実施の形態では、１回の投影および撮像で色ずれ量を測定可能であり、例えば撮像装置（撮像部２０）を手持ちで（手に持った状態で）、撮像を行って、色ずれ測定ないし画像補正を行うことが可能となる。

ここで、画像投影装置１Ａ（投影部１０）の投影基本色と、撮像部２０の撮像基本色とが、例えば同じ赤色、緑色、青色であったとしても、投影した基本色がそのまま撮像画像側の基本色として撮像されるとは限らない。投影部１０の光源スペクトル特性あるいは色調整による投影基本色の混色、あるいは撮像部２０の分光感度特性により、各色間でクロストークが生じるからである。

図１０は、投影部１０における色調整について説明するための特性図である。例えば、青色光源の色度（ｂ０）と、投影したい青色の色度（ｂ１）が異なる場合、青色の描画時に、青色（色度ｂ０）に、緑色（緑色光源の色度ｂ０）を混色することにより（色調整により）、色度ｂ１が調整される。このため、色調整後の青色（色度ｂ１）の画像（図１１）を投影した場合、青成分（Ｂ）で表される画像（図１２Ａ）が、撮像画像（図１２Ｂ）では、緑成分（Ｇ）も含んで撮像される。尚、図１２Ａおよび図１２Ｂは、図１１におけるＩＡ−ＩＡ線におけるＲＧＢ成分を模式的に表している。

図１３は、撮像部２０（撮像装置）における分光感度特性の一例を表す特性図である。緑色（波長域ｇ１）の画像（図１４）を投影した場合、緑成分（Ｇ）で表される画像（図１５Ａ）が、撮像画像（図１５Ｂ）では、青成分（Ｂ）および赤成分（Ｒ）をも含んで撮像される。これは、図１３の領域Ａに示したように、緑色の波長域ｇ１に対し、赤色および青色の感度が０（ゼロ）ではないことに起因する。尚、図１５Ａおよび図１５Ｂは、図１４におけるＩＢ−ＩＢ線におけるＲＧＢ成分を模式的に表している。

これらの理由から、１回の投影および撮像にて色ずれ測定を行う場合には、各色の図形の位置座標を検出する際に、色のクロストークがノイズ要因となり得る。例えば、図１６に示したように、円形状の赤色図形Ｓｒの周囲に、円環状の緑色図形Ｓｇおよび青色図形Ｓｂが順に配置された測定用画像を投影した場合について考える。この測定用画像では、重心（Ｇｒ，Ｇｇ，Ｇｂ）の位置は一致しているものとする。図１７に示したように、投影画面において、緑色図形Ｓｇ１の投影位置が、他の図形（赤色図形Ｓｒ１，青色図形Ｓｂ１）に対して横にずれた場合、その投影画面を撮影した撮像画像では、位置ずれが生じ、色間でクロストークが生じ得る。図１８には、図１６の投影画像のＩＣ−ＩＣ線におけるＲＧＢ成分と、図１７の投影画面のＩＤ−ＩＤ線におけるＲＧＢ成分と、その投影画面を撮像して得られる撮像画像のＲＧＢ成分とを模式的に示す。このように、投影画面においてある色の図形の重心位置がずれると、撮像画像における重心（Ｇｒ１，Ｇｇ１，Ｇｂ１）の位置がずれ、これによりクロストークが生じて、各色の図形の位置座標の検出精度が低下してしまう。

これに対しては、本実施の形態の測定用画像Ｄcpでは、ユニット画像Ｕ１において、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂの境界に黒色領域ｂｋが配置されている。これにより、例えば投影部１０、投影画面あるいは撮像部２０の特性に起因して、特定の色の位置ずれによるクロストーク（一例としては、図７Ｂに示した図形Ｓｇ３，Ｓｒ３同士のクロストーク）が生じた場合にも、上述したようなノイズ輪郭除去等の処理によって、各色の図形の境界を容易に特定することが可能となる。

また、ユニット画像Ｕ１では、相対的にクロストークを生じ易い色の組み合わせの図形同士の間の距離が、相対的に大きくなるように構成される。これにより、例えば投影部１０、投影画面あるいは撮像部２０の特性に起因して特定の色の位置ずれが生じた場合にも、クロストークし易い色の図形同士（一例としては、図７Ｃに示した図形Ｓｇ３，Ｓｂ３同士）が接触あるいは部分的に重ならないようにすることができる。即ち、これらの図形Ｓｇ３，Ｓｂ３同士の間のクロストークを抑制することができる。

図１９は、投影面２００の歪みに起因する色ずれを説明するための模式図である。画像投影装置１Ａには、超短焦点型のレンズが用いられている。画像投影装置１Ａは、例えば床３００に置かれた状態で、壁等の投影面２００に対して、斜め方向から画像光Ｌを投射することができる。このような場合に、投影面２００に凹凸があると、画像投影装置１Ａによる投影画面に歪みが生じる。このような歪みを含む投影画面を撮像して、色ずれを測定する場合について述べる。

この場合、例えば図２０に示したような測定用画像（赤色図形Ｒ１００，緑色図形Ｇ１００および青色図形Ｂ１００が離散的に並べられたパターン画像）を用いる場合について考える。このような測定画像を投影した投影画面では、図２１に示したように、各色の図形が離散的な位置に投影される。このため、各図形間の位置情報は補間処理によって求めることとなる。補間誤差がある場合には、投影画面内の図形位置が変化すると、補間によって求めた歪み検出結果も変化する。ここで、図２２に示したように、投影面２００が凹凸を有する場合、投影部１０や撮像部２０に起因する色ずれがない場合でも、投影画面において、各色の図形位置がずれてしまう。このため、補間誤差により誤った色ずれが測定されることとなる。

これに対しては、本実施の形態では、測定用画像Ｄcpのユニット画像Ｕ１において、各色の図形の各重心位置が略一致していることから、投影画面の略同じ位置に、赤色図形Ｓｒ、緑色図形Ｓｇおよび青色図形Ｓｂが描画される。このため、上記のように投影面２００が凹凸を有し、投影画面に歪みが生じた場合にも、誤った色ずれが測定されることが抑制される。

加えて、レンズを通過する光は、そのレンズの光学的特性により、周辺光量が小さくなる傾向がある。従って、画像投影装置１Ａ（投影部１０）あるいは撮像部２０内のレンズ特性に起因して、投影画面あるいは撮像画像に輝度むらが生じることがある。また、投影画面内では、画像投影装置１Ａから投射される光線と、投影面２００とを成す角度は一定ではない。このことも、輝度むらを生じる要因となる。このような輝度むらは、投影画面の歪みや色ずれを測定する精度の低下につながる。また、意図しない露出設定にて撮像されることを避けるため、自動ではなく、手動で最適な露出設定が行われる場合もある。これらのことから、投影画面や撮像画像上の輝度むらはできるだけ抑制されることが望まれる。

そこで、補正部４０は、上述した色ずれ情報に基づく画像補正に加え、画像投影装置１Ａ（投影部１０）あるいは撮像部２０内のレンズ特性に起因する輝度分布を補正することが望ましい。一例として、図２３に、レンズ特性に起因して生じる輝度むらについて模式的に示す。補正により、このような輝度むらを低減することができ、色ずれの測定精度をより高めることができる。

以上のように本実施の形態では、投影部１０により投影面２００に向けて投射される測定用画像Ｄcpが、複数の色の図形を含むユニット画像Ｕ１を複数有し、このユニット画像Ｕ１では、複数の色の図形の各重心位置が略一致している。これにより、例えば複数の色毎に測定用画像Ｄcpを投影することなく、また、色毎に撮像することなく、色ずれを測定することが可能となる。特に、色毎に投影画面の撮像を行う場合には、三脚等を用いて撮像部２０を固定しつつ撮像を行うこととなるため、利便性が低い。これに対し、上記のようなユニット画像Ｕ１を有する測定用画像Ｄcpを用いることにより、一度の撮像で色ずれを測定可能となる。よって、ユーザの利便性を向上させることが可能となる。

尚、上記実施の形態では、投影および撮像の基本色が互いに同一（Ｒ，Ｇ，Ｂ）である場合を想定しているが、これらの基本色は互いに異なっていてもよい。投影および撮像の基本色が異なる場合、色のクロストークが生じるが、図４のフローチャートにおけるノイズ輪郭除去（ステップＳ１６）と同様の方法にて、各色の図形の輪郭を特定することが可能である。

以下、上記実施の形態の変形例として、測定用画像の他の例について説明する。尚、上記第１の実施の形態と同様の構成要素については、同一の符号を付し、適宜その説明を省略する。

＜変形例１＞
図２４は、変形例１に係る測定用画像（測定用画像Ｄcp１）の構成を表したものである。図２５は、図２４に示したユニット画像（ユニット画像Ｕ３）の詳細構成を説明するためのものである。上記実施の形態では、測定用画像Ｄcpのユニット画像Ｕ１において、各色の図形が、円形状とこれを囲む円環状となるように配置された例を挙げたが、測定用画像は、他にも様々な構成を取り得る。例えば、本変形例のように、各色の図形が複数の図形を含んで配置されていてもよい。具体的には、ユニット画像Ｕ３は、２つの赤色図形Ｓｒ１１，Ｓｒ１２と、２つの緑色図形Ｓｇ１１，Ｓｇ１２と、２つの青色図形Ｓｂ１１，Ｓｂ１２とを含む。これらの赤色図形Ｓｒ１１，Ｓｒ１２、緑色図形Ｓｇ１１，Ｓｇ１２および青色図形Ｓｂ１１，Ｓｂ１２はそれぞれ、例えば矩形状を有している。赤色図形Ｓｒ１１，Ｓｒ１２における重心Ｇｒ、緑色図形Ｓｇ１１，Ｓｇ１２における重心Ｇｇ、および青色図形Ｓｂ１１，Ｓｂ１２における重心Ｇｂは、略一致している。

また、本変形例においても、赤色図形Ｓｒ１１，Ｓｒ１２と、緑色図形Ｓｇ１１，Ｓｇ１２と、青色図形Ｓｂ１１，Ｓｂ１２とは、少なくとも一部同士が、平行移動により、一致しないように配置される。即ち、ユニット画像Ｕ３では、赤色図形Ｓｒ１１，Ｓｒ１２と、緑色図形Ｓｇ１１，Ｓｇ１２と、青色図形Ｓｂ１１，Ｓｂ１２のそれぞれの形状およびサイズは同じであるが、向きが同一ではない。これにより、特定の色の図形において位置ずれが生じた場合にも、重心位置を正確に算出して、色ずれを精度良く測定することが可能となる。また、このユニット画像Ｕ３では、赤色図形Ｓｒ１１，Ｓｒ１２と、緑色図形Ｓｇ１１，Ｓｇ１２と、青色図形Ｓｂ１１，Ｓｂ１２とのうちの一の図形が他の図形に、平行移動により内包されない、ように配置されている。

以上、実施の形態およびその変形例を挙げて説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。また、本明細書中に記載された効果は一例であり、他の効果であってもよいし、更に他の効果を含んでいてもよい。

例えば、本開示は以下のような構成を取ることができる。
（１）
投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像と、
前記測定用画像を投影面に向けて投射する投影部と
を備え、
前記測定用画像は、それぞれが前記複数の色の図形を含む複数のユニット画像を有し、
各ユニット画像では、前記複数の色の図形の各重心位置が略一致する
画像投影装置。
（２）
前記測定用画像の投射された投影画面を撮像して得られる撮像画像に基づいて、前記複数の色同士の間の色ずれ量を算出する解析部を更に備えた
上記（１）に記載の画像投影装置。
（３）
前記解析部により算出された色ずれ量に基づいて、投影用の画像を補正する補正部を更に備えた
上記（２）に記載の画像投影装置。
（４）
前記ユニット画像は、
前記複数の色の図形のうち、隣り合う第１および第２の図形を有し、
前記第１の図形と前記第２の図形との境界に黒色領域を有する
上記（１）ないし（３）のいずれか１つに記載の画像投影装置。
（５）
前記ユニット画像は、前記複数の色の図形のうち、相対的にクロストークを生じ易い組み合わせとなる第３および第４の図形を有し、
前記第３の図形と前記第４の図形との間の距離が相対的に大きくなるように配置されている
上記（１）ないし（４）のいずれか１つに記載の画像投影装置。
（６）
前記ユニット画像では、前記複数の色の図形のそれぞれの少なくとも一部同士が、平行移動により一致しない
上記（１）ないし（５）のいずれか１つに記載の画像投影装置。
（７）
前記ユニット画像では、前記複数の色の図形のうちの一の図形が他の図形に、平行移動により内包されない
上記（１）ないし（６）のいずれか１つに記載の画像投影装置。
（８）
前記ユニット画像では、
前記複数の色のうちの一の色の図形が円形状を有し、
他の色の図形が、前記円形状を囲む円環状を有する。
上記（１）ないし（７）のいずれか１つに記載の画像投影装置。
（９）
前記測定用画像では、前記ユニット画像がマトリクス状に配置されている
上記（１）ないし（８）のいずれか１つに記載の画像投影装置。
（１０）
前記補正部は、投影画面および撮像画像における輝度分布を補正する
上記（３）に記載の画像投影装置。
（１１）
前記投影部は、短焦点型の投射レンズを含む
上記（１）ないし（１０）のいずれか１つに記載の画像投影装置。
（１２）
投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像を投影面に向けて投射する投影部と、
前記測定用画像の投射された投影画面を撮像する撮像部と
を備え、
前記測定用画像は、それぞれが前記複数の色の図形を含む複数のユニット画像を有し、
各ユニット画像では、前記複数の色の図形の各重心位置が略一致する
投影撮像システム。
（１３）
前記撮像部により得られた撮像画像に基づいて、前記複数の色同士の間の色ずれ量を算出する解析部を更に備えた
上記（１２）に記載の投影撮像システム。
（１４）
前記解析部により算出された色ずれ量に基づいて、投影用の画像を補正する補正部を更に備えた
上記（１３）に記載の投影撮像システム。
（１５）
前記補正部は、投影画面および撮像画像における輝度分布を補正する
上記（１４）に記載の投影撮像システム。
（１６）
投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像を投影面に向けて投射し、
前記測定用画像の投射された投影画面を撮像し、
前記投影画面の撮像画像に基づいて、投影対象の画像を補正し、
前記測定用画像は、それぞれが前記複数の色の図形を含む複数のユニット画像を有し、
各ユニット画像では、前記複数の色の図形の各重心位置が略一致する
補正方法。

本出願は、日本国特許庁において２０１６年４月２７日に出願された日本特許出願番号第２０１６−８９０５８号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (16)

1. 投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像と、
   前記測定用画像を投影面に向けて投射する投影部と
   を備え、
   前記測定用画像は、それぞれが前記複数の色の図形を含む複数のユニット画像を有し、
   各ユニット画像では、前記複数の色の図形の各重心位置が略一致する
   画像投影装置。
2. 前記測定用画像の投射された投影画面を撮像して得られる撮像画像に基づいて、前記複数の色同士の間の色ずれ量を算出する解析部を更に備えた
   請求項１に記載の画像投影装置。
3. 前記解析部により算出された色ずれ量に基づいて、投影用の画像を補正する補正部を更に備えた
   請求項２に記載の画像投影装置。
4. 前記ユニット画像は、
   前記複数の色の図形のうち、隣り合う第１および第２の図形を有し、
   前記第１の図形と前記第２の図形との境界に黒色領域を有する
   請求項１に記載の画像投影装置。
5. 前記ユニット画像は、前記複数の色の図形のうち、相対的にクロストークを生じ易い組み合わせとなる第３および第４の図形を有し、
   前記第３の図形と前記第４の図形との間の距離が相対的に大きくなるように配置されている
   請求項１に記載の画像投影装置。
6. 前記ユニット画像では、前記複数の色の図形のそれぞれの少なくとも一部同士が、平行移動により一致しない
   請求項１に記載の画像投影装置。
7. 前記ユニット画像では、前記複数の色の図形のうちの一の図形が他の図形に、平行移動により内包されない
   請求項１に記載の画像投影装置。
8. 前記ユニット画像では、
   前記複数の色のうちの一の色の図形が円形状を有し、
   他の色の図形が、前記円形状を囲む円環状を有する。
   請求項１に記載の画像投影装置。
9. 前記測定用画像では、前記ユニット画像がマトリクス状に配置されている
   請求項１に記載の画像投影装置。
10. 前記補正部は、投影画面および撮像画像における輝度分布を補正する
    請求項３に記載の画像投影装置。
11. 前記投影部は、短焦点型の投射レンズを含む
    請求項１に記載の画像投影装置。
12. 投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像を投影面に向けて投射する投影部と、
    前記測定用画像の投射された投影画面を撮像する撮像部と
    を備え、
    前記測定用画像は、それぞれが前記複数の色の図形を含む複数のユニット画像を有し、
    各ユニット画像では、前記複数の色の図形の各重心位置が略一致する
    投影撮像システム。
13. 前記撮像部により得られた撮像画像に基づいて、前記複数の色同士の間の色ずれ量を算出する解析部を更に備えた
    請求項１２に記載の投影撮像システム。
14. 前記解析部により算出された色ずれ量に基づいて、投影用の画像を補正する補正部を更に備えた
    請求項１３に記載の投影撮像システム。
15. 前記補正部は、投影画面および撮像画像における輝度分布を補正する
    請求項１４に記載の投影撮像システム。
16. 投影基本色となる複数の色同士の間の位置ずれを測定するための測定用画像を投影面に向けて投射し、
    前記測定用画像の投射された投影画面を撮像し、
    前記投影画面の撮像画像に基づいて、投影対象の画像を補正し、
    前記測定用画像は、それぞれが前記複数の色の図形を含む複数のユニット画像を有し、
    各ユニット画像では、前記複数の色の図形の各重心位置が略一致する
    補正方法。

Images