JP7115475B2 - 画像処理装置およびその方法 - Google Patents

Description

この技術は、画像投影装置と画像処理装置およびその方法と画像投影システムに関し、投影画像に重畳画像が不可視状態に重畳されている投影光を生成と、投影光の投影面の撮像画から重畳画像を可視状態で復元できるようにする。

従来、複数の画像を重畳して投影すると画像を区別することができないことから、複数の画像を時分割で表示することや、表示領域を分割して複数の画像を異なる領域に投影することが行われている。

また、画像の投影では偏光パターンを投影することも行われている。例えば、非特許文献１では、空間光変調器（ＳＬＭ：Spatial Light Modulator）を用いて光の偏光状態を空間的に制御して偏光パターンの投影を行い、この投影された偏光パターンを画素毎に偏光方向が異なる偏光フィルタが組み込まれた偏光カメラで撮影して三次元計測が行われている。

柴田秀平，小林富美男，茨田大輔，大谷幸利，「偏光パターン投影による同軸三次元形状計測」，２０１４年度 精密工学会春季大会学術講演会講演論文集，［online］、［平成２９年６月１日検索］、インターネット＜URL：https://www.jstage.jst.go.jp/article/pscjspe/2014S/0/2014S_109/_pdf＞

ところで、複数の画像を時分割で表示する場合は、複数の画像が示す情報を同時に取得できない。また、表示領域を分割して複数の画像を表示する場合、画像を大きく表示することができない。また、画像コンテンツ等の視聴者に対して不要な画像、例えば調整用画像等を投影する場合もある。さらに、非特許文献１の方式では、異なる偏光方向の画像の輝度値をそのままパターンとして使用するため、投影する光に陰影が生じると正しいパターンを取得することができない。

そこで、この技術では、投影画像に重畳画像が不可視状態に重畳されている投影光を生成する画像投影装置と、投影光の投影面の撮像画から可視状態で重畳画像を復元する画像処理装置、およびその方法と画像投影システムを提供することを目的とする。

この技術の第１の側面は、
投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する空間光変調部
を備える画像投影装置にある。

この技術においては、投影画像に重畳される重畳画像の画素毎に、画素値に基づいて偏光方向が偏光制御部によって算出される。偏光方向は、１８０度未満の範囲内で、画素値毎に異なる方向である。空間光変調部では、投影画像を示す無偏光光に対して、重畳画像の画素値に基づいて算出された偏光方向に偏光状態を設定する空間光変調を行い投影光が生成される。また、投影画像を示す画像光が偏光光である場合、偏光解消部を設けて投影画像を示す画像光を無偏光光とする。重畳画像は、投影画像に関連した情報を示す画像であってもよく、投影画像に関連していないパターン画像であってもよい。

この技術の第２の側面は、
投影画像を示す無偏光光を生成することと、
前記無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成することを含む画像投影方法にある。

この技術の第３の側面は、
少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光法億算出部と、
前記偏光方向算出部で算出された偏光方向を画素値に変換して復元画像を生成する変換処理部と
を備える画像処理装置にある。

この技術において、偏光方向算出部は、少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する。偏光画像を取得する撮像部は、被写体光入射面に回転可能に偏光板を設けた構成であってもよく、撮像素子の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタを設けた構成であってもよい。また、撮像部を少なくとも３以上設けて、各撮像部の被写体光入射面に、互いに偏光方向が異なる偏光板を設けて、少なくとも３偏光方向以上の偏光画像を取得するようにしてもよい。

また、投影面情報生成部をさらに設けて、偏光方向算出部は、投影面を撮像して得られた偏光画像を用いて偏光方向の算出を行い、投影面情報生成部は、変換処理部で生成された復元画像を用いて投影面に関する投影面情報を生成する。例えば、偏光方向算出部は、複数視点で投影面を撮像して得られた偏光画像を用いて、偏光方向の算出を視点毎に行い、変換処理部は復元画像の生成を視点毎に行う。投影面情報生成部は、変換処理部で生成された視点毎の復元画像を用いて投影面情報、例えば投影面までの距離を示すデプス情報を生成する。また、投影面には、無偏光光に対して所定パターン画像に基づく偏光状態の設定を行い生成された投影光を投影する。投影面情報生成部は、所定パターン画像と変換処理部で生成された復元パターン画像を用いて投影面情報を生成する。

この技術の第４の側面は、
少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出することと、
前記算出された偏光方向を画素値に変換して画像信号を生成すること
を含む画像処理方法にある。

この技術の第５の側面は、
画像投影装置と画像処理装置とを有し、
前記画像投影装置は、
投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する空間光変調部を備え、
前記画像処理装置は、
前記画像投影装置で生成された前記投影光の投影面を撮像して取得した少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光方向算出部と、
前記偏光方向算出部で算出された偏光方向を画素値に変換して前記重畳画像を示す画像信号を生成する変換処理部とを備える画像投影システムにある。

この技術において、画像投影装置の空間光変調部は、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する。画像処理装置の偏光方向算出部は、画像投影装置で生成された投影光の投影面を撮像して取得した少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する。ここで、投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域が、投影面における最小変調領域の領域サイズ以下となるように、画像投影装置は投影光の生成と投射、または画像処理装置は投影面の撮像時における画角設定を行う。変換処理部は、偏光方向算出部で算出された偏光方向を画素値に変換して重畳画像を示す画像信号を生成する。

この技術によれば、画像投影装置では、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を空間光変調部で行い投影光を生成する。画像処理装置は、投影光の投影面を撮像して取得された少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を偏光方向算出部において画素単位で算出する。変換処理部は偏光方向算出部で算出された偏光方向を画素値に変換して復元画像を生成する。したがって、投影画像に重畳画像が不可視状態に重畳されている投影光の生成と、投影光の投影面の撮像画から可視状態で重畳画像を復元できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像投影システムの構成を例示した図である。 画像投影装置の構成を例示した図である。 画像投影装置の動作を示すフローチャートである。 画像投影装置の動作例を示す図である。 輝度値Ｖｂに対する偏光方向θの関係を示す図である。 画像処理装置の構成を例示した図である。 撮像部の構成を例示した図である。 偏光方向の算出を説明するための図である。 画像処理装置の動作を示すフローチャートである。 画像処理装置の動作例を示した図である。 偏光方向θに対する輝度値Ｖｂの関係を示す図である。 画像投影システムの第１応用例を示す図である。 画像投影システムの第２応用例を示す図である。 画像投影システムの第３応用例を示す図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像投影システムの構成
２．画像投影装置の構成と動作
３．画像処理装置の構成と動作
４．画像投影システムの第１応用例
５．画像投影システムの第２応用例
６．画像投影システムの第３応用例

＜１．画像投影システムの構成＞
図１は、画像投影システムの構成を例示している。画像投影システム１０は、画像投影装置２０と画像処理装置４０を有している。画像投影装置２０は、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成して、投影面（例えばスクリーン等）５０に投影する。画像処理装置４０は、投影面５０を撮像して取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向を画素単位で算出する。さらに、画像処理装置は、算出された偏光方向を画素値に変換して復元画像を復元する。ここで、画像投影装置２０と画像処理装置４０における輝度と偏光方向の関係を等しくすることで、画像処理装置４０で生成される復元画像は、画像投影装置２０で用いた重畳画像と等しくなる。すなわち、画像投影システム１０は、投影画像を投影面に表示したとき、肉眼では投影画像のみ可視状態で重畳画像は不可視状態である投影光を生成して投影面に投射して、投影光が投射されている投影面の撮像画から不可視状態で重畳されている重畳画像を可視状態で復元できるようにする。

＜２．画像投影装置の構成と動作＞
図２は、画像投影装置の構成を例示している。画像投影装置２０は、投影画像光生成部２１、偏光解消部２２、空間光変調部２３、重畳画像入力部２４、偏光制御部２５、投影レンズ２６を備えている。

投影画像光生成部２１は、投影画像光を生成する。投影画像光生成部２１は、光源とレンズ部および画像形成部を有している。光源から出射された光は、レンズ部によって平行光とされて画像形成部を透過することで投影画像光を生成する。画像形成部は、例えば透過型液晶または反射型液晶等を用いて構成されている。画像形成部は、平行光を投影画像が表示されている透過型液晶を透過させて、もしくは平行光を投影画像が表示されている反射型液晶で反射させて、投影画像光を生成する。なお、透過型液晶または反射型液晶を用いて投影画像光を生成した場合、投影画像光は、液晶の影響によって偏光状態が画素で異なる状態になっている。投影画像光生成部２１は、生成した投影画像光を、偏光解消部２２を介して空間光変調部２３へ出射する。

偏光解消部２２は、入射された偏光光を無偏光光として出射する。偏光解消部２２は、例えば高い複屈折性を持つフィルム等を用いて構成されており、投影画像光生成部２１で生成された投影画像光を無偏光状態として、空間光変調部２３へ出射する。なお、偏光解消部２２は、偏光光を無偏光光とする機能を有する構成であればよく、高い複屈折性を持つフィルム等を用いた構成に限られない。また、投影画像光生成部２１で無偏光状態の投影画像光が生成される場合、例えば光源から出射された無偏光の光を、写真フィルム等を透過させて投影画像光が生成される場合、偏光解消部２２を設けなくともよい。

空間光変調部２３は、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する。空間光変調部２３は、例えば透過型液晶もしくは反射型液晶を用いて構成されており、後述する偏光制御部２５からの偏光制御信号に基づき空間光変調を行う。すなわち、空間光変調部２３は、偏光解消部２２を介して投影画像光生成部２１から供給された無偏光状態である投影画像光の偏光状態を、重畳画像の画素値に応じた偏光方向の直線偏光状態とする。空間光変調部２３は、偏光状態が重畳画像に応じて設定された投影光を投影レンズ２６へ出射する。

重畳画像入力部２４は、投影画像に重畳させる重畳画像の画像信号を受け付けて偏光制御部２５へ出力する。重畳画像は、投影画像に関連する情報を示す画像であってもよく、投影画像に関連していないパターン画像であってもよい。

偏光制御部２５は、重畳画像入力部２４から供給された重畳画像の画素値を１８０度未満の範囲内で、画素値毎に異なる偏光方向に変換して、変換後の偏光方向に応じて偏光制御信号を生成する。また、偏光制御部２５は、生成した偏光制御信号を空間光変調部２３へ出力して、上述の空間光変調を空間光変調部２３で行わせる。

投影レンズ２６は、投影画像を示し、かつ重畳画像に基づいて偏光状態が設定されている投影光を、投影面に焦点を合わせて所望の投影サイズで投射する。

図３は、画像投影装置の動作を示すフローチャートである。ステップＳＴ１で画像投影装置は投影画像光を生成する。画像投影装置２０は、投影画像を示す無偏光の投影画像光を生成してステップＳＴ２に進む。

ステップＳＴ２で画像投影装置は偏光制御信号を生成する。画像投影装置２０は、重畳画像を受け付けて、重畳画像の各画素の画素値を偏光方向に変換する。さらに、画像投影装置２０は、無偏光の投影画像光を変換後の偏光方向の偏光状態とする偏光制御信号を生成してステップＳＴ３に進む。

ステップＳＴ３で画像投影装置は空間光変調処理を行う。画像投影装置２０は、ステップＳＴ２で生成された偏光制御信号に基づき、ステップＳＴ１で生成した無偏光の投影画像光の空間光変調を行い、重畳画像の画素値に応じた偏光方向の直線偏光状態とする。このように、画像投影装置は、投影画像光に対して空間光変調を行い投影光を生成する。

図４は、画像投影装置の動作例を示している。図４の（ａ）は投影画像を例示しており、図４の（ｂ）は重畳画像を例示している。なお、投影画像と重畳画像は、動画と静止画のいずれであってもよい。

画像投影装置は、例えば変換ルールを用いて、重畳画像の画素値を偏光方向に変換する。画像投影装置２０の偏光制御部２５は、式（１）に基づき偏光方向を決定する。なお、重畳画像の画素値例えば輝度値Ｖｂは「０～２５５」、偏光方向θは「０～ＡＧＬ」とする。角度ＡＧＬは、「０＜ＡＧＬ＜１８０度」の範囲内であり、偏光方向の分解能を高めるために１８０度に近いことが望ましい。なお、図５は、輝度値Ｖｂに対する偏光方向θの関係を示している。
θ＝（ＡＧＬ／２５６）×Ｖｂ ・・・（１）

したがって、図４の（ｂ）における輝度値「０」の矩形状領域は、図４の（ｃ）に示すように偏光方向が「０度」となる。また、輝度値「１２８」の十字形状領域の偏光方向は例えば「８９．５度」、輝度値「１９２」の領域の偏光方向は例えば「１３４．２度」となる。空間光変調部２３は、偏光制御部２５からの偏光制御信号に基づき、図４の（ｃ）に示す偏光状態への空間光変調を行い投影光を生成する。したがって、投影光を投影面に投射したときの表示画像は、図４の（ｄ）に示すように、重畳画像における輝度値「０」の矩形状領域に対応する表示領域ＨＡａは、偏光方向が「０度」の直線偏光状態で表示される。また、重畳画像における輝度値「１２８」の十字形状領域に対応する表示領域ＨＡｂは、偏光方向が「８９．５度」の直線偏光状態で表示される。また、他の表示領域ＨＡｃは偏光方向が「１３４．２度」の直線偏光状態で表示される。

画像投影装置２０は、このように投影光を生成して投影面に投射することで、投射画像を可視状態で投影できる。また、重畳画像は不可視状態で投影できるようになる。

＜３．画像処理装置の構成と動作＞
図６は画像処理装置の構成を例示している。画像処理装置４０は、偏光方向算出部４１と変換処理部４２を備えている。

偏光方向算出部４１は、少なくとも３偏光方向以上の偏光画像を用いて偏光方向を画素単位で算出する。また、変換処理部４２は、偏光方向算出部４１で算出された偏光方向を画素値に変換して復元画像を生成する。

なお、少なくとも３偏光方向以上の偏光画像を取得する撮像部３０は、画像処理装置４０と別個に構成されてもよく、画像処理装置４０と一体に構成されてもよい。以下、撮像部３０が画像処理装置４０に設けられているとして説明を行う。

図７は、撮像部の構成を例示した図である。例えば図７の（ａ）に示すように、撮像部３０-1は、本体３１の被写体光入射面に偏光板３２が回転可能に設けられている。撮像部３０-1は、偏光板３２を回転しながら複数枚の撮像を行い、少なくとも３偏光方向以上の偏光画像を取得する。

また、図７の（ｂ）に示すように、撮像部３０-2は、撮像素子３３の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタ３４が設けられている。なお、図７の（ｂ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタ３４を撮像素子３３の入射面に配置した場合を示している。撮像部３０-2は、１回の撮像で得られた画素信号を偏光方向毎に用いて偏光方向毎の偏光画像を取得する。

図７の（ｃ）に示す撮像部３０-3は、撮像素子３３の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタ３４が設けられている。また、撮像素子３３の入射面にカラーモザイクフィルタ３５が設けられている。カラーモザイクフィルタ３５は、撮像素子３３の２×２画素領域を同一色成分の画素として、４×４画素領域に、赤色（Ｒ）画素である２×２画素領域と、青色（Ｂ）画素である２×２画素領域と、緑色（Ｇ）画素である２つの２×２画素領域を設けた構成とされている。また、偏光フィルタ３４は、同一色成分の２×２画素領域の各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの偏光方向となるように設けられている。撮像部３０-3は、１回の撮像で得られた画素信号を色成分毎および偏光方向毎に用いて偏光方向毎の偏光画像を色成分毎に取得する。

図７の（ｄ）では、３台以上の撮像部、例えば４台の撮像部３０-41～３０-44を用いて構成されている。各撮像部３０-41～３０-44における本体３１の被写体光入射面には、偏光方向が互いに異なるように偏光板３２を設けて、撮像部３０-41～３０-44で撮像を行うことにより４偏光方向の偏光画像を取得する。なお、図７の（ｂ）～（ｄ）では、偏光方向を「０度」「４５度」「９０度」「１３５度」とした場合を示している。また、偏光方向を異なる３方向とする場合、偏光方向を例えば等間隔である「０度」「６０度」「１２０度」とする。

偏光方向算出部４１は、撮像部３０で取得された偏光画像に基づいて偏光方向を算出する。偏光方向算出部４１は、偏光画像に基づいて偏光方向を算出する。

なお、撮像部の構成が図７の（ａ），（ｄ）の場合、偏光方向の算出は画素毎に行うことが可能であり、偏光方向の算出が可能な最小単位領域は１画素領域である。また、撮像部の構成が図７の（ｂ），（ｃ）の場合、偏光方向の算出は２×２画素領域毎に行うことが可能であり、偏光方向の算出が可能な最小単位領域は２×２画素領域である。

図８は、偏光方向の算出を説明するための図である。偏光方向が「φ」とされている表示画像を例えば撮像部の偏光板を回転させて撮像すると、表示画像の輝度Ｉは偏光板の回転に応じて図のように変化して、偏光板が１８０度回転すると元の偏光状態に戻り１８０度の周期を有する。このような輝度Ｉの変化は、式（２）のように表すことができる。なお、偏光板を回転させたとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、偏光板の平面上に二次元座標系を定義したとき、二次元座標系の座標軸と偏光板の偏光軸のなす角を偏光角υとする。

また、偏光板を回転させたとき、表示画像の偏光方向と撮像部における偏光板の偏光方向が一致すると輝度Ｉが最大となる。したがって、偏光方向が３方向以上の偏光画像における注目画素の輝度を用いて、式（２）に示す関数へのフィッティングを行い、最大輝度となる偏光方向を算出することで、表示画像における注目画素位置の偏光方向を算出できる。偏光方向算出部４１は、偏光方向を例えば画素毎または２×画素領域毎に算出して変換処理部４２へ出力する。

変換処理部４２は、偏光方向算出部４１で算出された偏光方向を画素値に変換する。変換処理部４２は、画像投影装置２０の偏光制御部２５で行われた変換とは逆方向である変換を行い、偏光方向を画素値に変換して復元画像を生成する。

図９は、画像処理装置の動作を示すフローチャートである。ステップＳＴ１１で画像処理装置は３方向以上の偏光画像を取得する。画像処理装置４０は、画像投影装置２０で投影されている投影画像の撮像を行い、少なくとも３偏光方向の偏光画像を取得してステップＳＴ１２に進む。

ステップＳＴ１２で画像処理装置は偏光方向を算出する。画像処理装置４０は、ステップＳＴ１１で取得された３偏光方向以上の偏光画像から偏光方向を画素単位例えば１画素単位または２×２画素単位で算出する。具体的には、３偏光方向以上の偏光画像の画素値を式（２）に示す関数へのフィッティングを行い、フィッティング後の関数が最大値となる偏光方向を算出してステップＳＴ１３に進む。

ステップＳＴ１３で画像処理装置は変換処理を行う。画像処理装置４０は、ステップＳＴ１２で算出された偏光方向を画素値に変換して復元画像を生成する。

図１０は、画像処理装置の動作例を示している。図１０の（ａ）は投影面に表示された投影画像を例示している。投影画像では、破線で示す矩形状の表示領域ＨＡａが偏光方向「０度」の直線偏光状態、破線で示す十字状の表示領域ＨＡｂが偏光方向「８９．５度」の直線偏光状態、他の表示領域ＨＡｃが偏光方向「１３４．２度」の直線偏光状態とされている。

画像処理装置４０は、投影画像を撮像して偏光方向が３方向以上の偏光画像を取得する。また、３方向以上の偏光画像の画素を用いて式（２）に示す関数へのフィッティングを行い、輝度が最大となる偏光方向を算出する。図１０の（ｂ）は、算出された偏光方向を示しており、破線で示す矩形領域が偏光方向「０度」の画素領域、破線で示す十字状領域が偏光方向「８９．５度」の画素領域、他の領域が偏光方向「１３４．２度」の画素領域である。

画像処理装置４０は、例えば画像投影装置２０の偏光制御部２５で用いた変換ルールに対して逆の変換ルールを用いて、偏光方向を例えば輝度値に変換する。画像投影装置２０において、式（１）に基づき重畳画像の輝度値を偏光方向に変換している場合、画像処理装置４０の変換処理部４２は、式（３）に基づき偏光方向を輝度値に変換する。なお、図１１は、偏光方向θに対する輝度値Ｖｂの関係を示している。
ＶＲｂ＝（２５６／ＡＧＬ）×θ ・・・（３）

このような変換を行うことで、図１０の（ｃ）に示す復元画像を生成できる。また、画像処理装置４０の変換処理部４２は、画像投影装置２０の偏光制御部２５で用いた変換ルールに対して逆の変換ルールを用いて偏光方向を輝度値に変換している。したがって、復元画像は、画像投影装置２０の重畳画像入力部２４で受け付けた図４の（ｂ）に示す重畳画像となる。

また、画像処理装置４０で生成された重畳画像の画像信号を表示装置に供給すれば、投影面では不可視状態となっている重畳画像を可視状態で表示できる。

ところで、画像処理装置４０の偏光方向算出部４１で偏光方向を算出する場合、投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域に、複数偏光方向の画像領域が含まれると、３偏光方向以上の偏光画像の画素値を式（２）に示す関数へフィッティングさせて偏光方向を算出することができない場合が生じる。したがって、投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域が、投影面における最小変調領域の領域サイズ以下となるように、画像投影装置は投影光の生成と投射、または画像処理装置は投影面の撮像時における画角設定を行う。

例えば、３偏光方向以上の偏光画像の画素値を式（２）に示す関数へフィッティングさせて偏光方向を算出することができない場合、画像処理装置は画角を狭く（ズーム倍率を高く）してもよく、画像投影装置２０は投影サイズを大きくしてもよい。

このように、投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域を、投影面における最小変調領域の領域サイズ以下とすれば、偏光方向の算出をより確実に行えるようになる。

したがって、本技術の画像投影システムを用いることで、投影面を見ている人に視認されることなく、重畳画像を画像処理装置４０の利用者に投影面を介して伝送できるようになる。

＜４．画像投影システムの第１応用例＞
次に、画像投影システムの第１応用例について説明する。図１２は、画像投影システムの第１応用例を示している．画像投影装置２０には、２つの異なる任意の映像ソースが供給されている。第１映像ソースは、投影画像を示しており、投影画像光生成部２１に入力される。また、第２映像ソースは、重畳画像を示しており、重畳画像入力部２４に入力される。したがって、人ＰＳ1は、投影面５０に投影された画像によって第１映像ソースの画像のみを肉眼で視認できる。

また、画像処理装置４０は投影面を撮像して復元画像を生成する。または復元画像の生成では、画像投影装置２０で行った画素値を偏光方向に変換する変換処理に対応した逆方向の変換を行うことで、重畳画像と同等な復元画像を生成できる。したがって、復元画像を表示装置６０で表示すれば、人ＰＳ2は、第２映像ソースの重畳画像を表示装置６０で視認できるようになる。

なお、重畳画像は投影画像に関連した情報を示す画像であってもよく、関連していない情報を示す画像であってもよい。例えば、図や表を投影画像として投影して、重畳画像は図や表に関連する解説を示す画像とする。このようにすれば、重畳画像で示された情報を利用して図や表の解説を容易に行うことができるようになる。また、問題等を投影画像として投影して、重畳画像は解答を示す画像とする。このようにすれば、問題に対する解説を容易に行うことができるようになる。また、例えば、動画コンテンツを投影画像として投影して、重畳画像は動画コンテンツに関連していない連絡事項等を示す画像とする。このようにすれば、音声の聞き取りが困難な環境であっても、投影画像を見ている人に視認されることなく連絡事項等を画像で画像処理装置４０の利用者に通知できるようになる。

＜５．画像投影システムの第２応用例＞
図１３は、画像投影システムの第２応用例を示している。画像投影装置２０の投影画像光生成部２１には任意の投影画像が入力されて、重畳画像入力部２４には任意のパターン画像が入力される。このとき、投影面５０では投影画像が可視状態であり、パターン画像が不可視状態である。

画像処理装置４０-2には、複数の撮像部例えば２つの撮像部３０ａ，３０ｂを異なる位置に設けてそれぞれ投影面５０を撮像する。したがって、撮像部３０ａでは、少なくとも３偏光方向以上の偏光画像が取得されて、撮像部３０ｂでは、撮像部３０ａと異なる視点である少なくとも３偏光方向以上の偏光画像が取得される。

偏光方向算出部４１は、撮像部３０ａで取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向を算出する。また、偏光方向算出部４１は、撮像部３０ｂで取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向を算出する。なお、偏光方向の算出は、上述のように画素単位例えば１画素単位または２×２画素単位で行う。

変換処理部４２は、撮像部３０ａで取得された偏光画像に基づき偏光方向算出部４１で算出された偏光方向を画素値に変換して第１復元パターン画像を生成する。また、変換処理部４２は、撮像部３０ｂで取得された偏光画像に基づき偏光方向算出部４１で算出された偏光方向を画素値に変換して第２復元パターン画像を生成する。変換処理部４２は、生成した第１復元パターン画像と第２復元パターン画像を投影面情報生成部４３へ出力する。

投影面情報生成部４３は、第１復元パターン画像と第２復元パターン画像を用いて、例えばブロックマッチングなどのステレオマッチング処理によって、第１復元パターン画像と第２復元パターン画像の視差を算出する。さらに、投影面情報生成部４３は、算出した視差に基づき投影面上の各位置までの距離を示すデプス情報を投影面情報として生成する。

このような第２応用例によれば、投影画像を投影面５０に投影しながら不可視状態であるパターン画像を利用して投影面情報を生成できるので、投影面５０の形状変化等をリアルタイムで観測できるようになる。また、投影面情報を画像投影装置２０に提供すれば、投影面５０の形状変化等が生じても、形状変化等の影響が投影画像に生じないように投影光を生成することが可能となる。

＜６．画像投影システムの第３応用例＞
図１４は、画像投影システムの第３応用例を示している。画像投影装置２０の投影画像光生成部２１には任意の投影画像が入力されて、重畳画像入力部２４には所定パターン画像が入力される。このとき、投影面５０では投影画像が可視状態であり、所定パターン画像が不可視状態である。

画像処理装置４０-3に設けた撮像部３０は、投影面５０を撮像して少なくとも３偏光方向以上の偏光画像を取得する。

偏光方向算出部４１は、撮像部３０で取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向を算出する。なお、偏光方向の算出は、上述のように画素単位例えば１画素単位または２×２画素単位で行う。

変換処理部４２は、撮像部３０で取得された偏光画像に基づき偏光方向算出部４１で算出された偏光方向を画素値に変換して復元パターン画像を生成する。変換処理部４２は、生成した復元パターン画像を投影面情報生成部４４へ出力する。

投影面情報生成部４４には、重畳画像入力部２４に入力された所定パターン画像が供給されている。投影面情報生成部４４は、ストラクチャードライト法（structured light method）を用いて、所定パターン画像と復元パターン画像に基づきパターン画像の変形を分析して、投影面５０の三次元形状や投影面５０までの距離等を示す投影面情報を生成する。

このような第３応用例によれば、投影画像を投影面５０に投影しながら不可視状態である特定パターン画像を利用して投影面情報を生成できるので、投影面５０の形状変化等をリアルタイムで観測できるようになる。また、投影面情報を画像投影装置２０に提供すれば、投影面５０の形状変化等が生じても、形状変化等の影響が投影画像に生じないように投影光を生成することが可能となる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像投影装置は以下のような構成も取ることができる。
（１） 投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態の設定を行い投影光を生成する空間光変調部
を備える画像投影装置。
（２） 前記重畳画像の画素毎に、画素値に基づいて偏光方向を算出する偏光制御部をさらに備え、
前記空間光変調部は、前記偏光状態を前記偏光制御部で算出した偏光方向とする（１）に記載の画像投影装置。
（３） 前記偏光制御部は、前記偏光方向を１８０度未満の範囲内で、画素値毎に異なる偏光方向とする（２）に記載の画像投影装置。
（４） 前記投影画像を示す画像光を無偏光光とする偏光解消部をさらに備える（１）乃至（３）のいずれかに記載の画像投影装置。
（５） 前記重畳画像は、前記投影画像に関連した情報を示す画像である（１）乃至（４）のいずれかに記載の画像投影装置。
（６） 前記重畳画像は、前記投影画像に関連していないパターン画像である（１）乃至（４）のいずれかに記載の画像投影装置。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光方向算出部と、
前記偏光方向算出部で算出された偏光方向を画素値に変換して復元画像を生成する変換処理部と
を備える画像処理装置。
（２） 投影面情報生成部をさらに備え、
前記偏光方向算出部は、投影面を撮像して得られた前記偏光画像を用いて前記偏光方向の算出を行い、
前記投影面情報生成部は、前記変換処理部で生成された復元画像を用いて前記投影面に関する投影面情報を生成する（１）に記載の画像処理装置。
（３） 前記偏光方向算出部は、複数視点で投影面を撮像して得られた前記偏光画像を用いて、前記偏光方向の算出を視点毎に行い、
前記変換処理部は前記復元画像の生成を視点毎に行い、
前記投影面情報生成部は、前記変換処理部で生成された視点毎の復元画像を用いて前記投影面情報を生成する（２）に記載の画像処理装置。
（４） 前記投影面には、無偏光光に対して所定パターン画像に基づく偏光状態の設定を行い生成された投影光が投影されており、
前記変換処理部は、前記偏光方向算出部で算出された偏光方向を画素値に変換して復元パターン画像を生成して、
前記投影面情報生成部は、前記所定パターン画像と前記変換処理部で生成された復元パターン画像を用いて前記投影面情報を生成する（２）に記載の画像処理装置。
（５） 前記投影面情報は前記投影面のデプス情報である（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記偏光画像を取得する撮像部をさらに備える（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記撮像部は、被写体光入射面に回転可能に偏光板を設けた（６）に記載の画像処理装置。
（８） 前記撮像部は、撮像素子の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタを設けた（６）に記載の画像処理装置。
（９） 前記撮像部を少なくとも３以上設けて、各撮像部の被写体光入射面に、互いに偏光方向が異なる偏光板を設けた（６）に記載の画像処理装置。

この技術の画像投影装置と画像処理装置およびその方法と画像投影システムでは、投影画像を示す無偏光光に対して、重畳画像に基づく偏光状態を設定する空間光変調が行われている投影光が生成される。また、生成された投影光の投影面を撮像して取得された少なくとも３偏光方向以上の偏光画像を用いて偏光方向が画素単位で算出されて、算出された偏光方向を画素値に変換して復元画像が生成される。このため、投影画像に重畳画像が不可視状態に重畳されている投影光の生成と、投影光の投影面の撮像画から可視状態で重畳画像を復元できる。したがって、動画や静止画の画像コンテンツを投影する画像投影システムに適している。

１０・・・画像投影システム
２０・・・画像投影装置
２１・・・投影画像光生成部
２２・・・偏光解消部
２３・・・空間光変調部
２４・・・重畳画像入力部
２５・・・偏光制御部
２６・・・投影レンズ
３０，３０-1～３０-3，３０-41～３０-44，３０ａ，３０ｂ・・・撮像部
３１・・・撮像素子
３２・・・偏光板
３３・・・偏光フィルタ
３４・・・カラーモザイクフィルタ
４０，４０-2，４０-3・・・画像処理装置
４１・・・偏光方向算出部
４２・・・変換処理部
４３，４４・・・投影面情報生成部
５０・・・投影面
６０・・・表示装置

Claims (15)

1. 投影画像を示す無偏光光に対して重畳画像に基づく偏光状態の設定を行うことにより生成された投影光の投影面を撮像して取得した少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光方向算出部と、
   前記偏光方向算出部で算出された偏光方向を画素値に変換して前記重畳画像を示す画像信号を生成する変換処理部と、
   を備える画像処理装置。
2. 前記重畳画像に基づく偏光状態は、前記重畳画像の画素毎に画素値に基づいて算出された偏光方向である、
   請求項１に記載の画像処理装置。
3. 前記偏光方向は１８０度未満の範囲内で、画素値毎に異なる偏光方向とする、
   請求項２に記載の画像処理装置。
4. 前記重畳画像は、前記投影画像に関連した情報を示す画像である
   請求項１に記載の画像処理装置。
5. 前記重畳画像は、前記投影画像に関連していないパターン画像である
   請求項１に記載の画像処理装置。
6. 投影面情報生成部をさらに備え、
   前記偏光方向算出部は、投影面を撮像して得られた前記偏光画像を用いて前記偏光方向の算出を行い、
   前記投影面情報生成部は、前記変換処理部で生成された復元画像を用いて前記投影面に関する投影面情報を生成する
   請求項１に記載の画像処理装置。
7. 前記偏光方向算出部は、複数視点で投影面を撮像して得られた前記偏光画像を用いて、前記偏光方向の算出を視点毎に行い、
   前記変換処理部は前記復元画像の生成を視点毎に行い、
   前記投影面情報生成部は、前記変換処理部で生成された視点毎の復元画像を用いて前記投影面情報を生成する
   請求項６に記載の画像処理装置。
8. 前記投影面には、無偏光光に対してパターン画像に基づく偏光状態の設定を行い生成された投影光が投影されており、
   前記変換処理部は、前記偏光方向算出部で算出された偏光方向を画素値に変換して復元パターン画像を生成して、
   前記投影面情報生成部は、前記パターン画像と前記変換処理部で生成された復元パターン画像を用いて前記投影面情報を生成する
   請求項６に記載の画像処理装置。
9. 前記投影面情報は前記投影面のデプス情報である
   請求項６に記載の画像処理装置。
10. 前記偏光画像を取得する撮像部をさらに備える
    請求項１に記載の画像処理装置。
11. 前記撮像部は、被写体光入射面に回転可能に偏光板を設けた
    請求項１０に記載の画像処理装置。
12. 前記撮像部は、撮像素子の入射面に少なくとも３方向以上の偏光方向の偏光画素を含む画素配列とする偏光フィルタを設けた
    請求項１０に記載の画像処理装置。
13. 前記撮像部を少なくとも３以上設けて、各撮像部における被写体光入射面に、互いに偏光方向が異なる偏光板を設けた
    請求項１０に記載の画像処理装置。
14. 前記投影面を撮像したときに偏光方向の算出が可能な最小単位領域の画素で撮像される撮像領域が、前記投影面における最小変調領域の領域サイズ以下となるように、前記投影面の撮像時における画角設定を行う
    請求項１に記載の画像処理装置。
15. 投影画像を示す無偏光光に対して重畳画像に基づく偏光状態の設定を行うことにより生成された投影光の投影面を撮像して取得した少なくとも３偏光方向以上の偏光画像を用いて、偏光方向を画素単位で算出する偏光方向算出部ステップ、
    前記偏光方向算出ステップで算出された偏光方向を画素値に変換して前記重畳画像を示す画像信号を生成する変換処理ステップと、
    を有する画像処理方法。

Images