以下、本発明の実施形態を説明する。
[第1実施形態]
図面を用いて第1実施形態を説明する。
<基本原理>
本形態では、位置変化ではなく、位相変化を利用して所望の両眼視差を実現する。位置変化は、空間周波数領域成分の位相変化としてとらえなおすことができるので、両眼視差は位相差(位相視差)へと変換できる。各空間周波数領域成分における所定方向の位相視差は方位と空間周波数の関数として決定される。従って、所望する両眼視差がある場合、それを方位と空間周波数に依存した各空間周波数領域成分の位相変化へと変換することができる。本形態では「原画像」の位相を正方向および負方向にそれぞれ変化させた要素に基づく位相変調画像(位相変調成分aを含む画像および位相変調成分bを含む画像)をそれぞれ「原画像」へ加算し、画像Aおよび画像Bを生成した後に、それぞれを左右の眼に与える。これにより、ゴーグルなどの「立体視用器具」を装着した観察者に位相視差を与え、見掛けの奥行きがある画像を知覚させることができる。一方、逆相の位相変化に基づく空間パタンが両眼画像提示方式において平均化されて知覚されることを利用し、「立体視用器具」を装着していない観察者にクリアな「原画像」を知覚させる。
正弦波画像を例にとってこの基本原理を説明する。図1に例示するように、原画像1000は単一の空間周波数成分からなる正弦波画像である。原画像1000の垂直空間周波数は零であり、水平空間周波数は正値または負値である。原画像1000の位相を水平方向に0.5π[rad]だけ変化させた(図1における横方向へ位相を変化させた)位相変調画像1100(位相変調成分aを含む画像)、および、原画像1000の位相を水平方向に−0.5π[rad]だけ変化させた位相変調画像1200(位相変調成分bを含む画像)を準備する。位相変化量をどのように決定するかという問題に関しては後述する。原画像1000に位相変調画像1100を加算(重畳)して加算画像1110(画像A)が得られ、原画像1000に位相変調画像1200を加算して加算画像1210(画像B)が得られる。加算画像1110は、「立体視用器具」を装着している観察者Iの一方の眼(例えば、右眼)に表示され、加算画像1210は当該観察者Iの他方の眼(例えば、左眼)に表示される。観察者Iは、位相変調画像1100と位相変調画像1200との位相差が生じさせる加算画像1110と加算画像1210の位相差を脳が両眼視差として利用することにより、観察者は立体像を知覚する。
原画像1000に対する位相変調画像1100,1200の位相変化量がそれぞれ0.5π,−0.5π[rad]である場合、位相変調画像1100、1200は位相が互いに反転した正弦波画像となる。つまり、位相変調画像1100、1200は、画素のとりうる値の範囲の中間値に対して、画素値変動のベクトルが互いに逆向きになっている。よって、時分割方式において、表示する加算画像1110,1210を高速に切り替えた場合、それらの位相変調画像1100、1200に基づく位相変調成分の画像強度は知覚する上で平均化または相殺される(弱められる)。そのため、「立体視用器具」を装着せずに、同一の眼(片目または両目)で加算画像1110,1210の両方を見ている観察者IIには、位相変調画像1100、1200に基づく成分が、一様な中間輝度画像として知覚される。偏光方式においても、重畳された位相変調画像1100、1200に基づく位相変調成分同士の輝度が平均化または相殺されるため、観察者IIには、位相変調画像1100、1200に基づく成分が、一様な中間輝度画像として知覚される。つまり、「立体視用器具」を装着していない観察者IIには、位相変調画像1100、1200に基づく画像成分は知覚されず、左右の目に表示された加算画像1110,1210の共通成分である原画像1000の画像成分のみが知覚される。従来のアナグリフ方式の場合、ゴーグルを装着しない観察者には2つのチャンネル強度に基づく色がそのまま見えていた。本手法を用いることで、2つのチャンネルの平均強度による色味の変化のみが原画像1000に重なって知覚される。
ここで、原画像1000に対する位相変調画像1100および1200の位相変化量をそれぞれ0.5πおよび−0.5π[rad]としているがこれは必須条件ではない。大きい奥行を与えたい場合にはこれよりも大きい位相変化量とすることもできるし、小さい奥行を与えたい場合にはこれよりも小さい位相変調量とすることもできる。一方で、位相変調画像1100および1200の位相変化量がそれぞれ0.5πおよび−0.5π[rad]に近いほど、観察者IIが二重像を知覚しにくくなり、それらを脳内で融合することで原画像1000に近い輝度および色コントラストの印象が得られる。
加算画像1110および1210は、原画像1000に位相変調画像1100および1200をそれぞれ加算して得られる。そのため、加算画像1110および1210の輝度コントラストは原画像1000と一致しない。その一方で、左右の目にそれぞれ与えられた加算画像1110,1210を融合すると、その輝度コントラストの不一致は片目で見ている場合ほど気にならない。これはおそらく、加算画像1110,1210を融合した際に、それらの位相変化によって知覚される画像の奥行に整合するように、輝度コントラストの不一致を無視する(補償する)機構が脳に存在するからではないかと推測される。
<空間周波数および方位の寄与>
図1では、正弦波画像に一様な位相視差を与える方法を示した。しかし、一般的な画像には、様々な空間周波数や方位の画像成分が含まれている。そのため、各画素成分の空間周波数や方位の影響を考慮することなしに、所望の奥行の印象を画像に与えることは難しい。そう考える根拠について、空間周波数および方位の2つの側面から論じる。
≪空間周波数に関する操作≫
所望の位相視差を与えるためには、位相視差量に関する空間次元と位相次元との関係性を考慮する必要がある。例えば、2ピクセルの視差を与えるためには0.05πの位相変調が必要である、というような関係性のことである。この関係性は、空間周波数に応じて変化する。例えば、位相変化量が同一であったとしても、1周期64ピクセルの正弦波である原画像の空間的な移動量は、1周期16ピクセルの正弦波である原画像の空間的な移動量よりも大きい(図2)。これは空間周波数が高くなるにつれ、空間波長が短くなるためである。1周期64ピクセルの正弦波の位相を1波長分変化させたときの空間的な移動量は、1周期16ピクセルの正弦波の位相を4波長分変化させたときの空間的な移動量と等しい。この点から位相視差量に関する空間次元と位相次元との関係性を考える。例えば1周期64ピクセルの正弦波である原画像に対して2ピクセル移動した位相変調画像を得るためには、(2/64)×2π[rad]、つまり、(1/16)×π[rad]の位相変化が必要である。一方、1周期16ピクセルの正弦波である原画像に対して2ピクセル移動した位相変調画像を得るためには、(2/16)×2π[rad]、つまり、(1/4)×π[rad]の位相変化が必要である。つまり、与えたい視差量に対する位相変化量を、空間周波数に応じて操作する必要がある。
≪方位に関する操作≫
空間領域で画像成分を水平方向に一定量移動させるために必要な位相変化量は、その画像成分を構成する各空間周波数成分の方位に依存する。すなわち、空間領域での画像成分の水平方向の移動量は、その画像成分を構成する各空間周波数成分の移動ベクトルの合成ベクトルと考えることができる。そのため、画像成分の水平方向の移動への寄与度は、各空間周波数成分の方位に依存する。なお「空間周波数成分の方位」とは、空間周波数領域においてその空間周波数成分の空間周波数が零となる方位を意味する(全方位の空間周波数が零の場合を除く)。言い換えると、「空間周波数成分の方位」とは、その空間周波数成分からなる空間領域での格子(すなわち縞)の垂直方位に対する角度を意味する。空間周波数成分の方位が垂直方位である場合、その空間周波数成分の垂直空間周波数は零である。空間周波数成分の方位が水平方位である場合、その空間周波数成分の水平空間周波数は零である。画像成分の水平方向の移動ベクトルを、その画像成分を構成する各空間周波数成分の方位ごとに分解すると、垂直方位の空間周波数成分の移動ベクトルの大きさ(位置変化量)が最も大きく、方位が水平方位に近い空間周波数成分ほど、その移動ベクトルの大きさが小さい。
正弦波を用いて具体的に説明する(図3A〜図3C)。垂直方位の正弦波の場合(図3A)、その正弦波成分を含む画素を水平方向にaだけ移動させたときの当該正弦波の位置変化量b1は画素の位置変化量aと一致する(b1=a)。また、垂直方位に対して45°傾いた方位の正弦波の場合(図3B)、その正弦波成分を含む画素を水平方向にaだけ移動させたときの当該正弦波の位置変化量b2は画素の位置変化量aよりも小さく、b2=a cos 0.25π[rad]である。さらに、水平方位の正弦波の場合(図3C)、その正弦波成分を含む画素を水平方向にaだけ移動させたときの当該正弦波の位置変化量b3は零である(b3=0)。すなわち、画素を水平方向に移動させる場合、垂直方位の空間周波数成分の位相変化量が最も大きく、水平方位に近い空間周波数成分ほど位相変化量が小さくなり、水平方位の空間周波数成分の位相変化は見られない。上記の点より、所望の水平視差を位相変調によって与えるためには、各空間周波数成分の方位を考慮する必要がある。
<空間周波数および方位に関する具体的な操作方法>
図1で示したように、本形態では原画像に位相変調画像(位相変調成分aを含む画像および位相変調成分bを含む画像)をそれぞれ重畳した加算画像(画像Aおよび画像B)を生成する。さらに、上述のように水平方向に所望の視差をもつ位相変調画像を作成するためには、各空間周波数成分の方位や空間周波数を考慮して位相変調画像を作成する必要がある。ここでは、原画像に位相変調画像を加算した際に加算画像が所望の視差を持つように、当該位相変調画像の空間周波数成分(例えば、二次元フーリエ成分)の振幅を操作する方法、さらにその空間周波数および方位に応じた重みを用いて空間周波数および方位の振幅を操作する方法を説明する。
≪位相変調画像の振幅と加算画像の位相との関係≫
原画像、位相変調画像(位相変調成分aを含む画像および位相変調成分bを含む画像)、加算画像(画像Aおよび画像B)を単純な正弦波として考える。この場合、原画像と位相変調画像との加算は、同じ空間周波数の2つの正弦波の加算として捉えることができる。一般的に、2つの正弦波の加算は以下のように記述できる。
C1sin(Fx+α)+C2sin(Fx+β)=C3sin(Fx+γ) (1)
ここで、C1,C2,C3は、それぞれ原画像、位相変調画像、加算画像の振幅である。Fは空間周波数であり、α,β,γは、それぞれ、原画像、位相変調画像、加算画像の位相であり、xは空間領域の水平座標を表す。α=0,β=0.5π[rad](もしくは−0.5π[rad])、C1=C2=1の場合、加算画像の振幅C3は2の平方根、γは0.25π[rad](もしくは−0.25π[rad])に等しい。なお、式(1)では、空間周波数や方位の影響を考慮していない。以下では、空間周波数および方位に応じて位相変調画像に含まれる位相変調成分の各空間周波数成分の振幅を変化させ、原画像と位相変調成分とを重畳した結果として得られる加算画像の各空間周波数成分の位相を操作することで、水平方向に一貫した視差を与えるための手法を説明する。
≪空間周波数に関する寄与率マップ≫
任意の原画像に所望の一様視差を与える場合、原画像の位相を変化させた位相変調画像と原画像とを重畳することで所望の視差量が生じるような加算画像を作成しなくてはならない。空間次元において所望の視差量を生じさせる位相変化量は、空間周波数に依存する。すなわち、図2に例示した通り、同じ視差量を与える場合であっても、空間周波数が低い空間周波数成分ほど、そのための位相変化量は小さい。そのため、所望の視差に対応する位相変調量を空間周波数ごとに設定する必要がある。本形態では、これを空間周波数領域(例えば、二次元フーリエ空間)で位相変調画像の振幅を調整することで実現する。式(1)において、C1を固定してC2を変化させるとγが変化する。具体的には、C2がC1より小さくなるにつれてγは小さくなり、C2がC1よりも大きくなるにつれてγは大きくなる。この性質を利用し、位相変調画像の各空間周波数成分の振幅をその空間周波数に応じて調整することで、加算画像の各空間周波数成分が所望の視差量に対応する位相変化量を持つようにする。ただし、位相変化によって所望の視差量を与えることができない空間周波数帯域が存在する。位相変化による空間領域での移動量は1波長を超えることができないからである。所望の視差量を位相の変化によって与えることができる空間周波数の中で最も高いものを「臨界空間周波数(Critical Frequency)」と呼ぶことにする。臨界空間周波数よりも空間周波数が低い成分の位相変化量は、臨界空間周波数の成分の位相変化量よりも小さくしなければならない。そのため、臨界空間周波数よりも空間周波数が低い位相変調画像成分の振幅を小さくする。所望の視差量を与える加算画像の臨界空間周波数成分の位相変化量をdπ[rad]とすると、当該加算画像の空間周波数F(ただし、|F|<CF)での空間周波数成分の位相変化量はd(F/CF)π[rad]となる。ただし、CFは臨界空間周波数である(CF>0)。そのため、加算画像の空間周波数Fでの空間周波数成分の位相変化量がd(F/CF)π[rad]となるように位相変調画像の振幅C2を調整することが望ましい。加算画像の臨界空間周波数成分の位相変化量がd(F/CF)π[rad]となるような位相変調画像の振幅C2をC2(F=CF)と表現し、加算画像の空間周波数F<CFでの空間周波数成分の位相変化量がdπ[rad]となるような位相変調画像の振幅C2をC2(F<CF)と表現すると0≦C2(F<CF)<C2(F=CF)となる。C2(F=CF)=ρtan(dπ)であり、C2(F<CF)=ρtan(d(F/CF)π)である。ただし、ρはC1,α,βに応じて定まる値である。例えば、C1=1,α=0,β=0.5π[rad]の場合にはρ=1である。一方、臨界空間周波数CFよりも高い空間周波数F(ただし、|F|>CF)の成分は、所望の視差を与えるために貢献しない。そのため、空間周波数Fでの位相変調画像の振幅C2(|F|>CF)は任意である。ただし、C2(|F|>CF)=C2(F=CF)に設定することによって、空間周波数F(ただし、|F|>CF)の成分の位相がずれることによる画像ぼけを抑制できる。
上記を踏まえて、空間周波数に応じて位相変調画像の振幅を調整する「空間周波数に関する寄与率マップFmap」を設定する。Fmapは、0≦I(u,v)≦1を満たすI(u,v)を要素(画素)に持つ二次元配列(二次元濃淡画像)である。ただし、uは水平空間周波数を表し、vは垂直空間周波数を表し、umin≦u≦umax,vmin≦v≦vmax,umin<umax,vmin<vmaxを満たす。I(u,v)は(u,v)の空間周波数成分に対応する重み(寄与率)を表す。図4AにFmapを例示する。図4AではI(u,v)の大きさを色の濃淡で表現しており、色が明るいほどI(u,v)が大きい(1に近い)。図4Aにおける垂直軸は水平方位成分の空間周波数軸(垂直空間周波数vの軸)を表し、水平軸は垂直方位成分の空間周波数軸(水平空間周波数uの軸)を表す。中央に行くほど低空間周波数(絶対値が小さな空間周波数)であり、端へ行くほど高空間周波数(絶対値が大きな空間周波数)である。図4Aの例では、中央の(0,0)(空間周波数が零)でのI(0,0)が0であり、uおよび/またはvが大きくなって空間周波数Fが高くなるほどI(u,v)が大きくなり、臨界空間周波数CF以上の空間周波数F(ただし、|F|≧CF)ではI(u,v)=1である。Fmapは空間周波数領域(例えば、二次元フーリエ空間)内で用いられる。
≪方位に関する寄与率マップ≫
前述したように、水平方向の所望の視差に対応する位相変化量を様々な方位の空間周波数成分で考えると、垂直方位の空間周波数成分の位相変化量が最大となり、水平方位に近い空間周波数成分ほど位相変化量が小さくなり、水平方位の空間周波数成分の位相変化は見られない(図3)。従って、空間周波数成分の方位によっても位相変化量を操作する必要がある。空間周波数成分の方位をOriとする。Oriは−0.5π[rad]から0.5π[rad]まで分布し、Ori=0[rad]を垂直方位とする。臨界空間周波数CFの空間周波数成分における、所望の視差に対応する位相変化量をdπ[rad]とすると、加算画像における方位Ori(ただし、−0.5π≦Ori≦0.5π)の空間周波数成分の位相変化量γORIは以下のようになる。
γORI =dπ×cos(Ori) (2)
また、位相変化量γORIを得るための位相変調画像の振幅C2をC2ORIと表現すると
C2ORI=ηtan(γORI) (3)
となる。ただし、ηはC1,α,βに応じて定まる値である。例えば、C1=1,α=0,β=0.5π[rad]の場合にはη=1である。
上記を踏まえて、方位に応じて位相変調画像の振幅を調整する「方位に関する寄与率マップOmap」を設定する。Omapは、0≦J(u,v)≦1を満たすJ(u,v)を要素(画素)に持つ二次元配列(二次元濃淡画像)である。J(u,v)は(u,v)の空間周波数成分の方位に対応する重み(寄与率)を表す。図4BにOmapを例示する。図4BではJ(u,v)の大きさを色の濃淡で表現しており、色が明るいほどJ(u,v)が大きい(1に近い)。図4Bにおける垂直軸は水平方位成分の空間周波数軸(垂直空間周波数vの軸)を表し、水平軸は垂直方位成分の空間周波数軸(水平空間周波数uの軸)を表す。中央に行くほど低空間周波数(絶対値が小さな空間周波数)であり、端へ行くほど高空間周波数(絶対値が大きな空間周波数)である。図4Bの例では、垂直空間周波数vの絶対値が零に近い方位(垂直方位に近い方位)ほどJ(u,v)が大きくなり、v=0のときに最大値J(u,0)=1となる。一方、水平空間周波数uの絶対値が零に近い方位(水平方位に近い方位)ほどJ(u,v)が小さくなり、u=0のときに最小値J(0,v)=0となる。
<寄与率マップの適用>
本形態の画像生成装置は、原画像m0の位相を水平軸の正方向に変化させて位相変調画像m1を得、原画像m0の位相を水平軸の負方向に変化させて位相変調画像m2を得る。次に画像生成装置は、二次元FFTなどによって、位相変調画像m1および位相変調画像m2を空間周波数領域の画像FM1およびFM2に変換する。さらに画像生成装置は、画像FM1の位相を正方向に変化(例えば、位相を0.5π[rad]移動)させた画像にFmapおよびOmapを乗じた画像FWM1を得、画像FM2の位相を負方向に変化(例えば、位相を−0.5π[rad]移動)させた画像にFmapおよびOmapを乗じた画像FWM2を得る。次に画像生成装置は、画像FWM1およびFWM2を逆二次元FFTなどによって空間領域に変換し、位相変調成分wm1およびwm2を得る。さらに画像生成装置は、原画像m0に位相変調成分wm1を重畳した位相変調画像add1=m0+wm1およびadd2=m0+wm2を得る。加算画像add1およびadd2は表示装置に表示されるか、投影装置からスクリーンなどに投影される。ただし、add1のm0成分とadd2のm0成分との座標は同一であり、これらの成分間に視差はない。「立体視用器具」を装着した観察者Iは、一方の眼で位相変調画像add1を見、他方の眼で位相変調画像add2を見る。これにより、観察者Iは見掛けの奥行きのある立体像を知覚する。一方、「立体視用器具」を装着していない観察者IIは、同一の眼(片目または両目)で位相変調画像add1およびadd2を見る。観察者IIは、add1のwm1成分とadd2のwm2成分とを相殺または平均化して知覚する。これにより、観察者IIは、クリアな原画像m0の平面像を知覚する。
<構成>
図5を用い、上記の原理に基づく画像生成装置1の構成を例示する。
図5に例示するように、画像生成装置1は、記憶部11、空間周波数領域変換部12、位相操作部13a,13b、重み付け部14、合成部15a,15b、空間領域変換部16、および重畳部17a,17bを有する。本形態では、空間周波数領域変換部12、位相操作部13a、重み付け部14、および空間領域変換部16が「第1操作部」に相当し、空間周波数領域変換部12、位相操作部13b、重み付け部14、および空間領域変換部16が「第2操作部」に相当する。重畳部17aは「第1重畳部」に相当し、重畳部17bは「第2重畳部」に相当する。
画像生成装置1は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
<処理>
画像生成装置1の処理を説明する。
事前処理として、前述した「空間周波数に関する寄与率マップFmap」および「方位に関する寄与率マップOmap」を記憶部11に格納しておく。
処理が開始されると、まず、原画像100が空間周波数領域変換部12に入力される。原画像100は、静止画像であってもよいし、動画の各フレームの画像であってもよく、外部の記憶装置から読み込まれたものであってもよいし、画像生成装置1が有する記憶装置(図示せず)から読み込まれたものであってもよい。空間周波数領域変換部12は、二次元FFTなどによって原画像100を空間周波数領域の原画像100’に変換する(ステップS12)。
位相操作部13aは、空間周波数領域の原画像100’を入力とし、それから算出した各(u,v)(各方位における各空間周波数)における位相を、それぞれ0.5π[rad]移動(変化)させた各位相を表す第1位相情報を得る。例えば、位相操作部13aは、位相空間の第1、第4象限に存在する位相に0.5π[rad]加え、位相空間の第2、第3象限に存在する位相に−0.5π[rad]を加える。加算後の位相が−0.5π〜0.5π[rad]の範囲外になった場合、位相操作部13aは、位相接続(位相アンラップ)によって、当該加算後の位相を上記範囲内の位相に変換する。位相操作部13aは、このように得た各(u,v)における位相を表す第1位相情報を出力する(ステップS13a)。
位相操作部13bは、空間周波数領域の原画像100’を入力とし、それから算出した各(u,v)における位相を、それぞれ−0.5π[rad]移動(変化)させた各位相を表す第2位相情報を得る。例えば、位相操作部13bは、位相空間の第1、第4象限に存在する位相に−0.5π[rad]加え、位相空間の第2、第3象限に存在する位相に0.5π[rad]を加える。加算後の位相が−0.5π〜0.5π[rad]の範囲外になった場合、位相操作部13bは、位相接続によって、当該加算後の位相を上記範囲内の位相に変換する。位相操作部13bは、このように得た各(u,v)における位相を表す第2位相情報を出力する(ステップS13b)。
重み付け部14は、空間周波数領域の原画像100’を入力とし、原画像100’の各(u,v)における振幅に、記憶部11から読み込んだFmapおよびOmapの各(u,v)における要素を乗算し、各(u,v)の振幅に重みを与えた重み付け振幅を得る。すなわち、重み付け部14は、原画像の位相を変化させて得られる画像の各空間周波数成分に、各空間周波数成分の空間周波数に対応する重みと、各空間周波数成分の方位に対応する重みとを与える。前述のように、ある空間周波数F1(第1空間周波数)に対応する重みは、空間周波数F1よりも高い空間周波数F2(第2空間周波数)(すなわち、F2>F1)に対応する重みよりも小さい(図4A)。また、ある方位O1(第1方位)に対応する重みは、方位O1よりも垂直方位(垂直空間周波数v=0である方位)に近い方位O2(第2方位)に対応する重みよりも小さい(図4B)。空間周波数に対応する重み(以下、重みM)はFmapに対応し、方位に対応する重み(以下、重みN)は、Omapに対応する。臨界空間周波数CFよりも高い空間周波数帯域に対応する重みMをすべて1にしてもよい。また、重みNは、0以上1以下としてもよい。臨界空間周波数CFよりも高い空間周波数帯域に対応する重みMが1の場合、ある空間周波数F1(第1空間周波数)に対応する重みは、空間周波数F1よりも高い空間周波数F2(第2空間周波数)(すなわち、F2>F1)に対応する重み以下である。重み付け部14は、各(u,v)における重み付け振幅を表す重み付け振幅情報を出力する(ステップS14)。
合成部15aは、第1位相情報および重み付け振幅情報を入力とし、合成画像110’を得て出力する。合成画像110’の各(u,v)における要素は、第1位相情報によって表される位相を持ち、重み付け振幅情報によって表される振幅を持つ(ステップS15a)。同様に、合成部15bは、第2位相情報および重み付け振幅情報を入力とし、合成画像120’を得て出力する。合成画像120’の各(u,v)における要素は、第2位相情報によって表される位相を持ち、重み付け振幅情報によって表される振幅を持つ(ステップS15b)。
空間領域変換部16は、合成画像110’を入力とし、逆二次元FFTなどによって合成画像110’を空間領域の位相変調画像110(位相変調成分aを含む画像)に変換して出力する。同様に、空間領域変換部16は、合成画像120’を入力とし、逆二次元FFTなどによって合成画像120’を空間領域の位相変調画像120(位相変調成分bを含む画像)に変換して出力する(ステップS16)。上述のように、位相変調画像110は、原画像100の位相を正方向に変化させて得られる要素に基づき、位相変調画像120は原画像100の位相を負方向に変化させて得られる要素に基づく。上述の例では、原画像100に対する位相変調画像110の位相変化量は0.5π[rad]であり、原画像100に対する位相変調画像120の位相変化量は−0.5π[rad]である。すなわち、原画像100に対する位相変調画像110の位相の逆相またはその近傍が、原画像100に対する位相変調画像120の位相と同一である。
重畳部17aは、原画像100および位相変調画像110を入力とし、原画像100に位相変調画像110を重畳して加算画像111(画像A)を得て出力する。加算画像111の各座標(x,y)の画素値add1(x,y)は、原画像100の各座標(x,y)の画素値m0(x,y)と位相変調画像110の各座標(x,y)の画素値wm1(x,y)とを加算した値である(add1(x,y)=m0(x,y)+wm1(x,y))。原画像100がカラー画像である場合、各色モードでこれと同じ加算が行われる(ステップS17a)。
同様に、重畳部17bは、原画像100および位相変調画像120を入力とし、原画像100に位相変調画像120を重畳して加算画像121(画像B)を得て出力する。加算画像121の各座標(x,y)の画素値add2(x,y)は、原画像100の各座標(x,y)の画素値m0(x,y)と位相変調画像120の各座標(x,y)の画素値wm2(x,y)とを加算した値である(add2(x,y)=m0(x,y)+wm2(x,y))。原画像100がカラー画像である場合、各色モードでこれと同じ加算が行われる(ステップS17b)。
加算画像111,121は、表示装置に表示されるか、投影装置からスクリーンなどに投影される。ただし、add1(x,y)およびadd2(x,y)は、互いに同じ座標に表示または投影されるか、互いに近傍の座標に表示または投影される。「立体視用器具」を装着した観察者Iは、一方の眼で加算画像111を見、他方の眼で加算画像121を見る。これにより、観察者Iは見掛けの奥行きのある立体像を知覚する。一方、「立体視用器具」を装着していない観察者IIは、同一の眼(片目または両目)で加算画像111,121を見る。観察者IIは、加算画像111の位相変調画像110成分と加算画像111の位相変調画像120成分とを相殺または平均化して知覚する。これにより、観察者IIは、クリアな原画像100の平面像を知覚する。
[第1実施形態の変形例1]
画像生成装置1が加算画像111,121ではなく、位相変調画像110を「位相変調成分aを含む画像」として出力し、位相変調画像120を「位相変調成分bを含む画像」として出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像100または原画像100によって表現された「対象」(例えば、原画像の被写体である立体物や平面物)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな「対象」の像を知覚する。
[第1実施形態の変形例2]
「位相変調成分a」が位相変調画像110の輝度成分のみを含み、「位相変調成分b」が位相変調画像120の輝度成分のみを含んでもよい。例えば、画像生成装置1が、位相変調画像110の輝度成分のみを抽出して「位相変調成分a」を得、位相変調画像120の輝度成分のみを抽出して「位相変調成分b」を得てもよい。画像生成装置1が、このような「位相変調成分aを含む画像」を出力し、「位相変調成分bを含む画像」を出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像100または原画像100によって表現された「対象」(例えば、原画像の被写体である立体物や平面物)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな「対象」の像を知覚する。
[第2実施形態]
本形態では、原画像の画像領域ごとに異なる位相差を与え、画像領域ごとに異なる奥行きを与える。原画像の画像領域ごとに異なる奥行きを与えたい場合には、原画像にどのような奥行きを与えるかを明示する「奥行マップDmap」が必要である。Dmapは、d(x,y)を要素(画素)に持つ二次元配列(二次元濃淡画像)である。ただし、Dmapのサイズは原画像のサイズと同じであり、xは空間領域の水平座標を表し、yは空間領域の垂直座標を表し、xmin≦x≦xmax,ymin≦y≦ymax,xmin<xmax,ymin<ymaxを満たす。d(x,y)は正値、負値、零の何れかである。Dmapでは、明るい領域ほど観察者に近い側の奥行きが大きく、暗い領域ほど観察者から遠い側の奥行きが大きい。すなわち、d(x,y)>0の領域は観察者に近い側の奥行きを表し、d(x,y)<0の領域は観察者から遠い側の奥行きを表し、絶対値|d(x,y)|が大きいほど奥行は深い。このようなDmapを用いることで、画像領域ごとに所望の奥行きを与えることができる。以下では、第1実施形態との相違点を中心に説明し、共通する事項については既に用いた参照番号を用いて説明を簡略化する。
<構成>
図6に例示するように、本形態の画像生成装置2は、記憶部11,21、空間周波数領域変換部12、位相操作部13a,13b、重み付け部14,27、合成部15a,15b、空間領域変換部16、重畳部17a,17b、および分解部22を有する。本形態では、空間周波数領域変換部12、位相操作部13a、重み付け部14,27、空間領域変換部16、および分解部22が「第1操作部」に相当し、空間周波数領域変換部12、位相操作部13b、重み付け部14,27、空間領域変換部16、および分解部22が「第2操作部」に相当する。画像生成装置2は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。
<処理>
画像生成装置2の処理を説明する。
事前処理として、上述の奥行マップDmap(奥行マップ201)を記憶部21に格納しておく。また、奥行マップ201の要素の絶対値|d(x,y)|の最大値に対応する奥行きを与える位相変化量を位相操作部13a,13bにそれぞれ設定しておく。例えば、位相操作部13aの位相変化量を0.5π[rad]に設定し、位相操作部13bの位相変化量を−0.5π[rad]に設定しておく。
処理が開始されると、画像生成装置2は、原画像100に代えて原画像200に対し、第1実施形態で説明したステップS12,S13a,S13b,S14,S15a,S15b,S16の処理を実行し、位相変調画像110,120に代えて位相変調画像210,220を得る。なお、位相変調画像210は原画像200の位相を正方向に変化させて重みを与えたものであり、位相変調画像220は原画像200の位相を負方向に変化させて重みを与えたものである(図7)。
分解部22は、記憶部21から読み込んだ奥行マップDmapの正成分d(x,y)>0の絶対値を要素に持つ正コントラストマップ260と、負成分d(x,y)<0の絶対値を要素に持つ負コントラストマップ270と、を生成して出力する。正コントラストマップ260は、d(x,y)>0となる座標(x,y)の画素値を|d(x,y)|とし、その他の座標の画素値を0とした二次元配列(二次元画像)である。負コントラストマップ270は、d(x,y)<0となる座標(x,y)の画素値を|d(x,y)|とし、その他の座標の画素値を0とした二次元配列(二次元画像)である。正コントラストマップ260および負コントラストマップ270のサイズはDmapのサイズと同じである(ステップS22)。
重み付け部27は、位相変調画像210,220、正コントラストマップ260、および負コントラストマップ270を入力とし、位相変調画像210と正コントラストマップ260とを乗算した位相変調画像210’を得、位相変調画像220と負コントラストマップ260とを乗算した位相変調画像220’を得る。位相変調画像210’の座標(x,y)の画素値は、位相変調画像210の座標(x,y)の画素値と正コントラストマップ260の座標(x,y)の画素値との乗算結果である。同様に、位相変調画像220’の座標(x,y)の画素値は、位相変調画像220の座標(x,y)の画素値と負コントラストマップ270の座標(x,y)の画素値との乗算結果である。さらに重み付け部27は、位相変調画像210’と位相変調画像220’とを加算して位相変調画像230を得る。位相変調画像230の座標(x,y)の画素値は、位相変調画像210’の座標(x,y)の画素値と位相変調画像220’の座標(x,y)の画素値との加算結果である。重み付け部27は、位相変調画像230を重畳部17aに送り、位相変調画像230の正負反転画像を重畳部17bに送る。ここで、位相変調画像230は、原画像200の位相を変化させて得られる画像の各「第1領域」に、少なくとも各「第1領域」に対応する重みを与えて得られる「位相変調成分aを含む画像」に対応する。位相変調画像230の正負反転画像は、原画像200の位相を変化させて得られる画像の各「第2領域」に、少なくとも各「第2領域」に対応する重みを与えて得られる「位相変調成分bを含む画像」に相当する(ステップS27)。
重畳部17aは、原画像200および位相変調画像230を入力とし、原画像200に位相変調画像230を重畳して加算画像211(画像A)を得て出力する(ステップS17a)。重畳部17bは、原画像200および位相変調画像230の正負反転画像を入力とし、原画像200に位相変調画像230の正負反転画像を重畳して加算画像221(画像B)を得て出力する(ステップS17b)。
[第2実施形態の変形例1]
画像生成装置2が加算画像211,221ではなく、位相変調画像230を「位相変調成分aを含む画像」として出力し、位相変調画像230の正負反転画像を「位相変調成分bを含む画像」として出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像200または原画像200に対応する「対象」(原画像200によって表現された対象)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな「対象」の像を知覚する。
[第2実施形態の変形例2]
「位相変調成分aを含む画像」が位相変調画像230の輝度成分のみを含み、「位相変調成分bを含む画像」が位相変調画像230の正負反転画像の輝度成分のみを含んでもよい。例えば、画像生成装置2が、位相変調画像230の輝度成分のみを抽出して「位相変調成分aを含む画像」を得、位相変調画像230の正負反転画像の輝度成分のみを抽出して「位相変調成分bを含む画像」を得てもよい。画像生成装置2が、このような「位相変調成分aを含む画像」を出力し、「位相変調成分bを含む画像」を出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像200または原画像200に対応する「対象」(原画像200によって表現された対象)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな「対象」の像を知覚する。
[第2実施形態の変形例3]
予め正コントラストマップ260および負コントラストマップ270が生成され、記憶部21に格納されていてもよい。この場合には分解部22およびステップS22を省略可能である。
[第3実施形態]
本形態でも、原画像の画像領域ごとに異なる位相差を与え、画像領域ごとに異なる奥行きを与える。ただし、本形態では、位相変調画像の空間周波数と奥行マップ201の空間周波数との対応関係を考慮した処理を行う。まず、この対応関係を考慮する利点について説明する。
位相変調画像の空間周波数よりも高い空間周波数を持つ奥行マップを用いて位相変調画像の重み付けを行った場合、原画像には存在しなかった高空間周波数成分が生成される。このような重み付け後の位相変調画像を原画像に重畳すると、原画像の見え方に悪影響を与える場合がある。このことを、正弦波の奥行マップを用いて正弦波の位相変調画像の重み付けを行う場合を例にとって説明する(図9Aおよび図9A)。位相変調画像の空間周波数が奥行マップの空間周波数よりも高い場合、位相変調画像の波長は奥行マップの波長よりも短くなる(図9A)。この場合、奥行マップを用いて位相変調画像の重み付けを行っても、重み付けの前後で位相変調画像の正負(コントラスト)は反転しない。そのため、重み付け後の位相変調画像を原画像に重畳することで、位相を空間的に滑らかに変化させることができ、所望の奥行きを知覚させることができる。一方、位相変調画像の空間周波数が奥行マップの空間周波数よりも低い場合、位相変調画像の波長は奥行マップの波長よりも長くなる(図9B)。この場合、奥行マップを用いて位相変調画像の重み付けを行うと、重み付けの前後で位相変調画像の正負(コントラスト)が反転する区間が生じる。そのため、この重み付け後の位相変調画像を原画像に重畳すると、部分的にコントラストが反転してしまう。この結果、原画像には存在しなかった高空間周波数成分が加えられ、原画像の見え方が変化してしまう可能性がある。
この問題を回避するため、本形態では、奥行マップおよび位相変調画像を空間周波数帯域ごとに分離し、奥行マップの各空間周波数帯域よりも高い位相変調画像の空間周波数帯域を利用して奥行マップの各空間周波数帯域を位相で表現する。具体的には、奥行マップの各空間周波数帯域よりも低い位相変調画像の空間周波数帯域は利用しない。これによって上記の問題を解決する。ただし、原画像には存在しなかった高空間周波数成分が加えられたとしても、人間の視覚系はその変化に対して必ずしも敏感ではない。そのため、第2実施形態のように、この手法を用いなくてもよい場合もある。
<構成>
図6に例示するように、本形態の画像生成装置3は、記憶部11,21、空間周波数領域変換部12、位相操作部13a,13b、重み付け部34,37、合成部15a,15b、空間領域変換部16、重畳部17a,17b、および分解部32,33を有する。本形態では、空間周波数領域変換部12、位相操作部13a、重み付け部34,37、空間領域変換部16、および分解部32,33が「第1操作部」に相当し、空間周波数領域変換部12、位相操作部13b、重み付け部34,37、空間領域変換部16、および分解部32,33が「第2操作部」に相当する。画像生成装置3は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。
<処理>
画像生成装置3の処理を説明する。
事前処理として、前述した奥行マップ201を記憶部21に格納しておく。また、奥行マップ201の要素の絶対値|d(x,y)|の最大値に対応する奥行きを与える位相変化量を位相操作部13a,13bにそれぞれ設定しておく。
処理が開始されると、画像生成装置3は、原画像100に代えて原画像200に対し、第1実施形態で説明したステップS12,S13a,S13bを実行し、第1位相情報および第2位相情報を得る。
次に、重み付け部34がステップS14に代えてステップS34の処理を実行する。ステップS34のステップS14との相違点は、空間周波数に関する寄与率マップFmapによる重み付けを行わない点である。空間周波数に関する位相変化量の調整は、後述する奥行マップに基づいて実行される。重み付け部33には、ステップS12で原画像200を空間周波数領域に変換することで得られた空間周波数領域の原画像200’が入力される。重み付け部33は、原画像200’の各(u,v)における振幅に、記憶部11から読み込んだOmapの各(u,v)における要素を乗算し、各(u,v)の振幅に重みを与えた重み付け振幅を得る。すなわち、重み付け部34は、原画像の位相を変化させて得られる画像の各空間周波数成分に、各空間周波数成分の方位に対応する重みを与える。重み付け部34は、各(u,v)における重み付け振幅を表す重み付け振幅情報を出力する(ステップS34)。
その後、画像生成装置3は、第1実施形態で説明したステップS14,S15a,S15b,S16の処理を実行し、位相変調画像110,120に代えて位相変調画像310,320を得る。なお、位相変調画像310は原画像200の位相を正方向に変化させて重みを与えたものであり、位相変調画像320は原画像200の位相を負方向に変化させて重みを与えたものである(図8)。
次に、分解部33が位相変調画像310,320を入力とし、位相変調画像310を多重解像度表現し、空間周波数帯域が異なる複数の多重解像度画像330−iに分解して出力し、位相変調画像320を多重解像度表現し、空間周波数帯域の異なる複数の多重解像度画像340−i(ただし、i=1,・・・,maxであり、maxは2以上の正整数)に分解して出力する。ただし、階層番号iは各空間周波数帯域に対応する正整数のインデックスである。例えば、分解部32は、ラプラシアンピラミッド法(参考文献1:Burt, P. J., & Adelson, E. H., “The Laplacian Pyramid as a Compact Image Code,” (1983), IEEE Transactions on Communications, 31(4), 532-540.)を用い、位相変調画像310,320を5層の多重解像度表現し、5層の多重解像度画像330−1〜5,340−1〜5を得て出力する。さらに、分解部33は記憶部21から奥行マップ201を読み込み、奥行マップ201を多重解像度表現し、空間周波数帯域の異なる複数の多重解像度画像350−i(ただし、i=1,・・・,max)を得る。例えば、分解部33は、ラプラシアンピラミッド法を用い、奥行マップ201を5層の多重解像度表現し、5層の多重解像度画像350−1〜5を得て出力する。以降、階層番号iの多重解像度画像330の座標(x,y)の画素値をPr1(i,x,y)と表記し、階層番号iの多重解像度画像340の座標(x,y)の画素値をPr2(i,x,y)と表記し、階層番号iの多重解像度画像350の座標(x,y)の画素値をPr3(i,x,y)と表記する(ステップS33)。
次に分解部32は、多重解像度画像350を入力とし、それぞれについての正成分dPr3(i,x,y)>0の絶対値を要素に持つ正コントラストマップ360−i(ただし、i=1,・・・,max)と、負成分Pr3(i,x,y)<0の絶対値を要素に持つ負コントラストマップ370−iと、を生成して出力する(ステップS32)。
重み付け部37には、多重解像度画像330−i,340−i,正コントラストマップ360−i,負コントラストマップ370−i(ただし、i=1,・・・,max)が入力される。重み付け部37は、多重解像度画像330−iと正コントラストマップ360−iと重みwiとを乗算して正コントラスト画像380a−iを得、多重解像度画像340−iと負コントラストマップ370−iと重みwiとを乗算して負コントラスト画像380b−iを得る。ただし、多重解像度画像330−iの空間周波数帯域は正コントラストマップ360−iの空間周波数帯域よりも高い。すなわち、正コントラストマップ360−iの各画素で表される重みの空間周波数(各第1領域に対応する重みの空間周波数)は、その重みが与えられる多重解像度画像330−iの画素の空間周波数(各第1領域の各空間周波数)よりも低い。また、多重解像度画像340−iの空間周波数帯域は負コントラストマップ370−iの空間周波数帯域よりも高い。すなわち、負コントラストマップ370−iの各画素で表される重みの空間周波数(各第2領域に対応する重みの空間周波数)は、その重みが与えられる多重解像度画像340−iの画素の空間周波数(各第2領域の各空間周波数)よりも低い(図9A)。重みwi(ただし、0≦wi≦1)は、前述した空間周波数に関する寄与率マップと同様、所望の視差に対応する位相変調量を空間周波数ごとに調整するためのものである。すなわち、階層番号i=ζに対応する重みwζは、多重解像度画像330−ζ,340−ζよりも空間周波数帯域が高い多重解像度画像330−κ,340−κの階層番号i=κに対応する重みwκよりも小さい。臨界空間周波数CFよりも高い空間周波数帯域に対応する重みwiをすべて1にしてもよい。臨界空間周波数CFよりも高い空間周波数帯域に対応する重みwiをすべて1にした場合、階層番号i=ζに対応する重みwζは、多重解像度画像330−ζ,340−ζよりも空間周波数帯域が高い多重解像度画像330−κ,340−κの階層番号i=κに対応する重みwκ以下である。重み付け部37は、すべての正コントラスト画像380a−iおよび負コントラスト画像380b−i(ただし、i=1,・・・,max)を加算して位相変調画像390を得る。重み付け部37は、位相変調画像390を重畳部17aに送り、位相変調画像390の正負反転画像を重畳部17bに送る。ここで、位相変調画像390は、原画像200の位相を変化させて得られる画像の各「第1領域」に、少なくとも各「第1領域」に対応する重みを与えて得られる「位相変調成分a」に対応する。位相変調画像390の正負反転画像は、原画像200の位相を変化させて得られる画像の各「第2領域」に、少なくとも各「第2領域」に対応する重みを与えて得られる「位相変調成分b」に相当する。ただし、各「第1領域」に対応する重みの空間周波数は、各「第1領域」の各空間周波数よりも低く、各「第2領域」に対応する重みの空間周波数は、各「第2領域」の各空間周波数よりも低い(ステップS37)。
重畳部17aは、原画像200および位相変調画像390を入力とし、原画像200に位相変調画像390を重畳して加算画像311(画像A)を得て出力する(ステップS17a)。重畳部17bは、原画像200および位相変調画像390の正負反転画像を入力とし、原画像200に位相変調画像390の正負反転画像を重畳して加算画像321(画像B)を得て出力する(ステップS17b)。
[第3実施形態の変形例1]
画像生成装置3が加算画像311,321ではなく、位相変調画像390を「位相変調成分aを含む画像」として出力し、位相変調画像390の正負反転画像を「位相変調成分bを含む画像」として出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像200または原画像200に対応する「対象」(原画像200によって表現された対象)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな原画像200の平面像を知覚する。
[第3実施形態の変形例2]
「位相変調成分aを含む画像」が位相変調画像390の輝度成分のみを含み、「位相変調成分bを含む画像」が位相変調画像390の正負反転画像の輝度成分のみを含んでもよい。例えば、画像生成装置3が、位相変調画像390の輝度成分のみを抽出して「位相変調成分aを含む画像」を得、位相変調画像390の正負反転画像の輝度成分のみを抽出して「位相変調成分bを含む画像」を得てもよい。画像生成装置3が、このような「位相変調成分aを含む画像」を出力し、「位相変調成分bを含む画像」を出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像200または原画像200に対応する「対象」(原画像200によって表現された対象)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな原画像200の平面像を知覚する。
[第3実施形態の変形例3]
予め正コントラストマップ360−iおよび負コントラストマップ370−iが生成され、記憶部21に格納されていてもよい。この場合には分解部32およびステップS32を省略可能である。
[第4実施形態]
本形態は第2および第3実施形態の変形であり、本形態でも原画像の画像領域ごとに異なる位相差を与え、画像領域ごとに異なる奥行きを与える。
<構成>
図10に例示するように、本形態の画像生成装置8は、分解部811,812、空間周波数領域変換部821,822、空間領域変換部823,824、重み計算部83、位相操作部84、重み付け部85、再構成部86、および重畳部87,88を有する。本形態では、分解部811,812、空間周波数領域変換部821,822、空間領域変換部823,824、重み計算部83、位相操作部84、重み付け部85、再構成部86、および重畳部87が「第1操作部」に相当し、分解部811,812、空間周波数領域変換部821,822、空間領域変換部823,824、重み計算部83、位相操作部84、重み付け部85、再構成部86、および重畳部88が「第2操作部」に相当する。画像生成装置8は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。
<処理>
画像生成装置8の処理を説明する。
画像生成装置8には、原画像IC(図13A)、および、前述の視差マップDmap(図13B)が入力される。原画像ICは、IC(x,y)を要素(画素)に持つ二次元配列である。原画像ICは、静止画像であってもよいし、動画の各フレームの画像であってもよく、外部の記憶装置から読み込まれたものであってもよいし、画像生成装置8が有する記憶装置(図示せず)から読み込まれたものであってもよい。視差マップDmapは、d(x,y)を要素(画素)に持つ二次元配列(二次元濃淡画像)である。ただし、Dmapのサイズは原画像ICのサイズと同じであり、xは空間領域の水平座標を表し、yは空間領域の垂直座標を表し、xmin≦x≦xmax,ymin≦y≦ymax,xmin<xmax,ymin<ymaxを満たす。d(x,y)は正値、負値、零の何れかである。Dmapでは、d(x,y)>0の領域はディスプレイ面もしくはスクリーン面よりも手前側に見えるような視差(交差視差)を表し、d(x,y)<0の領域はディスプレイ面もしくはスクリーン面よりも奥側に見えるような視差(非交差視差)を表し、絶対値|d(x,y)|が大きいほど視差は大きい。このようなDmapを用いることで、画像領域ごとに所望の視差を与えることができる。
原画像ICは空間周波数領域変換部821に入力される。空間周波数領域変換部821は、原画像ICを空間周波数領域の原画像IC 〜に変換し、原画像IC 〜を出力する。ただし、空間周波数領域の原画像IC 〜はIC 〜(ωx,ωy)を要素に持つ二次元配列である。ωxは水平方向の空間周波数を表し、ωyは垂直方向の空間周波数を表す。原画像ICから原画像IC 〜への変換には、例えば、離散フーリエ変換を用いることができる。なお、「IC 〜」の上付き添え字の「〜」は本来「I」の真上に記載されるべきである。しかし、明細書の記載表記の制約上、「IC」の右上に「〜」を記載することがある(ステップS821)。
空間周波数領域の原画像IC 〜は分解部812に入力される。分解部812は、原画像IC 〜に複素ステアラブル・フィルタ(complex steerable filters)列Ψを適用し、複素ステアラブル・ピラミッドを得る。ただし、ステアラブル・フィルタ列Ψは、空間周波数バンドλおよび方位バンドμに対応するステアラブル・フィルタΨλ,μから構成される。ここで、λは所定の幅を持った空間周波数バンドに対応する整数のインデックスであり、μは所定の幅を持った方位バンドに対応する整数のインデックスである。λmin≦λ≦λmax,μmin≦μ≦μmax,λmin<λmax,μmin<μmaxを満たす。λの小さいほど低い周波数の周波数バンドに対応する。以下のように、分解部812は全てのλおよびμの組み合わせについて、原画像IC 〜にステアラブル・フィルタΨλ,μを乗算することで、各空間周波数バンドλおよび各方位バンドμに対応する複素ステアラブル・ピラミッドSCλ,μ 〜を得て出力する。
なお、「SCλ,μ 〜」の上付き添え字の「〜」は本来「S」の真上に記載されるべきである(式(4)参照)。しかし、明細書の記載表記の制約上、「SCλ,μ」の右上に「〜」を記載することがある。また、「SCλ,μ 〜」の下付き添え字の「Cλ,μ」は本来「Cλ,μ」と記載されるべきである(式(4)参照)。しかし、明細書の記載表記の制約上、「Cλ,μ」と記載することがある(ステップS812)。
複素ステアラブル・ピラミッドSCλ,μ 〜は空間領域変換部823に入力される。空間領域変換部823は、複素ステアラブル・ピラミッドSCλ,μ 〜を空間領域の複素ステアラブル・ピラミッドSCλ,μに変換し、複素ステアラブル・ピラミッドSCλ,μを出力する。複素ステアラブル・ピラミッドSCλ,μ 〜から複素ステアラブル・ピラミッドSCλ,μへの変換には、例えば、離散逆フーリエ変換を用いることができる。各複素ステアラブル・ピラミッドSCλ,μは、SCλ,μ(x,y)を要素(画素)に持つ二次元配列である(ステップS823)。
空間領域の複素ステアラブル・ピラミッドSCλ,μは位相操作部84に入力される。位相操作部84は、各複素ステアラブル・ピラミッドSCλ,μの虚数部分Im[SCλ,μ(x,y)]を抽出し、以下のように、各空間周波数バンドλおよび各方位バンドμに対応する各位相シフト画像SC’λ,μを得て出力する(図13C)。
ただし、各位相シフト画像SC’λ,μは、SC’λ,μ(x,y)を要素(画素)に持つ二次元配列である。「SC’λ,μ」の下付き添え字の「C’λ,μ」は本来「C’λ,μ」と記載されるべきである(式(5)参照)。しかし、明細書の記載表記の制約上、「C’λ,μ」と記載することがある。θμは方位バンドμに含まれる方位のうち、パワーが最も強い成分に対応する方位(ピーク方位)を意味する。θμの例は方位バンドμの中心の方位である。図12に示すように、θμはある空間周波数成分からなる空間領域での格子が垂直方位に対してなす角度であり、0≦θμ≦πを満たす。位相シフト画像SC’λ,μの位相は、原画像ICの空間周波数バンドλおよび方位バンドμに対応する正弦波成分の位相を正方向に0.5π[rad]分シフトさせたものとなる。式(5)において、θμ>π/2の場合に正負符号を反転させるのは、0≦θμ≦π/2の範囲とπ≧θμ>π/2の範囲で位相を同じ方向(正方向)に0.5π[rad]シフトさせるためである(ステップS84)。
画像生成装置8(図10)に入力された視差マップDmapは分解部811に入力される。分解部811は視差マップDmapにガウシアン・フィルタ(Gaussian filters)列を適用し、視差マップDmapのガウシアン・ピラミッドGDλ(x,y)を得て出力する(図13D)。ガウシアン・ピラミッドGDλは、空間周波数バンドλおよびそれより低い空間周波数バンドに対応する空間周波数を含む。なお、「GDλ」の下付き添え字「Dλ」は、本来「Dλ」と記載されるべきである。しかし、明細書の記載表記の制約上、「Dλ」と記載することがある(ステップS811)。
ガウシアン・ピラミッドGDλ(x,y)は重み計算部83に入力される。重み計算部83は、以下のように、各重みAλ,μ(x,y)を要素とする二次元配列である重み画像Aλ,μを得て出力する。
ただし、ωλは空間周波数バンドλに含まれる空間周波数のうち、パワーが最も強い成分に対応する空間周波数(ピーク空間周波数)を意味する。ωλの例は空間周波数バンドλの中心の空間周波数である(ステップS83)。
位相シフト画像SC’λ,μおよび重み画像Aλ,μは重み付け部85に入力される。重み付け部85は、以下のように、重み画像Aλ,μの各重みAλ,μ(x,y)を位相シフト画像SC’λ,μの各要素SC’λ,μ(x,y)を乗じ、各S^ C’λ,μ(x,y)を要素とする二次元配列である重み付け画像S^ C’λ,μを得て出力する。
なお「S^」の上付き添え字「^」は本来「S」の真上に記載されるべきである(式(7)参照)。しかし、明細書の記載表記の制約上、「S」の右上に「^」を記載することがある(ステップS85)。
重み付け画像S^ C’λ,μは空間周波数領域変換部822に入力される。空間周波数領域変換部822は、重み付け画像S^ C’λ,μを空間周波数領域の重み付け画像S^〜 C’λ,μに変換し、重み付け画像S^〜 C’λ,μを出力する。なお、明細書の記載表記の制約上、「S^〜 C’λ,μ」と表記する場合があるが、「S^〜 C’λ,μ」は
と同義である。なお、重み付け画像S^ C’λ,μから重み付け画像S^〜 C’λ,μへの変換には、例えば、離散フーリエ変換を用いることができる(ステップS822)。
重み付け画像S^〜 C’λ,μは再構築部86に入力される。再構築部86は、以下のように、重み付け画像S^〜 C’λ,μに前述したステアラブル・フィルタ列Ψを適用し、空間周波数領域の位相変調画像ID 〜を得て出力する(ステップS86)。
空間周波数領域の位相変調画像ID 〜は空間領域変換部824に入力される。空間領域変換部824は、空間周波数領域の位相変調画像ID 〜を空間領域の位相変調画像IDに変換し、位相変調画像IDを出力する(図13E)。ただし、位相変調画像IDはID(x,y)を要素(画素)に持つ二次元配列である。位相変調画像ID 〜から位相変調画像IDへの変換には、例えば、離散逆フーリエ変換を用いることができる(ステップS824)。
重畳部87は、原画像ICおよび位相変調画像IDを入力とし、原画像ICに位相変調画像IDの正負反転画像(位相変調成分a)を重畳して加算画像IR(画像A)を得て出力する(図13G)。ある領域において視差マップDmapの値が正(交差視差)であった場合、対応する領域における位相変調画像IDの位相は、原画像ICの位相に対して正方向に0.5π[rad]分だけシフトしている。従って、この領域における位相変調画像IDの正負反転画像(位相変調成分a)の位相は、原画像ICの位相を負方向に0.5π[rad]分だけ移動させたものとなる。一方、ある領域において視差マップDmapの値が負であった場合、対応する領域における位相変調画像IDの位相は、原画像ICの位相に対して負方向に0.5π[rad]分だけシフトしている。従って、この領域における位相変調画像IDの正負反転画像(位相変調成分a)の位相は、原画像ICの位相を正方向に0.5π[rad]分だけ移動させたものとなる。加算画像IRの各座標(x,y)の画素値IR(x,y)は、原画像ICの各座標(x,y)の画素値IC(x,y)から位相変調画像IDの正負反転画像の各座標(x,y)の画素値ID(x,y)を減算した値である(IR(x,y)=IC(x,y)−ID(x,y))。なお、位相変調画像IDの正負反転画像および加算画像IRは、原画像ICの位相を変化させて得られる画像の各「第1領域」に、少なくとも各「第1領域」に対応する重みを与えて得られる「位相変調成分aを含む画像」に対応する(ステップS87)。
重畳部88は、原画像ICおよび位相変調画像IDを入力とし、原画像ICと位相変調画像ID(位相変調成分b)を重畳して加算画像IL(画像B)を得て出力する(図13F)。位相変調成分bは位相変調成分aの逆位相画像である。ある領域において視差マップDmapの値が正(交差視差)であった場合、対応する領域における位相変調画像IDの位相は、原画像ICの位相に対して正方向に0.5π[rad]分だけシフトしている。従って、この領域における位相変調成分bの位相は、原画像ICの位相を正方向に0.5π[rad]分だけ移動させたものとなる。一方、ある領域において視差マップDmapの値が負であった場合、対応する領域における位相変調画像IDの位相は、原画像ICの位相に対して負方向に0.5π[rad]分だけシフトしている。従って、この領域における位相変調成分bの位相は、原画像ICの位相を負方向に0.5π[rad]分だけ移動させたものとなる。加算画像ILの各座標(x,y)の画素値IL(x,y)は、原画像ICの各座標(x,y)の画素値IC(x,y)と位相変調画像IDの各座標(x,y)の画素値ID(x,y)とを加算した値である(IL(x,y)=IC(x,y)+ID(x,y))。なお、位相変調画像IDおよび加算画像ILは、原画像ICの位相を変化させて得られる画像の各「第2領域」に、少なくとも各「第2領域」に対応する重みを与えて得られる「位相変調成分bを含む画像」に相当する(ステップS88)。
[第4実施形態の変形例1]
理論的には、加算画像IR,IL間の視差の最大値は各波長の半波長である。しかしながら、半波長のずれ幅を得るためには前述した重みAλ,μ(x,y)を無限大にする必要があり、現実的ではない。そのため、原画像ICに対する加算画像IR,ILの位相シフト量の絶対値をそれぞれπ/4[rad]以下に制限してもよい。このような制限下では、重みAλ,μ(x,y)の絶対値が1以下となり、加算画像IR,IL間の視差の絶対値はπ/(2ωλ|cosθμ|)未満となる。この場合、重み計算部83(図10)は、式(6)に代えて以下の式(9)に従って、各重みAλ,μ(x,y)を要素とする二次元配列である重み画像Aλ,μを得て出力する。
ただし、
である。この変形例を適用した場合、同一方位バンドに含まれる空間周波数バンドの重みを比較すると、ある空間周波数ωλ1をピークにもつ空間周波数バンドλ1(第1空間周波数バンド)に対応する重みは、空間周波数バンドλ1よりも高い空間周波数ωλ2をピークにもつ空間周波数バンドλ2(第2空間周波数バンド)(すなわち、ωλ2>ωλ1)に対応する重み以下となる。また、同一空間周波数バンドに含まれる方位バンドの重みを比較すると、ある方位θμ1をピークにもつ方位バンドμ1(第1方位バンド)に対応する重みは、方位バンドμ1よりも垂直方位(0またはπ)に近い方位θμ2をピークにもつ方位バンドμ2(第2方位バンド)(すなわち、|θμ2-π/2|>|θμ1-π/2|)に対応する重み以下となる。その他は第4実施形態で説明した通りである。
[第4実施形態の変形例2]
第4実施形態では、位相変調画像IDの正負反転画像および位相変調画像IDをそれぞれ原画像ICに重畳することで、互いに視差を持つ加算画像IRおよびILを得ている。このように得られた加算画像IRおよびILの振幅は原画像ICの振幅よりも大きく、加算画像IRおよびILが所定の下限値bLおよび/または上限値bUを超えてしまう場合(bL<bU)、すなわち、所定のダイナミックレンジを超えてしまう場合がある。これに対する単純な対策として、加算画像IRおよびILを下限値bLと上限値bUとの間の範囲内に収めるために、加算画像IRおよびILの全体の強度を線形圧縮する方法が考えられる。しかしながら、この単純な対策では、加算画像IRおよびILのコントラストが原画像ICのものよりも小さくなり、画像の印象が変わってしまう。また加算画像IRおよびILのうち下限値bLおよび/または上限値bUを超えた部分を削除する対策も考えられるが、この場合には加算画像IRおよびILの視差成分が互いに相殺されず、加算画像IRおよびILを両目で一度に見た場合に二重にぼやけた画像が知覚される可能性がある。そのため、本変形例2では、加算画像IRおよびILのうち下限値bLまたは上限値bUを超える部分に対応する位相変調画像IDをクリッピングする。
具体的に説明する。本変形例2では、画像生成装置8がさらにダイナミックレンジ調整部861を有する(図10)。ダイナミックレンジ調整部861は、位相変調画像IDおよび重畳部87,88で得られた加算画像IR,ILを入力とし、以下のように位相変調画像IDを位相変調画像ID ^に更新して出力する。
ただし、位相変調画像ID ^は要素ID ^(x,y)からなる二次元配列であり、MU(x,y)=max(max(IR(x,y)−bU,0),max(IL(x,y)−bU,0))、ML(x,y)=min(min(IR(x,y)−bL,0),min(IL(x,y)−bL,0))である。max(α1,α2)は、α1およびα2のうち大きな方の値を表し、min(α1,α2)はα1およびα2のうち小さな方の値を表す。なお、「ID ^」の「^」は本来「I」の真上に記載されるべきである(式(10)参照)。しかし、明細書の記載表記の制約上、「ID」の右上に「^」を表記することがある。
この場合、重畳部87は、さらに原画像ICおよび位相変調画像ID ^を入力とし、原画像ICに位相変調画像ID ^の正負反転画像(位相変調成分a)を重畳して加算画像IR(画像A)を得て出力する。加算画像IRの各座標(x,y)の画素値IR(x,y)は、原画像ICの各座標(x,y)の画素値IC(x,y)から位相変調画像ID ^の各座標(x,y)の画素値ID ^(x,y)を減算した値である(IR(x,y)=IC(x,y)−ID ^(x,y))。この場合、前述のステップS87で得られた加算画像IRは画像Aとして出力されない。
重畳部88は、さらに原画像ICおよび位相変調画像ID ^を入力とし、原画像ICと位相変調画像ID ^(位相変調成分b)を重畳して加算画像IL(画像B)を得て出力する。加算画像ILの各座標(x,y)の画素値IL(x,y)は、原画像ICの各座標(x,y)の画素値IC(x,y)と位相変調画像ID ^の各座標(x,y)の画素値ID(x,y)とを加算した値である(IL(x,y)=IC(x,y)+ID ^(x,y))。この場合、前述のステップS88で得られた加算画像ILは画像Bとして出力されない。
[第4実施形態の変形例3]
画像生成装置8が加算画像IR,ILではなく、位相変調画像IDの正負反転画像を「位相変調成分aを含む画像」として出力し、位相変調画像IDを「位相変調成分bを含む画像」として出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像ICまたは原画像ICに対応する「対象」(原画像ICによって表現された対象)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな原画像ICの平面像を知覚する。
[第4実施形態の変形例4]
「位相変調成分a」が位相変調画像IDの正負反転画像の輝度成分のみを含み、「位相変調成分b」が位相変調画像IDの輝度成分のみを含んでもよい。例えば、画像生成装置8が、位相変調画像IDの正負反転画像の輝度成分のみを抽出して「位相変調成分a」を得、位相変調画像IDの輝度成分のみを抽出して「位相変調成分b」を得てもよい。画像生成装置8が、このような「位相変調成分aを含む画像」を出力し、「位相変調成分bを含む画像」を出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像ICまたは原画像ICに対応する「対象」(原画像ICによって表現された対象)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな原画像ICの平面像を知覚する。
[第4実施形態の変形例5]
原画像ICがカラー画像である場合、各色チャネル(R,G,Bチャネル)についてそれぞれ、第4実施形態のステップS821,S812,S823,S84,S85,S822,S86,S824,S87,S88の処理が実行され、すべての色チャネルの加算画像IR(画像A)および加算画像IL(画像B)が出力されてもよい。原画像ICがカラー画像である場合にも第4実施形態の変形例1〜4が実行されてもよく、この場合の変形例2,3の処理は各色チャネルについて実行される。
[第4実施形態の変形例6]
第4実施形態では、原画像ICの位相を正方向に0.5π[rad]分シフトさせたものを位相シフト画像SC’λ,μとした(式(5))。しかし、原画像ICの位相を正方向に0.5πの近傍分だけシフトさせたものを位相シフト画像SC’λ,μとしてもよい。この場合、視差マップDmapの値が正(交差視差)である領域に対応する位相変調画像IDの正負反転画像(位相変調成分a)の領域の位相は、原画像ICの位相に対して負方向に0.5π[rad]の近傍分だけシフトしたものとなる。一方、視差マップDmapの値が負である領域に対応する位相変調画像IDの正負反転画像(位相変調成分a)の領域の位相は、原画像ICの位相に対して正方向に0.5π[rad]の近傍分だけシフトしたものとなる。視差マップDmapの値が正(交差視差)である領域に対応する位相変調画像ID(位相変調成分b)の領域の位相は、原画像ICの位相に対して正方向に0.5π[rad]の近傍分だけシフトしたものとなる。一方、視差マップDmapの値が負である領域に対応する位相変調画像ID(位相変調成分b)の領域の位相は、原画像ICの位相に対して負方向に0.5π[rad]の近傍分だけシフトしたものとなる。また、位相変調画像IDの正負反転画像を位相変調成分aとし、位相変調画像IDを位相変調成分bとすることに代え、位相変調画像IDの正負反転画像を位相変調成分aとし、位相変調成分aの逆位相近傍の画像を位相変調成分bとしてもよい。
[第5実施形態]
従来の両眼画像提示手法で用いられる膨大な立体画像コンテンツが存在する。本形態では、従来の立体画像コンテンツを加算画像IR(画像A)および加算画像IL(画像B)に変換する方法を説明する。単純な方法は、従来の立体画像コンテンツの両眼視差を持つ画像から視差マップDmapを計算し、それを用いて第4実施形態の処理を行って加算画像IR(画像A)および加算画像IL(画像B)を得る方法である。しかし、本形態では、より簡潔に、視差マップDmapを生成することなく、従来の立体画像コンテンツから加算画像IR(画像A)および加算画像IL(画像B)を得る。
図11に例示するように、本形態の画像生成装置9は、空間周波数領域変換部822、921,922、空間領域変換部824、924、925、分解部911,912、位相操作部93、位相差計算部94、重み計算部95、重み付け部85、再構成部86、および重畳部87,88を有する。本形態では、空間周波数領域変換部822、921,922、空間領域変換部824、924、925、分解部911,912、位相操作部93、位相差計算部94、重み計算部95、重み付け部85、再構成部86、および重畳部87が「第1操作部」に相当し、空間周波数領域変換部822、921,922、空間領域変換部824、924、925、分解部911,912、位相操作部93、位相差計算部94、重み計算部95、重み付け部85、再構成部86、および重畳部88が「第2操作部」に相当する。画像生成装置9は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。
<処理>
画像生成装置9の処理を説明する。
画像生成装置9には、原画像IL’=IC(第1原画像:図14A)および原画像IR’(第2原画像:図14B)が入力される。原画像IL’および原画像IR’は従来の両眼画像提示手法によって画像に見掛けの奥行きを与えるための三次元画像コンテンツである。原画像IL’および原画像IR’との間には両眼視差として認識される位相差がある。言い換えると、原画像IL’および原画像IR’との間には両眼視差として認識される位置ずれがある。一方の眼(例えば、右眼)で原画像IR’を見、他方の眼(例えば、左眼)で原画像IL’を見たものは「立体像」を知覚する。一方、両目で原画像IR’および原画像IL’の両方を見たものは、二重にぼやけた画像を知覚する。原画像IR’はIR’(x,y)を要素に持つ二次元配列であり、原画像IL’はIL’(x,y)を要素(画素)に持つ二次元配列である。原画像IR’および原画像IL’は、静止画像であってもよいし、動画の各フレームの画像であってもよく、外部の記憶装置から読み込まれたものであってもよいし、画像生成装置9が有する記憶装置(図示せず)から読み込まれたものであってもよい。
原画像IL’は空間周波数領域変換部921に入力され、原画像IR’は空間周波数領域変換部922に入力される。空間周波数領域変換部921は、原画像IL’を空間周波数領域の原画像IL’ 〜に変換し、原画像IL’ 〜を出力する。空間周波数領域変換部922は、原画像IR’を空間周波数領域の原画像IR’ 〜に変換し、原画像IR’ 〜を出力する。空間周波数領域変換部921,922での変換には、例えば、離散フーリエ変換を用いることができる。なお、「IL’ 〜」「IR’ 〜」の上付き添え字の「〜」は本来「I」の真上に記載されるべきである。しかし、明細書の記載表記の制約上、それぞれ「IL’」「IR’」の右上に「〜」を記載することがある(ステップS921,S922)。
空間周波数領域の原画像IR’ 〜は分解部911に入力され、空間周波数領域の原画像IL’ 〜は分解部912に入力される。分解部911および912は、それぞれ以下のように、原画像IR’ 〜およびIL’ 〜に複素ステアラブル・フィルタ列Ψを適用し、各空間周波数バンドλおよび各方位バンドμに対応する各複素ステアラブル・ピラミッドSL’λ,μ 〜およびSR’λ,μ 〜をそれぞれ得て出力する(ステップS911,S912)。
複素ステアラブル・ピラミッドSL’λ,μ 〜およびSR’λ,μ 〜は、それぞれ、空間領域変換部924および925に入力される。空間領域変換部924および925は、それぞれ、複素ステアラブル・ピラミッドSL’λ,μ 〜およびSR’λ,μ 〜を空間領域の複素ステアラブル・ピラミッドSL’λ,μおよびSR’λ,μに変換し(図14Cおよび図14D)、複素ステアラブル・ピラミッドSL’λ,μおよびSR’λ,μを出力する。空間領域変換部924および925での変換には、例えば、離散逆フーリエ変換を用いることができる。各複素ステアラブル・ピラミッドSL’λ,μは、SL’λ,μ(x,y)を要素(画素)に持つ二次元配列であり、各複素ステアラブル・ピラミッドSR’λ,μは、SR’λ,μ(x,y)を要素に持つ二次元配列である(ステップS924,S925)。
複素ステアラブル・ピラミッドSL’λ,μおよびSR’λ,μは位相差計算部94に入力される。位相差計算部94は、参考文献3(DIDYK, P., SITTHI-AMORN, P., FREEMAN, W., DURAND, F., AND MATUSIK, W. 2013, “Joint View Expansion and Filtering for Automultiscopic 3d Displays,” ACM Trans. Graph. 32, 6737 (Nov.), 221:1-221:8)に記載された方法を用い、SL’λ,μ(x,y)とSR’λ,μ(x,y)との間の位相差δλ,μ(x,y)を得て出力する。位相差δλ,μ(x,y)を要素とする集合を位相差δλ,μと表記する。参考文献3に記載されているように、位相差がπ/2[rad]を超えた空間周波数バンドλについては、1つ低い空間周波数バンドλ‐1での位相差δλ−1,μ(x,y)の2倍の値を位相差δλ,μ(x,y)とする。
δλ,μ(x,y)=2δλ−1,μ(x,y)
ただし、空間周波数バンドλのピーク空間周波数ωλは、空間周波数バンド(λ−1)のピーク空間周波数ωλ−1の2倍または2倍の近傍である(ステップS94)。
位相差δλ,μは重み計算部95に入力される。重み計算部95は、以下のように重みAλ,μ(x,y)を得て出力する(ステップS95)。
Aλ,μ(x,y)=tan{δλ,μ(x,y)}
空間領域変換部924で得られた複素ステアラブル・ピラミッドSL’λ,μは、位相操作部93に入力される。位相操作部93は、複素ステアラブル・ピラミッドSL’λ,μの虚数部分を抽出し、SCλ,μ=SL’λ,μとし、第4実施形態で示した式(5)に従って、各空間周波数バンドλおよび各方位バンドμに対応する各位相シフト画像SC’λ,μを得て出力する(ステップS924)。
これ以降は、第4実施形態で説明したステップS85,S822,S86,S824の処理を行って空間領域変換部824が位相変調画像IDを出力する(図14E)。さらに、第4実施形態で説明したステップS87の処理を行って重畳部87が加算画像IR(画像A)を得て出力する(図14G)。また、第4実施形態で説明したステップS88の処理を行って重畳部88が加算画像IL(画像B)を得て出力する(図14F)。
[第5実施形態の変形例1]
第4実施形態の変形例1で説明したように、原画像IL,=ICに対する加算画像IR,の位相シフト量の絶対値をそれぞれπ/4[rad]以下に制限してもよい。この場合、画像生成装置9(図11)はさらに位相差制限部941を有する。位相差制限部941は、位相差計算部94で得られた位相差δλ,μ(x,y)を入力とし、以下のように位相差δλ,μ(x,y)をδ^ λ,μ(x,y)に更新する。
ただし、τはスケーリングのための正の定数である。τの値を小さくすることで位相差がπ/4[rad]にクリッピングされる範囲を狭くできる。
この場合、ステップS95では、位相差δλ,μ(x,y)に代えてδ^ λ,μ(x,y)が重み計算部95に入力される。この場合、重み計算部95は、以下のように重みAλ,μ(x,y)を得て出力する。
以降の処理は前述の通りである。
[第5実施形態の変形例2]
第4実施形態の変形例2と同様、画像生成装置9がさらにダイナミックレンジ調整部861を有してもよい(図11)。この場合、ダイナミックレンジ調整部861は、第4実施形態の変形例2で説明したように、位相変調画像IDを位相変調画像ID ^に更新して出力し、重畳部87は原画像IL’=ICに位相変調画像ID ^の正負反転画像(位相変調成分a)を重畳して加算画像IR(画像A)を得て出力し、重畳部88は、さらに原画像IL’=ICおよび位相変調画像ID ^を入力とし、原画像IL’=ICと位相変調画像ID ^(位相変調成分b)を重畳して加算画像IL(画像B)を得て出力する。
[第5実施形態の変形例3]
画像生成装置9が加算画像IR,ILではなく、位相変調画像IDの正負反転画像を「位相変調成分aを含む画像」として出力し、位相変調画像IDを「位相変調成分bを含む画像」として出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像IL’=ICまたは原画像IL’=ICに対応する「対象」(原画像ICによって表現された対象)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな原画像ICの平面像を知覚する。
[第5実施形態の変形例4]
「位相変調成分a」が位相変調画像IDの正負反転画像の輝度成分のみを含み、「位相変調成分b」が位相変調画像IDの輝度成分のみを含んでもよい。例えば、画像生成装置9が、位相変調画像IDの正負反転画像の輝度成分のみを抽出して「位相変調成分a」を得、位相変調画像IDの輝度成分のみを抽出して「位相変調成分b」を得てもよい。画像生成装置9が、このような「位相変調成分aを含む画像」を出力し、「位相変調成分bを含む画像」を出力してもよい。このような「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を、表示や印刷された原画像IL’=ICまたは原画像IL’=ICに対応する「対象」(原画像ICによって表現された対象)に重畳してもよい。この場合でも、観察者Iは見掛けの奥行きのある立体像を知覚し、観察者IIは、クリアな原画像IL’=ICの平面像を知覚する。
[第5実施形態の変形例5]
原画像IL’=ICがカラー画像である場合、各色チャネル(R,G,Bチャネル)についてそれぞれ、第5実施形態のステップS921,S922,S911,S912,S924,S925,S95,S93,S85,S822,S86,S824,S87,S88の処理が実行され、すべての色チャネルの加算画像IR(画像A)および加算画像IL(画像B)が出力されてもよい。ステップS94の処理は何れか1つのチャネルのみでよい。原画像IL’=ICがカラー画像である場合にも第5実施形態の変形例1〜4が実行されてもよく、この場合の変形例2,3の処理は各色チャネルについて実行される。
[第5実施形態の変形例6]
第5実施形態では、原画像IL’=ICの位相を正方向に0.5π[rad]分シフトさせたものを位相シフト画像SC’λ,μとした(式(5))。しかし、原画像IL’=ICの位相を正方向に0.5πの近傍分だけシフトさせたものを位相シフト画像SC’λ,μとしてもよい。この場合、視差マップの値が正(交差視差)である領域に対応する位相変調画像IDの正負反転画像(位相変調成分a)の位相は、原画像IL’=ICの位相に対して負方向に0.5π[rad]の近傍分だけシフトしたものとなり、視差マップの値が正(交差視差)である領域に対応する位相変調画像ID(位相変調成分b)の位相は、原画像IL’=ICの位相に対して正方向に0.5π[rad]の近傍分だけシフトしたものとなる。また、位相変調画像IDの正負反転画像を位相変調成分aとし、位相変調画像IDを位相変調成分bとすることに代え、位相変調画像IDの正負反転画像を位相変調成分aとし、位相変調成分aの逆位相近傍の画像を位相変調成分bとしてもよい。
[第6実施形態]
本形態では、前述した画像生成装置を含む画像提示システムを例示する。
図15Aに例示するように、本形態の画像提示システム4は、ディスプレイ等の表示装置41(画像提示部)、画像生成装置1、前述の時分割方式に従い、加算画像111(画像A)および加算画像121(画像B)を時間的に切り替えて出力する表示制御装置43、およびゴーグルなど立体視用器具42を有する。立体視用器具42は、透過部421および422を含む。透過部421(第1透過部)は、前述の時分割方式に従い、加算画像111(画像A)の透過量が加算画像121(画像B)の透過量よりも大きくなるように制御される液晶シャッターである。好ましくは、透過部421(第1透過部)は、加算画像111(画像A)を透過するが、加算画像121(画像B)を透過しない。透過部422(第2透過部)は、前述の時分割方式に従い、加算画像121(画像B)の透過量が加算画像111(画像A)の透過量よりも大きくなるように制御される液晶シャッターである。好ましくは、透過部422(第2透過部)は、加算画像121(画像B)を透過するが、加算画像111(画像A)を透過しない。
観察者Iは立体視用器具42を装着し、一方の眼(例えば、右目)は透過部421を通して表示装置41を見、他方の眼(例えば、左目)は透過部422を通して表示装置41を見る。観察者IIは立体視用器具42を装着しておらず、両目で表示装置41を見る。
画像生成装置1から出力された加算画像111,121は表示制御装置43に送られる。表示制御装置43は、時分割方式に従い、第1時間区間での処理と第2時間区間での処理とを高速に交互に繰り返す。第1時間区間では、表示制御装置43は、加算画像111を表示装置41から表示するとともに、透過部421を透過させて透過部422を遮断する。第2時間区間では、表示制御装置43は、加算画像121を表示装置41から表示するとともに、透過部422を透過させて透過部421を遮断する。ただし、加算画像111,121は同じ位置に表示される。その結果、観察者Iは、一方の眼で加算画像111を見、他方の眼で加算画像121を見る。これにより、観察者Iは見掛けの奥行きのある立体像を知覚する。一方、観察者IIは、両目で加算画像111,121を見る。観察者IIは、加算画像111の位相変調画像110成分と加算画像111の位相変調画像120成分とを相殺または平均化して知覚する。これにより、観察者IIは、クリアな原画像100の平面像を知覚する。
なお、画像提示システム4において、画像生成装置1が画像生成装置2、3、8、または9に置換され、加算画像111,121が加算画像211,221または311,321または加算画像IR,ILに置換されてもよい画像提示システムであってもよい。
[第7実施形態]
偏光方式による画像提示システムを例示する。
図15Bに例示するように、本形態の画像提示システム5は、スクリーン51、画像生成装置1、加算画像111(画像A)および加算画像121(画像B)を出力する表示制御装置53、水平偏向の偏光板を通して画像を投影するプロジェクタ52a(画像提示部)、垂直偏向の偏光板を通して画像を投影するプロジェクタ52b(画像提示部)、およびゴーグルなど立体視用器具52を有する。立体視用器具52は、透過部521および522を含む。透過部521(第1透過部)は、加算画像111(画像A)の透過量が加算画像121(画像B)の透過量よりも大きくなる水平偏向の偏光板である。好ましくは、透過部521(第1透過部)は、加算画像111(画像A)を透過するが、加算画像121(画像B)を透過しない。透過部522(第2透過部)は、加算画像121(画像B)の透過量が加算画像111(画像A)の透過量よりも大きくなる垂直偏向の偏光板である。好ましくは、透過部522(第2透過部)は、加算画像121(画像B)を透過するが、加算画像111(画像A)を透過しない。
観察者Iは立体視用器具52を装着し、一方の眼(例えば、右目)は透過部521を通してスクリーン51を見、他方の眼(例えば、左目)は透過部522を通してスクリーン51を見る。観察者IIは立体視用器具52を装着しておらず、両目でスクリーン51を見る。
画像生成装置1から出力された加算画像111,121は表示制御装置53に送られる。表示制御装置53は、加算画像111,121をそれぞれプロジェクタ52a,52bに送る。プロジェクタ52aは加算画像111を水平偏向の偏光板を通してスクリーン51に投影する。プロジェクタ52bは加算画像121を垂直偏向の偏光板を通してスクリーン51に投影する。ただし、加算画像111,121はスクリーン51の同じ位置に投影される。その結果、観察者Iは、一方の眼で加算画像111を見、他方の眼で加算画像121を見る。これにより、観察者Iは見掛けの奥行きのある立体像を知覚する。一方、観察者IIは、両目で加算画像111,121を見る。観察者IIは、クリアな原画像100の平面像を知覚する。
なお、画像提示システム5において、画像生成装置1が画像生成装置2、3、8、または9に置換され、加算画像111,121が加算画像211,221または311,321または加算画像IR,ILに置換されてもよい。
[第8実施形態]
偏光方式による他の画像提示システムを例示する。
図16Aに例示するように、本形態の画像提示システム6は、壁61、壁61に固定された写真などの対象611、画像生成装置1、表示制御装置53、水平偏向の偏光板を通して画像を投影するプロジェクタ52a、垂直偏向の偏光板を通して画像を投影するプロジェクタ52b、およびゴーグルなど立体視用器具52を有する。立体視用器具52は、透過部521および522を含む。
観察者Iは立体視用器具52を装着し、一方の眼(例えば、右目)は透過部521を通して対象611を見、他方の眼(例えば、左目)は透過部522を通して対象611を見る。観察者IIは立体視用器具52を装着しておらず、両目で対象611を見る。
画像生成装置1は、第1実施形態の変形例1で説明したように位相変調画像110,120を出力する。出力された位相変調画像110,120は表示制御装置53に送られる。表示制御装置53は、位相変調画像110,120をそれぞれプロジェクタ52a,52bに送る。プロジェクタ52aは位相変調画像110を水平偏向の偏光板を通して対象611に投影する。プロジェクタ52bは加算画像121を垂直偏向の偏光板を通して対象611に投影する。ただし、位相変調画像110,120と対象611とは、それらのエッジが重なるように重畳される。好ましくは、位相変調画像110,120は対象611の同じ位置に投影される。その結果、観察者Iは、一方の眼で対象611に重畳された位相変調画像110を見、他方の眼で対象611に重畳された位相変調画像120を見る。これにより、観察者Iは見掛けの奥行きのある立体像を知覚する。一方、観察者IIは、両目で加算画像111,121を見る。観察者IIは、クリアな対象611の像を知覚する。
なお、画像提示システム6において、画像生成装置1が画像生成装置2、3、8、または9に置換され、位相変調画像110,120が、位相変調画像230,その反転画像、または、位相変調画像390,その反転画像、または、位相変調画像ID,その正負反転画像に置換されてもよい。また、画像提示システム6において、位相変調画像110,120が、位相変調画像110,120の輝度成分、位相変調画像230の輝度成分,位相変調画像230の反転画像の輝度成分、または、位相変調画像390の輝度成分,位相変調画像390の反転画像の輝度成分、または、位相変調画像IDの輝度成分,位相変調画像IDの正負反転画像の輝度成分に置換されてもよい。
[第9実施形態]
時分割方式による他の画像提示システムを例示する。
図16Bに例示するように、本形態の画像提示システム7は、壁61、壁61に固定された写真などの対象611、透明ディスプレイ等の透過型表示装置71、画像生成装置1、位相変調画像110および120を時間的に切り替えて出力する表示制御装置43、およびゴーグルなど立体視用器具42を有する。
観察者Iは立体視用器具42を装着し、一方の眼(例えば、右目)は透過部421を通して透過型表示装置71およびその背後の対象611を見、他方の眼(例えば、左目)は透過部422を通して透過型表示装置71およびその背後の対象611を見る。観察者IIは立体視用器具42を装着しておらず、両目で透過型表示装置71およびその背後の対象611を見る。
画像生成装置1から出力された位相変調画像110,120は表示制御装置43に送られる。表示制御装置43は、時分割方式に従い、第1時間区間での処理と第2時間区間での処理とを高速に交互に繰り返す。第1時間区間では、表示制御装置43は、位相変調画像110を透過型表示装置71から表示するとともに、透過部421を透過させて透過部422を遮断する。第2時間区間では、表示制御装置43は、位相変調画像120を透過型表示装置71から表示するとともに、透過部422を透過させて透過部421を遮断する。ただし、位相変調画像110,120は同じ位置に表示される。その結果、観察者Iは、一方の眼で位相変調画像110と対象611とが重畳された様子を見、他方の眼で位相変調画像120と対象611とが重畳された様子を見る。これにより、観察者Iは見掛けの奥行きのある立体像を知覚する。一方、観察者IIは、両目で位相変調画像110,120と対象611とがすべて重畳された様子を見る。これにより、観察者IIは、クリアな対象611の像を知覚する。
なお、画像提示システム7において、画像生成装置1が画像生成装置2、3、8、または9に置換され、位相変調画像110,120が、位相変調画像230,その反転画像、または、位相変調画像390,その反転画像、または、位相変調画像ID,その正負反転画像に置換されてもよい。また、画像提示システム7において、位相変調画像110,120が、位相変調画像110,120の輝度成分、位相変調画像230の輝度成分,位相変調画像230の反転画像の輝度成分、または、位相変調画像390の輝度成分,位相変調画像390の反転画像の輝度成分、または、位相変調画像IDの輝度成分,位相変調画像IDの正負反転画像の輝度成分に置換されてもよい。
[要点のまとめ]
以上の各実施形態で説明したことをまとめる。
第1〜4実施形態の画像生成装置は「原画像」に基づく画像を生成する。ただし、「原画像に基づく画像」は「画像A」と「画像B」を含む。「画像A」と「画像B」は、一方の眼で「画像A」を見、他方の眼で「画像B」を見た者が「立体像」を知覚し、同じ眼で「画像A」と「画像B」とを見た者が「原画像」を知覚するためのものである。当該画像生成装置は、「原画像」の空間周波数成分の位相を「第1位相」分だけ移動させた「位相変調成分a」と、「原画像」と、が重畳された画像である、「画像A」を得る第1操作部と、「原画像」の空間周波数成分の位相を「第1位相」とは異なる位相である「第2位相」分だけ移動させた「位相変調成分b」と、「原画像」と、が重畳された画像である、「画像B」を得る第2操作部と、を含む。
第1〜4実施形態の画像生成装置において、より好ましくは、「原画像に基づく画像」は「画像A」と「画像B」であり、「画像A」と「画像B」は、一方の眼で「画像A」を見、他方の眼で「画像B」を見た者が「立体像」を知覚し、同じ眼で「画像A」と「画像B」とを見た者が「原画像」(例えば、原画像のみ)を知覚するためのものである。当該画像生成装置は、「原画像」の空間周波数成分の位相を0.5πまたは0.5πの近傍である「第1位相」分だけ移動させた「位相変調成分a」と、「原画像」と、が重畳された画像である、「画像A」を得る第1操作部と、「原画像」の空間周波数成分の位相を「第1位相」の逆位相または「第一位相」の逆位相の近傍である「第2位相」分だけ移動させた「位相変調成分b」と、「原画像」と、が重畳された画像である、「画像B」を得る第2操作部と、を含む。「ρの近傍」とは、ρ−Δ1以上、かつ、ρ+Δ2以下の範囲を意味する。Δ1およびΔ2は零または正の実数であり、Δ1=Δ2であってもよいし、Δ1<Δ2であってもよいし、Δ1>Δ2であってもよい。例えば、Δ1およびΔ2はρの30%以下の値であってもよいし、ρの20%以下の値であってもよいし、ρの10%以下の値であってもよい。
第1操作部は、「原画像」と「位相変調成分a」を重畳することで「画像A」を生成し、第2操作部は、「原画像」と「位相変調成分b」を重畳することで「画像B」を生成する。これによって第1操作部および第2操作部は、「画像A」と「画像B」との間に、両眼視差として解釈されうる位相差をもたらす。その結果、一方の眼で「画像A」を見、他方の眼で「画像B」を見た者は「立体像」を知覚する。一方、「位相変調成分a」と「位相変調成分b」との画像強度の反転関係に基づき、「画像A」と「画像B」とを同じ眼で見た者は、「位相変調成分a」と「位相変調成分b」が互いに打ち消し合うように錯覚するため「原画像」を知覚する。言い換えると、「位相変調成分a」と「位相変調成分b」とを重畳して得られる成分の平均振幅は、「位相変調成分a」の平均振幅よりも小さく、かつ、「位相変調成分b」の平均振幅よりも小さく、一方の眼で「画像A」を見、他方の眼で「画像B」を見た者は「立体像」を知覚し、「画像A」と「画像B」とを同じ眼で見た者は「原画像」を知覚する。すなわち、空間領域での位置変化は空間周波数領域成分(例えば、二次元フーリエ成分)の位相変化(「位相変調」ともいう)ととらえることができ、両眼視差は位相差(位相視差)に変換できる。そのため、位相差を持つ「位相変調成分a」および「位相変調成分b」のそれぞれを「原画像」に加算した「画像A」および「画像B」を左右の異なる眼で見た者は、「位相変調成分a」および「位相変調成分b」の位相差によって生じる「画像A」と「画像B」との位相差を脳が両眼視差として利用することで奥行きのある「立体像」を知覚する。一方、「画像A」と「画像B」との位相差は、逆方向またはその近傍の位相変化をもつ「位相変調成分a」および「位相変調成分b」に由来することから、「画像A」と「画像B」を同じ眼(両目同時、右目のみ、左目のみ)で見た者は「位相変調成分a」および「位相変調成分b」の画像強度が互いに弱められた「像」を知覚する。そのため、「画像A」および「画像B」のそれぞれを左右それぞれの(異なる)眼で見るための「立体視用器具」を装着している者は「立体像」を知覚でき、「立体視用器具」を装着していない者はクリアな「原画像」を知覚できる。なお「立体視用器具」は、「画像A」の透過量が「画像B」の透過量よりも大きな「第1透過部」と、「画像B」の透過量が「画像A」の透過量よりも大きな「第2透過部」とを有する。好ましくは、「第1透過部」は「画像A」を透過させるが「画像B」を遮断し、「第2透過部」は「画像B」を透過させるが「画像A」を遮断する。「立体視用器具」の例は、時分割方式で利用する液晶シャッターを有するゴーグル、偏光方式で利用される互いに偏光方向が直交した2枚の偏光板を有するゴーグルなどである。なお、「位相」とは空間周波数の位相を意味する。なお、上述のように「画像A」の位相変調は、「原画像」に「位相変調成分a」を重畳することにより実現される。「画像B」の位相変調は、「原画像」に「位相変調成分b」を重畳することにより実現される。この時、「画像A」および「画像B」の振幅は、「原画像」の振幅と一致しない。しかしながら、「画像A」と「画像B」を人間が異なる眼で観察した者は、両眼融像時に振幅の不一致を緩和する視覚の機能が働くために、その振幅の不一致が気にならず、「原画像」の振幅を有しているような「像」を知覚する。
「位相変調成分a」および「位相変調成分b」は「原画像」の少なくとも一部の領域に基づく画像であり、「立体像」は「原画像」の少なくとも一部の領域または「原画像」によって表現された「対象」の少なくとも一部の領域に見掛けの奥行きを与えた像であり、「像」は「原画像」または「原画像」によって表現された「対象」の像の少なくとも一部の領域を含む。「原画像」は二次元画像(平面画像)である。「原画像」は、カラー画像であってもよいし、モノトーン画像であってもよいし、白黒画像であってもよい。「原画像」は、静止画像であってもよいし、動画の各フレームの画像であってもよい。「原画像」は撮影されたものであってもよいし、描画されたものであってもよいし、コンピュータを用いて作成されたものであってもよい。「原画像」によって表現された「対象」は、「原画像」によって表された「対象」であり、「原画像」に対応する「対象」である。「対象」は、立体的形状を備える物(例えば、花瓶、ボール、模型)であってもよいし、平面(例えば、紙、ボード、壁、スクリーン)であってもよい。「対象」が平面である場合には、その平面にパタンが含まれることが望ましい。平面に含まれるパタンの例として、例えば、紙に印刷した写真、画像、所定の平面に投影した写真、画像が考えられる。「対象」をディスプレイなどの画面とした場合には、パタンの例として、ディスプレイなどの画面に表示した画像などが挙げられる。
「位相変調成分a」および「位相変調成分b」は「原画像」の位相を変化(「変調」「移動」「シフト」)させて得られる要素に基づく。例えば、「位相変調成分a」は「原画像」の位相を正方向に変化させて得られる要素に基づき、「位相変調成分b」は「原画像」の位相を負方向に変化させて得られる要素に基づく。「原画像」に対する「位相変調成分a」の位相変化量(「位相変調調」ともいう)の絶対値は、「原画像」に対する「位相変調成分b」の位相変化量の絶対値と同一、または「原画像」に対する「位相変調成分b」の位相変化量の絶対値の近傍であることが望ましい。この場合、「位相変調成分a」の位相は「位相変調成分b」の位相の逆相または当該逆相の近傍となる。これにより、「立体視用器具」を装着せずに、同じ眼で「位相変調成分a」を含む「画像A」と「位相変調成分b」を含む「画像B」の両方を見た者は、それらの「位相変調成分a」と「位相変調成分b」とが概ね相殺または平均化されたよりクリアな「像」を知覚する。好ましくは「原画像」に対する「位相変調成分a」の位相変化量(第1位相)は、「原画像」に対する「位相変調成分b」の位相変化量(第2位相)の逆相または当該逆相の近傍であることが望ましい。言い換えると、「位相変調成分a」の位相は、「位相変調成分b」の位相の逆相または逆相の近傍であることが望ましい。理想的には「原画像」に対する「位相変調成分a」の位相変化量(第1位相)が0.5π[rad]または0.5π[rad]の近傍であり、「原画像」に対する「位相変調成分b」の位相変化量(第2位相)が−0.5π[rad]または−0.5π[rad]の近傍である。より好ましくは、「第1位相」が0.5π[rad]または0.5π[rad]の近傍であり、「第2位相」が「第1位相」の逆相またはその近傍である。「原画像」に対して0.5πの位相変化量をもつ「位相変調成分a」を「原画像」に重畳して得られる「画像A」は、他の情報処理によって振幅が操作されない限り、「原画像」に対して0.25πの位相変化量を有する。「原画像」に対して−0.5πの位相変化量をもつ「位相変調成分b」を「原画像」に重畳して得られる「画像B」は、他の情報処理によって振幅が操作されない限り、「原画像」に対して−0.25πの位相変化量を有する。このように「画像A」と「画像B」の位相差が、両眼視差として機能し、結果的に観察者に「像」の奥行知覚をもたらす。
位相の変化は、空間領域での各成分の所望方向(例えば水平方向)の位置変化に寄与する。ただし、その位置変化量は、位相変化量だけではなく、位相を変化させた空間周波数成分の空間周波数および方位にも依存する。すなわち、各空間周波数成分の所定方向の位置変化量は、視差に対応する位相変化量、空間周波数、および方位の関数値となる。従って、各空間周波数成分の所定方向の位置変化量を揃えるためには、各空間周波数成分の空間周波数および方位に応じた調整が必要となる。この調整のために、「原画像」の位相を変化させて得られる「画像」に重みを与えて「位相変調成分a」を得、「原画像」の位相を変化させて得られる「画像」に重みを与えて「位相変調成分b」を得てもよい。なお、「位相変調成分a」を得るために「画像」に与えられる重みは、「位相変調成分b」を得るために「画像」に与えられる重みに等しいことが望ましい。しかしながら、「位相変調成分a」を得るために「画像」の少なくとも一部の「画素」に与えられる重みが、「位相変調成分b」を得るために「画像」の上記「画素」に与えられる重みの大きさの近傍であってもよい。
まず、空間周波数が高い成分ほど位相変化に対する位置変化量が小さい。よって、空間周波数に応じた調整が必要である。本形態では、「原画像」の位相を変化させて得られる「位相変調成分a」と「位相変調成分b」との各空間周波数成分の振幅に対して、各空間周波数成分に応じた重みに基づく変調を与える。これにより、当該変調後の「位相変調成分a」を「原画像」に重畳した「画像A」、および、当該変調後の「位相変調成分b」を「原画像」に重畳した「画像B」の各空間周波数帯域における位相変化量を調整し、その結果として位置変化量を調整する。
また、空間周波数成分の方位によって、各空間周波数成分の位相を変化させたときの空間領域での移動方向が異なる。そのため、空間領域で所望方向(例えば水平方向)に所望量の両眼視差を得るためには、各空間周波数成分の位置変化量の調整が必要となる。例えば、「原画像」の位相を変化させて得られる画像の各空間周波数成分に、少なくとも方位に対応する重みを与えて「位相変調成分a」を得、「原画像」の位相を変化させて得られる画像の各空間周波数成分に、少なくとも方位に対応する重みを与えて「位相変調成分b」を得る場合、より水平方位に近い方位に対する重みを、より垂直方位に近い方位に対する重みよりも小さくする。
また、このような「位相変調成分a」および「位相変調成分b」は、上述のように「原画像」の位相を変化させて得られる画像に重みを与えて得られてもよいが、「原画像」に重みを与えて得られる画像の位相を変化させて得られてもよいし、「原画像」の位相を変化させつつ重みを与えて得られてもよい。要は、「位相変調成分a」は、「原画像」に「第1重み」が与えられた「第1成分」を含み、「位相変調成分a」の位相は、「原画像」の位相に対して「第1位相」分だけ相違し、「位相変調成分b」は、「原画像」に「第2重み」が与えられた「第2成分」を含み、「位相変調成分b」の位相は、「原画像」の位相に対して「第2位相」分だけ相違していてもよい。例えば、「第1成分」は「原画像」の各空間周波数成分に、少なくとも「原画像」の各空間周波数成分の空間周波数に対応する重みが与えられた成分であり、「第2成分」は「原画像」の各空間周波数成分に、少なくとも「原画像」の各空間周波数成分の空間周波数に対応する重みが与えられた成分であり、「第1空間周波数」に対応する「重み」が、「第1空間周波数」よりも高い「第2空間周波数」に対応する「重み」以下でもよい(例えば、「第1空間周波数」に対応する「重み」が、「第1空間周波数」よりも高い「第2空間周波数」に対応する「重み」よりも小さくてもよい)。例えば、「第1成分」は「原画像」の各空間周波数成分に、少なくとも「原画像」の各空間周波数成分の方位に対応する重みが与えられた成分であり、「第2成分」は「原画像」の各空間周波数成分に、少なくとも「原画像」の各空間周波数成分の方位に対応する重みが与えられた成分であり、「第1方位」に対応する重みは、「第1方位」よりも所定の方位に近い「第2方位」に対応する重み以下でもよい(例えば、「第1方位」に対応する重みは、「第1方位」よりも所定の方位に近い「第2方位」に対応する重みよりも小さくてもよい)。例えば、「第1成分」は「原画像」の各領域に、少なくとも「原画像」の各領域に対応する重みが与えられた成分であり、「第2成分」は「原画像」の各領域に、少なくとも「原画像」の各領域に対応する重みが与えられた成分であってもよい。
「原画像」に一様な見掛けの奥行きを与えるのではなく、「原画像」に非一様な見掛けの奥行きを与えてもよい。言い換えると、空間領域の画像領域に応じて奥行きを変えてもよい。例えば、「原画像」の位相を変化させて得られる画像の各「第1領域」に、少なくとも各「第1領域」に対応する重みを与えて「位相変調成分a」を得、「原画像」の位相を変化させて得られる画像の各「第2領域」に、少なくとも各「第2領域」に対応する重みを与えて「位相変調成分b」を得てもよい。これにより、非一様な見掛けの奥行きを与えることができる。
「画像A」が「位相変調成分a」および「原画像」の成分を含み、「画像B」が「位相変調成分b」および「原画像」の成分を含む場合、「画像A」および「画像B」を異なる眼に表示することで「立体像」および「像」を知覚させることができる。すなわち、このような「画像A」および「画像B」が、ディスプレイなどの表示装置で表示されたり、プロジェクタなどの投影装置から投影されたりした場合、「立体視用器具」を装着して一方の眼で「画像A」を見、他方の眼で「画像B」を見た者は「立体像」を知覚する。一方、「立体視用器具」を装着せずに同じ眼で「画像A」および「画像B」を見たものは「位相変調成分a」および「位相変調成分b」が互いに弱め合い、「原画像」が際立ったクリアな「像」を知覚する。「位相変調成分a」および「原画像」の成分を含む「画像A」は、「原画像」に「位相変調成分a」を重畳して得られる。「位相変調成分b」および「原画像」の成分を含む「画像B」は、「原画像」に「位相変調成分b」を重畳して得られる。「画像A」は「原画像」の成分のエッジに「位相変調成分a」のエッジが重なるように重畳された画像であり、「画像B」は「原画像」の成分のエッジに「位相変調成分b」のエッジが重なるように重畳された画像である。好ましくは、「原画像」の各座標と当該各座標に対応する「位相変調成分a」の各座標とが一致するように「原画像」に「位相変調成分a」を重畳して得られる画像を「画像A」とし、「原画像」の各座標と当該各座標に対応する「位相変調成分b」の各座標とが一致するように「原画像」に「位相変調成分b」を重畳して得られる画像を「位相変調画像b」とすることが望ましい。すなわち、「原画像」に対する「位相変調成分a」の位相変化量を保ったまま、「原画像」に「位相変調成分a」を重畳して得られる画像を「画像A」とし、「原画像」に対する「位相変調成分b」の位相変化量を保ったまま、「原画像」に「位相変調成分b」を重畳して得られる画像を「画像B」とすることが望ましい。言い換えると、「位相変調成分a」および「原画像」の成分を含む「画像A」および「位相変調成分b」および「原画像」の成分を含む「画像B」の表示は、「画像A」の「原画像」成分と「画像B」の「原画像」成分とが一致するように行われることが望ましい。ただし、「画像A」の「原画像」成分と「画像B」の「原画像」成分とのずれを人間がほとんど知覚できないのであれば、これらが多少ずれた状態で表示されてもかまわない。すなわち、「画像A」の「原画像」成分の座標と「画像B」の「原画像」成分の座標とのずれ量が所定範囲内であればよい。言い換えると、「画像A」の「原画像」成分の各座標が、当該各座標に対応する「画像B」の「原画像」成分の各座標の近傍となるように、「画像A」および「画像B」が表示されてもよい。「画像A」の「原画像」成分のエッジが「画像B」の「原画像」成分のエッジに一致するか近傍に配置されるように、「画像A」および「画像B」が表示されてもよい。
第1〜3実施形態の変形例1,2、第4実施形態の変形例3,4,5の画像生成装置も「原画像」に基づく画像を生成する。ただし、「原画像に基づく画像」は、「位相変調成分aを含む画像」と「位相変調成分bを含む画像」を含む。「位相変調成分aを含む画像」と「位相変調成分bを含む画像」は、一方の眼で「原画像」または「原画像」によって表現された「対象」と「位相変調成分aを含む画像」とを見、他方の眼で「原画像」または「対象」と「位相変調成分bを含む画像」とを見た者が「立体像」を知覚し、同じ眼で「原画像」または「対象」と「位相変調成分aを含む画像」と「位相変調成分bを含む画像」とを見た者が「原画像」を知覚するためのものである。当該画像生成装置は、「原画像」の空間周波数成分の位相を「第1位相」分だけ移動させた「位相変調成分a」を得る第1操作部と、「原画像」の空間周波数成分の位相を「第1位相」とは異なる位相である「第2位相」分だけ移動させた位相変調成分bを得る第2操作部と、を含む。なお「位相変調成分a」および「位相変調成分a」は、複数の色チャンネルの強度で表現された画像であってもよいし、輝度チャンネルのみを含むものであってもよい。
第1〜3実施形態の変形例1,2、第4実施形態の変形例3,4,5の画像生成装置においてより好ましくは、「原画像に基づく画像」は、「位相変調成分aを含む画像」と「位相変調成分bを含む画像」であり、「位相変調成分aを含む画像」と「位相変調成分bを含む画像」は、一方の眼で「原画像」または「対象」と「位相変調成分aを含む画像」とを見、他方の眼で「原画像」または「対象」と「位相変調成分bを含む画像」とを見た者が「立体像」を知覚し、同じ眼で「原画像」または「対象」と「位相変調成分aを含む画像」と「位相変調成分bを含む画像」とを見た者が「原画像」(例えば、原画像のみ)を知覚するためのものである。当該画像生成装置は、「原画像」の空間周波数成分の位相を0.5πまたは0.5πの近傍である「第1位相」分だけ移動させた位相変調成分aを得る第1操作部と、「原画像」の空間周波数成分の位相を「第1位相」の逆位相である「第2位相」分だけ移動させた位相変調成分bを得る第2操作部と、を含む。
一方の眼で「原画像」または「原画像」によって表現された「対象」と「位相変調成分aを含む画像」とを見、他方の眼で「原画像」または「対象」と「位相変調成分bを含む画像」とを見た者が「立体像」を知覚したりするのは、「位相変調成分aを含む画像」と「位相変調成分bを含む画像」との位相差を脳が両眼視差として利用するからである。同じ眼で「原画像」または「対象」と「位相変調成分aを含む画像」と「位相変調成分bを含む画像」とを見た者が「原画像」を知覚するのは、位相変調成分aと位相変調成分bとの画像強度の反転関係に基づいて、それらの成分が互いに打ち消し合うように錯覚するからである。
このような場合、「立体視用器具」を装着して一方の眼で「位相変調成分aを含む画像」が「原画像」または「対象」に重畳した像を見、他方の眼で「位相変調成分bを含む画像」が「原画像」または「対象」に重畳された像を見た者は、「原画像」または「対象」に見掛けの奥行きが与えられた「立体像」を知覚する。一方、「立体視用器具」を装着せずに同じ眼で「位相変調成分aを含む画像」および「位相変調成分bを含む画像」が「原画像」または「対象」に重畳した像を見た者は、「位相変調成分a」および「位相変調成分b」が互いに弱め合うことで、「原画像」が際立ったクリアな「像」を知覚する。なお、「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を「原画像」または「対象」に重畳する方法に限定はない。例えば、「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を「原画像」または「対象」に投影することで、「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を「原画像」または「対象」に重畳できる。あるいは、「原画像」または「対象」の像が透過する位置に透明ディスプレイを配置し、この透明ディスプレイに「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を表示し、透明ディスプレイを透過した「原画像」または「対象」の像と透明ディスプレイに表示した「位相変調成分aを含む画像」および「位相変調成分bを含む画像」とを重畳させてもよい。ただし、透明ディスプレイに表示した「位相変調成分aを含む画像」および「位相変調成分bを含む画像」は透過性のある画像である。また、「位相変調成分aを含む画像」および「位相変調成分bを含む画像」のエッジが「原画像」または「対象」のエッジと重なるように、「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を「原画像」または「対象」に重畳することが望ましい。例えば、「位相変調成分aを含む画像」および「位相変調成分bを含む画像」のエッジが「原画像」または「対象」のエッジと一致または近傍に配置されるように、「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を「原画像」または「対象」に重畳する。好ましくは、「原画像」の各座標と当該各座標に対応する「位相変調成分a」の各座標とが一致するように「原画像」に「位相変調成分aを含む画像」を重畳し、「原画像」の各座標と当該各座標に対応する「位相変調成分b」の各座標とが一致するように「原画像」に「位相変調成分bを含む画像」を重畳することが望ましい。「原画像」に対する「位相変調成分a」の位相変化量を保ったまま、「原画像」に「位相変調成分aを含む画像」を重畳し、「原画像」に対する「位相変調成分b」の位相変化量を保ったまま、「原画像」に「位相変調成分bを含む画像」を重畳することが望ましい。
また、「位相変調成分aを含む画像」が輝度成分からなる「位相変調成分a」を含むが「原画像」の成分を含まず、「位相変調成分bを含む画像」が輝度成分からなる「位相変調成分b」を含むが「原画像」の成分を含まない場合でも、上述のように「位相変調成分aを含む画像」および「位相変調成分bを含む画像」を「原画像」または「原画像」に対応する「対象」に重畳することで、上述のように「原画像」または「対象」に見掛けの奥行きが与えられた「立体像」および「像」を知覚させることができる。
前述したように、「画像A」(または「位相変調成分aを含む画像」)および「画像B」(または「位相変調成分bを含む画像」)を表示するタイミングや「画像A」(または「位相変調成分aを含む画像」)および「画像B」(または「位相変調成分bを含む画像」)の偏光方向は、両眼画像提示手法に依存する。例えば、両眼画像提示手法として時分割方式を用いるのであれば、「画像A」(または「位相変調成分aを含む画像」)と「画像B」(または「位相変調成分bを含む画像」)とを交互に表示し、立体像を知覚しようとする観察者は、「立体視用器具」として液晶シャッターを有するゴーグルを装着する。例えば、両眼画像提示手法として偏光方式を用いるのであれば、表示または投影された「画像A」(または「位相変調成分aを含む画像」)を第1偏光方向の偏光板に入射させ、「画像B」(または「位相変調成分bを含む画像」)を第2偏光方向の偏光板に入射させる。ただし、第1偏光方向と第2偏光方向とは直交する。立体像を知覚しようとする観察者は、「立体視用器具」として第1偏光方向の偏光板と第2偏光方向の偏光板とを備えたゴーグル装着する。これらの方法により、「画像A」(または「位相変調成分aを含む画像」)が観察者の一方の眼に入射し、「画像B」(または「位相変調成分bを含む画像」)が当該観察者の他方の眼に入射する。
第5実施形態およびその変形例の画像生成装置では、「第1原画像」および「第2原画像」に基づいて、上述のような「画像A」(または「位相変調成分aを含む画像」)および「画像B」(または「位相変調成分bを含む画像」)を生成する。ただし、「第1原画像」は前述の「原画像」であり、「第1原画像」と「第2原画像」との間には両眼視差として認識される位相差がある。「第1原画像」および「第2原画像」の例は、従来の両眼画像提示手法で用いられる立体画像コンテンツである。一方の眼で「第1原画像」を見、他方の眼で「第2原画像」を見たものは「立体像」を知覚する。一方、両目で「第1原画像」および「第2原画像」の両方を見たものは、二重にぼやけた画像を知覚する。
第5実施形態の画像生成装置は、「第1原画像」の空間周波数成分の位相を「第1位相」分だけ移動させた「位相変調成分a」と、「第1原画像」と、が重畳された画像である、「画像A」を得る第1操作部と、「第1原画像」の空間周波数成分の位相を「第1位相」とは異なる位相である「第2位相」分だけ移動させた「位相変調成分b」と、「第1原画像」と、が重畳された画像である、「画像B」を得る第2操作部と、を有する。第5実施形態における「第1位相」は0.5πであるが、これは本発明を限定するものではなく、第5実施形態の変形例6で例示したように0.5π[rad]の近傍を「第1位相」とし、「第1位相」の逆位相を「第2位相」としてもよい。すなわち、「第1原画像」の空間周波数成分の位相を0.5πの近傍である「第1位相」分だけ移動させたものを「位相変調成分a」とし、「第1原画像」の空間周波数成分の位相をこの「第1位相」の逆位相または「第1位相」の逆位相の近傍である「第2位相」分だけ移動させたものを「位相変調成分b」としてもよい。「位相変調成分a」および「位相変調成分b」が輝度成分のみを含んでもよい。また、第5実施形態の変形例3,4のように、画像生成装置が「位相変調成分aを含む画像」と「位相変調成分bを含む画像」を得て出力してもよい。
第4および5実施形態において、「原画像(第5実施形態では「第1原画像」)」のそれぞれの位置(領域)に対応する「第1位相」は互いに同一であってもよいし、そうでなくてもよい(「原画像」の少なくとも一部の領域(空間領域の位置)のそれぞれに対応する「第1位相」が互いに異なっていてもよい)。例えば、「第1位相」のうち、ある領域に対応する位相が0.5πであり、別の領域に対応する位相が-0.5πであってもよい。すなわち、ある位置に対応する位相は0.5π、別の位置に対応する位相は-0.5π、というように、位置ごとに異なる位相を総称して「第1位相」といってもよい。「位相を第1位相分だけ移動する」とは、「原画像」中の各領域に対応する「第1位相」分だけ位相を移動することを意味する。例えば、「位相変調成分a」は「原画像」に「第1重み(例えば「原画像」の各領域に対応する重み成分の集合)」が与えられた「第1成分」を含み、「位相変調成分a」の位相は「原画像」の位相に対して「第1位相」分だけ相違し、「位相変調成分b」は「原画像」に「第2重み(例えば「原画像」の各領域に対応する重み成分の集合)」が与えられた「第2成分」を含み、「位相変調成分b」の位相は「原画像」の位相に対して「第2位相」分だけ相違してもよい。このような「位相変調成分a」および「位相変調成分b」は、「原画像」の位相を変化させて得られる画像に重みを与えて得られる成分であってもよいし、「原画像」に重みを与えて得られる画像の位相を変化させて得られる成分であってもよいし、「原画像」の位相を変化させつつ重みを与えて得られる成分であってもよい。ただし、「第1重み」は、互いに異なる領域(空間領域の位置)に与えられる互いに異なる重み成分(「原画像」の各領域に対応する重み)を含み、「第2重み」は、互いに異なる領域に与えられる互いに異なる重み成分(「原画像」の各領域に対応する重み)を含む。すなわち、「第1重み」は「原画像」の全領域について一様ではなく、「第2重み」も「原画像」の全領域について一様ではない。例えば、「第1重み」は「原画像」のある一部の領域について1(重みを与えないことに相当)であってもよいが、「原画像」のすべての領域について1ではない。同様に、「第2重み」も「原画像」のある一部の領域について1であってもよいが、「原画像」のすべての領域について1ではない。また好ましくは、「第1重み」は「第2重み」と等しいことが望ましい。すなわち、「第1重み」および「第2重み」が互いに同一の「所定の重み」であることが望ましい。これにより、最適な「立体像」を知覚させることができるからである。
[その他の変形例]
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の実施形態では「原画像」または「対象」のすべての領域に「位相変調成分a」または「位相変調成分b」を重畳したが、「原画像」または「対象」の一部の領域のみに「位相変調成分a」または「位相変調成分b」を重畳してもよい。また、「原画像」が動画の各フレームの画像である場合、各フレームについて前述の処理を繰り返し行ってもよい。これにより、立体視用器具を装着している観察者に立体的な動画を知覚させ、立体視用器具を装着していない観察者にクリアな平面的な動画を知覚させることができる。
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
一方の眼で「画像A」を見、他方の眼で「画像B」を見た者に立体像を知覚させ、同じ眼で「画像A」と「画像B」とを見た者に原画像を知覚させるために、映像提示装置に「画像A」および「画像B」を提示させる画像データの「データ構造」が提供されてもよい。ただし、「画像A」と「画像B」は原画像に基づき、「画像A」は、「原画像」の空間周波数成分の位相を「第1位相」分だけ移動させた「位相変調成分a」と、「原画像」と、が重畳された画像である。「画像B」は、「原画像」の空間周波数成分の位相を「第1位相」とは異なる位相である「第2位相」分だけ移動させた「位相変調成分b」と、「原画像」と、が重畳された画像である。
一方の眼で「原画像」または「原画像」によって表現された「対象」と「位相変調成分aを含む画像」とを見、他方の眼で「原画像」または「対象」と「位相変調成分bを含む画像」とを見た者に立体像を知覚させ、同じ眼で「原画像」と「位相変調成分aを含む画像」と「原画像」と「位相変調成分bを含む画像」とを見た者に「原画像」を知覚させるために、映像提示装置に「位相変調成分aを含む画像」よび「位相変調成分bを含む画像」を提示させる画像データの「データ構造」が提供されてもよい。ただし、「位相変調成分aを含む画像」と「位相変調成分bを含む画像」は「原画像」に基づき、「位相変調成分a」は、「原画像」の空間周波数成分の位相を「第1位相」分だけ移動させたものである。「位相変調成分b」は、「原画像」の空間周波数成分の位相を「第1位相」とは異なる位相である「第2位相」分だけ移動させたものである。