図1に、実施形態の情報配信システムが示される。図1に示される情報配信システム100は、照明装置110、物体130、再生装置150、サーバ装置170を含む。
照明装置110は例えばRGBの各成分に対応する発光素子(例えばLED)を含む。この発光素子の発光量や位相が制御されることによって照明装置110から発光される照明光115(実線)には、特定の情報125が透かし信号として重畳されている。
照明光115の少なくとも一部が照射光120(点線)として物体130に照射されおり、この物体130によって当該照射光120が反射されたことによる反射光140(一点鎖線)が再生装置150によって受光される。
再生装置150は撮像部(カメラ)を有し、この撮像部によって受光した受信光に従って物体130等が撮像される。そして、再生装置150は、詳細は後述するが、物体130の撮像と共に、受信光から当該反射光140に含まれている情報135から当該特定の情報125を再生する。
なお、説明のため省略しているが、再生装置150が受光する受信光には、一般には、物体130による反射光140だけでなく、照明装置110が発光した照明光115そのものや当該光が物体130以外によって反射された反射光等も含んでいる。
ここで、照明装置110から発光される照明光115に重畳される特定の情報125とは、当該照明光115が照射される物体130に関連する情報や、物体130とは無関係であったとしても再生装置150が物体130に応じた反射光140を受光した場合の受信光を介して取得させたい情報等である。
例えば、物体130が商品や広告等である場合には商品や広告に関する情報やクーポンであったり、物体130に関する情報を説明するための説明内容であったり、物体130に関連して行われる予定の操作等に関する説明内容や指示内容であったり等、種々の情報が該当する。
そして、この特定の情報は、再生装置150の表示部に表示される場合もあれば、再生装置150の投影部によって物体130や他の物体に投影される場合もある。
また、当該特定の情報125は、再生装置150に取得させたい他の情報を特定するための情報であってもよい。例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりしてもよい。
サーバ装置170は当該他の情報を保持しており、再生装置150は、有線又は無線のネットワークを介して、情報135を再生することで取得した当該特定の情報125に対応するIDやURL等を指定してサーバ装置170にアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する。
このように、照明装置110から発光される照明光115に重畳される特定の情報125が、再生装置150に取得させたい他の情報を特定するための情報である場合、最終的には所望の情報を再生装置150に取得させられるものの、照明装置110において照明光115に重畳させる情報の情報量が少なくすることができる。
なお、情報配信システム100を利用して、再生装置150に情報が表示されたり、サーバ装置170から他の情報が取得されたりした場合に課金する等のサービスを実施してもよい。
ところで、一般に、物体130は特定の分光反射率を有している。例えば、物体130が可視光領域の赤色に該当する波長領域を吸収する特性を有している場合には、この物体130による当該光の反射光140は、物体130の分光反射率の影響を受けて、可視光領域の赤色に該当する波長領域の成分が当該照射光120に比べて減少する。
すなわち、照射光120を反射する物体が異なれば、この異なる分光反射率の影響を受けて当該照射光120が反射されるため、反射光140に含まれるRGB色空間の各成分の割合が照射光120における割合とは変わってくる。
従って、照明装置110から発光された照射光120に重畳されている情報が仮に同じであっても、つまり、照射光120に含まれるRGB色空間の各成分の割合が仮に同じであっても、照射光120を反射する物体が異なれば、反射光140に含まれるRGB色空間の各成分の割合が変わってしまうことによって、反射光140に重畳される情報が所望の情報ではなくなってしまうことがある。
詳細は後述するが、照明光115に重畳された特定の情報125が物体130を介して再生装置150に到達している場合には、物体130の分光反射率に応じた影響を受けた反射光140を再生装置150が受光していることを考慮しないと、情報135から当該特定の情報125を良好に再生できないことを発明者らは見出した。
図2に、実施形態において特定の情報が重畳される光の例が示される。図2には、照明装置110において、YUV色空間におけるU成分及びV成分が特定の情報125に応じて変調されることで当該各成分に特定の情報125が重畳され、その上で、YUV色空間における当該各成分の値が後述の変換式(1)〜(3)に代入されることでRGB色空間の各成分に変換されることで生成される場合の照明光115を説明するために、YUV色空間における各成分の値の時間変化(A)と、RGB色空間における各成分の値の時間変化(B)の関係の例が示される。なお、図2に示される例は、後述される各実施形態に関連する例である。なお、グラフ220、230、240、250及び260における点線によって区切られる区間の各々に含まれる波形が、信号に重畳される情報の最小単位であるシンボル(例えば、“0”及び“1”)に対応する波形として例示されている。
図2の(A)には、特定の情報125に応じたYUV色空間での各成分の値が示される。一番上のグラフ210に示されるように、Y成分、すなわち、輝度成分は、時間経過によらず一定に保たれている。一方、中央のグラフ220に示されるように、色差成分の1つであるU成分の値は、特定の情報125に応じて位相変調されて時間経過とともに変化する。同様に、一番下のグラフ230に示されるように、他方の色差成分であるV成分の値も、特定の情報125に応じて位相変調されて時間経過とともに変化する。
一方、図2の(B)には、図2の(A)に対応する、RGB色空間での各成分の値が示される。グラフ240、250及び260に、それぞれ、赤色成分、緑色成分、青色成分の時間変化が示されており、各色成分の時間変化は、特定の情報125が重畳されたYUV色空間における複数の色差信号に対してRGB色空間への変換が施されることによって得られる。照明装置110は、各色成分の時間変化における各サンプリング点での値に応じた単位時間当たりの発光光量で、色成分に対応する発光素子を発光させる。
なお、図2では、YUV色空間に沿って例示したが発明はこれに限定されない。例えば、輝度成分と他の成分とで色を表現する色空間であって、RGB色空間と特定の変換式によって互いに可換な例えばHLS色空間であってもよい。
また、図2では、YUV色空間におけるY成分を変調しない場合を例示したが発明はこれにも限定されない。光に情報を重畳させる場合に光を当該情報に従って変調することとなるが、人間の目の色における色の変化に対する感知性は、明るさの変化に対する感知性よりも低い。そこで、輝度成分を一定とし、色差成分であるU成分やV成分を変調することで、照明としての機能を低下させることなく、発光する光へ情報を埋め込むことを可能にしている。
また、照明装置110における各発光素子の単位時間当たりの発光光量の変動幅が、その発光素子の単位時間当たりの発光光量の一つのシンボルに対応する期間にわたる時間平均値に対して数%程度となるように、U成分及びV成分の値を決定することが好ましい。これにより、特定の情報125に応じた光の特性の時間変化が、人に対してより知覚され難くなる。
また、特定の情報125に従って時系列に沿って変化する光の特性が、単位時間当たりの光量である場合も、例えば、特定の情報125の1周期に複数のサンプリング点(例えば、10〜20点)を設定し、特定の情報125に従って各サンプリング点での発光素子の単位時間当たりの発光量を決定すればよい。
なお、発光素子が有する特性のばらつきによって、YUV色空間の各成分に情報を重畳させる際に想定していた発光量と、実際の発光量とにずれが生じる場合がある。このような場合には、実際の発光素子が有する特性のばらつきを考慮した上で、重畳させる情報に応じた発光量を決定すればよい。または、発光素子が有する特性のばらつきによる影響が小さく、想定する発光量と実際の発光量とのずれが無視できる程度であれば、これらを一致するものとして扱ってもよい。
なお、図2に示される例では、YUV色空間における位相変調によって特定の情報125を照明光115に重畳させる場合を例示しているが、発明はこれに限定されない。
例えば、BPSK(Binary Phase Shift Keying)等の変調方式を使用した通信を行ってもよく、また、四つの異なる位相を使用したQPSK(Quadrature Phase Shift Keying)や、振幅への変調も加えたQAM(Quadrature Amplitude Modulation)等を使用してもよい。変調方式に関しては、電波による通信等で利用されている変調方式であれば何でもよい。
さらに、複数の周波数を用いて情報を多重化してもよく、その場合はOFDM(Orthogonal Frequency Division Multiplexing)のように互いに直交する複数の周波数を変調して情報を多重化して送信する場合には、再生装置150ではフーリエ変換によって周波数毎の振幅と位相を算出し、埋め込まれている情報を検出することになる。
また、照明装置110の周囲に設置されている他の照明装置からの光がノイズとなって情報の送受信に影響する場合も考えられるため、CDMA(Code Division Multiple Access)方式で利用されているスペクトラム拡散を利用して、一つの情報を複数の周波数に拡散して埋め込んでもよい。
ところで、図1に示される再生装置150は、図2の(B)に示される時間変換に従った光に応じた受信光を受光することとなる。そして、再生装置150は、受信光に対してYUV色空間への変換を施して複数の色差信号を生成し、生成された複数の色差信号に基づいて特定の情報125を再生することとなる。
図3に、実施形態の再生装置における処理の例が示される。図3には、図1に示される再生装置150の撮像部(カメラ)によって取得された画像から特定の情報125を再生する場合の処理の概要が示される。なお、図3に示される例は、後述される各実施形態に関連する例である。
再生装置150は、物体130によって照射光120が反射されたことによる反射光140を含む受信光に基づいて物体130の画像を撮像すると共に、受信光から生成する色差信号に対して、後述される補正等を施すことによって特定の情報125を再生する。
なお、受信光から色差信号を生成する場合には、撮像部によって取得された各時間の画像をサンプリングデータとし、各サンプリングデータに基づく受光強度等の物理量に基づいて色差信号を再生することとなる。すなわち、再生する色差信号の精度は、撮像部が物体130を動画として撮像している場合のフレームレートに依存する。
例えば、撮像部のフレームレートが毎秒30フレームの場合には、そのフレームレートでサンプリングしたとしても情報を再生できる程度のデータレートで、特定の情報125を照明光115に重畳させることになる。発明はこれに限定されないが、この場合のデータレートは、例えば、特定の情報125を表す信号の1周期が100ミリ秒〜1秒である。
図2に沿って上述したように、YUV色空間において輝度成分を一定とし、色差成分を変調することで特定の情報125を照明光115に重畳させた場合には、比較的低レートで当該色差信号を変調させたとしても、人間の目にはその変化が認められにくい。
つまり、照明光115に重畳された特定の情報125が比較的低フレームレートの装置によって再生されることを想定した場合には、照明装置かつ情報を配信する配信元として照明装置110を両立させるために、RGB色空間の色成分を直接変調するのではなく、YUV色空間における色差成分を変調する方がよい。
ただし、発明は、YUV色空間における色差成分を変調させる例に限定されない。RGB色空間の色成分を直接変調した場合に人間の目がちらつきを感じるよりも高い周波数で変調をすることで照明光115に特定の情報125を重畳し、この周波数であってもサンプリングできる撮像部を再生装置150に備えていればよい。
図4に、色空間の変換の例が示される。図4に沿って、物体の分光反射率によって色空間を変換する場合に生じる問題点を説明する。
まず、YUV色空間からRGB色空間への変換式(1)〜(3)を以下に示す。照明装置110は、特定の情報125に基づいて変調した色差信号を変換式(1)〜(3)に従って変換し、当該変換によって得たRGB信号に従って該当する発光素子を発光させる。
R=1.000Y+1.402V (1)
G=1.000Y−0.344U−0.714V (2)
B=1.000Y+1.772U (3)
次いで、RGB色空間からYUV色空間への変換式(4)〜(6)を以下に示す。再生装置150は受信光に含まれるRGB信号を変換式(4)〜(6)に従って変換し、当該変換によって得たYUV信号によって照明装置110が光に重畳した特定の情報125の再生を試みる。
Y=0.299R+0.587G+0.114B (4)
U=−0.169R−0.331G+0.500B (5)
V=0.500R−0.419G−0.081B (6)
なお、変換式(1)〜(6)の各項の値は、例えば、各成分が取りうる値の範囲を0から255までの階調とした場合に、測定される物理量を当該階調に正規化した場合の値である。
仮に、照明装置110から発光された照明光115のみを再生装置150が直接受光するのであれば、変換式(4)〜(6)の式を用いて受信光からYUV信号を抽出するだけで、照明光115に重畳されていた特定の情報125を再生することができる。
しかし、再生装置150が受光する受信光に、特定の物体130によって照射光120が反射されたことによる反射光140が含まれる場合、変換式(4)〜(6)の式によって求められるYUV信号の再生精度が、物体130の分光反射率に依存して低下してしまうことがある。
図4には、照明装置110によって発光される照明光115に特定の情報125を重畳させるために、YUV色空間におけるU成分とV成分を当該特定の情報125に基づいて変調して生成した、U成分及びY成分の色差信号が送信信号として示される。そして、U成分及びY成分の色差信号及び輝度信号がRGB変換されて、この変換に基づくRGB信号を含む光が照明装置110から物体130に対して照射される。
物体130に照射された照射光120に含まれるRGB信号は、物体130の分光反射率によって特定の波長が吸収される。そして、この吸収に特定の波長成分が減少したRGB信号を含んだ光が反射光140となる。そして、この反射光140を含む光が受信光として再生装置150によって受光される。
すなわち、物体130の分光反射率に従う特定の波長成分の吸収によって、再生装置150に到達する反射光140のRGB信号は、照明装置110が発光した照明光115のRGB信号とは異なるR´G´B´信号となってしまう。
そして、再生装置150は、受信光から特定の情報125を再生するにあたって、上記の変換式(4)〜(6)を使用するが、反射光140のR´G´B´信号に基づいてYUV信号を算出することになってしまう。つまり、物体130の分光反射率に従う吸収によって特定の波長成分が失われているが故に、再生装置150が生成するYUV成分は、照明装置110が生成したYUV信号とは異なるY´U´V´信号となってしまう。
発明者らによって見出されたこのような現象は、言い換えれば、可視光通信において色空間の変換を施すことを前提として情報を光に重畳させた場合に、物体の分光反射率に起因する光の吸収によって色空間の変換の対称性が崩れ、送信信号における色差信号が受信信号における他の色差信号に対して変換式(1)〜(6)を介して干渉した結果ともいえる。
本願では、物体の分光反射率の影響によって色空間の変換の対称性が保たれず、送信信号おける第1成分が受信信号における第2成分に対して影響することを干渉とよぶこととする。そして、発明者らは、可視光通信においてこの干渉を考慮しないと、情報が良好に再生されないことを新たに見出した。
後述の実施例によれば、情報が重畳された光が再生装置に到達するまでに特定の分光反射率を有する物体による反射があっても、受信光における色差信号を既知の振幅の複数の色差信号の線形結合に基づき補正することで、光に重畳された情報を良好に再生する。
図5に、第1実施形態が示される。図5に沿って、第1実施形態の概要を説明する。図5には、送信側500及び受信側510が示される。送信側500は例えば照明装置110である。受信側510は例えば再生装置150である。
送信側500において色成分1の信号x及び色成分2の信号yが特定の情報に基づいて変調されることによって、送信側500で発光される光に当該特定の情報が重畳される。
色成分1は例えばYUV色空間におけるU成分である。当該色成分1の信号xはU成分の色差信号である。また、色成分2は例えばYUV色空間におけるV成分であって、当該色成分2の信号yはV成分の色差信号である。なお、HLS色空間の色成分等、輝度と色成分とで色を表現する色空間の成分を色成分1及び色成分2に適用してもよい。
なお、図5に示される例では、変調方法として位相変調を例に説明するが、発明はこれに限定されない。図2に沿って例示した各種変調方式が適用可能である。
加えて、図5に示される例では、信号x及び信号yの振幅比が1:1である場合を例に説明する。ただし、発明はこれに限定されず、信号x及び信号yの振幅比を1:n(nは整数)として、後述される干渉マトリックスにおける該当する成分に対して1:nの振幅比の寄与分を考慮することで一般化できる。また、情報が重畳される信号は信号x及び信号yの何れか一方であってもよい。
さて、図5に示されるように、区間aにおいては、信号xの位相と信号yの位相が同相である。例えば、情報を表すためのシンボル“0”が区間aの位相に割り当てられている。他方、区間bにおいては、信号xの位相と信号yの位相が逆相である。例えば、情報を表すためのシンボル“1”が区間bにおける信号yの位相に割り当てられている。
他方、受信側510における色成分1は例えばYUV色空間におけるU成分である。当該色成分1の信号x´はU成分の色差信号である。また、色成分2は例えばYUV色空間におけるV成分であって、当該色成分2の信号y´はV成分の色差信号である。
これら信号x´及び信号y´は、図4に沿っても説明したように、例えばYUV色空間における信号x及び信号yがRGB信号に変換されて光として発光され、このRGB信号が特定の分光反射率を有する物体によって反射されることによって反射前のRGB信号とは色成分の構成が異なるR´G´B´信号となり、受信側で受信したR´G´B´信号が変換されることで取得した、元のYUV信号とは構成の異なるY´U´V´信号に基づいている。
なお、信号x及び信号yには、後述する第2実施形態で説明される例を適用して、送信側500によってプリアンブル部を埋め込んでおいてもよく、信号x´及び信号y´を検出の際には、信号に埋め込まれたプリアンブル部を検出することによって、その後に続くデータ部を検出してもよい。
ここで注目すべきは、受信側510における区間b´の色成分1の信号x´の位相が、送信側500における区間bの色成分1の信号xの位相と比較して反転してしまっていることである。これは、特定の分光反射率を有する物体による反射の際に、特定の波長成分が吸収されることで、上述した変換式(4)〜(6)を施す際に色成分2の信号yの干渉を受けたことによる。そして、この干渉を考慮して信号x´から情報を再生しないと、所望の情報が再生されないことが分かる。
そこで、第1実施形態では、光の伝搬経路において特定の波長の吸収が発生していたとしても、受信光における色差信号を既知の振幅の複数の色差信号の線形結合として表わすことで上記の干渉の影響を考慮し、当該線形結合における係数に従って受信光における色差信号を補正することで情報を良好に再生する。具体例を以下に説明する。
送信側500における信号x及び信号yの振幅比については、1:1であるとする。
他方、受信側510で受信した信号x´の、区間a´における振幅(区間a´におけるピーク値)が0.35であったとする。また、受信側510で受信した信号x´の、区間b´における振幅(区間b´におけるピーク値)が0.13であったとする。このように、信号x´の位相は、物体における光の吸収によって反転しているかもしれないため、まずは振幅に着目する。
また、受信側510で受信した信号y´の、区間a´における振幅(区間a´におけるピーク値)が0.44であったとする。また、受信側510で受信した信号y´の、区間b´における振幅(区間b´におけるピーク値)が0.16であったとする。同様に、信号y´の位相は、物体における光の吸収によって反転しているかもしれないため、まずは振幅に着目する。
まず、信号x´について検討する。図4に沿って説明したのと同様の理由で、信号x´は、信号xからの寄与分と信号yからの寄与分がある。ここで、信号xからの寄与分をH11と表し、信号yからの寄与分をH12と表す。
次に、信号x及び信号yは共に波の性質を有するため、H11及びH12の重ね合わせを考える。仮に、信号x及び信号yが同相であれば、信号x及び信号yは互いに強め合う関係にあるため、H11及びH12は和によって結ばれる関係になる。他方、信号x及び信号yが逆相であれば、信号x及び信号yは互いに弱め合う関係にあるため、H11及びH12は差によって結ばれる関係になる。
信号x´の、区間a´における振幅0.35及び区間b´における振幅0.13を比較した場合、区間a´の振幅の方が大きい。送信側500では2つの位相によって情報を表しているため、それら位相の組み合わせを鑑みると、区間a´における信号x´は信号x及び信号yが互いに強め合うことによる信号であり、区間b´における信号x´は信号x及び信号yが互いに弱め合うことによる信号であるといえる。
つまり、信号x及び信号yの振幅比を1:1と設定しているので、区間a´における信号x´はH11及びH12は和による信号であり、区間b´における信号x´はH11及びH12は差による信号であると表すことができる。これらを式に表すと、式(7)となる。なお、振幅(ピーク値)を使用しているため、H11及びH12の差については絶対値としている。
H11+H12:|H11−H12|=0.35:0.13 (7)
次に、信号y´について検討する。信号x´と同様に、信号y´は、信号xからの寄与分と信号yからの寄与分がある。ここで、信号xからの寄与分をH21と表し、信号yからの寄与分をH22と表す。
そして、信号x及び信号yは共に波の性質を有するため、H21及びH22の重ね合わせを考える。仮に、信号x及び信号yが同相であれば、信号x及び信号yは互いに強め合う関係にあるため、H21及びH22は和によって結ばれる関係になる。他方、信号x及び信号yが逆相であれば、信号x及び信号yは互いに弱め合う関係にあるため、H21及びH22は差によって結ばれる関係になる。
信号y´の、区間a´における振幅0.44及び区間b´における振幅0.16を比較した場合、区間a´の振幅の方が大きい。送信側500では2つの位相によって情報を表しているため、それら位相の組み合わせを鑑みると、区間a´における信号y´は信号x及び信号yが互いに強め合うことによる信号であり、区間b´における信号y´は信号x及び信号yが互いに弱め合うことによる信号であるといえる。
つまり、信号x及び信号yの振幅比を1:1と設定しているので、区間a´における信号y´はH21及びH22は和による信号であり、区間b´における信号y´はH21及びH22は差による信号であると表すことができる。これらを式に表すと、式(8)となる。なお、振幅(ピーク値)を使用しているため、H21及びH22の差については絶対値としている。
H21+H22:|H21−H22|=0.44:0.16 (8)
式(7)を解くと、H11=0.24かつH12=0.11の組み合わせ、及び、H11=0.11かつH12=0.24の組み合わせの2通りの解を得る。
式(8)を解くと、H21=0.14かつH22=0.30の組み合わせ、及び、H21=0.30かつH22=0.14の組み合わせの2通りの解を得る。
ここで、送信側500において情報が重畳された光が受信側510に到達するまでに特定の分光反射率を有する物体による反射があったとしても、これを、上述のように、色成分どうしの干渉とすれば、信号x´及び信号y´を、信号x及び信号yの線形結合として式(9)のように表わすことができる。なお、本願では、H
11、H
12、H
21、及びH
22を成分として有するマトリックスを干渉マトリックスとよぶ。
ここで、H
11=0.24かつH
12=0.11、及び、H
21=0.14かつH
22=0.30であると仮定する。これらを式(9)の干渉マトリックスに代入し、その逆行列を求め、信号x及び信号yを、信号x´及び信号y´の線形結合として表わしたのが式(10)である。
式(10)によって、受信側510において取得した信号x´及び信号y´の各々振幅を推定することができる。
ところで、式(10)におけるx´及びy´に、受信側510の区間a´における信号x´の振幅0.35と信号y´の振幅0.44を代入する。この場合、送信側の区間aにおける信号x及び信号yの振幅が共に1となり、仮定した振幅比が1:1の位相変調の設定に合致する。
一方で、式(10)におけるx´及びy´に、受信側510の区間b´における信号x´の振幅0.13と信号y´の振幅0.16を代入する。この場合、送信側の区間bにおける信号xの振幅が0.37となる。また、送信側の区間bにおける信号yの振幅0.35となる。つまり、仮定した振幅比が1:1の位相変調の設定に反する。このようにして、仮定した振幅比が1:1の位相変調の設定に合致するか否かに基づいて、式(7)及び式(8)を解くことで得られたH11、H12、H21、及びH22の値の組み合わせを検算する。
この検算の結果、図5に例示される場合については、干渉マトリックスとして、式(11)及び式(12)の場合が、仮定した振幅比が1:1の位相変調の設定に合致する干渉マトリックスとなる。
次いで、式(11)及び式(12)の場合の2通りについて、信号x´及び信号y´の復号を行う。そして、復号が成功したか否かの判定においては、送信信号において送信する特定の情報に加えて付加されている誤り訂正符号等に基づく誤り検出を行う。この誤り検出の結果に従って、式(11)又は式(12)の何れかを選択する。
また、この例は信号x´における信号yからの寄与が信号yと同相であり、信号y´における信号xからの寄与もまた信号xと同相だった場合についてであるが、第3実施形態の説明で例示する様に信号x´における信号yからの寄与が信号yと逆相になったり、信号y´における信号xからの寄与が信号xと逆相になったりすることも有り得る。即ち、H12、H21が負の係数となる場合がある。その場合、式(7)や式(8)における大小関係を入れ替えた下記の様な式(7)’、式(8)’と、式(7)と式(8)を組み合わせて解き、干渉マトリクスのパターンを推定すれば良い。
|H11+H12|:H11−H12=0.13:0.35(7)’
|H21+H22|:H21−H22=0.16:0.44(8)’
そして、信号x´及び信号y´におけるサンプリング点の振幅の各々に対して、選択された干渉マトリックスの逆行列を用いて、信号x及び信号yの対応するサンプリング点を求めていく。こうすることで、たとえ、区間b´における信号x´の位相が所望の位相とは反転してしまっていたとしても、信号x及び信号yを良好に再生することができ、信号x及び信号yに重畳された特定の情報を再生することができる。
なお、送信側500において位相変調によって特定の情報を光に重畳させるものの、受信側510で受け取った信号x´及び信号y´が所望の位相になるように、選択された干渉マトリックスに基づいて、信号x及び信号yの振幅を変調して光を発光してもよい。
以上に述べたように、可視光通信において色空間の変換を施すことを前提として情報を光に重畳させた場合に、物体の分光反射率に起因する光の吸収によって色空間の変換の対称性が崩れたとしても、受信光における信号(例えば色差信号)を既知の振幅の複数の信号(例えば送信側の色差信号)の線形結合に基づき補正することで、光に重畳された情報を良好に再生することができる。
図6に、第1実施形態の機能ブロックが示される。図6に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、生成部600、補正部610、復号部620、及び、取得部630として機能する。なお、これらの機能部は、図5に沿って説明された第1実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図7に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
図7に、第1実施形態における処理が示される。図7に示される処理は、図1に示される再生装置150によって実行される処理であって、図5に沿って説明された第1実施形態を実現して、再生装置150が受光した受信光から特定の情報を良好に再生するための処理である。図7に示される処理は、処理700によって開始される。
処理700に次いで、受信光から各色成分の受信信号を生成する処理702が、生成部600によって実行される。処理702では、再生装置150が受光した光のRGB成分の各々の強度を時系列的にサンプリングし、このサンプリングされた強度を例えば0〜255の階調に正規化する。そして、RGB成分の各々の正規化された値を上述した変換式(4)〜(6)に代入することにより、照明装置110が情報を重畳した信号である、例えばYUV成分の内のU成分及びV成分の色差信号を当該受信信号として生成する。
生成された受信信号について振幅が大きい区間及び小さい区間の振幅比、及び既知の振幅比に基づき、干渉マトリクスの成分の候補を取得する処理704が、補正部610によって実行される。処理704では、図5に沿って上述したように、干渉マトリックスの成分の候補を取得する。
処理704では、例えば、処理702によって生成されたU成分の色差信号について、処理702で算出された各サンプリング点での値に基づき、1つの変調周期のうちのピーク値を当該振幅とする。次いで、他の変調周期についてもピーク値を取得し、変調周期毎のピーク値の各々を互いに比較することによって、当該振幅が大きい区間及び小さい区間の振幅比を決定する。
同様にして、処理702によって生成されたV成分の色差信号についても、該振幅が大きい区間及び小さい区間の振幅比を決定する。
そして、U成分の色差信号及びV成分の色差信号について、決定された振幅比の各々と、取得した各ピーク値に従って、上述した式(7)及び式(8)に相当する関係式をたて、当該関係式を解くことで、干渉マトリックスの成分であるH11、H12、H21、及びH22の値の候補からなる組み合わせの1以上の組み合わせ候補を取得する。
干渉マトリクスの成分の候補について未選択の組を選択する処理706が、補正部610によって実行される。処理706では、処理704によって取得された、H11、H12、H21、及びH22の値の候補からなる組み合わせの1以上の組み合わせ候補のうち、選択されていない組み合わせを選択する。
選択された組に含まれる成分の候補による干渉マトリクスの逆行列に基づき、各色成分の受信信号を補正する処理708が、補正部610によって実行される。処理708では、処理706によって選択された、H11、H12、H21、及びH22の値の候補からなる干渉マトリックスの逆行列を計算する。そして、送信側で情報が重畳された際の色差信号を推定するために、受信光におけるU成分及びV成分の色差信号の各々を、当該逆行列に基づいて補正する。
より具体的には、図5に沿って上述した式(10)のように、送信側におけるU成分及びV成分の色差信号の各々を、当該逆行列に基づいて、受信光におけるU成分及びV成分の色差信号の各々による線形結合として表わす。そして、受信光におけるU成分及びV成分の色差信号に対して逆行列を施すことによって補正し、送信側におけるU成分及びV成分の色差信号の各々を推定する。
処理708に次いで、補正された受信信号の振幅が既知の振幅に対応するか否かを判定する処理710が、補正部610によって実行される。処理710では、処理708によって補正された受信信号の振幅が、処理704においても参照した既知の振幅比に対応する否かを判定する。
ここで、この処理710の意義を説明する。処理706で選んだH11、H12、H21、及びH22の値の候補が仮に妥当であって、受信光におけるU成分及びV成分の色差信号が良好に補正されていれば、この補正によって送信側におけるU成分及びV成分の色差信号が再生されているはずである。加えて、送信側におけるU成分及びV成分の色差信号が当該既知の振幅比に従って変調されていることを鑑みれば、補正された受信信号の振幅が当該既知の振幅と合致するか否かを判定することによって、処理706で選んだH11、H12、H21、及びH22の値の候補が妥当であったかどうかを確認できるといえる。この処理704では、処理706で選んだH11、H12、H21、及びH22の値の候補が妥当性を判定している。
処理710において補正された受信信号の振幅が既知の振幅に対応すると判定されなかった場合に、成分の候補の全ての組み合わせが選択済みか否かを判定する処理718が、補正部610によって実行される。成分の候補の全ての組み合わせを選択済みでないと判定された場合には処理706に移り、成分の候補の全ての組み合わせを選択済みあると判定された場合には処理720に移って図7に示される処理を終える。
処理710において補正された受信信号の振幅が既知の振幅に対応すると判定された場合に、補正された受信信号を復号する処理712が、復号部620によって実行される。処理712では、特定の情報を取得するために、処理708によって補正された色差信号を、情報を光に重畳する際の変調方式に従って復号する。
処理712に次いで、復号が成功したか否かを判定する処理714が、復号部620によって実行される。処理714では、処理712によって復号された色差信号について、信号の特定の場所に埋め込まれている誤り訂正符号等に基づく誤り検出を行い、この誤り検出の結果に従って復号が成功したか否かを判定する。
処理714において復号が成功したと判定されなかった場合には処理718に移る。
処理714において復号が成功したと判定された場合には、復号された信号に基づき特定の情報を取得する処理716を、取得部630が実行する。処理714において復号が成功したということは、処理706で選択した干渉マトリックスの成分の候補が妥当な成分であったといえる。そのため、この選択による干渉マトリックスによって補正された色差信号を復号することで取得された情報を、送信側で光に重畳した特定の情報であるとして取得する。
なお、処理716に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、取得部630によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
受信光を継続して受光し、特定された干渉マトリックスを用いて、当該受信光から特定の情報を再生する処理を継続する場合には処理702〜718を繰り返し、図7に示される処理を終える場合には処理720に移り処理を終える。
上述した第1実施形態によれば、受信光における色差信号を既知の振幅の複数の色差信号の線形結合として表わし、この線形結合に表す際の干渉マトリックスの成分に基づき受信光における色差信号を補正することで、送信側において光に重畳された情報を良好に再生することができる。
図8に、第2実施形態が示される。図8に沿って、第2実施形態の概要を説明する。図8(A)には、信号に埋め込まれているプリアンブルの例が示される。なお、発明はこれに限定されないが、ここで例示されるようなプリアンブルを他の実施形態における信号にも埋め込んでおいてもよい。図8(B)には、送信側800及び受信側810が示される。送信側800は例えば照明装置110である。受信側810は例えば再生装置150である。
図8(A)に示されるように、ある色成分の信号には、光に重畳させる特定の情報以外に、プリアンブルとして認識させる特定のパターンが重畳されている。この特定のパターンは、既知のパターンであって、特定の情報を重畳させる際に適用する変調の時間特性とは異なる時間特性のパターンとしておく。
こうして、送信側800からの送信信号、及び受信側810における受信信号は、少なくとも、特定のパターンに基づくプリアンブル部、及び、特定の情報に基づくデータ部を有する。なお、当該特定のパターンは既知のパターンであるため、送信信号及び受信信号には、予め定められた参照信号が挿入されているともいえる。
受信側810では、受信光から色差信号を生成した後、この色差信号の演算対象となる信号区間を時間方向にスライドさせながら、各区間における信号と、特定のパターンとの相互相関関数を計算する。そして、この計算の結果、当該特定のパターンとの相互相関関数が最大となる信号区間をプリアンブル部として特定する。
なお、YUV色空間におけるU成分及びV成分の色差信号に埋め込む参照信号の各々を直交関係にあるようにしておけば、上記の受信光から生成した色差信号と特定のパターンとの相互相関関数の計算において、U成分及びV成分の間の干渉は起きない。
また、YUV色空間におけるU成分及びV成分の色差信号に同一の参照信号S(t)を埋め込んでいる場合、U成分の受信信号のプリアンブル部Su(t)及びV成分の受信信号のプリアンブル部Sv(t)はいずれも参照信号S(t)の線形変換信号となるため、たとえ、U成分及びV成分の干渉によってプリアンブル部の信号の正負が逆転したとしても、S(t)又は−S(t)との相互相関関数のピークを容易に検出できる。
さて、図8(B)では、送信側800において色成分1の信号x及び色成分2の信号yが特定の情報に基づいて変調されることによって、送信側800で発光される光に当該特定の情報が重畳される。そして、信号x及び信号yにおいて、特定の情報が重畳されたデータ部に加えて、信号のプリアンブルとして認識させるための特定のパターンを有するプリアンブル部が当該データ部に先立って設けられている。
なお、色成分1は例えばYUV色空間におけるU成分である。当該色成分1の信号xはU成分の色差信号である。また、色成分2は例えばYUV色空間におけるV成分であって、当該色成分2の信号yはV成分の色差信号である。なお、HLS色空間の色成分等、輝度と色成分とで色を表現する色空間の成分を色成分1及び色成分2に適用してもよい。
なお、図8に示される例では、変調方法として位相変調を採用した例であるが、発明はこれに限定されない。図2に沿って例示した各種変調方式が適用可能である。
加えて、図8に示される例では、信号x及び信号yの振幅比が1:1である場合を例に説明する。ただし、発明はこれに限定されず、信号x及び信号yの振幅比を1:n(nは整数)としてもよい。また、情報が重畳される信号は信号x及び信号yの何れか一方であってもよい。
他方、受信側810における色成分1は例えばYUV色空間におけるU成分である。当該色成分1の信号x´はU成分の色差信号である。また、色成分2は例えばYUV色空間におけるV成分であって、当該色成分2の信号y´はV成分の色差信号である。信号x´及び信号y´は、図8に例示されるように、プリアンブル部とデータ部を有する。
そして、これら信号x´及び信号y´は、図4に沿っても説明したように、例えばYUV色空間における信号x及び信号yがRGB信号に変換されて光として発光され、このRGB信号が特定の分光反射率を有する物体によって反射されることによって反射前のRGB信号とは色成分の構成が異なるR´G´B´信号となり、受信側で受信したR´G´B´信号が変換されることで取得した、元のYUV信号とは構成の異なるY´U´V´信号に基づいている。
第2実施形態では、式(13)で表わされる重み行列Wを推定し、式(14)で表わされるように、重み行列Wを介して信号x及び信号yの各々を信号x´及び信号y´の線形結合として表すことができる。そして、重み行列Wの逆行列を用いて信号x´及び信号y´を補正することとなる。
なお、重み行列Wの推定には、例えば、YUV色空間における各色成分を、MIMO(Multiple−Input and Multiple−Output)通信における複数チャンネルとみなし、例えばMMSE(Minimum Mean Square Error)アルゴリズムを用いればよい。また、プリアンブル部に基づいて受信した信号を補正する方法として、BLAST(Basic Local Alignment Search Tool)法、MLD(Maximum Likelihood Detection)法、SD法、QRM‐MLD(Complexity‐reduced Maximum Likelihood Detection with QR decomposition and M‐algorithm)法等、種々の方法を適用してもよい。このようなアルゴリズムを適用することで、色成分の間の干渉やそれ以外の雑音の影響を高精度に推定して抑制することができる。その結果、受信信号の劣化を高精度に抑制することが可能である。
図9に、第2実施形態の機能ブロックが示される。図9に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、生成部900、検出部910、取得部920、及び、補正部930として機能する。なお、これらの機能部は、図8に沿って説明された第2実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図10に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
図10に、第2実施形態の処理が示される。図10に示される処理は、図1に示される再生装置150によって実行される処理であって、図8に沿って説明された第2実施形態を実現して、再生装置150が受光した受信光から特定の情報を良好に再生するための処理である。図10に示される処理は、処理1000によって開始される。
処理1000に次いで、受信光から各色成分の受信信号を生成する処理1002が、生成部900によって実行される。処理1002では、再生装置150が受光した光のRGB成分の各々の強度を時系列的にサンプリングし、このサンプリングされた強度を例えば0〜255の階調に正規化する。そして、RGB成分の各々の正規化された値を上述した変換式(4)〜(6)に代入することにより、照明装置110が情報を重畳した信号である、例えばYUV成分の内のU成分及びV成分の色差信号を当該受信信号として生成する。
生成された受信信号におけるプリアンブル部を検出する処理1004が、検出部910によって実行される。処理1004では、処理1002によって生成されたU成分及びV成分の色差信号を時間方向にスライドさせながら、各区間における信号とプリアンブルに対応する特定のパターンとの相互相関関数を計算する。そして、この計算の結果、当該特定のパターンとの相互相関関数が最大となる信号区間をプリアンブル部として検出する。
検出されたプリアンブル部と特定のパターンとを比較することで重み行列を取得する処理1006が、取得部920によって実行される。処理1006では、処理1004によって検出された、例えばU成分及びV成分の色差信号の各々のプリアンブル部を、MIMO通信における複数チャンネルとみなして、例えばMMSEアルゴリズムを用いることで、上述の式(13)に表わされる重み行列Wを推定することで、重み行列Wを取得する。
取得された重み行列を受信信号に施して受信信号を補正する処理1008が、補正部930によって実行される。処理1008では、処理1006によって取得された重み行列Wを用いて上述の式(14)を計算する事により、受信側810におけるU成分及びV成分の色差信号を補正する。処理1008によって、送信側800が送信した際のU成分及びV成分の色差信号が再生される。
補正された受信信号に基づき特定の情報を取得する処理1010が、取得部920によって実行される。処理1010では、処理1008によって補正されたU成分及びV成分の色差信号に基づいて、送信側800が光に重畳した特定の情報を取得する。
なお、処理1010に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、取得部920によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
そして、処理1012により、図10に示される処理を終える。
上述の第2実施形態によれば、物体の分光反射率の影響によって色空間の変換の対称性が保たれず、送信信号おける第1成分が受信信号における第2成分に対して干渉していたとしても、予めプリアンブルのパターンを定めておき、受信信号における各色成分をMIMO通信の複数チャンネルとみなすことによって取得した重み行列を利用することで、光に重畳された特定の情報を良好に再生することができる。
図11に、第3実施形態が示される。図11に沿って、第3実施形態の概要を説明する。第3実施形態では、照明装置110が発光する光が照射される物体の分光反射率を推定し、推定された分光反射率に対応する干渉マトリックスを使用することで、再生装置150が受信光から特定の情報を良好に再生できるようにする実施形態である。
なお、後述するが、第3実施形態で使用する干渉マトリックスとしては、照明装置110が発光する光が種々の物体に照射されることを想定して予め準備された、種々の分光反射率に対応する複数の干渉マトリックスから、推定された分光反射率に対応する干渉マトリックスが選ばれてもよい。そして、この場合に、推定された分光反射率と合致する分光反射率に関連付けられた干渉マトリックスがなければ、推定された分光反射率に最も類似している分光反射率に関連付けられている干渉マトリックス選んでもよい。また、干渉マトリックスを予め準備しておかなくても、物体の分光反射率が推定された時に、当該分光反射率に基づいて干渉マトリックスを計算してもよい。
はじめに、第3実施形態について、送信信号である色成分1の信号x及び色成分2の信号yが、振幅比が1:1の正弦波であり、色成分1がYUV色空間におけるU成分であって色成分2がYUV色空間におけるV成分として例示するが、上述した実施形態と同様に、発明がこれらの例示に限定されないことをここに述べておく。
なお、色成分1の信号x´は例えばYUV色空間におけるU成分の色差信号であり、色成分2の信号y´は例えばYUV色空間におけるV成分の色差信号である。
これら信号x´及び信号y´は、図4に沿っても説明したように、例えばYUV色空間における信号x及び信号yがRGB信号に変換されて光として発光され、このRGB信号が特定の分光反射率を有する物体によって反射されることによって反射前のRGB信号とは色成分の構成が異なるR´G´B´信号となり、受信側で受信したR´G´B´信号が変換されることで取得した、元のYUV信号とは内容が異なるY´U´V´信号に基づいている。
なお、信号x及び信号yには、上述した第2実施形態で説明される例を適用して、送信側によってプリアンブル部を埋め込んでおいてもよく、信号x´及び信号y´を検出の際には、信号に埋め込まれたプリアンブル部を検出することによって、その後に続くデータ部を検出してもよい。
図11(A)には、振幅が1であるU成分の信号xを送信信号として含む光が物体に反射された結果、当該物体の分光反射率の影響を受けてしまい、その一部がH11として受信信号であるU成分の信号x´に寄与し、他の一部がH12として受信信号であるV成分の信号y´に寄与することが示されている。
ところで、当該物体の分光反射率は、物体の反射光を構成するRGB信号を受信側でYUV信号に変換する際の変換係数に対して、特定の反射係数α、β、γ(0≦α≦1、0≦β≦1、0≦γ≦1)を乗算したものとして扱うことができる。これを式(15)〜(17)に示す。なお、式(15)〜(17)において、Rにαを乗算したαRが上述のR´であり、Gにβを乗算したβGが上述のG´であり、Bにγを乗算したγBが上述のB´である。
Y´=α×0.299R+β×0.587G+γ×0.114B (15)
U´=α×(−0.169)R+β×(−0.331)G+γ×0.500B (16)
V´=α×0.500R+β×(−0.419)G+γ×(−0.081)B (17)
ここで、物体の分光反射率として、例えば、α=1.0、β=0.6、γ=0.0であると設定すると、輝度信号であるY成分が一定とし、かつ信号x及び信号yの振幅が各々1であるとしているので、式(1)〜(3)及び式(15)〜(17)を用いた計算により、信号xから信号x´に寄与するH11成分が0.07となる。同様にして、信号yから信号y´に寄与するH12成分は0.09となる。
他方、図11(B)には、振幅が1であるV成分の信号yを送信信号として含む光が物体に反射された結果、当該物体の分光反射率の影響を受けてしまい、その一部がH21として受信信号であるU成分の信号x´に寄与し、他の一部がH22として受信信号であるV成分の信号y´に寄与することが示されている。
ここで、物体の分光反射率として、図11(A)の場合と同様に、α=1.0、β=0.6、γ=0.0であると設定すると、輝度信号であるY成分が一定とし、かつ信号x及び信号yの振幅が各々1であるとしているので、式(1)〜(3)及び式(15)〜(17)を用いた計算により、信号yから信号x´に寄与するH21成分が0.10となる。同様にして、信号yから信号y´に寄与するH11成分は0.88となる。
なお、受信側で検出する信号x´の振幅は、図11(A)に示される信号x´のH11成分と図11(B)に示される信号x´のH21成分の和となる。他方、受信側で検出する信号y´の振幅は、図11(A)に示される信号y´のH12成分と図11(B)に示される信号y´のH22成分の和となる。
ここで、留意すべきは、物体の分光反射率に基づいてα=1.0、β=0.6、γ=0.0が設定された場合には、送信側の信号xの位相が、受信側では反転しているということである。位相情報を使って光に情報を重畳させた場合に、このような位相反転が生じていると情報を正しく再生できない。
そこで、第3実施形態では、例えば、照明装置110が発光する光が種々の物体に照射されることを想定して、種々の分光反射率を想定した干渉マトリックスを予め準備しておく。上述の分光反射率の例であれば、予め準備しておく干渉マトリックスは、式(18)となり、信号x及び信号yと、信号x´及び信号y´の関係は式(19)で表わされる。なお、式(18)において、H
21の符号をマイナスとしているのは、図11(B)に示されるように、位相が反転していることを反映させているからである。
第3実施形態では、想定される分光反射率の各々について、式(18)で表わされる干渉マトリックス又はその逆行列を求め、干渉マトリックス又はその逆行列の各々を、それらを求める際に設定した分光反射率に関連付けて記憶装置に予め格納しておく。
そして、特定の情報を重畳するための光の分光分布を予め定めておき、受信光と当該予め定められた光の分光分布から、反射係数α、β及びγを推定する。
上述したように、第3実施形態では、干渉マトリックス又はその逆行列が、例えば、対応する反射係数と関連付けられて予め準備されているので、推定された反射係数に関連付けられた干渉マトリックス又はその逆行列を選択する。そして、受信光から生成した信号x´及び信号y´を、選択された干渉マトリックスから求めた逆行列又は選択された逆行列に基づいて補正することで、送信側における信号x及び信号yを推定し、重畳された特定の情報を再生して取得する。
なお、送信側のU成分とY成分の振幅比を1:1として上述したが、U成分とV成分の振幅比が1:nの場合には、干渉マトリックスを式(20)とすればよい。そして、式(20)に従った干渉マトリックス又はその逆行列を反射係数に関連付けて予め準備しておけばよい。
図12に、第3実施形態の機能ブロックが示される。図12に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、生成部1200、推定部1210、選択部1220、補正部1230、及び、取得部1240として機能する。なお、これらの機能部は、図11に沿って説明された第3実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図13及び14に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
図13に、第3実施形態の処理の例が示される。図13に示される処理は、図1に示される再生装置150によって実行される処理であって、図11に沿って説明された第3実施形態を実現して、再生装置150が受光した受信光から特定の情報を良好に再生するための処理である。図13に示される処理は、処理1300によって開始される。
受信光から各色成分の受信信号を生成する処理1302が、生成部1200によって実行される。処理1302では、再生装置150が受光した光のRGB成分の各々の強度を時系列的にサンプリングし、このサンプリングされた強度を例えば0〜255の階調に正規化する。そして、RGB成分の各々の正規化された値を上述した変換式(4)〜(6)に代入することにより、照明装置110が情報を重畳した信号である、例えばYUV成分の内のU成分及びV成分の色差信号を当該受信信号として生成する。
物体の分光反射率を推定する処理1304が、推定部1210によって実行される。処理1304では、図11に沿って上述したように、既知の分光分布(例えば、分光分布が予め定められた送信光や白色光など)と受信光とから、変換式(15)〜(17)における反射係数α、β及びγを求めることで、物体の分光反射率を推定する。
例えば、物体に照射される光又は物体に照射される予定の光が白色であった場合、当該光の分光分布を表すRGB色空間における各成分について、0〜255の階調に正規化した値は、RGB=(255、255、255)となる。このような光が物体によって反射され、そして、この反射光を受光した場合に、受信光におけるRGB色空間の各成分の正規化された値を当該光の分光分布と比較することで、反射係数を求めることができる。
例えば、受信光のRGB色空間における各成分の値が(100、150、60)であった場合、反射係数は、α=0.39(=100/255)、β=0.59(=150/255)、γ=0.26(=60/255)となる。
ここで、当該光の分光分布は、例えば分光測定器を用いることにより定めることもできる。ただし、分光測定器の特性と、受信光を受信する受光素子の特性との差によって生じる誤差を考慮するために、例えば、物体に照射される予定の光を受光素子によって直接受光した場合のRGB色空間における各成分の値を測定することで、誤差に対する補正をかけてもよい。または、受光素子が有する特性のばらつきによる影響が小さく、想定した分光測定と実際に受光した際の分光分布とのずれが無視できる程度であれば、これらを一致するものとして扱ってもよい。
予め準備された複数の干渉マトリクスのうち、推定された分光反射率に対応する干渉マトリックスを選択する処理1306が、選択部1220によって実行される。
処理1306において、予め準備された複数の干渉マトリクスとは、図11に沿って説明した方法に従って種々の分光反射率を想定して求められた複数の干渉マトリックス又はそれらの逆行列であって、対応する分光反射率(反射係数)と関連付けられて予め記憶装置に記憶されているものである。処理1306では、処理1304によって推定された分光反射率(反射係数)に対応する干渉マトリックスを、予め準備された複数の干渉マトリクスから選択する。
また、処理1306において、仮に、処理1304によって推定された分光反射率(反射係数)対応する干渉マトリックスがみつからなければ、推定された分光反射率に最も類似している分光反射率に関連付けられている干渉マトリックス選んでもよいし、第1実施形態を適用して特定の情報を再生してもよい。
ここで、最も類似した分光反射率をどのようにして求めるかを例示するために、類似度の評価の方法の例を以下に示す。
例えば、処理1304によって推定された反射係数(α、β、γ)においてαが1となるように正規化した値を(α´、β´、γ´)とし、物体に照射される光又は物体に照射される予定の光の分光反射率をRGB色空間における各成分の値(r、g、b)においてrが1となるように正規化した値を(r´、g´、b´)とする。この場合、類似度μを式(21)で表わす。
式(21)では、比較される2つの分光反射率の距離の逆数を類似度μとして考えているので、μが大きいほど(すなわち、距離が短いほど)分光反射率が類似していることになる。なお、発明はこの方法に限定されず、(α、β、γ)と(r、g、b)の類似度μを評価する他の手法を用いてもよい。
選択された干渉マトリクスを予め定められた振幅比に基づいて修正する処理1308が、補正部1230によって実行される。
図13に示された処理において取り扱われる、予め準備された複数の干渉マトリクスは、式(20)ではなく、送信側の色差信号の振幅比が1:1である場合について各分光反射率の設定に従って求めた干渉マトリックスを想定している。そのため、実際に受信光から特定の情報を再生する場合に、仮に送信光における色差信号の振幅比が1:1に設定されていないのであれば、送信光における色差信号の振幅比に合わせて、処理1306によって選択された干渉マトリックスの成分を修正することになる。
そこで、処理1308では、実際の送信光における色差信号に適用された振幅比と式(20)に基づいて、処理1306によって選択された干渉マトリックスの成分を修正する。
修正された干渉マトリクスに基づいて受信信号を補正する処理1310が、補正部1230によって実行される。処理1310では、処理1308によって修正された干渉マトリックスの成分に基づいて、受信光における各色差信号を補正する。この補正によって、送信光における各色差信号を推定することができる。
補正された受信信号に基づき特定の情報を取得する処理1312が、取得部1240によって実行される。処理1312では、処理1310によって補正された各色差信号を復号することによって、送信光に重畳された特定の情報を再生して取得する。
なお、処理1312に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、取得部1240によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
そして、処理1314により、図13に示される処理を終える。
なお、図13に示される処理については、複数の干渉マトリックスを予め準備しておく場合に沿って例示したが、発明はこれに限定されない。
干渉マトリックスを予め準備していない場合、または、複数の干渉マトリックスを予め準備しておくものの処理1304によって推定された分光反射率(反射係数)に対応する干渉マトリックスがみつからない場合に、図11に沿って例示した方法に従い、処理1304によって物体の分光反射率が推定された時点で、当該分光反射率に基づいて干渉マトリックスを計算して、計算された干渉マトリックスに従って受信信号を補正してもよい。
図14に、第3実施形態の処理の他の例が示される。図14に示される処理は、図1に示される再生装置150によって実行される処理であって、図11に沿って説明された第3実施形態を実現して、再生装置150が受光した受信光から特定の情報を良好に再生するための他の処理である。
図14に示される処理と図13に示される処理との違いは、図13に示される処理が、予め準備された複数の干渉マトリクスとして、送信側の色差信号の振幅比が1:1である場合について各分光反射率の設定に従って求めた干渉マトリックスを想定しているのに対して、図14に示される処理では、送信側の色差信号の振幅比が1:nである場合のnの候補の各々について各分光反射率の設定に従って求めた干渉マトリックスを想定していることである。
つまり、図13に示される例では、処理1308によって干渉マトリックスの成分を実際の振幅比に基づいて修正する処理を有するが故に、送信側の色差信号の振幅比が1:1の場合についての干渉マトリックスを予め準備しておけばよいのに対して、図14に支援される例では、予め準備しておく干渉マトリックスを、送信側の色差信号の振幅比が1:nの場合のnの候補分だけ多く準備しておき、干渉マトリックスを修正する処理を省いている。
処理1400によって処理が開始されると、受信光から各色成分の受信信号を生成する処理1402が、生成部1200によって実行される。再生装置150が受光した光のRGB成分の各々の強度を時系列的にサンプリングし、このサンプリングされた強度を例えば0〜255の階調に正規化する。そして、RGB成分の各々の正規化された値を上述した変換式(4)〜(6)に代入することにより、照明装置110が情報を重畳した信号である、例えばYUV成分の内のU成分及びV成分の色差信号を当該受信信号として生成する。
物体の分光反射率を推定する処理1404が、推定部1210によって実行される。処理1404では、図11に沿って上述したように、既知の分光分布(例えば、分光分布が予め定められた送信光や白色光など)と受信光の分光分布とから、変換式(15)〜(17)における反射係数α、β及びγを求めることで、物体の分光反射率を推定する。
予め準備しておいた複数の干渉マトリクスのうち、推定された分光反射率及び予め定められた振幅比に対応する干渉マトリックスを選択する処理1406が、選択部1220によって実行される。処理1406では、予め準備された複数の干渉マトリックスから、処理1404によって推定された分光反射率(反射係数)と予め定められた送信信号の振幅比に対応する干渉マトリックス選択する。
なお、処理1404において、仮に、対応する干渉マトリックスがみつからなければ、第1実施形態を適用して特定の情報を再生すればよい。
選択された干渉マトリクスに基づいて受信信号を補正する処理1408が、補正部1230によって実行される。処理1408では、処理1406によって選択された干渉マトリックスの成分に基づいて、受信光における各色差信号を補正する。この補正によって、送信光における各色差信号を推定することができる。
補正された受信信号に基づき特定の情報を取得する処理1410が、取得部1240によって実行される。処理1410では、処理1408によって補正された各色差信号を復号することによって、送信光に重畳された特定の情報を再生して取得する。
そして、処理1412により、図14に示される処理を終える。
上述の第3実施形態によれば、特定の情報が重畳された光が種々の物体に照射されることを想定して、種々の分光反射率を想定した干渉マトリックスを予め準備しておくことで、受信光から当該特定の情報を良好に再生できる。
図15に、第4実施形態が示される。図15に沿って、第4実施形態の概要を説明する。第4実施形態では、可視光通信における光が物体に照射された場合に、物体による反射光を含む受信光から当該物体の分光反射率を推定するための実施形態である。
さて、この第4実施形態では、送信光の分光分布を予め定めておき、受信光と予め定められている分光分布に従う送信光との比較によって、式(15)〜(17)における反射係数α、β、及びγを推定し、反射係数の逆数を受信光のRGB値にかけることで、色空間の変換における非対称性による干渉を防ぐ。なお、反射係数の推定は、例えば、第3実施形態の説明で述べた方法と同様にして行えばよい。
受光した光のRGB値がR´(=α×R),G´(=β×G)、B´(=γ×B)であった場合、これらの値に推定した反射係数の逆数をかけることで再変換する。再変換した値をそれぞれR’’,G’’、B’’とする。てYUV空間に変換された受信信号Y´U´V´はR’’=R,G’’=G、B’’=Bであるので、
Y´=0.299R’’+0.587G’’+0.114B’’=Y (22)
U´=−0.169R’’+(−0.331)G’’+0.500B’’=U (23)
V´=0.500R’’+(−0.419)G’’+(−0.081)B’’=V (24)
となり、受信側では送信信号を干渉の影響なく復元できる。
なお、受信側の受光素子の特性により、α、β、γの推定誤差が生じることもある。この場合、厳密にR’’=R,G’’=G、B’’=Bとなるわけではないが、送信信号の復元において影響のない範囲であれば、同一とみなしてもよい。また、受光素子の特定を加味して補正をかけてもよい。
また、再変換において、α、β、γの逆数をかけるのではなく、それぞれの係数の逆比をかけても良い。
例えば、α=0.125、β=0.25、γ=0.50であった場合、それぞれの係数の逆数は1/α=8、1/β=4、1/γ=2である。一方、α:β:γの逆比は4:2:1である。
逆数による変換R’’=R´×8、G’’=G´×4、B’’=2×B´を用いてY´ U´V´を生成する場合に対し、逆比による変換R’’=R´×4、G’’=G´×2、B’’=1×B´を用いて生成されたY´ U´V´はY´=1/2Y、U´=1/2U、V´=1/2Vとなる。すなわち、送信信号を線形変換しただけの信号が生成されることになり、容易に情報の復号が可能となる。
また、ここで推定した反射係数のいずれかが0になってしまった場合に関しては、例えば係数の逆数を無限とする代わりに、実装しうる最大値にしてもよい。
ただし、図15(A)に示されるように、受信光の強度は時間的に変化しているため、受信光をサンプリングした場合のサンプリング点毎に、受信光の値と分光分布が既知の送信光とを比較して求めた反射係数α、β、及びγを使用すると、受信光を補正する際に、送信光に重畳させた特定の情報が失われてしまう可能性がある。
そこで、この第4実施形態では、図15(B)に示されるように、反射係数α、β、及びγを、受信光におけるn(0<n)周期分の平均値と分光分布が既知の送信光との比較によって決定する。この第4実施形態によれば、信号周期に従って平均すると分光分布が一定になるように透かし信号を埋め込んでおけば、この信号に同期させて平均化処理を行うことで高精度に分光分布を推定することが可能となる。
また、同様の方法で分光反射率(反射係数)を推定して、推定された分光反射率(反射係数)を用いて、第3実施形態において説明した干渉マトリックスを予め準備したり、その場で計算する等の応用が可能である。また、第3実施形態においては、YUV空間における受信信号を生成してから干渉マトリクスを用いて受信信号を補正したが、干渉マトリクスを用いる代わりに推定した反射係数の逆数を用いて生成した受信信号を補正してもよい。実際の処理としては、式(15)〜(17)のRの項、Gの項、Bの項にそれぞれ1/α、1/β、1/γをかけることになり、最終的には式(22)〜(24)と同様の式になる。
なお、高精度な推定のために、n(0<n)周期分の平均値を用いることを示したが、発明はこれに限定されない。例えば、図15(A)において、信号を受信した最初のサンプリング点を用いて分光反射率及び補正値を推定し、後のサンプリング点においても最初のサンプリング点から推定した補正値と同様の補正値を用いて受信光を変換すれば、透かし信号が消えてしまうことはない。
図16に、第4実施形態の機能ブロックが示される。図16に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、推定部1600、補正部1610、生成部1620、及び、取得部1630として機能する。なお、これらの機能部は、図15に沿って説明された第4実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図17に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
図17に、第4実施形態の処理が示される。図17に示される処理は、図1に示される再生装置150によって実行される処理であって、図15に沿って説明された第4実施形態を実現して、可視光通信における光が物体に照射された場合に、物体による反射光を含む受信光から当該物体の分光反射率を推定するための処理である。図17に示される処理は、処理1700によって開始される。
受信光をn周期分の時間で平均する処理1702が、推定部1600によって実行される。処理1702では、図15に沿って説明したのと同様に、再生装置150が受光した、例えば、YUV色空間のU成分及びV成分の色差信号に情報が埋め込まれた受信光について、n周期分の時間における各サンプリング点での受信値の平均を算出する。
平均された受信光と送信光の分光分布を比較することで、反射係数を推定する処理1704が、推定部1600によって実行される。処理1704では、図15に沿って説明したのと同様に、処理1702によって平均された受信光と分光分布が既知の送信光を比較することで、RGB色空間からYUV色空間へ変換する際の変換式おける変換係数を補正するための反射係数α、β及びγを推定する。
推定された反射係数に基づき受信光を補正する処理1706が、補正部1610によって実行される。処理1706では、処理1704によって推定され反射係数α、β及びγの逆数を使用して、受信光のRGB色空間の各成分の値を補正する。
次いで、補正された受信光からYUV色空間における信号を生成する処理1708が、生成部1620により行われる。そして、生成された信号に基づき特定の情報を取得する処理1710が、取得部1630によって実行される。
なお、処理1710に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、取得部1640によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
そして、処理1712により、図17に示される処理を終える。
上述の第4実施形態によれば、可視光通信において、RGB色空間からYUV色空間への変換式における変換係数を補正するための反射係数を推定することができる。なお、第4実施形態の方法を、第3実施形態の処理1304や処理1404に適用してもよい。
なお、図17では受信光をn周期分の時間で平均する例を示したが、発明はこれに限定されない。例えば、図15(A)において、信号を受信した最初のサンプリング点を用いて分光反射率及び補正値を推定し、後のサンプリング点においても最初のサンプリング点から推定した補正値と同様の補正値を用いて受信光を変換してもよい。
図18に、第5実施形態が示される。図18に沿って、第5実施形態の概要を説明する。第5実施形態では、照明装置110において、分光分布が既知の光(例えば白色)に特定の情報を埋め込む。そして、図18に示されるように、照明装置110から発光されたこの光が特定の物体130に照射される。
この物体130による反射光を含む光を受光する再生装置150において、受信光に基づいて当該物体130をカメラで撮像した場合に、当該物体を含む画像1800を複数の領域に分割する。
ここで、送信光として分光分布が既知の光を使用していることから、複数の領域毎の受信光と送信光とを比較し、送信光の分光分布とより近い分光分布を有する受信光が得られた領域を優先して選択して、受信光を解析する。また、送信光の分光分布とより近い分光分布を有する受信光が得られた領域に対するに対してより大きな重み付けをすることによって、受信光を解析する。
第5実施形態によれば、物体の分光反射率による影響がより少ない受信光を使用して、当該特定の情報を再生できるため、この再生される情報を確からしさが向上する。また、撮像した画角内に異なる分光反射率を有する物体が複数ある場合であっても、お互いの成分に干渉を起こす分光反射率を有する物体どうしによる反射の影響を抑制することが可能となる。
図19に、第5実施形態の機能ブロックが示される。図19に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、取得部1900、及び、解析部1910として機能する。なお、これらの機能部は、図18に沿って説明された第5実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図20及び21に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
図20に、第5実施形態の処理が示される。図20に示される処理は、図1に示される再生装置150によって実行される処理であって、図18に沿って説明された第5実施形態を実現して、物体の分光反射率による影響がより少なくなるようにして当該特定の情報を再生するための処理である。図20に示される処理は、処理2000によって開始される。
受信光に基づき画像を取得する処理2002が、取得部1900によって実行される。処理2002では、例えば、再生装置150に含まれる撮像部(カメラ)によって受信光を受光し、この受光によって撮像された画像を取得する。
取得された画像を複数の領域に分割する処理2004が、解析部1910によって実行される。処理2004では、処理2002によって取得された画像を、図18に沿って上述したように、複数の領域に分割する。
送信光における既知の分光分布に基づき、領域毎に受信光を評価する処理2006が、解析部1910によって実行される。処理2006では、処理2004によって生成された複数の領域毎に、当該領域で受光した受信光の各々を、送信光における既知の分光分布と比較することによって、領域毎の受信光の各々の分光分布と当該既知の分光分布の類似度を評価する。領域毎の分光分布を求めるにあたり、例えば領域内の平均画素値を用いることが考えられる。また、第3実施形態と同様に、類似度の評価の方法の例を示す。
例えば、推定された反射係数(α、β、γ)においてαが1となるように正規化した値を(α´、β´、γ´)とし、物体に照射される光又は物体に照射される予定の光の分光分布をRGB色空間における各成分の値(r、g、b)においてrが1となるように正規化した値を(r´、g´、b´)とする。この場合、類似度μを式(25)で表わす。
なお、発明はこの方法に限定されず、(α、β、γ)と(r、g、b)の類似度μを評価する他の手法を用いてもよい。
評価結果に従って受信光を解析する処理2008が、解析部1910によって実行される。処理2008では、処理2006によって評価された、領域毎の類似度に従って、領域に重み付けをする。例えば、類似度が閾値よりも大きい領域については、優先的に考慮するために大きな重み付けをする。他方で、類似度が閾値よりも小さい領域については小さな重み付けをする。なお、類似度が小さい領域に対する重みを0とすれば、類似度が大きい領域だけを選択することができる。
重み付けに基づいて受信光を解析する処理2010が、解析部1910によって実行される。処理2010では、処理2008によって重み付けされた複数の領域における受信光に従って、上述の各実施形態と同様にして干渉マトリックスを求め、干渉マトリックスによって受信光を補正することで当該受信光を解析し、補正された受信光から特定の情報を再生して取得する。
なお、処理2010に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、解析部1910によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
処理2012によって、図20に示される処理を終える。
上述の第5実施形態によれば、物体の分光反射率による影響がより少なくなるようにして当該特定の情報を再生することができるので、再生された情報の確からしさが向上する。
図21に、実施例の再生装置及び照明装置のハードウェア構成が示される。図1に示される再生装置150、及び照明装置110は、図21に図示される一般的なコンピュータ2100の構成を有する。なお、実施例では説明を簡略化するために、再生装置150、及び照明装置110をまとめて図21に沿って説明する。そのため再生装置150、及び照明装置110の各々は別々であっても同じ符号(例えばCPU2102など)を用いて説明する。さらに、後述するように、再生装置150、又は照明装置110何れか一方のみに含まれる構成であっても、図21にまとめて示していることをここに述べておく。
コンピュータ2100は、Central Processing Unit(CPU)2102、Read Only Memory(ROM)2104、及びRandom Access Memory(RAM)2106を含む。このコンピュータ2100は、さらに、ハードディスク装置2108、入力装置2110、出力装置2112、インタフェース装置2114、及び記録媒体駆動装置2116を含む。そして、再生装置150の場合には、撮像装置2122を含み、投影装置(プロジェクタ)2124を含んでいてもよい。他方、照明装置110の場合には、上述したように光に情報を重畳させる可視光通信において光を発光させる複数の発光素子(LED)を有する発光装置2126を有している。
なお、上述の各構成要素はバス2120を介して互いに接続されており、CPU2102の管理の下で各種のデータを相互に授受する。
CPU2102は、このコンピュータ2100全体の動作を制御する演算処理装置であり、コンピュータ2100の制御処理部として機能する。
ROM2104は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。CPU2102は、この基本制御プログラムをコンピュータ2100の起動時に読み出して実行することにより、このコンピュータ2100の各構成要素の動作制御が可能になる。
RAM2106は、CPU2102が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
再生装置150の場合には、上述した図7、図10、図13、図14、図17及び図20に示される処理を実行するためのプログラムがRAM2106に読み出され、CPU2102がこのプログラムを実行することによって、再生装置150は、各処理に応じて、図6、図9、図12、図16、及び図19に示される機能を実現する。
ハードディスク装置2108は、CPU2102によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。CPU2102は、ハードディスク装置2108に記憶されている所定の制御プログラムを読み出して実行することにより、後述する各種の制御処理を行えるようになる。
入力装置2110は、例えばマウス装置やキーボード装置であり、コンピュータ2100のユーザにより操作されると、その操作内容に対応付けられている各種情報の入力を取得し、取得した入力情報をCPU2102に送付する。
出力装置2112は例えば液晶ディスプレイであり、CPU2102から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置2114は、このコンピュータ2100に接続される各種機器との間での各種情報の授受の管理を行う。インタフェース装置2114は、例えば、NIC(Network Interface Card)である。
記録媒体駆動装置2116は、可搬型記録媒体2118に記録されている各種の制御プログラムやデータの読み出しを行う装置である。CPU2102は、可搬型記録媒体2118に記録されている所定の制御プログラムを、記録媒体駆動装置2116を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体2118としては、例えばUSB(Universal Serial Bus)規格のコネクタが備えられているフラッシュメモリ、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)等がある。
撮像装置2122は、例えば、CCDあるいはCMOSといった、照明装置110が発する光に感度を有する固体撮像素子の2次元アレイにより形成されるイメージセンサと、そのイメージセンサ上に、撮影範囲の像を結像する結像光学系を有する。撮像装置2122は、受信光を受光している期間に撮像指示を受け取ると、所定の撮影レート(例えば、30フレーム/秒)で撮像を実行し、撮像を行う度に画像を生成する。