JPWO2019013023A1 - 情報伝送システム - Google Patents

Abstract

情報伝送システムは、情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、動画カメラを用いて可視光信号を受信する情報受信装置とを備える。情報送信装置は、入力されるデジタルデータ信号に従って、各次搬送波を直交振幅変調した後、逆フーリエ変換することにより変調信号を発生する変調手段を備える。変調手段は、デジタルデータ信号に従って、フレーム出力信号を等間隔に分割した複数の区画で得られる強度信号が所定の設定値となるように各次搬送波を直交振幅変調することにより変調信号を発生する。

Description

本発明は、例えば面発光の可視光通信を用いて情報を伝送する情報伝送システムに関し、また、前記情報伝送システムのための情報送信装置、情報受信装置及びプログラムに関する。

可視光通信は古くから試行されているが、その開発研究が盛んになったのは、タブレット端末やスマートフォンの普及した２０１０年以降である。

日本国内で製品化に先鞭をつけたのは、カシオのＰｉｃａｐｉｃａｍｅｒａである（例えば、特許文献１及び２参照）。発光源は組み込み型のマイコンボードであり、スマートフォンでアプリソフトとともに受信する。光源とカメラのビデオフレームは必ずしも同期していない。伝送速度は１０ｂｐｓ程度以下である。

これに対して、発明者らは点光源の発光を用いて、前記に比較してより高速の可視光通信を行う「可視光通信を用いた時間同期方法」について非特許文献１において開示されている。

ところで、パナソニック株式会社はスマートフォンに広く採用されているＣＭＯＳ動画カメラのローリングシャッター動作の特性を利用した可視光通信技術を試みている（例えば、特許文献３参照）。この特許の場合、可視光通信の光源に点光源でなく面光源を使用し、カメラのローリングシャッター動作と併用しているところに特色がある。また、光源の高速な輝度変化を受信するため、カメラの電子シャッター開度（１／６０秒のビデオフレーム中、実質的に何秒間、受光素子が受光動作をしているかの、時間割合）を数パーセントと以下、ごく短く設定して、発光をストロボのように行い、ローリングシャッターの走査線で２値の明線、暗線を区別して得ようとしているのが特色である。その効果により市販カメラで数ｋｂｐｓ度の伝送が可能であると標榜している。

また、非特許文献２において開示された「可視光通信方法」も同様に、短時間発光の光源とシャッター開度を短くとった動画カメラで数ｋｂｐｓの通信速度を得ているが、白黒パターンの変調法において、特許文献３に開示された発明とは異なる電気的特性を用いている。

特開２０１３−００９０７２号公報 特開２０１３−００９０７４号公報 国際出願公開第２０１３／１７５８０３号公報

Takayuki Akiyama et al., "Time Synchronization Method Using Visible Light Communication for Smartphone Localization", ICWMC 2016: The Twelfth International Conference on Wireless and Mobile Communication including QoSE WMC 2016, Barcelona, Spain, November 2016 Danakis, et. al., "Using a CMOS Camera Sensor for Visible Light Communication," IEEE Workshop on Optical Wireless Communication, Anaheim, California, USA, December 2012

これらローリングシャッターを使用する方式は、一般に点光源方式より高い通信速度を得られるものの、達成できる速度上限は数ｋｂｐｓ以下であり、多くの通信応用には十分でないという問題点があった。また面形状の光源をカメラ視野全体で受光する方法となるため、例えば液晶表示装置のバックライト照明を通信光源に使う場合、表示内容があると通信を阻害する、などの難点があった。

本発明の目的は以上の問題点を解決し、従来技術に比較して高速で可視光通信を行うことができる情報伝送システムを提供し、また、前記情報伝送システムのための情報送信装置、情報受信装置及びプログラムを提供することにある。

第１の発明にかかる情報送信装置は、
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報送信装置であって、
前記情報送信装置は、入力されるデジタルデータ信号に従って、前記各次搬送波を直交振幅変調した後、逆フーリエ変換することにより前記変調信号を発生する変調手段を備えたことを特徴とする。

前記情報送信装置において、前記変調手段は、前記デジタルデータ信号に従って、前記動画カメラのフレーム出力信号を等間隔に分割した複数の区画で得られる強度信号が所定の設定値となるように前記各次搬送波を直交振幅変調することにより前記変調信号を発生することを特徴とする。

また、前記情報送信装置において、前記変調手段は、前記フレーム出力信号を等間隔に分割した複数の区画で得られる強度信号により決定される三角波ピークの位置が変更されるように前記変調信号を発生することを特徴とする。

さらに、前記情報送信装置において、前記変調手段は、所定の低次の搬送波を除く各次搬送波を用いて変調することを特徴とする。

第２の発明にかかる情報受信装置は、
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報受信装置であって、
前記情報受信装置は、前記動画カメラから出力される可視光信号のフレーム出力信号をフーリエ変換した後、直交振幅復調することにより、デジタルデータ信号に復調する復調手段を備えたことを特徴とする。

前記情報受信装置において、前記復調手段は、前記可視光信号のフレーム出力信号に対して、前記情報送信装置と前記情報受信装置との間に存在する障害物の伝達関数のフーリエ変換の逆畳み込みを乗算することで、前記障害物に関する情報を除去することを特徴とする。

また、前記情報受信装置において、前記情報受信装置は、前記可視光信号に含まれる同期信号を用いて、前記動画カメラの動作タイミングを修正することで、前記情報送信装置と前記情報受信装置との間の動作タイミングを調整することを特徴とする。

さらに、前記情報受信装置において、前記情報受信装置は、複数の前記復調手段を備え、前記同期信号を用いて複数の前記復調手段の動作を互いに同期させることを特徴とする。

第３の発明にかかる情報伝送システムは、前記情報送信装置と、前記情報受信装置とを備えたことを特徴とする。

前記情報伝送システムにおいて、
前記変調手段は、特定の情報受信装置に向けて、前記特定の情報受信装置に対応する搬送波次数の調波を用いて搬送波を変調し、
前記復調手段は、前記搬送波次数に対応する所定のシャッター開度を前記動画カメラに設定することで、前記特定の情報受信装置でのみ選択的に前記デジタルデータ信号を復調することを特徴とする。

また、前記情報伝送システムにおいて、
前記情報送信装置は、
前記デジタルデータ信号を、送信する画面を複数の分割画面に分割したときの当該複数の分割画面に対応して、複数のデジタルデータ信号に分割するデータ分割手段と、
前記分割された各デジタルデータ信号に従って搬送波を複数の前記変調信号に変調する複数の前記変調手段と、
複数の前記変調信号に従って駆動される複数の前記面光源とを備え、
前記情報受信装置は、
前記複数の分割画面に対応する各デジタルデータ信号を復調する複数の前記復調手段と、
複数の前記復調手段からのデジタルデータ信号を１つのデジタルデータ信号に合成する合成手段とを備えたことを特徴とする。

さらに、前記情報伝送システムにおいて、前記情報送信装置は、
前記デジタルデータ信号を、送信する画面を複数の色情報に分割したときの当該複数の色情報に対応して、複数のデジタルデータ信号に分割するデータ分割手段と、
前記分割された各デジタルデータ信号に従って搬送波を複数の前記変調信号に変調する複数の前記変調手段と、
複数の前記変調信号に従って対応する複数の色情報でそれぞれ駆動される複数の前記面光源とを備え、
前記情報受信装置は、
前記複数の色情報に対応する各デジタルデータ信号を復調する複数の前記復調手段と、
複数の前記復調手段からのデジタルデータ信号を１つのデジタルデータ信号に合成する合成手段とを備えたことを特徴とする。

第４の発明にかかるコンピュータにより実行されるプログラムは、
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報受信装置のためのプログラムであって、
前記情報受信装置が、前記動画カメラから出力される可視光信号のフレーム出力信号をフーリエ変換した後、直交振幅復調することにより、デジタルデータ信号に復調するステップを含むことを特徴とする。

前記プログラムにおいて、前記情報受信装置は、電子機器である。

本発明にかかる情報送信システム等によれば、従来技術に比較して高速で可視光通信を行うことができる。また、前記情報伝送システムのための情報送信装置、情報受信装置及びプログラムを提供することにある。

実施形態にかかる情報伝送システムで用いるパケット構成の一例を示す図である。 実施形態にかかる情報伝送システムの情報送信装置１の構成例を示すブロック図である。 実施形態にかかる情報伝送システムの情報受信装置２の構成例を示すブロック図である。 前記情報伝送システムで用いる搬送波次数ｋに対する振幅特性を示すグラフである。 前記情報伝送システムで用いる搬送波次数ｋに対する位相特性を示すグラフである。 図２Ａの変調処理部１３の構成例を示すブロック図である。 図２Ｂの復調処理部２２の構成例を示すブロック図である。 前記情報伝送システムのＣＭＯＳ動画カメラ２１において受信した搬送波次数ｋに対する正規化信号レベル特性を示すグラフである。 変形例にかかる最適変調方法を示す図であって、走査区画ＳＳ０〜ＳＳ３における信号値を示す概念図である。 変形例にかかるデータ分割方式を有する情報送信装置１Ａ及び情報受信装置２Ａの構成例を示すブロック図である。

以下、本発明にかかる実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

本発明にかかる実施形態の概要．
発光ダイオード（以下、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）という）のような高速発光素子による面光源とローリングシャッター方式動画カメラを使った可視光通信に代表される光学的通信技術の発明である。スマートフォンなどの可搬型情報端末に内蔵される動画カメラを信号検出に利用して、その撮影フレームレートの数１００倍を超える速度での情報伝送を実現する。ＬＥＤは液晶表示装置のバックライト、デジタルサイネージ、自動車の照明装置などに普及しており、高速で精密な光強度変調をかけ、また面形状の発光を得ることが可能である。またローリングシャッター方式動画カメラを内蔵した可搬型情報端末も普及している。両者で可視光線を主とした光学的情報伝送を行えば、見通し距離内だけの通信方式として、臨場性を前提とした、ラジオ波無線通信にない特徴をもつ通信応用が可能となる。

このような応用に、高速通信のために専用受光素子や高速フレームレートのカメラを使用して数メガビット／秒以上の通信を実現した例がある。しかし、スマートフォンなど市販モバイル機器に内蔵される市販動画カメラのフレームレートは３０〜６０フレーム／秒（３０〜６０ｆｐｓ）程度であって、それを使った場合は面発光とローリングシャッター受光を利用しても数キロビット／秒（数ｋｂｐｓ）程度の通信しか例はなかった。可視光通信の用途は主に通信速度の制約から限られたものであった。

一方、そのような動画カメラは通信用には低速であるが広く普及しているので、市販動画カメラで従来の実施例より高速なビットレートの通信をできれば、市民生活の場で広く可視光通信が使用されるようになると期待される。具体的には液晶表示装置、発光型ポスター、デジタルサイネージ（掲示板）などからの情報伝送、自動車照明装置を使った車車間通信などである。

本発明にかかる実施形態は、低速な市販の動画カメラを使う可視光通信に関するものである。例えば６０ｆｐｓのローリングシャッターカメラにより、面発光の通信照明を使用して２０ｋｂｐｓ以上の通信を可能とする。

従来、面光源とローリングシャッター方式カメラを使用して、比較的高速な可視光通信を行った発明例ないし実施例があった。動画カメラの撮影時パラメータには電子シャッターと称する撮影フレームごとの光積分時間に関するものがある。このシャッター開度を小さくとると（フレームごとの光積分時間を短く設定すると）速く動く被写体をはっきりと撮影できるので、特別な撮影時にそのように使用される。面発光通信光源とローリングシャッター方式動画カメラを使用した可視光通信でもその特性を利用し、通信の受信時はシャッター開度を数パーセント以下に小さく設定し、高速な光信号変化を明暗のはっきりした線状の模様として検出することで通信を行おうとする技術があった。

しかし、シャッター開度を小さくすると、映像に雑音が増え、また得られる画像は暗くなるという欠点を生じる。それで一般の撮影ではシャッター開度は１００パーセントに近い、大きな値で使用されるのが通常である。通信のためにシャッター開度を小さくとった場合、それは一般撮影のカメラ設定条件と両立しないという欠点があった。

これに対して、本発明の実施形態では、シャッター開度ごとに検出アルゴリズムを適合させ、情報を補正する。このため通常の撮影では条件である１００パーセント近いシャッター開度の領域を含めて、最適なパラメータを選びつつ高速通信を実施でき、雑音が少なく、また高感度な可視光通信をできるという特徴をもつ。

本発明の実施形態は、動画カメラのフレームレートに同期させた面発光光源を用いる。そのような従来方式は動画カメラの電子シャッター開度（以下、シャッター開度という。）を小さく設定したものであった。本方式はシャッター開度を小さく設定しても、また１００パーセント近くに設定しても利用可能である。通常の撮影動作と同じ状態で実施できるので可視光通信の応用範囲が広がる。シャッター開度を大きな領域も使用可能で、動画カメラの受光素子の信号雑音比を改善できる。また、通常の撮影状態に同じ動画カメラ設定で可視光通信の使用できるので、その利用機会をより広くとることができる。

既知の方法では高速信号（高速変調）を受信するため、特に小さいシャッター開度（例えば、η＝０．０２〜０．０３以下）を設定している。これに対して、本発明の実施形態では、シャッター開度による波形変形を予測し符号照合することで、大きいシャッター開度のままで高速信号の受信を可能としている。さらに、シャッター開度に応じて受信される正弦波調波の周波数域が変化することから、臨場の複数の受信装置ごとに、シャッター開度を別に設定させることで、受信装置（すなわち、受信者）を分けた通信を同時に行う応用も可能となる。

従来技術にかかる、シャッター開度を小さくとる通信方式は、撮影画面は明暗の２値となることを理想とし、それを得やすい条件としてその設定をしていた。しかしながら、実際は後述の解析のように、カメラで対応できる周波数範囲は限られるので、撮影される明暗パターンの境界に中間的明るさの現れることは避けられない。既知の提案手法は中間的な明るさの領域に特別な意味はなく、その領域の情報は受信時に捨てていた。この発明ではカメラで撮影される、映像が撮像素子の動作により周波数領域で一定の改変を受けることをあらかじめ想定し、それを考慮した適応的な変調を行い、中間的な明るさで撮影される部分も含めて、得られたすべての撮影画像情報を使用して通信することで、捨てる情報を減らし、高速で高品位な通信を達成できる手法を開発した。

シャッター開度を含め通信に最適なパラメータ設定をする本発明の手法では、受信信号により多くの情報を含めて通信速度を効率よく高速化できるほか、受信者を選択する通信、障害物の影響の軽減、変調信号にフリッカー低減など各種の付加的機能を盛り込むこともできる。

本発明の実施形態の手法の説明．
まず、動画カメラの１フレームの撮影時間をＴ_ｐ（秒）とする。その逆数はビデオフレームレートｆ_ｐであり、ｆ_ｐ＝１／Ｔ_ｐの関係となる。多くの市販のデジタル動画カメラ、もしくはスマートフォンのデジタル動画カメラではビデオフレームレートｆ_ｐ＝６０（６０フレーム／秒）が採用されている。

ＣＭＯＳ方式に代表される動画受光素子はこれらカメラに広く採用されるが、ローリングシャッターによる線走査を行うことが必須であり、特徴である。この線走査方法は、１０８０本ほどの走査線を、上から下へ、受光開始時刻を一定歩調でずらしながら撮影する方式である。着目する走査線を上から第ｎ番目、総走査線数をＮとすれば、その走査線はフレーム撮影開始時刻から典型的には、時間（ｎ／Ｎ）Ｔ_ｐだけ遅れて開始される（ただし、ｎ＝０，１，２，…，Ｎ−１）。

フレーム周期を超える速度で明るさの変化している面形状発光をローロングシャッター方式の動画カメラで受光すると、各フレームで一般に濃淡の変化した横縞模様が撮影される。この縞模様を空間フーリエ変換するとビデオフレームレートｆ_ｐを基本調波とした、ビデオフレームレートｆ_ｐごとの周波数で並んだ高調波系列が得られる。もしこの各調波を振幅変調、位相変調を含む直交振幅変調（以下、ＱＡＭ変調という）で撮影できれば、ラジオ波でのＯＦＤＭ（直交周波数多重変調）に類似したデジタル通信が可能となる。以下、このような縞模様を撮影させるための面光源変調方式について説明する。

送信波形．
送信者は情報送信装置１を用いて、時間Ｔ_ｐを基本時間単位として、面光源のＬＥＤを変調波形で駆動し、発光させる。ここで、変調信号をｂ（ｔ）とする。変調信号ｂ（ｔ）はＴ_ｐを基本時間単位としていることから、この周期で繰り返しているものと想定すれば、複素フーリエ係数β_ｋの系列に展開できる。ｋは整数の添え字で、０，±１，±２，…の値をとる。変調信号ｂ（ｔ）から次式により、ビデオフレームレートｆ_ｐ＝１／Ｔ_ｐを基本周波数とする複素フーリエ係数β_ｋに変換できる。ここで、変調信号ｂ（ｔ）は情報受信装置２のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された信号である。

逆に、複素フーリエ係数β_ｋを与えることで、次式の逆フーリエ変換により変調信号の時間波形ｂ（ｔ）に逆変換できる。

（２）式で±Ｋは理論的には±∞の範囲に対応する、通常は変調信号ｂ（ｔ）に含まれる最高周波数としての有限値にとってよい。

受信信号の特性．
受信者は情報受信装置を用いて、ｆ_ｐ＝１／Ｔ_ｐのフレームレートの動画カメラ（シャッター開度ηを有する）を使って、情報送信装置からの変調信号を含む面発光信号を受信する。動画カメラの受光素子は周期Ｔ_ｐの全体にわたり、受光する光信号を取り込むわけではなく、所定の時間期間範囲のシャッター開度η（０＜η＜１）によりηＴ_ｐと表せる時間期間だけ、光電変換素子からの電気信号を積分する。情報受信装置では、受光とアナログ／デジタル変換（以下、ＡＤ変換という。）及びデータ伝送を交番で行うため、シャッター開度ηは１にはできないが、その最大値を０．９９（９９パーセント）程度まで設定できる。動画カメラのシャッター開度ηを１に近い値に設定すると、撮像素子の雑音を低減でき、また感度も向上するので、一般撮影ではそれに近い値で動作させている。一方で高速で動く被写体をはっきり撮影したい場合には、シャッター開度ηを短くするとよい。そのため多くの動画カメラでは、撮影条件にあわせ、シャッター開度ηを各種の値に設定できるようになっていて、撮影の都度、適当な値で使用される。

受信された信号は距離や光学系に起因する強度変化、あるいは周辺光や受光素子に起因する雑音の重畳を無視したとして、次の２種類の改変を受ける。

（１）受光素子が０≦ｔ≦ηＴ_ｐの時間で光源の光を積分していることにより、受信波形は送信波形に比べて、受信信号には変化が生じる。
（２）積分結果信号はビデオフレーム周期Ｔ_ｐごとにＡＤ変換され、離散信号として出力される。ビデオフレーム周期Ｔ_ｐの逆数であるビデオフレームレートｆ_ｐは信号変化のサンプリング周波数とみなすことができる。

本発明にかかる実施形態は、両者の影響を精密に追跡し、それを補正しつつ信号検出をすることを特徴としている。両者の補正について以下詳細後述する。

積分動作による信号変化の補正．
動画カメラの受光素子は信号源の波形ｂ（ｔ＋δＴ_ｐ＋（ｎ／Ｎ）Ｔ_ｐ）を、時間幅０≦ｔ≦ηＴ_ｐで積分しているとみなすことができる。前記時間幅だけ信号を切り取り、積分することは、数式的には時間幅ηＴ_ｐの矩形窓を信号波形に乗じて畳み込むことにほかならない。ここで、０≦δ＜１は送信信号と受信する動画カメラ動作の開始時間差つまり動作位相差であり、動画カメラが少し遅れる場合を正の値にとるものとしている。光源と動画カメラ動作の間に何らかの同期化機構を置くとδ＝０とできるが、そうでない場合は非零のδが存在する。また（ｎ／Ｎ）Ｔ_ｐはローリングシャッターによる走査線第ｎライン目の撮影時刻の遅延である。

動画カメラはｂ（ｔ＋δＴ_ｐ＋（ｎ／Ｎ）Ｔ_ｐ）の信号を、時間期間０≦ｔ≦ηＴ_ｐにわたり積分したものを撮像素子の第ｎライン目の信号として出力する。それをｔに注目して複素フーリエ係数に反感すれば、ｋ次フーリエ係数Ｂ_ｋは次式で表される。

（３）

ここで、Ａは送受信間の信号伝送の係数で、変調光源の発光効率や撮像素子の感度、レンズのＦ値などにより決まる。以下では、Ａ＝１としてこれを無視する。

（３）式の右辺は、動画カメラの撮像素子の積分動作がローリングシャッターの走査線ごとの時間幅ηＴ_ｐの矩形窓の畳み込みであり、当該（３）式の右辺はフーリエ変換した式上では時間窓をフーリエ変換したもの

と、元の波形のフーリエ級数β_ｋの乗算となること、及び信号源のシャッタータイミングとの遅延δＴ_ｐとローリングシャッター動作による遅延（ｎ／Ｎ）Ｔ_ｐによる遅延因子

の乗算結果の信号であるとして理解できる。光源と動画カメラの間は同期がとれていると仮定し、遅延係数δ＝０とし、また先頭の走査線ｎ＝０に着目すれば、この式は次式のように簡略化できる。

光源と動画カメラの動作位相の問題は、遅延係数δの有無であり、数式に大きな差異はない。そこで以下の考察でも簡単のため、δ＝０が成立していると仮定して行う。そうでない場合の考察は詳細後述する。

先頭の走査線に対応するフーリエ係数Ｂ_ｋを用いて、変調信号の時間波形Ｂ（ｔ）を次式の逆フーリエ変換により再構成できる。

ローリングシャッターによりｎ番目（ｎ＝０，１，２，…，Ｎ−１）の走査線に撮影される輝度Ｉｎはそのシャッターの時間遅れからｔ＝（ｎ／Ｎ）Ｔ_ｐのときの時間関数Ｂ（ｔ）の値であるＢ（（ｎ／Ｎ）Ｔ_ｐ）となるので、次式を得る。

（６）式はローリングシャッターで取得されたＮ本の走査線からなるフレームは、フーリエ係数Ｂ_ｋを離散空間逆フーリエ変換したものであることを示しており、画面全体の濃淡Ｉ＝（Ｉ_０，Ｉ_１，…，Ｉ_Ｎ−１）^Ｔを離散空間フーリエ変換すると、Ｂ＝ＦＦＴ［Ｉ］としてフーリエ係数Ｂ＝（Ｂ_０，Ｂ_１，…，Ｂ_Ｎ−１）^Ｔが得られる。Ｂ_Ｎ／２，Ｂ_{Ｎ／２＋１}，…，Ｂ_Ｎ−１はＢ_−１＝Ｂ_Ｎ−１，Ｂ_−２＝Ｂ_Ｎ−２などの対応で、適宜、負の添え字のフーリエ係数に読み替えることができる。ここで信号の最高周波数Ｋ＜Ｎ／２なら空間フーリエ変換で得た係数は時間関数のフーリエ係数に一致する。

最大通信速度．
フーリエ係数Ｂ_ｋは複素数値であり、（４）式を考慮しつつ合成した変調信号ｂ（ｔ）によって、その振幅と位相を任意に設定できる。これは無線で使用されるＯＦＤＭ通信に相当しており、フーリエ係数Ｂ_ｋを周波数軸上に等間隔に並んだ搬送波のようにみなし、当該搬送波信号に対してＱＡＭ変調を行うことで、情報データを伝送することができる。例えば２５６値ＱＡＭ変調を使うことで、１つのフーリエ係数Ｂ_ｋあたりｑ＝８ビットのシンボルを伝送できる。走査線総数Ｎのカメラを使用すれば、離散空間フーリエ変換によりｋ＝０，±１，±２，…，±［Ｎ／２］次までのフーリエ係数Ｂ_ｋを得る。ここで、［Ｎ／２］はＮ／２を超えない整数を意味し、偶数のＮならＮ／２に等しい。ｋ＝０は直流成分であり、画面の平均的明るさ（実数）である。

発光素子は負の発光値をとれないことから、一般に直流成分の点灯を付加して、変調光を正の範囲にとどめるように制御する。ここで、通常は情報を乗せる通信には使用しない。偶数のＮにともなうＢ_Ｎ／２はナイキスト周波数成分であり、やはり実数値となって、振幅のみ持つ。これもＱＡＭ変調の対象にはならない。また、

（複素共役）である。このような性質を考慮すると、本方式による最大通信速度は、おおむね（［（Ｎ−１）／２］−１）ｑｆ_ｐ（ビット／秒）になる。

実効的な通信速度．
（５）式によれば、フーリエ係数Ｂ_ｋの振幅は｜η・ｓｉｎｃ（πｋη）｜の減衰を受ける。この項はほぼη×（１／ｋη）≒η／ｋでの減少を表し、搬送波次数ｋの大きな次数では、フーリエ係数Ｂ_ｋは減衰して通信に使いにくくなる。例えば搬送波次数ｋ＝１，２，３，…，５０を通信に供したとすると、シンボルあたりのビット数ｑ＝８ビット、ビデオフレームレートｆ_ｐ＝６０フレーム／秒の通信で得られる通信速度は５０×８×６０＝２４０００ビット／秒である。

減衰の補正及び誤り訂正．
フーリエ係数Ｂ_ｋの減衰は｜ηｓｉｎｃ（πｋη）｜であることがわかっているので、元の発光信号ｂ（ｔ）の調波について、減衰を補うように強調することで、高次の次数を通信に使用することができる。ただし、それは変調信号ｂ（ｔ）の振幅の総合的な増大をともなう。変調信号ｂ（ｔ）の最大振幅は発光素子の発生できる最大輝度ｂ_ｍａｘを超えることはできない。また、可視光通信では負の変調信号ｂ（ｔ）を発生できないことから、明るさの直流成分β_０をバイアスとして用い、変調信号の振幅範囲が０≦ｂ（ｔ）≦ｂ_ｍａｘとなるように使用しなければならない。変調信号ｂ（ｔ）にそれを超過する部分があると、その部分は正常に復号できなくなり、通信のビット誤りとなる。これは通信テキストに誤り訂正符号を付与することである程度軽減できる。しかしながら、フーリエ係数Ｂ_ｋの減衰を補うためあらかじめ高次成分のスペクトル係数β_ｋを強調して送信する際には、０≦ｂ（ｔ）≦ｂ_ｍａｘに留意して、また、誤り訂正符号の併用を考慮して行うべきである。

通信方式．
Ｔ_ｐを基本周期とする変調された面光源の発光（変調信号）ｂ（ｔ）を撮影したとき、ローリングシャッター方式のカメラのフレームに写るのは、走査線ごとに、フーリエ係数はＢ（（ｎ／Ｎ）Ｔｐ）である。従って、これを一次元離散空間フーリエ変換すれば、フーリエ係数Ｂ_ｋを得られることがわかった。各フーリエ係数Ｂ_ｋの値は、もとの変調信号ｂ（ｔ）のフーリエ係数β_ｋと（４）式の関係にある。これを考慮しつつ、発光の変調信号ｂ（ｔ）を設計し、それを動画カメラで受光し、撮影されたフレームを離散空間フーリエ変換することで、フーリエ係数Ｂ_ｋを得る。次にその詳細な方法を述べる。

変復調方式を用いた情報伝送システム．
図１は実施形態にかかる情報伝送システムで用いるパケット構成の一例を示す図である。また、図２Ａは実施形態にかかる情報伝送システムの情報送信装置１の構成例を示すブロック図であり、図２Ｂは実施形態にかかる情報伝送システムの情報受信装置２の構成例を示すブロック図である。

図１を示すパケット構成例において、１つのパケットは、同期部３１と、データ部３２と、パリティ部３３とを備えて構成される。本実施形態にかかる変復調方式を用いた可視光通信では、発光波形（変調信号）ｂ（ｔ）はカメラの撮影タイミングと同期していること、すなわち（２）式において遅延係数δ＝０であることが望ましい。図１の同期部３１は当該制御を行うために用いられる部分であって、情報送信装置１は、数フレーム時間にわたり既知のスペクトル係数β_ｋからなる信号を生成する。送信された光信号を受信してフーリエ変換したとき、同期のずれにある場合、すなわち、遅延係数δ≠０のときに、フーリエ係数Ｂ_ｋは（４）式の関係にさらに位相変化が加わり、ＡＢ_ｋｅ^{ｊ２πｋδ}が得られる。ここで、Ａは送受信装置の感度特性で決まる振幅である。このことから、同期部を使用して送信と受信の位相差（遅延位相差）δを求め、また、受信信号強度の正規化係数１／Ａを決定する。最近のＣＭＯＳカメラは撮影中にシャッタータイミングを補正することで、遅延係数δ＝０になるように制御できるものが多いが、同期部はその制御に要する時間に十分相当する長さであることが望ましい。

図１において、データ部３２は当該可視光通信で伝送するメッセージ（デジタルデータ）であり、例えば２５６値ＱＡＭ変調で構成すれば、ひとつの調波の１シンボルで８ビット送信でき、複数ｈ個の調波を使えば８ｈビットの送信を行える。従って、Ｌ＝８ｈｍビットの情報を各キャリアのシンボルに分解して、ビデオの複数ｍフレームで送信できる。ここで、以下の２つの変復調方式Ａ，Ｂ（以下、方式Ａ，Ｂという。）について考える。

（方式Ａ）シンボルの変調法は、ｋ次調波のフーリエ係数Ｂ_ｋを２５６値ＱＡＭなどの変調になるように作成することとして、スペクトル係数
β_ｋ＝（ｅ^ｊπｋηｓｉｎｃ（πｋη））^−１Ｂ_ｋ （７）
としてそのような受信結果をもたらすスペクトル係数β_ｋを生成してもよい。この場合、受信時のシャッター開度ηは送信時にあらかじめ指定することになる。

（方式Ｂ）スペクトル係数β_ｋを２５６値ＱＡＭなどの変調に対応させることにして、受信したフーリエ係数Ｂ_ｋを（７）式によりスペクトル係数β_ｋに変換して解釈してもよい。この方法では受信時のシャッター開度ηはある程度自由に選べる。

方式Ａは、受信時、高調波の高次項の回転や減衰をあらかじめ予想し、スペクトル係数β_ｋをあらかじめ強調など逆補正して送信する手法となる。それについては詳細後述するが、まず、方式Ｂで通信する情報伝送システムについて記載する。

図１において、パリティ部３３は雑音等により生じた誤りを検出し、ないし訂正するために補う公知の情報である。

図２Ａ及び図２Ｂに示すように、情報送信装置１と、情報受信装置２とにより、可視光通信のための情報伝送システムを構成する。

図２Ａにおいて、情報送信装置１は、メモリ１１と、パケット発生部１２と、変調処理部１３と、面光源１４とを備えて構成される。例えばメモリ１１に格納された送信データ（メッセージデータであるデジタルデータ信号）はパケット発生部１２に入力される。パケット発生部１２は、図１のように、パケットデータを構成するように発生して変調処理部１３に出力する。変調処理部１３は、入力されるパケットデータに従って、情報受信装置２のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を、詳細後述するように強度変調しかつＯＦＤＭで変調した後、単数のＬＥＤの発光を拡散して得られる、ないし複数のＬＥＤが格子形状に並置して得られる面光源１４を駆動する。この際、複数ＬＥＤは直列ないし並列接続され、同一の信号波形で発光する。面光源１４からは面形状の変調光信号が放射される。

図２Ｂにおいて、情報受信装置２は、ＣＭＯＳ動画カメラ２１と、復調処理部２２と、パケット処理部２３と、誤り訂正部２４と、ディスプレイ２５と、これらの処理部２１〜２５の動作を制御するコントローラ２０とを備えて構成される。ＣＭＯＳ動画カメラ２１はパケット処理部２３からの同期信号を用いて前記放射された面形状の変調光信号を受信して、電気信号に光電変換した後、復調処理部２２に出力する。復調処理部２２は、入力される電気信号を詳細後述するように復調することで復調データ信号を得てパケット処理部２３に出力する。パケット処理部２３は入力される復調データ信号のデータを、同期部３１、データ部３２及びパリティ部３３の各データに分離して同期信号を再生してＣＭＯＳ動画カメラ２１に出力するとともに、データ部３２及びパリティ部３３のデータを誤り訂正部２４に出力する。誤り訂正部２４は、パリティ部３３のデータに基づいてデータ部３２のデータに対して誤り訂正を行って誤り訂正後のメッセージデータを例えばディスプレイ２５に表示する。

図２Ｂの情報受信装置２において、復調処理部２２、パケット処理部２３及び誤り訂正部２４の処理を、コンピュータであるコントローラ２０によりプログラムで処理してもよい。このときは、コントローラ２０はそのプログラムを格納するプログラムメモリ２０ｍを内蔵する。

受信信号及び情報受信装置の詳細構成．
図３Ａは前記情報伝送システムで用いる搬送波次数ｋに対する振幅特性を示すグラフであり、図３Ｂは前記情報伝送システムで用いる搬送波次数ｋに対する位相特性を示すグラフである。ここで、図３Ａ及び図３Ｂはスペクトル係数β_ｋとして一定振幅のシンボルに従って搬送波を強度変調した後、次数ｋ＝０〜１００の搬送波をＯＦＤＭで送信し、シャッター開度η＝０．０６５を有するＣＭＯＳ動画カメラ２１で受信した例である。受信されたフーリエ係数Ｂ_ｋには（４）式に相当する搬送波次数ｋごとの減衰ｓｉｎｃ（πｋη）と位相回転ｅ^ｊπｋηとが現れていることがわかる。

図４は図２Ａの変調処理部１３の構成例を示すブロック図であり、図５は図２Ｂの復調処理部２２の構成例を示すブロック図である。ここでは、方法Ｂによる情報送信装置１の変調処理部１３と、情報受信装置２の復調処理部２２とを示す。

図４の変調処理部１３は、シンボル分解部４１と、複数Ｋ個のＱＡＭ変調器４２−１〜４２−Ｋと、逆フーリエ変換部４３とを備えて構成される。図４において、シンボル分解部４１は、パケット発生部１２から入力される送信情報データ（ビット列）を各シンボルＳ_１〜Ｓ_Ｋに分解してそれぞれ対応するＱＡＭ変調器４２−１〜４２−Ｋに出力する。各ＱＡＭ変調器４２−１〜４２−Ｋはそれぞれ、入力される各シンボルＳ_１〜Ｓ_Ｋに従って、搬送波をＱＡＭ変調して、各スペクトル係数β_１〜β_Ｋを求め、逆フーリエ変換部４３に出力する。逆フーリエ変換部４３は入力される複数Ｋ個のスペクトル係数β_１〜β_Ｋに対して逆フーリエ変換を行うことで、変調信号ｂ（ｔ）を発生して変調処理部１３に出力する。

図５の復調処理部２２は、空間フーリエ変換部５１と、複数Ｋ個の回転振幅補正器５２−１〜５２−Ｋと、複数Ｋ個のＱＡＭ復調器５３−１〜５３−Ｋと、シンボルビット列変換部５４とを備えて構成される。

図５において、空間フーリエ変換部５１は、ＣＭＯＳ動画カメラ２１から入力される電気信号に含まれるフレーム情報データに対して空間フーリエ変換を行って、各フーリエ係数Ｂ_０〜Ｂ_Ｋを演算する。ここで、直流成分であるフーリエ係数Ｂ_０は使用せず棄却する。残りのフーリエ係数Ｂ_１〜Ｂ_Ｋはそれぞれ回転振幅補正器５２−１〜５２−Ｋに入力される。回転振幅補正器５２−１〜５２−Ｋはそれぞれ、入力されるフーリエ係数Ｂ_ｋ（ｋ＝１，２，…，Ｋ）に対して各フーリエ係数に対応した位相回転で振幅補正を行うことでスペクトル係数β_１〜β_Ｋを演算した後、ＱＡＭ復調器５３−１〜５３−Ｋに出力する。ＱＡＭ復調器５３−１〜５３−Ｋはそれぞれ、入力される各スペクトル係数β_ｋ（ｋ＝１，２，…，Ｋ）に対してＱＡＭ復調を行って対応するシンボルＳ_１〜Ｓ_Ｋを復調した後、シンボルビット列変換部５４に出力する。シンボルビット列変換部５４は入力されるＫ個のシンボルＳ_１〜Ｓ_Ｋをパラレルシリアル変換することで、送信情報のビット列データに対応する受信情報のビット列データを得てパケット処理部２３に出力する。

なお、図４において、負の搬送波次数

（複素共役）についての処理については省略しているが、実際の逆フーリエ変換処理では必要であり、上式によってβ_ｋから生成する。また図５において負のＢ_−ｋを得るが、これは特段の情報を含まないので棄却する。また、図２Ｂのパケット処理部２３においては、図５のスペクトル係数β_１，β_２，…を取り出して偏角を調べ、それで遅延係数δ＝０となるようにシャッタータイミングを制御するための同期信号を発生する。

なお、方式Ａによって、シャッター開度η＝０．０５の情報受信装置２にフーリエ係数Ｂ_ｋで搬送波次数ｋ＝３０付近の調波を受信させ、シャッター開度η＝０．０６７の情報受信装置２に搬送波次数ｋ＝２０付近の調波を受信させるなどして情報受信装置２のシャッター開度に応じて異なるデータを受信するように振り分けてもよい。すなわち、情報送信装置１の構成は同じであるが、情報受信装置２において、受信者が持つ情報受信装置２において、互いに異なるシャッター開度のうちの１つのシャッター開度に対応する搬送波次数付近の調波の信号のみを抽出することで、以下のように秘話付き多重データ通信システムを構成できる。

図６は前記情報伝送システムのＣＭＯＳ動画カメラ２１において受信した搬送波の次数ｋに対する正規化信号レベル特性を示すグラフである。ここで、図６において、
（Ａ）シャッター開度η＝０．０５０に設定したＣＭＯＳ動画カメラ２１の、搬送波次数ｋによる受信特性６１と、
（Ｂ）シャッター開度η＝０．０６８に設定したＣＭＯＳ動画カメラ２１の、搬送波次数ｋによる受信特性６２とを示す。

図６から明らかなように、１≦ｋ≦１０付近の次数の搬送波は受信特性６１，６２にも現れる。ｋ＝２０付近の搬送波は受信特性６２にのみ現れ、受信特性６１には現れない。また、ｋ＝３０付近の搬送波は受信特性６１にのみ現れ、受信特性６２には現れない。この性質から、送信者はあらかじめ受信者（情報受信装置２）ごと、シャッター開度ηを指定しておいて、同報的な通信テキストは１≦ｋ≦１０付近の次数の搬送波で送る。一方で、受信特性６１を有する情報受信装置２に対しては、選択送信すべき通信テキストは次数ｋ＝３０の搬送波で送り、受信特性６２を有する情報受信装置２に対しては、選択送信すべき通信テキストは次数ｋ＝２０の搬送波で送る、というような調整をすることができる。

以上説明したように、方式Ａによれば、搬送波次数ｋごとの減衰度は受信者の情報受信装置２のシャッター開度により決まるので、受信者は自身の情報受信装置２のシャッター開度を加減することで、受信される調波の搬送波次数ｋを選択する。この性質を利用して、受信者（情報受信装置）ごとに秘話を持つ多重データ通信を行うことができる。

任意の濃淡模様の描出．
情報受信装置２のシャッター開度ηをη＝０．０１に設定することで、５０個程度の搬送波を使用した通信が可能となる。これに方式Ａを併用すれば、フーリエ係数Ｂ_ｋとして０≦ｋ≦５０程度の次数まで、意図したスペクトル形状で受信されるように送信波形を調整することができる。撮影画面をフーリエ変換したときの５０個のスペクトルを任意に調整することで、撮影画面を走査方向に等分した１００個の区画について、おのおのを任意の明るさに設定できる。ここで各区画が複数の走査線からなる帯状領域の場合は、その中央の走査線の輝度をその区画の輝度とする。負の明るさを送出できない可視光通信においては、直流成分Ｂ_０は変調信号ｂ（ｔ）≧０を保障するため加えるバイアスとして使用され、自由設定をできない。直流成分Ｂ_０に制約のあることは、撮影画面の平均的輝度は任意に制御できないことを意味するので、その意味で走査線の区画１００個における輝度の差を任意設定できることになる。

このように変調した場合、撮影画面の等間隔な１００個の走査線区画はあらかじめ設定した輝度値の差をもって現れる。送信時に特定位置の走査線の明るさに情報を乗せるよう、変調しておくことで、撮影画面の当該走査線の値を直接読むことで、空間フーリエ変換を行うことなしに復調できる、という利点をもつ。

本方式による具体的な通信方式は下記のとおりである。受信者（情報受信装置２）に対し、ＣＭＯＳ動画カメラ２１のシャッター開度ηを指定の値、例えばη＝０．０１に設定するように要請する。これはあらかじめ決めておいてもよいし、その場所で可視光通信以外の通信方式で伝送してもよいし、可視光通信の冒頭部において比較的任意のシャッター開度で受信可能な低次搬送波を使用して伝送してもよい。通信テキストを６ビットごとのシンボルに分解し、それを１００シンボルに対する、６４段階の輝度値列とする。その輝度値の列を１次元空間フーリエ変換し、フーリエ係数Ｂ_ｋ（−５０≦ｋ≦５０）を得る。Ｂ_−５０＝Ｂ_５０（ナイキスト成分の実数）である。各次数の調波に対して方式Ａの補正を行い、スペクトル係数β_ｋを得て、それを逆フーリエ変換して変調信号ｂ（ｔ）を求め、変調信号ｂ（ｔ）に従って、面光源１４を駆動することで、変調光信号を送信する。

受信者は所定のシャッター開度ηを有する情報受信装置２を用いて、この信号をＣＭＯＳ動画カメラ２１で受信する。すると得られたビデオフレームの１００個の区画の輝度（各区画が複数の走査線よりなる領域の場合は、領域中央の走査線の輝度）が、前記で変調した６４段階のレベルに対応しているので、それを量子化してシンボルに復元することで復調できる。

輝度のレベルを、複数Ｑ個の段階に変調したとして、段階の差の自由度はＱ−１であるため、この方式での得られる通信ビットレートは１００・ｌｇ（Ｑ−１）ｆ_ｐ（ただし、ｌｇ（ｘ）は２を底とする対数）であり、Ｑ＝１６としたとき６０フレーム／秒のカメラで約２３４４１ビット／秒の通信速度を得られる。

次いで、前記情報伝送システムにおける「最適変調方法」について以下に説明する。

上述のように、フーリエ係数Ｂ_ｋとして−５０≦ｋ≦５０のスペクトルを設定することで、シャッター開度ηを指定して撮影画面に任意の１００個の区画の濃淡を描かせることができるが、それを使った通信の実現方式に次のようなものがある。

この１００個の区画のうち、ある４個の区画ＳＳ０〜ＳＳ３に注目する。これは画面上に任意にとれるが、通常は撮影フレーム内の連続した４個の区画で考える。その４個の区画の輝度情報ｕ_０，ｕ_１，ｕ_２，ｕ_３を、図６のように三角波を各区画ＳＳ０〜ＳＳ３でサンプリングしたものと考えることにする。ここで、ｖ＝ｕ_０−ｕ_２，ｗ＝ｕ_１−ｕ_３とする。

図７は変形例にかかる最適変調方法を示す図であって、走査区画ＳＳ０〜ＳＳ３における信号値を示す概念図である。ここで、図７における信号値の三角波の正のピークの位置Ｄに注目し、連続量としてその位置の検出方法（復調方式）について述べる。

前記式の関数を使って、次式で表される。

ここで、Ｄは三角波の位相を表すが、その値を変化させて、例えば２５６個の位置の位相変調（２５６値ＰＳＫ）を行なって情報伝送できる。２５６個の位置の位相変調を前記の（９）式で復調することで、４個の区画ＳＳ０〜ＳＳ３の輝度から８ビットの情報を得られる。画面全体でそのような４区画の組を１００／４＝２５組とれるため、６０フレーム／秒のカメラによるこの方法での情報伝送速度は６０×（１００／４）×８＝１２０００ビット／秒である。この方法の優れた点は、復調にフーリエ変換を要しないこと、および画面の輝度の絶対値を用いるかわり、その差および比の値のみを使用するため、動画撮影条件の変化にともなう輝度値変化の影響を受けにくいことである。

デコンボリューションによる障害物の影響の除去．
以上までのローリングシャッター方式のカメラは、その撮影フレーム全体に均一に信号源の変調光源を受光しているものと仮定していた。しかし実施方式によれば、変調光源とカメラの間に、その光源の一部を遮ったり、弱めたりする障害物の存在する場合がある。

障害物の伝達関数（撮影フレームＩに対して寄与する関数）をＸとすれば、障害物がなかった場合の撮影フレームＩに対し、次式のように撮影されることになる。

Ｉ’＝ＸＩ

周波数空間では障害物の伝達関数Ｘの１次元フーリエ変換をχと書いて、撮影フレームＩのスペクトルは次式で表される。

Ｂ’＝χ＊Ｂ

ここで、＊は畳み込み演算を示す。この関係は畳み込み行列χにより、次式で表される。

Ｂ’＝χＢ

畳み込み行列χは所定の条件で逆行列を持つので、次式に示すように、周波数空間において障害物の影響を除去できる。

Ｂ＝χ^−１Ｂ’

ここで、χ^−１はこの障害物Ｘに関する逆畳み込み（デコンボリューション）行列である。従って、前記式のごとく、可視光信号のフレーム出力信号のフーリエ変換係数Ｂ’に対して、情報送信装置１と情報受信装置２との間に存在する障害物の伝達関数のフーリエ変換の逆畳み込み（χ^−１）を乗算することで、前記障害物に関する情報を除去するができ、データ通信の誤り率を改善できる。

情報伝送通信の多重化．
図８は変形例にかかるデータ分割方式を有する情報送信装置１Ａ及び情報受信装置２Ａの構成例を示すブロック図である。図８において、情報送信装置１Ａは、メモリ１１と、データ分割部１５と、複数Ｎ個の送信制御部１６−１〜１６−Ｎと、面光源部１７とを備えて構成される。ここで、各送信制御部１６−１〜１６−Ｎは図２Ａのパケット発生部１２及び変調処理部１３に対応する。また、情報受信装置２は、データ分割部２６と、複数Ｎ個の受信制御部２７−１〜２７−Ｎと、データ合成部２８と、ディスプレイ２５とを備えて構成される。ここで、各受信制御部２７−１〜２７−Ｎは、図２Ｂの復調処理部２２と、パケット処理部２３と、誤り訂正部２４とに対応する。

上述の実施形態にかかる通信方式では変調光源は面光源１４であり、ＣＭＯＳ動画カメラ２１の撮影フレーム全体で受光しているものと仮定していた。しかし、図８のように、例えば縦長形状を有する複数Ｎ個の面光源１８−１〜１８−Ｎを例えば横方向で並置してこれらを同期して動作させ（送信する画面を複数の分割画面に分割する）、通信メッセージのデジタルデータ信号をデータ分割部１５により、各送信制御部１６−１〜１６−Ｎ及び各面光源１８−１〜１８−Ｎに分割分配して送信制御、駆動及び送信させる。送信された面形状の変調光信号を１つのＣＭＯＳ動画カメラ２１で受光し、撮影された光源エリア（分割画面）毎にデータ分割部２６により複数のデジタルデータ信号に分割し、対応する複数の受信制御部２７−１〜２７−Ｎ（複数の送信制御部１６−１〜１６−Ｎに対応する）を用いて受信制御した後、データ合成部２８により合成するように受信処理することで、Ｎ個の面光源１８−１〜１８−Ｎを使って通信速度を複数Ｎ倍にすることができる。これにより、空間分割多重化を行うことができる。なお、複数の受信制御部を備えるときは、可視光信号に含まれる同期信号を用いて当該複数の受信制御部の動作を同期させることができる。

最近の光源装置は面光源であって、ＲＧＢ三色を独立に発光させることのできるものがあり、また動画カメラもＲＧＢの各色を分離して受光できる。この性質を使って、ＲＧＢ各色に通信メッセージを分配して送信し、分離して受信することで、通信速度を３倍にすることができる。これにより、波長分割多重化を行うことができる。上述の空間分割多重化の情報伝送システムでは図８の構成を有するが、当該波長分割多重化の情報伝送システムは、図８において、以下のように変更することで構成できる。
（１）面光源１８−１〜１８−Ｎを、面光源部１７の各色情報の駆動部に変更する。
（２）データ分割部２６は、各色情報でデータを分割する。

なお、前記の空間分割多重化と前記波長分割多重化とを併用してもよい。

フリッカーの抑制．
本実施形態にかかる情報伝送通信に使用する光源は、ＣＭＯＳ動画カメラ２１の基本フレーム周波数を基本周波数として発光させ、当該基本フレーム周波数は現在の多くのＣＭＯＳ動画カメラ２１において６０Ｈｚ程度となる。このスペクトル成分は肉眼にフリッカー（ちらつき）として検出される。搬送波次数ｋにおいて、ｋ＝１，２，３の使用をやめ、ｋ≧４のものを使えば、これはスペクトル成分として２４０Ｈｚ以上しか含まなくなり、多くの場合フリッカーとして認知されない光源となる。本実施形態にかかる通信方式では使用する搬送波次数ｋを自由に選べるので、低次の次数の調波の使用を避けることでフリッカーのない変調面光源を設定でき、部屋の主照明を変調光源に使用するなど可視光通信の適用範囲を広げることができる。

情報送信装置と情報受信装置との間の同期．
本実施形態にかかる通信方式では通信に先立ち、通信パケット先頭の同期部３１（図１）を使って、情報送信装置１と情報受信装置２との間の動作タイミングを同期化する。この操作により６０フレーム／秒の走査線数１０００本程度のＣＭＯＳ動画カメラ２１で送受信器を数マイクロ秒程度の精度でクロック同期をさせることができる。この同期操作を使って、１つの光源に対し複数のＣＭＯＳ動画カメラ２１を同期させ、複数のカメラによる複数視点の画像を同じフレームタイミングで撮影することができる。例えばステレオカメラで動く物体を撮影するなどの応用がある。

また、通信メッセージの送信とともに情報送信装置１から音響信号を送出し、それを受信器マイクロフォンで受信し、カメラの光学信号とマイクロフォンの音響信号のタイミングを比較することで、音響の伝搬遅延時間の絶対値を知ることができる。伝搬遅延時間に音響の伝搬速度を乗じれば、送受信器の音響スピーカと受信機マイクロフォン間の距離を得られ、送受信装置相互の幾何学的な配置を決定することができる。これはスピーカの位置をあらかじめ決めておいて、情報受信装置２の位置を知る測位応用などに使うことができる（例えば非特許文献２参照）。

変形例．
以上の実施形態においては、スマートフォンを用いて情報受信装置２を構成しているが、本発明はこれに限らず、例えばパーソナルコンピュータなどの電子機器を用いて情報受信装置２を構成してもよい。

以上の実施形態においては、ローリングシャッター方式のＣＭＯＳ動画カメラ２１を用いているが、本発明はこれに限らず、ローリングシャッター方式の動画カメラであればよい。

以上詳述したように本発明にかかる情報伝送システム等によれば、従来技術に比較して高速で可視光通信を行うことができる情報伝送システムを提供できる。

１，１Ａ…情報送信装置、
２，２Ａ…情報受信装置、
１１…メモリ、
１２…パケット発生部、
１３…変調処理部、
１４…面光源、
１５…データ分割部、
１６−１〜１６−Ｎ…送信制御部、
１７…面光源部、
１８−１〜１８−Ｎ…面光源、
２０…コントローラ、
２０ｍ…プログラムメモリ、
２１…ＣＭＯＳ動画カメラ、
２２…復調処理部、
２３…パケット処理部、
２４…誤り訂正部、
２５…ディスプレイ、
２６…データ分割部、
２７−１〜２７−Ｎ…データ合成部、
３１…同期部、
３２…データ部、
３３…パリティ部、
４１…シンボル分解部、
４２−１〜４２−Ｋ…ＱＡＭ変調器、
４３…逆フーリエ変換部、
５１…空間フーリエ変換部、
５２−１〜５２−Ｋ…回転振幅補正器、
５３−１〜５３−Ｋ…ＱＡＭ復調器、
５４…シンボルビット列変換部。

本発明にかかる情報送信システム等によれば、従来技術に比較して高速で可視光通信を行うことができる。また、前記情報伝送システムのための情報送信装置、情報受信装置及びプログラムを提供することができる。

フレーム周期を超える速度で明るさの変化している面形状発光をローリングシャッター方式の動画カメラで受光すると、各フレームで一般に濃淡の変化した横縞模様が撮影される。この縞模様を空間フーリエ変換するとビデオフレームレートｆ_ｐを基本調波とした、ビデオフレームレートｆ_ｐごとの周波数で並んだ高調波系列が得られる。もしこの各調波を振幅変調、位相変調を含む直交振幅変調（以下、ＱＡＭ変調という）で撮影できれば、ラジオ波でのＯＦＤＭ（直交周波数多重変調）に類似したデジタル通信が可能となる。以下、このような縞模様を撮影させるための面光源変調方式について説明する。

動画カメラはｂ（ｔ＋δＴ_ｐ＋（ｎ／Ｎ）Ｔ_ｐ）の信号を、時間期間０≦ｔ≦ηＴ_ｐにわたり積分したものを撮像素子の第ｎライン目の信号として出力する。それをｔに注目して複素フーリエ係数に変換すれば、ｋ次フーリエ係数Ｂ_ｋは次式で表される。

通信方式．
Ｔ_ｐを基本周期とする変調された面光源の発光信号（変調信号）ｂ（ｔ）を撮影したとき、ローリングシャッター方式のカメラのフレームに写る発光信号のフーリエ係数は、走査線ごとに、Ｂ（（ｎ／Ｎ）Ｔｐ）である。従って、これを一次元離散空間フーリエ変換すれば、フーリエ係数Ｂ_ｋを得られることがわかった。各フーリエ係数Ｂ_ｋの値は、もとの変調信号ｂ（ｔ）のフーリエ係数β_ｋと（４）式の関係にある。これを考慮しつつ、発光の変調信号ｂ（ｔ）を設計し、それを動画カメラ２１で受光し、撮影されたフレームを離散空間フーリエ変換することで、フーリエ係数Ｂ_ｋを得る。次にその詳細な方法を述べる。

図１を示すパケット構成例において、１つのパケットは、同期部３１と、データ部３２と、パリティ部３３とを備えて構成される。本実施形態にかかる変復調方式を用いた可視光通信では、発光波形（変調信号）ｂ（ｔ）は動画カメラ２１の撮影タイミングと同期していること、すなわち（２）式において遅延係数δ＝０であることが望ましい。図１の同期部３１は当該制御を行うために用いられる部分であって、情報送信装置１は、数フレーム時間にわたり既知のスペクトル係数β_ｋからなる信号を生成する。送信された光信号を受信してフーリエ変換したとき、同期のずれにある場合、すなわち、遅延係数δ≠０のときに、フーリエ係数Ｂ_ｋは（４）式の関係にさらに位相変化が加わり、ＡＢ_ｋｅ^{ｊ２πｋδ}が得られる。ここで、Ａは送受信装置の感度特性で決まる振幅である。このことから、同期部３１を使用して送信と受信の位相差（遅延位相差）δを求め、また、受信信号強度の正規化係数１／Ａを決定する。最近のＣＭＯＳカメラは撮影中にシャッタータイミングを補正することで、遅延係数δ＝０になるように制御できるものが多いが、同期部３１はその制御に要する時間に十分相当する長さであることが望ましい。

図２Ａにおいて、情報送信装置１は、メモリ１１と、パケット発生部１２と、変調処理部１３と、面光源１４とを備えて構成される。例えばメモリ１１に格納された送信データ（メッセージデータであるデジタルデータ信号）はパケット発生部１２に入力される。パケット発生部１２は、図１のように、パケットデータを構成するように発生して変調処理部１３に出力する。変調処理部１３は、入力されるパケットデータに従って、情報受信装置２のローリングシャッター方式の動画カメラ２１のフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を、詳細後述するように強度変調しかつＯＦＤＭで変調した後、単数のＬＥＤの発光を拡散して得られる、ないし複数のＬＥＤが格子形状に並置して得られる面光源１４を駆動する。この際、複数ＬＥＤは直列ないし並列接続され、同一の信号波形で発光する。面光源１４からは面形状の変調光信号が放射される。

また、通信メッセージの送信とともに情報送信装置１から音響信号を送出し、それを受信器マイクロフォンで受信し、カメラの光学信号とマイクロフォンの音響信号のタイミングを比較することで、音響の伝搬遅延時間の絶対値を知ることができる。伝搬遅延時間に音響の伝搬速度を乗じれば、情報送信装置１の音響スピーカと情報受信装置２のマイクロフォン間の距離を得られ、情報送信装置１と情報受信装置２の相互間の幾何学的な配置を決定することができる。これはスピーカの位置をあらかじめ決めておいて、情報受信装置２の位置を知る測位応用などに使うことができる（例えば非特許文献２参照）。

Claims (14)

1. 情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報送信装置であって、
   前記情報送信装置は、入力されるデジタルデータ信号に従って、前記各次搬送波を直交振幅変調した後、逆フーリエ変換することにより前記変調信号を発生する変調手段を備えたことを特徴とする情報送信装置。
2. 前記変調手段は、前記デジタルデータ信号に従って、前記動画カメラのフレーム出力信号を等間隔に分割した複数の区画で得られる強度信号が所定の設定値となるように前記各次搬送波を直交振幅変調することにより前記変調信号を発生することを特徴とする請求項１記載の情報送信装置。
3. 前記変調手段は、前記フレーム出力信号を等間隔に分割した複数の区画で得られる強度信号により決定される三角波ピークの位置が変更されるように前記変調信号を発生することを特徴とする請求項２記載の情報送信装置。
4. 前記変調手段は、所定の低次の搬送波を除く各次搬送波を用いて変調することを特徴とする請求項１〜３のうちのいずれか１つに記載の情報送信装置。
5. 情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報受信装置であって、
   前記情報受信装置は、前記動画カメラから出力される可視光信号のフレーム出力信号をフーリエ変換した後、直交振幅復調することにより、デジタルデータ信号に復調する復調手段を備えたことを特徴とする情報受信装置。
6. 前記復調手段は、前記可視光信号のフレーム出力信号に対して、前記情報送信装置と前記情報受信装置との間に存在する障害物の伝達関数のフーリエ変換の逆畳み込みを乗算することで、前記障害物に関する情報を除去することを特徴とする請求項５記載の情報受信装置。
7. 前記情報受信装置は、前記可視光信号に含まれる同期信号を用いて、前記動画カメラの動作タイミングを修正することで、前記情報送信装置と前記情報受信装置との間の動作タイミングを調整することを特徴とする請求項５又は６記載の情報受信装置。
8. 前記情報受信装置は、複数の前記復調手段を備え、前記同期信号を用いて複数の前記復調手段の動作を互いに同期させることを特徴とする請求項７記載の情報受信装置。
9. 請求項１〜４のうちのいずれか１つに記載の情報送信装置と、
   請求項５〜８のうちのいずれか１つに記載の情報受信装置とを備えたことを特徴とする情報伝送システム。
10. 前記変調手段は、特定の情報受信装置に向けて、前記特定の情報受信装置に対応する搬送波次数の調波を用いて搬送波を変調し、
    前記復調手段は、前記搬送波次数に対応する所定のシャッター開度を前記動画カメラに設定することで、前記特定の情報受信装置でのみ選択的に前記デジタルデータ信号を復調することを特徴とする請求項９記載の情報伝送システム。
11. 前記情報送信装置は、
    前記デジタルデータ信号を、送信する画面を複数の分割画面に分割したときの当該複数の分割画面に対応して、複数のデジタルデータ信号に分割するデータ分割手段と、
    前記分割された各デジタルデータ信号に従って搬送波を複数の前記変調信号に変調する複数の前記変調手段と、
    複数の前記変調信号に従って駆動される複数の前記面光源とを備え、
    前記情報受信装置は、
    前記複数の分割画面に対応する各デジタルデータ信号を復調する複数の前記復調手段と、
    複数の前記復調手段からのデジタルデータ信号を１つのデジタルデータ信号に合成する合成手段とを備えたことを特徴とする請求項９又は１０記載の情報伝送システム。
12. 前記情報送信装置は、
    前記デジタルデータ信号を、送信する画面を複数の色情報に分割したときの当該複数の色情報に対応して、複数のデジタルデータ信号に分割するデータ分割手段と、
    前記分割された各デジタルデータ信号に従って搬送波を複数の前記変調信号に変調する複数の前記変調手段と、
    複数の前記変調信号に従って対応する複数の色情報でそれぞれ駆動される複数の前記面光源とを備え、
    前記情報受信装置は、
    前記複数の色情報に対応する各デジタルデータ信号を復調する複数の前記復調手段と、
    複数の前記復調手段からのデジタルデータ信号を１つのデジタルデータ信号に合成する合成手段とを備えたことを特徴とする請求項９又は１０記載の情報伝送システム。
13. 情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報受信装置のためのプログラムであって、
    前記情報受信装置が、前記動画カメラから出力される可視光信号のフレーム出力信号をフーリエ変換した後、直交振幅復調することにより、デジタルデータ信号に復調するステップを含むことを特徴とする、コンピュータにより実行されるプログラム。
14. 前記情報受信装置は、電子機器であることを特徴とする請求項１３記載のプログラム。

Images