WO2020045272A1 - 光変調方法、光復調方法、送信機、受信機 - Google Patents

光変調方法、光復調方法、送信機、受信機 Download PDF

Info

Publication number
WO2020045272A1
WO2020045272A1 PCT/JP2019/033008 JP2019033008W WO2020045272A1 WO 2020045272 A1 WO2020045272 A1 WO 2020045272A1 JP 2019033008 W JP2019033008 W JP 2019033008W WO 2020045272 A1 WO2020045272 A1 WO 2020045272A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
symbol period
optical signal
camera
optical
Prior art date
Application number
PCT/JP2019/033008
Other languages
English (en)
French (fr)
Inventor
義哲 成末
悠貴 外園
浩市 長谷川
博之 森川
ティラット サクデーシャヨン
椿豪 廖
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Publication of WO2020045272A1 publication Critical patent/WO2020045272A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/516Details of coding or modulation

Abstract

新たな光変調方法では、シンボル期間Tsymの間、光信号の色を所定の複数色#1~#nで巡回的に遷移させる。そして、各シンボル期間Tsymの先頭の色を、複数色#1~#nの中から送信データにもとづいて選択する。

Description

光変調方法、光復調方法、送信機、受信機
 本発明は、カメラを用いた光通信に関する。
 近年、スマートフォンなど多くの情報端末にカメラが搭載されている。情報端末に搭載されるカメラを利用して、直感的に情報を取得する方式として、LED(発光ダイオード)-カメラ間通信が提案されている(特許文献1)。
 LED-カメラ間通信は、(i)カメラのフレームレート以下の速さで低速に点滅したLEDから1フレーム1シンボル以下で情報を取得する方式(非特許文献1,2)と、(ii)フレームレート以上の速さで高速に点滅したLEDからローリングシャッター現象のもとで情報を取得する方式(非特許文献3~8)に大別される。
特開2018-121169号公報
カシオ計算機株式会社、"可視光通信システムPicalico",http://picalico.casio.com/ja/about/, 2018年5月検索 倉木健介、加藤圭造、田中竜太、"モノに情報を付与できるLED照明技術" FUJITSU, vol. 66, no.5, pp. 88-93, Mar. 2015 H. Park, I. Yeom, and Y. Kim, "Watch me if you can exploiting the nature of light for light-to-camera communications," Proceedings of the 2017 International Conference on Embedded Wireless Systems and Networks, pp.329-334, Feb. 2017. Z. Yang, Z. Wang, J. Zhang, C. Huang, and Q. Zhang, "Wearables can afford: Light-weight indoor positioning with visible light," Proceedings of the 13th Annual International Conference on Mobile Systems, Applications, and Services, pp.317{330, May. 2015. F.L. Julia, C.M. Daniel, and P.A. Josep, "A reliable asynchronous protocol for VLC communications based on the rolling shutter effect," Proceedings of IEEE Global Communications Conference (GLOBE-COM), pp.1-6, Dec. 2015. H. Du, J. Han, X. Jian, T. Jung, C. Bo, Y. Wang, and X.Y. Li, "Martian: Message broadcast via LED lights to heterogeneous smartphones," IEEE Journal on Selected Areas in Communications, vol.35, no.5, pp.1154-1162, May. 2017. N. Rajagopal, P. Lazik, and A. Rowe, "Visual light landmarks for mobile devices," Proceedings of the 13th international symposium on Information processing in sensor networks, pp.249-260, Apr. 2014. Y. Yang, J. Hao, and J. Luo, "CeilingTalk: Lightweight indoor broadcast through LED-camera communication," IEEE Transactions on Mobile Computing, vol.16, no.12, pp.3308{3319, Dec. 2017.
 前者の方式(i)では、LED光がカメラの画面に写る領域がわずか数ピクセルであってもLEDの色が認識できれば通信が可能であるが、LEDの低速な点滅が人間の眼に知覚されるフリッカーが問題となる。非特許文献1では、RGB-LEDの色を100ms周期で切り替え、色度座標の違いに情報量を与えるCSK(Color Shift Keying)によって数10bpsの通信を実現している。しかしながら、100ms周期の色切り替えではフリッカーが生じるため、非特許文献1を利用できる環境は限られる。
 非特許文献2では、RGB-LEDの各素子から発する光の強弱をそれぞれ時系列で制御し、光の色をわずかに変化させるCSKにより、フリッカーフリーで最大10bpsの通信を実現している。しかしながら、非特許文献2では、LED光をモノごとに照射し、その反射波を利用して一つのモノから情報を受信することを想定しており、複数の送信機が生成した光を遠方から同時に受信することについて検討されていない。また、16bitの伝送に2秒以上かかり、通信速度の観点からアプリケーションが限定される。
 後者の方式(ii)は、LED-カメラ間の通信速度を高速化する方式として注目されているものの、短い通信距離が課題となる。ローリングシャッター現象によるLED光の縞が画面に写る領域の大きさが、通信速度および通信の信頼性に関して支配的な影響を持つためである。
 このようにフリッカーを抑制しながら、カメラの画面に数ピクセルのみ写るLED光からの復調を可能とする長距離型LED-カメラ間通信は存在しない。
 本発明は係る状況に応じてなされたものであり、そのある態様の例示的な目的のひとつは、新たな光通信方式の提供にある。
 本発明のある態様は、光変調方法に関する。光変調方法は、複数色を所定の順序で巡回的に遷移する光信号を生成し、各シンボル期間の先頭の色を、複数色の中から送信データにもとづいて選択する。
 本発明の別の態様は、上記光変調方法に対応する光復調方式である。この復調方式は、ローリングシャッター方式のカメラで光信号を撮影するステップと、光信号が含まれる画素を特定するステップと、当該画素において、各フレームで得られた色にもとづいて、受信データを取得するステップと、を備える。
 なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
 本発明によれば、新たな光通信方式を提供できる。
図1(a)、(b)は、本実施の形態に係る光通信システムを示す図である。 実施の形態に係る変調方法を説明する図である。 図3(a)、(b)は、4-DCSKの信号設計の一例を示す図である。 4-DCSKによるデータ送信の一例を示す図である。 ラインごとの露出タイミングを説明する図である。 カメラによって光信号を撮影して得られる画像を説明する図である。 フレーム周期Tfcとシンボル周期Tsymの関係を示す図である。 照射位置の変化に対応する復調処理を説明する図である。 色境界を説明する図である。 手ぶれによるシンボルエラーの発生および検出方法を説明する図である。 SERの測定結果を示す図である。 ARブラウザの一例を示す図である。
 以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
 本実施の形態では、色を用いた光通信技術を説明する。本明細書において「色」が異なるとは、色相、彩度、明度の少なくともひとつが異なることをいう。
1. システム構成
 図1(a)、(b)は、本実施の形態に係る光通信システムを模式的に示す図である。光通信システム100は、送信機200および受信機300を備える。この光通信では、予め定めた異なる複数(n≧2)の色が使用される。便宜的に複数色に#1~#nの番号を付し、それらを区別する。
 図1(b)を参照する。送信機200は、光源210および変調器220を備える。光源210は、所定の複数色#1~#nで切り替え可能な光信号S1を生成可能である。光源210の種類や構成は限定されないが、LED(発光ダイオード)やLD(レーザダイオード)、有機EL(Electro Luminescence)素子などを用いることができる。あるいは光源210として、白色光源と液晶デバイスの組み合わせを用いてもよい。詳しくは後述するが、変調器220は送信すべき情報(送信データS2)に応じて、光源210を制御する。
 受信機300は、カメラ310と、復調器320を備える。たとえば受信機300は、スマートフォンやタブレット端末など、動画撮影機能付きの情報端末である。カメラ310は、所定のフレーム周期Tfcで、送信機200が出力する光信号S1を撮影する。送信機200と受信機300との距離は、数m~数十mの長距離であり、光信号S1は、カメラ310の数画素にわたりスポット的に照射される。
 復調器320は、カメラ310が生成する画像を処理し、光信号S1に含まれる情報(受信データS3)を復調する。復調器320は、情報端末に搭載されるプロセッサ(CPU)と、ソフトウェアプログラムの組み合わせにより実装することができる。
 図1(a)には、1個の送信機200と1個の受信機300のペアが示されるが、実際には、1個の受信機300が複数の光源210からの光信号を受信可能であり、また、1個の光源210は、複数の受信機に対して光信号を送信可能である。
 以上が光通信システム100の概要である。続いて送信機200における変調方法について説明する。
2. 変調方法(DCSK)
 図2は、実施の形態に係る変調方法を説明する図である。本明細書においてこの変調方式を、DCSK(Differential Color Shift Keying)と称する。光信号S1の色は、1シンボル期間Tsymの間、複数色#1~#nを所定の順序で巡回的に遷移する。図2において横軸は時間であり、光信号S1の色遷移を示す。Tcolorは色が遷移する周期(遷移周期)である。シンボル周期Tsymは、カメラ310のフレーム周期Tfcの整数倍であることが好ましく、本実施の形態ではTsym=Tfcである。Tは、n色の巡回周期を表しおり、T=Tcolor×nである。Tをキャリア周期という。図2に示すように、先頭の色はシンボル期間Tsymごとに可変であり、#1~#nのn色から選択可能である。
 DCSKでは、各シンボル期間Tsym_curの先頭の色#yは、1つ前のシンボル期間Tsym_preの先頭の色#xを基準として相対的に決定され、したがって、連続する2フレームの先頭の色番号の差(色偏移量Δ=y-x)が、情報を表す。n色を用いたDCSK(n-DCSKという)では、1シンボルでn値の情報を伝送できる。なお任意の色番号x,yについて、x=x±n,y=y±nが成り立つものとする。色の巡回および先頭の色の決定は、図1の変調器220によって行われる。
 図3(a)、(b)は、4-DCSKの信号設計の一例を示す図である。4-DCSKでは、シンボルごとに、2ビット(4値)の情報を伝送可能であり、図3(a)に示すように、"00","01","10","11"を、色偏移量Δの0,1,2,3に割り当てることができる。
 図3(b)は、4-DCSKの信号空間ダイアグラムの一例である。ここでは便宜的に、4個の色#1~#4を、原点からの距離が等しく、位相差がπ/2となるような4個の信号点にマッピングしている。したがって、色偏移量Δは、図3(b)の信号空間における位相差に対応付けることができる。
 信号点は、シンボル周期Tsymの先頭の色に対応付けられており、そのシンボル期間においては、信号点の色を始点として、遷移周期Tcolorごとに反時計回りに色遷移することを表す。デジタル通信とのアナロジーで考えると、一巡する色遷移#1~#nは、キャリア周期Tで一巡する搬送波(cos波)に対応づけることができる。そして先頭色が#iであるi番目の信号点#i(1≦i≦n)は、cos(θ+2π(i-1)/n)に対応付けることができる。
 図4は、4-DCSKによるデータ送信の一例を示す図である。図4には、連続する5個のシンボル期間Tsym_0~Tsym_4が示され、送信すべきデータが、"01","01","10","00"であるとする。また初期のシンボル期間Tsym_0の先頭の色は#1である。
 Tsym_0に着目する。送信データが"01"であるから、色偏移量Δは1であり、次のシンボル期間Tsym_1の先頭の色は、y=x+Δ=1+1=2となる。
 続いてTsym_1に着目する。送信データが"01"であるから、色偏移量Δは1であり、次のシンボル期間Tsym_2の先頭の色は、y=x+Δ=2+1=3となる。
 続いてTsym_2に着目する。送信データが"10"であるから、色偏移量Δは2であり、次のシンボル期間Tsym_3の先頭の色は、y=x+Δ=3+2=1となる。
 続いてTsym_3に着目する。送信データが"00"であるから、色偏移量Δは0であり、次のシンボル期間Tsym_4の先頭の色は、y=x+Δ=1+0=1となる。
 以上がDCSKの説明である。n=2、フレームレートをF=1/Tfcとするとき、n-DCSKにおける通信速度は、m×F(bps)となる。一般的なスマートフォンのカメラでは、共通して30fpsのフレームレートに設定可能であるから、4-DCSKの場合で60bpsの通信速度が達成できる。なお、色数nは、通信速度とSER(Symbol Error Rate)のトレードオフを考慮して決定すればよい。
 続いてDCSKの利点を説明する。従来のCSKでは、1シンボル期間の間、光信号S1の色は同一である。したがって1シンボル時間が数十msを超える場合、フリッカーが発生する。これに対して、DCSKによれば、遷移周期Tcolorを数ms(たとえば5ms)程度と十分に短くとることにより、色の変化が人間の目に知覚されなくなり、フリッカーの発生を抑制できる。
3. 復調方法
 続いて、受信機300におけるDCSK信号の復調を説明する。図1に戻る。カメラ310は、ローリングシャッター方式のカメラであり、1ライン、あるいは数ラインを1ブロックとして、一定間隔Tごとに、ブロックを単位として画素値を取り込む。本実施の形態では、1ブロックは1ラインを含むものとする。
 図5は、ラインごとの露出タイミングを説明する図である。CMOSイメージセンサは、ラインごとに露出時間Tの間入射光を集め、直後にセンサが受光した光の量をTの時間をかけて読み出していく。Tは受信機300の機種によって長さが異なり、同じ機種では一定である。各ラインの読み出しタイミングは重複できないため、あるラインの露出開始からT後に次のラインの露出時間が開始する。ライン数hのカメラ310では、1ライン目の露出開始からhライン目の露出終了までのフレーム時間Tは式(1)で表される。
   T=(h-1)T+T   …(1)
 一方、カメラ310はフレーム周期Tfcを設定することができ、Tfc-Tの間が撮像不能なギャップ時間Tとして存在する。次のフレームに向けた準備を行う間、カメラは撮像不能となる。Tはカメラの自動露出補正機能によって、環境光の輝度に応じて変動する。通常の撮像設定では、TがTと比べ非常に長く、LEDの点滅による輝度の変化が均一化されてライン間の画素値の変化は極めて小さくなる。LED-カメラ間通信では、各ラインにおいてLEDの色を鮮明に観測するため、露出時間は可能な限りTよりも小さく設定される。
 図6は、カメラ310によって光信号S1を撮影して得られる画像を説明する図である。簡単のために、まずは送信機200からの光信号S1が、カメラ310の全画素に均一に照射されている場合を考える。上述のように、カメラ310のフレーム周期Tfcはシンボル周期Tsymと等しく、光信号S1の色は、遷移周期Tcolorで巡回的に変化する。一方、ローリングシャッター方式では、ライン(ブロック)ごとに露光タイミングが異なる。したがってカメラ310により、光信号S1に含まれる複数色#1~#nが縞模様として撮影される。各色の帯の幅は、TcolorとTに応じて定まり、隣接する(Tcolor/T)本のラインに、同じ色が表れる。図6の例では2ラインごとに色が変化している。
 実際には、光信号S1は、カメラ310の一部の画素にのみスポット的に照射される。そこで復調器320は、光信号S1が写っている画素を検出する。そして、その画素の画素値を毎フレーム、取得する。そして得られた画素値から、光信号S1が複数色#1~#nのいずれであるかを判定する。
 そして復調器320は、同一画素について、現在のフレームで得られた色#pと、1個前のフレームで得られた色#qの差分(色偏移量)にもとづいて、受信データを復調する。以上がDCSKにおける復調処理である。
 続いてDCSK通信におけるさらなる利点を説明する。図7は、フレーム周期Tfcとシンボル周期Tsymの関係を示す図である。ここでも引き続き4-DCSKを例とする。送信機200と受信機300は非同期であり、フレーム周期Tfcの先頭tとシンボル周期Tsymの先頭tは必ずしも一致するとは限らない。一般に、フレーム周期Tfcの先頭のタイミングtは、カメラ310の起動タイミングによって変化する。
 図7の(i)は、t=tの場合を示す。点Aに光信号S1が照射されている場合、先のシンボル周期Tsym_jでは、点Aに対応する画素において色#4が測定され、次のシンボル周期Tsym_j+1では色#3が測定される。したがって色偏移量Δは3となり、データ"11"を復調できる。
 図7の(ii)は、t<tの場合を示す。先のシンボル周期Tsym_jでは、点Aに対応する画素において色#1が測定され、次のシンボル周期Tsym_j+1では色#4が測定される。したがって色偏移量Δは3となり、この場合もデータ"11"を復調できる。
 このように、DCSK通信によれば、フレーム周期Tfcとシンボル周期Tsymのタイミングに依存せずに、信号を復調することができる。
 光信号S1の照射位置は、受信機300の位置や向きに応じて決まり、一定でない。図7において、点Bに光信号S1が照射される場合を考える。このとき、(i)のt=tの場合、先のシンボル周期Tsym_jでは、点Bに対応する画素において色#2が測定され、次のシンボル周期Tsym_j+1では色#1が測定される。したがって色偏移量Δは3となり、データ"11"を復調できる。
 (ii)のt<tの場合、先のシンボル周期Tsym_jでは、点Bに対応する画素において色#3が測定され、次のシンボル周期Tsym_j+1では色#2が測定される。したがって色偏移量Δは3となり、この場合もデータ"11"を復調できる。
 このように、DCSK通信によれば、光信号S1の照射位置に依存せずに、データを復調できるという利点もある。
 さらに、受信機300がユーザの手によって保持される場合、通信中、光信号S1が常に同じ位置に維持される保証はなく、手ぶれによって、フレームごとに光信号S1の照射位置が異なる状況が生じうる。
 図8は、照射位置の変化に対応する復調処理を説明する図である。先行フレームでは、光信号S1が点Aに照射され、後続フレームでは、光信号S1が点Bに照射されたとする。点Aでは、先行するフレームにおいて色#3が検出される。点Bでは、後続フレームにおいて色#3が検出される。
 復調器320は、点Aと点Bのスキャン方向の距離にもとづいて、2点A,Bで同じ光信号を測定したときに、色番号がいくつシフトするか計算する。そしてシフト量を利用して、一方の点の色の実測値から、他方の点の色を推定する。図8の例では、シフト量は3である。
 たとえば復調器320は、先行フレームにおける点Aの色番号#3に、シフト量3を加算することにより、先行フレームにおいて、点Bで測定されたであろう色番号#2を推定する。そして、先行フレームにおける点Bの色番号の推定値#2と、後続フレームにおける点Bの色番号の実測値#3の差分を計算し、色偏移量Δ=1を求めることができる。
 あるいは復調器320は、後続フレームにおける点Bの色番号#3から、シフト量3を減算することにより、後続フレームにおいて、点Aで測定されたであろう色番号#4を推定してもよい。そして、後続フレームにおける点Aの色番号の推定値#4と、先行フレームにおける点Aの色番号の実測値#3の差分を計算し、色偏移量Δ=1を求めてもよい。
4. タイミング設計
 続いて、受信機側で設定する1ライン露出時間Tと、送信機側で設定するシンボル内の遷移周期Tcolorの条件を説明する。画面に写る色の境界を明瞭にするためには、TをTより短く設定する必要がある。ローリングシャッター方式のもとでは、一定間隔Tごとに次のラインの露出を開始するため、T>Tである場合隣接するライン同士で露出時間が重なり、色の境界が不明瞭となる。一方、Tを過度に短くすると、CMOSイメージセンサが受光する光の量が少なくなるため、LED光の色が画面に写らなくなる。1ラインを露出する全ての時間をかけて1色が撮像された場合には少なくとも、受信機がその色を認識できる必要がある。
 この最小の露出時間をTe_minとすると、式(2)を満たす範囲でTを設定し固定することで、画面に写る色の境界が明瞭に現れるようにすることができる。
  Te_min≦T≦T   …(2)
 ただし、Te_minは送信機側の消費電力、環境光、通信距離などの要因で変動するため、Tは可能な限りTに近づけて設定するとよい。一部の機種ではTをプログラムで設定することができないが、自動露出補正機能によって露出時間が短くなったタイミングで露出時間を固定することはできる。
 なお、必ずしも式(2)を満たす必要はなく、T≦Tとなった場合、画面の隣接ラインの露出時間に被りが生ずるため、隣接ラインの色の差が曖昧になるが、この場合でも復調は可能である。
 またフリッカーを抑制するためには、Tcolorはカメラのフレーム周期よりも短く設定する必要がある。一方、Tcolorを過度に短くすると、光信号S1が画面に写ったとしても、1ラインを露出している間に色が切り替わってしまうことから、その色を識別することができない。フリッカーを抑制可能な最大のTcolorの値をTflickerとすると、式(3)を満たす範囲でTcolorを設定することで、少なくとも1ラインには識別可能な色が現れる。
 T+T≦2T≦Tcolor≦Tflicker   …(3)
 式(3)を満たす範囲でTcolorを大きくするほど、SER(Symbol Error Rate)は減少する。ただし、Tflickerは利用する色の数および種類によって変動することに注意されたい。
5. 色境界(Color Boundaries)について
 通信中に手ぶれが生じ、光信号S1の画面内位置が変動した場合に、フレーム間における光信号S1の撮像時間間隔がフレーム周期からずれた時間を推定する必要がある。画面内でシンボルの色が切り替わる境界ラインを受信機が把握することで、正確なずれの推定が可能となる。たとえば、Tsym=Tfcに設定することから、色が切り替わる境界ラインを一度でも撮像することができれば、画面内の全境界ラインYを計算することができる。Yを計算することで、色切り替えの正確なタイミングを把握できるため、ずれた時間の正確な推定が可能となる。演算処理によって、画面内境界ラインを複数通り予測しながら、復調することも可能である。
 図9は、色境界を説明する図である。図9には、第(i-1)ラインと第iラインにおいて色の境界が撮像された場合が示される。第(i-1)ラインではなく第iラインをYの要素と定義する。境界ラインは整数値であるが、Tなどの時間パラメータは整数値とは限らないため、各境界においてそれぞれ2ラインの境界候補が存在する。これらの候補のうちライン番号が大きいものをYの要素と定義する。これらの定義に従うと、Yの要素は変数kとk(kは1以上の整数,Kは非負整数)を用いて、式(4)で表される。
 しかしながら、実際はシンボル長Tsymと受信機のフレーム周期Tfcには誤差T(T=Tsym-Tfc)が存在し、その誤差は機種ごとに異なる。そのため、フレームごとに色境界ラインが僅かに変動する。これを考慮にいれて、第iラインをYの要素として採用したフレームからjフレーム後における境界Yrealは式(5)で表される。
Figure JPOXMLDOC01-appb-M000001
 通信中に手ぶれが生じ、光信号S1の画面内位置が変動した場合に、Yrealを用いることで、フレーム間における光信号S1の撮像時間間隔がフレーム周期からずれた時間を、T+Tの誤差以内で推定することができる。
6. シンボルエラー検出
 図10は、手ぶれによるシンボルエラーの発生および検出方法を説明する図である。フレーム周期Tfcの先頭と、シンボル周期Tsymの先頭はタイミングがずれている。この場合において、受光位置が常にある座標に固定されているときには、正しいデータを復調できる。
 手ぶれにより、先行するフレーム期間Tfc_iにおいては、座標Bに光信号S1が照射され、後続のフレーム期間Tfc_i+1においては、座標Aに光信号S1が照射されたとする。シンボルの境界ラインZが、後続のフレーム期間Tfc_i+1において、座標Aと座標Bの間に位置するとき、すなわち、境界ラインZを跨ぐ手ぶれが発生するとき、シンボルエラーが発生する。なぜなら、このケースでは、連続する2フレームで、先行するシンボルを測定することとなり、後続するシンボルの情報が得られず、同一座標について、連続する2シンボルの両方の色を取得することができず、連続シンボル間の差動色偏移Δを把握することができないためである。このシンボルエラーに対しては、リードソロモン符号などの誤り訂正符号による対策は有効である。しかしながら、受光位置がシンボル境界ラインZをまたがる手ぶれが頻発すると、シンボルエラーが大量に発生するため、正しく情報を復調できない。情報を円滑に取得するため、シンボル境界ラインを受信機が検知し、そのラインをアプリケーション側でユーザに通知する機能を実装することが望ましい。
 シンボルエラーの検出のために、シンボル期間ごとに、信号空間にマッピングする複数色のセットを切りかえることが有効である。たとえば、光源210がn色の色を発生可能である場合、それらを2組に分け、連続シンボル間で利用する色の組を変更することで、受信機がシンボルエラーの検知が可能となる。フリッカーを抑制するため、各組の合成色が同一となるように組み分けを行うとよい。
 図10の例では、4色2つのグループに分け、2-DCSKを行う場合を示す。奇数番目のシンボルは、第1のセット#1e、#2eが使用され、偶数番目のシンボルでは、第2のセット#1o、#2oが使用される。先行するフレーム周期Tfc_iでは受光位置Bに光信号S1が照射され、手ぶれによって後続フレームでは受光位置Aにおいて光信号S1が照射された場合、連続する2フレームにおいて同じ組の色#2oが撮像される。そのため、受信機は両座標A,B間にシンボル境界ラインZが存在することを把握することができる。
7. 実験
 DCSK通信に関する検証実験について説明する。実験では、利用する色の数nと通信距離を変え、1000シンボル送信中のSERを測定した。
7.1 実験条件
 初期的評価として、利用する色は、通信速度とSERのトレードオフを考慮して、CIEXYZ色空間上で合成色が白色となる組み合わせを2色、4色、8色の3パターン選択する。各パターンにおいて、色の変化が人間の眼に知覚されないように、Tcolorをそれぞれ6ms、3ms、2msに設定する。評価には、RGB-LEDとしてEP204K-35G1R1B1-CA を利用し、口径10mmの拡散キャップを装着することで光の拡散を行った。LEDの制御にはワンボードマイコンArduino UNOを用いた。受信機は、Asus社のスマートフォンZenfone 2 Laser ZE601KL (Android(登録商標)5.0.2) を使用し、解像度を1920x1080に、フレームレートを30fpsに設定した。実験は照度が約500luxの屋内で行ない、5人のユーザがカメラを手で持ちながら計測した。
7.2 実験結果
 図11は、SERの測定結果を示す図である。8色を利用したDCSKでは、通信距離の増加に伴い色の識別が困難となり、SERが著しく増加することが確認できる。また、2色と4色を利用した場合、通信速度はそれぞれ30bps,60bpsであり、どちらも最大通信距離は3.2mを達成し、この時のSERはそれぞれ0.0925,0.104となった。通信距離が3.2mを超えた場合では、カメラがLEDの色を認識可能なピクセル数が1ピクセル以下となり、画面内で色が切り替わる境界ラインを計算できず通信不可となった。
7.3 まとめ
 DCSKにより、口径10mmの小型LEDから、60 bps の通信を最大3。2 m の通信距離で実現できることが確認できる。DCSKはカメラの画面に数ピクセルのみ写るLED光から情報を取得することができるため、LEDの口径を増加させることで、通信距離を拡大することができる。
8. 用途
 長距離型LED-カメラ間通信のユースケースとして、「屋内AR(Augmented Reality)ブラウザ」、「屋内位置推定の軽量実装」、「IoTデバイスの構築」などが挙げられる。
8.1 屋内ARブラウザ
 図12は、ARブラウザの一例を示す図である。ARブラウザは、商業施設内のナビゲーションや、翻訳サービスなどに利用される。施設内には複数の送信機200が設置されており、各送信機200は、それが設置される箇所に関連する情報(ここではアイコンに関するデータ)を光信号S1を利用して受信機300に送信する。受信機300は、複数の送信機200からの光信号S1を受信し、そのディスプレイにカメラの画像とオーバーラップさせて、アイコン(あるいはその他の情報)を表示する。
 電波が届きにくい地下や屋内環境において、スマートフォンのカメラをかざした範囲からコンテンツを取得するARサービスを実現するためには、GPS情報を利用しない方式が求められる。決まった形の図形をカメラに認識させるマーカー方式があるが、マーカーの貼付と管理は運用面での課題が多く、美観を損ねる場合もある。一方、マーカーを用いず、実空間解析や特徴点抽出などの技術を用いる方式も提案されているが、計算量の観点から、スマートフォンの機種非依存に情報の伝達を実現することは難しい。
 これらの方式に対し、長距離型LED-カメラ間通信を利用することで、カメラをかざした範囲からの直感的な情報取得を機種非依存に実現できる。
8.2 屋内位置情報サービス
 屋内での位置情報サービスの需要は高く、屋内位置推定技術の研究開発が進められている。しかしながら、現在の屋内位置推定技術では高精度かつ低コストな運用ができない。無線周波数を利用する利用する方式は、マルチパス反射やシャドウイングおよび動的環境に対しロバストな設計ができないことが問題として指摘されている。この問題を解消するために可視光を利用した方式があるが、いずれも人的コストや金銭的コストが高く、システム構築の敷居が高い。独自に変調したLEDを用いるものでは、LEDを屋内の天井に密に設置する必要がある。建物に導入済みの蛍光灯を用いるものでは、新たに照明器具を設置する必要はないが、事前に蛍光灯が発する光の特徴量を計測する必要があり、これをスマートフォンの機種ごとに行うことは敷居が高い。
 これらの方式に対し、長距離型LED-カメラ間通信を利用することで、設置するLEDの数を大幅に減らし、低コストに屋内位置推定を実現できる。具体的には、数十m間隔でLEDを設置し、それぞれ固有のID(識別子)を発信させる。スマートフォンのカメラは、受信したIDと、光源までの距離や角度の情報を利用することで、現在の屋内位置を推定することが可能となる。
8.3 IoTデバイスの構築
 IoTデバイスの構築には、温度や照度などのセンサデータを可視化する機能が求められる。本実施の形態で説明した長距離型の通信を利用すれば、情報を発信するIoTデバイスの特定や、ノードIDなどの小容量なデータ伝送を実現できる。
8.4 まとめ
 DCSKの採用により、LEDの大きさと消費電力を調節することで、通信距離を数十m以上に拡大することが可能である。そのため、図12に示す屋内ARブラウザのような直感的な情報取得アプリケーションを、低コストかつ汎用的に実現できる。本通信方式では、LEDの色切り替えパターンを調節することのみで情報の伝達を実現できるため、通信システムの導入・運用を低コストに抑えることができる。また、送信機としてのLEDを照明用途としても利用可能である点で、利用環境の美観を損ねることなく運用することができる。
 それに対して、Bluetooth(登録商標)やWi-Fiを用いる方式では、周囲数メートルに存在する複数のデバイスから通信対象を選択する必要があり、通信の直感性を実現することが難しい。NFCを用いる方式では、通信距離が短いため、アプリケーションが限定される。既存のAR 技術の中には、実空間解析などの技術を用いることで、GPS機能の利用が困難な屋内環境においても空間からコンテンツを取得することができる方式があるが、スマートフォンの機種非依存に情報の伝達を実現することは難しい。これらの方式に対し、長距離型LED-カメラ間通信方式は、カメラをかざした範囲から複数の通信対象デバイスをわかりやすく特定して情報を取得することができる。また、高い計算機能を有する最新のスマートフォンに限らず、機種非依存に情報の伝達を実現することができる。
 以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
<変形例>
 変形例では、DCSKと同様に、1シンボル期間の間、光信号S1の色は、#1~#nを繰り返し巡回する。そして、各シンボル期間の先頭の色が、前のシンボルに依存せずに、送信データのみにもとづいて決定される。たとえば、図3(b)の信号空間を利用する場合、送信データ"00","01","10","11"に対して、シンボルの先頭の色を、#1,#2,#3,#4のように割り当てることができる。たとえば、送信データ"01"に対応するシンボル期間において、光信号S1の色は、#2,#3,#4,#1…と巡回する。
 この変形例は、送信機200と受信機300が1対1通信を行い、さらに通信開始に先立ち、送信機200と受信機300とのタイミング合わせが可能である場合に有効である。この場合、送信機200のシンボル周期の先頭のタイミングと、受信機300におけるフレーム周期Tfcの先頭のタイミングを揃えることで、データ伝送が可能となる。
 この変形例によれば、カメラの全画素に渡って光が照射される必要はなく、DCSKと同様に、数画素のみにスポット照射される微小な光信号S1を用いた通信が可能であるから、遠距離通信が可能である。またDCSKと同様に、光信号S1の受光位置が変化しても、データ伝送が可能である。
 実施の形態にもとづき、具体的な用語を用いて本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
 本発明は、光通信に利用できる。
 100 光通信システム
 200 送信機
 210 光源
 220 変調器
 300 受信機
 310 カメラ
 320 復調器
 S1 光信号
 S2 送信データ
 S3 受信データ

Claims (13)

  1.  シンボル期間の間、光信号の色を所定の複数色で巡回的に遷移させるとともに、各シンボル期間の先頭の色を、前記複数色の中から送信データにもとづいて選択することを特徴とする光変調方法。
  2.  各シンボル期間の先頭の色は、1つ前のシンボル期間の先頭の色を基準として相対的に決定されることを特徴とする請求項1に記載の光変調方法。
  3.  前記シンボル期間の長さは、前記光信号を撮像するカメラのフレームレートと等しいことを特徴とする請求項1または2に記載の光変調方法。
  4.  シンボル期間ごとに、前記複数色のセットを切りかえることを特徴とする請求項1から3のいずれかに記載の光変調方法。
  5.  請求項1から4のいずれかに記載の光変調方法により変調された光信号の光復調方法であって、
     ローリングシャッター方式のカメラで前記光信号を撮影するステップと、
     前記光信号が含まれる画素を特定するステップと、
     前記画素において得られた色にもとづいて受信データを取得するステップと、
     を備えることを特徴とする光復調方法。
  6.  各シンボル期間の先頭の色は、1つ前のシンボル期間の先頭の色を基準として相対的に決定され、
     前記受信データは、前記画素において、各フレームで得られた色と1つ前のフレームで得られた色との関係にもとづいて取得されることを特徴とする請求項5に記載の光復調方法。
  7.  連続する2フレームで、前記光信号が含まれる画素が、前記カメラのスキャン方向に異なるとき、一方の画素において取得した色をシフトさせ、他方の画素において検出されるべき色を推定するステップをさらに備えることを特徴とする請求項5に記載の光復調方法。
  8.  所定の複数色を生成可能な光源と、
     送信データにもとづいて前記光源が生成する光信号の色を制御する変調器と、
     を備え、
     前記変調器は、シンボル期間の間、前記光信号の色を前記複数色で巡回的に遷移させるとともに、前記シンボル期間の先頭の色を、前記送信データにもとづいて変化させることを特徴とする送信機。
  9.  各シンボル期間の先頭の色は、1つ前のシンボル期間の先頭の色を基準として相対的に決定されることを特徴とする請求項8に記載の送信機。
  10.  前記シンボル期間の長さは、前記光信号を撮像するカメラのフレームレートと等しいことを特徴とする請求項8または9に記載の送信機。
  11.  シンボル期間ごとに、前記複数色のセットを切りかえることを特徴とする請求項8から10のいずれかに記載の送信機。
  12.  請求項9に記載の送信機からの光信号を撮影するローリングシャッター方式のカメラと、
     前記カメラの出力を処理する復調器と、
     を備え、
     前記復調器は、前記光信号が含まれる画素を特定し、当該画素において、現在のフレームで得られた色と1つ前のフレームで得られた色との関係にもとづいて、受信データを取得することを特徴とする受信機。
  13.  連続する2フレームで、前記光信号が含まれる画素が、前記カメラのスキャン方向に異なるとき、一方の画素において取得した色をシフトさせ、他方の画素において検出されるべき色を推定するステップをさらに備えることを特徴とする請求項12に記載の受信機。
PCT/JP2019/033008 2018-08-27 2019-08-23 光変調方法、光復調方法、送信機、受信機 WO2020045272A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-158725 2018-08-27
JP2018158725A JP2020036102A (ja) 2018-08-27 2018-08-27 光変調方法、光復調方法、送信機、受信機

Publications (1)

Publication Number Publication Date
WO2020045272A1 true WO2020045272A1 (ja) 2020-03-05

Family

ID=69644216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033008 WO2020045272A1 (ja) 2018-08-27 2019-08-23 光変調方法、光復調方法、送信機、受信機

Country Status (2)

Country Link
JP (1) JP2020036102A (ja)
WO (1) WO2020045272A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014075635A (ja) * 2012-10-02 2014-04-24 Casio Comput Co Ltd 撮影システム、撮影方法、発光装置、撮影装置、及びプログラム
JP2016158100A (ja) * 2015-02-24 2016-09-01 カシオ計算機株式会社 発光ユニット、受光ユニット、発光制御方法及びプログラム
JP2017091140A (ja) * 2015-11-09 2017-05-25 三星電子株式会社Samsung Electronics Co.,Ltd. コード送受信システム、コード受信装置、コード送信装置、コード受信方法、コード送信方法、及びプログラム
JP2018101443A (ja) * 2010-05-18 2018-06-28 ダイナミックス インコーポレイテッド 光パルス及びタッチセンサ式ディスプレイを介して通信するカード及び装置のためのシステム及び方法
JP2018121169A (ja) * 2017-01-24 2018-08-02 カシオ計算機株式会社 発光装置、受光装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101443A (ja) * 2010-05-18 2018-06-28 ダイナミックス インコーポレイテッド 光パルス及びタッチセンサ式ディスプレイを介して通信するカード及び装置のためのシステム及び方法
JP2014075635A (ja) * 2012-10-02 2014-04-24 Casio Comput Co Ltd 撮影システム、撮影方法、発光装置、撮影装置、及びプログラム
JP2016158100A (ja) * 2015-02-24 2016-09-01 カシオ計算機株式会社 発光ユニット、受光ユニット、発光制御方法及びプログラム
JP2017091140A (ja) * 2015-11-09 2017-05-25 三星電子株式会社Samsung Electronics Co.,Ltd. コード送受信システム、コード受信装置、コード送信装置、コード受信方法、コード送信方法、及びプログラム
JP2018121169A (ja) * 2017-01-24 2018-08-02 カシオ計算機株式会社 発光装置、受光装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2020036102A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
US10389446B2 (en) Reproduction method for reproducing contents
CN110261823B (zh) 基于单个led灯的可见光室内通信定位方法及系统
US9871589B2 (en) Techniques for raster line alignment in light-based communication
US9871587B2 (en) Information processing method for generating encoded signal for visible light communication
Aoyama et al. Visible light communication using a conventional image sensor
US9014564B2 (en) Light receiver position determination
US10178506B2 (en) Augmenting light-based communication receiver positioning
US9680571B2 (en) Techniques for selective use of light-sensing devices in light-based communication
JP6434724B2 (ja) 情報通信方法
JPWO2003036829A1 (ja) データ通信システム、データ送信装置、並びにデータ受信装置
JPWO2019124236A1 (ja) 送信方法、受信方法、送信装置、および受信装置
CN110662162A (zh) 用于飞行时间感测和信息传送的双模式光学设备、以及利用其的装置、系统和方法
CN111670548B (zh) 提供补充下行链路的通信系统、显示控制装置及通信终端
CN106301555A (zh) 一种用于光定位的信号发射方法及发射机
Yang et al. LIPO: Indoor position and orientation estimation via superposed reflected light
WO2020045272A1 (ja) 光変調方法、光復調方法、送信機、受信機
JP2007324705A (ja) 可視光受信装置および可視光通信光源の位置検出方法
Han et al. Indoor positioning based on LED-camera communication
US20210135753A1 (en) Detecting coded light
JP2020507258A (ja) 符号化光の検出
Kim et al. VLC-based location data transferal for smart devices
Hokazono et al. Long-range flicker-free LED-to-camera communication using differential color shift keying
CN111656766B (zh) 用于基于图像的服务的设备
Zachár et al. Long distance vlc-based beaconing for indoor localization applications
Saeed et al. Camera based optical communications, localization, navigation, and motion capture: A survey

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19854118

Country of ref document: EP

Kind code of ref document: A1