JP6848988B2 - 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム - Google Patents

送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム Download PDF

Info

Publication number
JP6848988B2
JP6848988B2 JP2018566711A JP2018566711A JP6848988B2 JP 6848988 B2 JP6848988 B2 JP 6848988B2 JP 2018566711 A JP2018566711 A JP 2018566711A JP 2018566711 A JP2018566711 A JP 2018566711A JP 6848988 B2 JP6848988 B2 JP 6848988B2
Authority
JP
Japan
Prior art keywords
pulse
characteristic
value
emission pattern
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018566711A
Other languages
English (en)
Other versions
JPWO2018146778A1 (ja
Inventor
健介 倉木
健介 倉木
田中　竜太
竜太 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2018146778A1 publication Critical patent/JPWO2018146778A1/ja
Application granted granted Critical
Publication of JP6848988B2 publication Critical patent/JP6848988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H04B10/524—Pulse modulation

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optical Communication System (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Description

本発明は、例えば、光を利用して信号を伝送する通信システム及びそのような通信システムで利用される送信装置、送信制御装置及び送信方法ならびに送信用コンピュータプログラムに関する。
従来より、照明光源として発光ダイオード(Light Emitting Diode, LED)が広く利用されている。LEDは、白熱電球または蛍光灯と比較して、応答速度が速いという特徴を有する。この特徴を利用して、人の目では認識できない速さでLEDを明滅させることでLEDから発する光に情報を重畳して通信を行う可視光通信技術が研究されている。特に、照明光に伝送する情報を重畳する技術は、照明光通信とも呼ばれる。
可視光通信は、電波の使用が制限されている場所での通信用途、室内など光が届く範囲に限定した情報配布、または、Intelligent Transport Systems(ITS)などでの利用が検討されている。
可視光通信において、データを伝送するために、送信データを高出力のパルス光と低出力のパルス光からなる可視光信号に変調することが提案されている（例えば、特許文献１を参照）。
特開２００９−２９０３５９号公報
送信される情報をパルス変調により可視光に重畳する場合、人がそのパルス変調による可視光のちらつきを感知できないようにするためには、光源を、例えば、数kHzといった高速で明滅することが要求される。一方、情報を受信する受信装置が可視光に重畳された情報を復調するためには、受信装置が、そのような高速での可視光の明滅を識別できることが求められる。例えば、そのような高速での可視光の明滅を識別するためには、受信装置は、ローリングシャッター方式のカメラを有し、かつ、露出または感度を調節可能なことが好ましい。しかし、受信装置が有するカメラの露光方式によっては、受信装置は、そのような高速での可視光の明滅を識別できないことがある。例えば、受信装置が有するカメラのシャッター速度がパルス変調の周期よりも遅い速度で固定されている場合、受信装置は、そのような高速での可視光の明滅を識別できない。その結果として、受信装置は、伝送された情報を復調できないことがある。
一つの側面では、本発明は、情報が重畳された光を受信する受信装置が有するカメラの露光方式によらずに情報を受信装置へ伝送できる送信装置を提供することを目的とする。
一つの実施形態によれば、送信装置が提供される。この送信装置は、発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう照明部を制御し、かつ、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう照明部を制御し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する制御部とを有する。
また、他の実施形態によれば、送信制御装置が提供される。この送信制御装置は、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう照明部を制御する発光パターン変調部と、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう照明部を制御し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定するパルスパターン変調部とを有する。
さらに他の実施形態によれば、送信装置と受信装置とを有する通信システムが提供される。この通信システムにおいて、であって、送信装置は、発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう照明部を制御し、かつ、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう照明部を制御し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する制御部とを有する。
受信装置は、所定の撮影周期で送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、撮像部により生成された複数の画像に基づいて伝送された情報を復号する制御部とを有する。
さらに他の実施形態によれば、送信方法が提供される。この送信方法は、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調し、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する、ことを含む。
さらに他の実施形態によれば、送信用コンピュータプログラムが提供される。この送信用コンピュータプログラムは、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調し、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する、ことをコンピュータに実行させるための命令を含む。
本明細書に開示された送信装置は、情報が重畳された光を受信する受信装置が有するカメラの露光方式によらずに情報を受信装置へ伝送できる。
図１は、一つの実施形態による通信システムの概略構成図である。 図２は、図１に示された通信システムで利用される送信装置のハードウェア構成図である。 図３は、送信処理に関する制御部の機能ブロック図である。 図４は、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。 図５は、発光パターンに応じた、YUV色空間における各成分の値の時間変化と、RGB色空間における各成分の値の時間変化の関係の一例を示す図である。 図６は、発光パターンに応じた一つの色成分の明るさの時間変化の一例を示す図である。 図７は、発光パターンによる変調とパルス変調との多重化の説明図である。 図８は、変形例による、発光パターンによる変調とパルス変調との多重化の説明図である。 図９は、他の変形例による、発光パターンによる変調とパルス変調との多重化の説明図である。 図１０は、送信装置による送信処理の動作フローチャートである。 図１１は、図１に示された通信システムで利用される受信装置のハードウェア構成図である。 図１２は、受信処理に関する制御部の機能ブロック図である。 図１３は、発光パターンにより重畳された情報についての受信処理の概念図である。 図１４は、パルス変調により重畳された情報についての受信処理の概念図である。 図１５は、受信装置による受信処理の動作フローチャートである。
以下、図を参照しつつ、通信システム及び通信システムで利用される送信装置について説明する。この通信システムでは、送信装置は、照明部から発する光の第１の特性を、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンで変調する。さらに、送信装置は、第１の時間長よりも短い第２の時間長を持つパルスパターンで、伝送する情報に応じて照明部から発する光の第２の特性をパルス変調する。その際、送信装置は、発光パターンの波形を維持するように、発光パターンにて変調された第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値及びボトム値を設定する。これにより、この送信装置は、受信装置が有するカメラの露光方式によらずに、照明部から発する光に重畳された情報を受信装置へ伝送することを可能とする。
図１は、一つの実施形態による通信システムの概略構成図である。通信システム１００は、送信装置１と受信装置２とを有する。そして送信装置１は、自装置が有する照明部が発する光に送信する情報を重畳する。一方、受信装置２は、撮像部を有し、その撮像部で送信装置１からの光で照明された物体３を含む撮影範囲を時系列的に連続して撮影して得られる、時系列に並んだ複数の画像から光に重畳された情報を復号する。なお、この例では、通信システム１００は、一つの受信装置２のみを含んでいるが、通信システム１００に含まれる受信装置２の台数は１台に限られない。通信システム１００は、複数の受信装置２を含んでもよい。また詳細は後述するように、受信装置２は、パルス変調された光の個々のパルスを識別可能な露光方式のカメラを有するものに限られず、パルス変調された光の個々のパルスを識別できない露光方式のカメラを有するものであってもよい。
図２は、送信装置１のハードウェア構成図である。送信装置１は、通信インターフェース部１１と、記憶部１２と、記憶媒体アクセス装置１３と、照明部１４と、制御部１５とを有する。そして送信装置１は、通信インターフェース部１１または記憶媒体アクセス装置１３を介して取得した、あるいは、記憶部１２に予め記憶された伝送すべき情報を、照明部１４が発する光に重畳してその情報を送信する。
通信インターフェース部１１は、例えば、送信装置１を、有線または無線の通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部１１は、他の装置から、通信ネットワークを介して受信した情報を制御部１５へ渡す。
記憶部１２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そして記憶部１２は、例えば、通信インターフェース部１１を介して取得した、または、記憶媒体アクセス装置１３から読み込んだ、伝送すべき情報を記憶する。また記憶部１２は、制御部１５が送信処理を行うために利用する各種の情報及びプログラムを記憶する。例えば、記憶部１２は、シンボル値ごとに、そのシンボル値に対応する発光パターンを表す波形データを記憶する。発光パターンを表す波形データは、例えば、その発光パターンに応じた照明部１４からの光の制御開始時点における発光パターンの位相、周期、変調される光の特性の最大値及び最小値などを含む。また記憶部１２は、シンボル値ごとに、そのシンボル値に対応するパルス変調におけるパルスパターンを記憶する。また、伝送すべき情報が固定である場合には、記憶部１２は、予め、その情報に含まれる各シンボルの発光パターンを表す波形データ及びパルスパターンを記憶していてもよい。
記憶媒体アクセス装置１３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１６にアクセスする装置である。記憶媒体アクセス装置１３は、例えば、記憶媒体１６に記憶された、制御部１５上で実行される、送信処理用のコンピュータプログラムあるいは伝送すべき情報を読み込み、制御部１５に渡す。
照明部１４は、発光する光の第１の特性及び第２の特性を時系列に沿って変化させることが可能な少なくとも一つの発光素子と、駆動回路とを有する。駆動回路は、制御部１５からの制御信号に応じて、その少なくとも一つの発光素子から発する光の特性を変更するよう、その少なくとも一つの発光素子を駆動する。駆動回路は、例えば、制御信号により指示された、その発光素子から発する光の輝度または色成分の明るさに応じて、発光素子に流れる電流の大きさ、または、発光素子に電流が流れる期間のデューティ比（すなわち、パルス幅変調が採用される場合）を調節する。なお、パルス幅変調が採用される場合、パルスパターンよりも短い周期、例えば、第２の時間長の1/1000〜1/100の周期で発光素子に流れる電流のオン／オフが制御されればよい。
時系列に沿って変化可能な光の第１の特性は、例えば、発光色とすることができる。あるいは、時系列に沿って変化可能な光の第１の特性は、輝度であってもよい。あるいはまた、時系列に沿って変化可能な光の第１の特性は、発光色と輝度の組み合わせであってもよい。
また、時系列に沿って変更可能な光の第２の特性は、所定の色成分、あるいは、輝度とすることができる。なお、第１の特性と第２の特性の組み合わせに特に制限は無い。例えば、第１の特性は発光色であり、かつ、第２の特性は所定の色成分とすることができる。あるいは、第１の特性及び第２の特性の何れも輝度であってもよい。あるいはまた、第１の特性は輝度であり、かつ、第２の特性は発光色であってもよい。このような組み合わせとすることで、パルス変調については一つの発光素子だけを制御すればよいので、発光パターンによる変調とパルス変調との多重化を行うための制御が簡単化される。
第１の特性または第２の特性が色に関する特性である場合、照明部１４は、例えば、発光色が互いに異なる少なくとも２種類の発光素子、例えば、赤色LED、緑色LED及び青色LEDのうちの少なくとも２種類を有する。そして各発光素子が発する輝度の比率が時系列に沿って変化することで照明部１４が発する光の色も時系列に沿って変化する。あるいは、照明部１４は、発光色そのものを変調可能な少なくとも一つの発光素子を有してもよい。発光色そのものを変調可能な発光素子は、例えば、蛍光灯のように複数の波長を含む光を発する発光素子と、アレイ状に配置されたカラーフィルタを有する液晶パネルのように、光の波長ごとの透過率を調整できる光変調素子との組み合わせとすることができる。
また、第１の特性及び第２の特性の何れもが輝度である場合、照明部１４は、輝度を時系列に沿って変更可能な少なくとも一つの発光素子、例えば、白色LEDあるいは有機エレクトロルミネッセンス(Electro Luminescence, EL)素子を有してもよい。
照明部１４は、制御部１５からの制御信号に従って、発光する光の第１の特性を、伝送する情報に含まれるシンボルの値に応じた発光パターンに従って、第１の時間長を持つ周期で時系列に変化させることで、照明部１４から発する光に情報を重畳する。
さらに、照明部１４は、シンボルの値に応じたパルスパターンに従って、発光する光の第２の特性を、第１の時間長よりも短い第２の時間長を持つ周期でパルス変調する。したがって、照明部１４から発する光は、発光パターンによる変調とパルス変調とで、多重変調される。
制御部１５は、送信制御装置の一例であり、一つまたは複数のプロセッサと、その周辺回路とを有する。そして制御部１５は、送信装置１全体を制御する。制御部１５は、通信インターフェース部１１を介して、あるいは、記憶媒体アクセス装置１３から伝送すべき情報を受け取った場合、その情報を記憶部１２に一旦記憶する。そして制御部１５は、送信処理を実行する場合、伝送すべき情報を記憶部１２から読み込み、その情報をシンボル単位で分割する。そして制御部１５は、シンボルごとに、そのシンボルの値に応じた発光パターンを表す波形データ及びそのシンボルの値に応じたパルスパターンを表すデータを記憶部１２から読み込む。制御部１５は、発光パターンに応じて照明部１４から発する光の第１の特性を時系列に沿って変化させ、かつ、パルスパターンに応じて照明部１４から発する光の第２の特性を時系列に沿って変化させるように照明部１４を制御する。
なお、送信処理を実行するタイミングは予め設定されていてもよい。あるいは、図示しないユーザインターフェース部からの操作によって、あるいは、通信インターフェース部１１を介して受信した、他の装置からの送信処理の開始指示信号に応じて、制御部１５は、送信処理を開始してもよい。あるいはまた、制御部１５は、一定周期ごとに、送信処理を繰り返し実行してもよい。
図３は、送信処理に関する、制御部１５の機能ブロック図である。制御部１５は、発光パターン変調部１５１と、パルスパターン変調部１５２とを有する。
発光パターン変調部１５１は、照明部１４から発する光の第１の特性を、シンボルの値に対応する発光パターンにて変調する。
図４は、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。図４において、横軸は時間を表し、縦軸は、送信装置１から発せられる光の第１の特性を表す。発光パターン４０１及び発光パターン４０２は、それぞれ、シンボル値'0'、'1'に相当する。そして発光パターン４０１及び発光パターン４０２では、何れも時間経過とともに光の第１の特性が周期的に変化するが、位相が互いに対して180°ずれている。このように、光の第１の特性の時間変動における位相をシンボル値ごとに異ならせることで、送信装置１は、照明部１４が発する光に情報を重畳することができる。なお、発光パターンとシンボル値の関係は、この例に限られない。
本実施形態では、発光パターンは、例えば、図４に示されるように、時間経過に伴って光の第１の特性が正弦波状に変化する周期的な変動パターンとなる。発光パターンは、この例に限られず、例えば、光の第１の特性が三角形状、あるいは矩形パルス状に周期的に変動するパターンであってよい。また発光パターンは、周期的に変動するパターンに限られず、例えば、一つのシンボルに応じた期間内で、光の第１の特性が単調に変化するパターンであってもよい。例えば、シンボル値'0'に対応する発光パターンでは、そのシンボルに対応する期間の開始時点において照明部１４から発する光の第１の特性は第１の値を持ち、その期間の終了時点において第１の特性は第２の値を持つように第１の特性が単調に変化してもよい。一方、シンボル値'1'に対応する発光パターンでは、そのシンボルに対応する期間の開始時点において照明部１４から発する光の第１の特性は第２の値を持ち、その期間の終了時点において第１の特性は第１の値を持つように光の特性が単調に変化してもよい。
発光パターンの１周期、すなわち、第１の時間長は、例えば、受信装置２が有する撮像部の撮影レートでも、受信装置がその発光パターンの波形を再現できるように、その撮影レートの逆数の数倍に設定される。例えば、第１の時間長は、数10msec〜数100msec(すなわち、第１の時間長に対応する第１の周波数は数Hz〜数10Hz)とすることができる。
発光パターン変調部１５１は、例えば、伝送すべき情報を、１〜複数のビットを持つビット列単位で分割し、各ビット列を、それぞれ、一つのシンボルとする。発光パターン変調部１５１は、シンボルの値に応じた発光パターンを表すデータを記憶部１２から読み込む。そして発光パターン変調部１５１は、シンボルごとに所定長を持つ期間を設定する。発光パターン変調部１５１は、その期間において、１〜数周期分、照明部１４にシンボル値に応じた発光パターンを繰り返させる。
なお、発光パターン変調部１５１は、伝送すべき情報の所定の位置、例えば、先頭に、プリアンブルとして、所定のシンボル列（例えば、'01010101'）を含めてもよい。あるいは、発光パターン変調部１５１は、伝送すべき情報に、巡回冗長検査(Cyclic Redundancy Check, CRC)符号といった、誤り検出符号を含めてもよい。発光パターン変調部１５１が、これらのシンボル列または誤り検出符号を伝送すべき情報に含めることで、受信装置２は、伝送された情報を正確に復号することが容易となる。
発光パターン変調部１５１は、シンボルの値に応じた発光パターンの変調方式として、無線通信で利用されている様々な変調方式を利用できる。例えば、発光パターン変調部１５１は、一つのシンボルを一つのビットに対応させてもよい。この場合、発光パターン変調部１５１は、二位相偏移変調方式(binary phase-shift keying, BPSK)のように、シンボルの値が'0'に対応する発光パターンとシンボルの値が'1'に対応する発光パターンとの間で位相を180°反転させる。
また、発光パターン変調部１５１は、二つのビットを一つのシンボルに対応させてもよい。この場合、発光パターン変調部１５１は、例えば、四位相偏移変調方式(quadriphase phase-shift keying, QPSK)に従って周期的に光の第１の特性が変動する発光パターンを設定してもよい。すなわち、発光パターン変調部１５１は、シンボルが取り得る４通りの値('00','01','10','11')のそれぞれごとに、位相が90°ずつ異なる、周期的に光の第１の特性が変動する発光パターンを設定してもよい。
あるいは、発光パターン変調部１５１は、シンボルの値に応じて、光の第１の特性の変化幅（以下、振幅レベルと呼ぶ）も変調してもよい。この場合、発光パターン変調部１５１は、直角位相振幅変調(quadrature amplitude modulation, QAM)のように、シンボルが取り得る各値ごとに、振幅レベルと位相の組み合わせが異なる発光パターンを設定してもよい。その際、発光パターン変調部１５１は、振幅レベルに関して、あるシンボル値では、シンボルに対応する期間内で振幅レベルを単調増加させ、他のシンボル値では、シンボルに対応する期間内で振幅レベルを単調減少させてもよい。このように一つのシンボルに対応する期間内で、シンボルの値に応じて振幅レベルを変化させることで、物体３による照明部１４からの光の反射または散乱によって振幅レベル自体が変化しても、受信装置２が正確に発光パターンを特定することが容易となる。
図５は、発光パターンにおいて時系列に沿って変化する光の第１の特性が発光色である場合における、発光パターンに応じた、YUV色空間における各成分の値の時間変化と、RGB色空間における各成分の値の時間変化の関係の一例を示す図である。
図５の左側には、発光パターンに応じたYUV色空間での各成分の値が示される。一番上のグラフ５０１に示されるように、Y成分、すなわち、輝度成分は、時間経過によらず一定に保たれる。一方、中央のグラフ５０２に示されるように、一方の色差成分であるU成分の値は、発光パターンに応じて時間経過とともに変化する。同様に、一番下のグラフ５０３に示されるように、他方の色差成分であるV成分の値も、発光パターンに応じて時間経過とともに変化する。
一方、図５の右側には、図５の左側に示された発光パターンに対応する、RGB色空間での各成分の値が示される。グラフ５１１〜５１３は、それぞれ、赤色成分、緑色成分、青色成分の時間変化を表す。グラフ５１１〜５１３に示されるように、各色成分は、発光パターンに応じて変化する。
発光パターンにおいて時系列に沿って変化する光の第１の特性が発光色である場合、例えば、発光パターン変調部１５１は、発光パターンの１周期に、複数のサンプリング点（例えば、10〜20点）を設定する。そして発光パターン変調部１５１は、YUVあるいはHLSといった、輝度成分と色成分とが互いに独立して表される色空間において、その色成分の値を正弦波状に変化させたときの各サンプリング点での色成分の値を求める。そして発光パターン変調部１５１は、各サンプリング点について、その色空間における輝度成分の値と色成分の値から、照明部１４が有する各発光素子の発光色に対応させることができるRGB色空間における赤色、緑色及び青色の各成分の値を求める。そして発光パターン変調部１５１は、サンプリング点ごとに、赤色、緑色及び青色の各成分の値に応じて、各発光素子から発する色成分の明るさを決定する。なお、発光パターン変調部１５１は、照明部１４から発する光全体の輝度成分の値を一定に保つことが好ましい。これにより、照明部１４が発する光の色が発光パターンに従って時系列に沿って変化しても、その光の単位時間当たりの光量は一定に保たれる。人の視覚は光量の変化については比較的敏感であるが、色の変化については比較的鈍感である。そのため、単位時間当たりの光量が一定に保たれることで、発光パターン変調部１５１は、照明部１４からの光の特性が発光パターンに従って時系列に沿って変化していることを人に知覚され難くすることができる。
図６は、発光パターンに応じた一つの色成分の明るさの時間変化の一例を示す図である。図６において、横軸は時間を表し、縦軸は明るさを表す。上側に示されるグラフ６０１は、一例として、発光パターンに応じた青色成分の時間変化を表す。この例では、発光パターンの１周期内にサンプリング点ａ、ｂ、ｃが設定されている。下側に示されるグラフ６０２は、各サンプリング点での青色成分の明るさを表す。グラフ６０２に示されるように、例えば、発光パターンの１周期をサンプリング点数で分割したサブ区間６１１ごとに、そのサブ区間６１１に含まれるサンプリング点の青色成分値となるように、青色成分は離散的に変更される。
また、発光パターンに従って変調される光の第１の特性が輝度である場合も、例えば、発光パターン変調部１５１は、発光パターンの１周期に、複数のサンプリング点（例えば、10〜20点）を設定する。そして発光パターン変調部１５１は、その発光パターンに従って、各サンプリング点での照明部１４の発光素子が発する光の輝度を決定すればよい。
発光パターン変調部１５１は、上記のように、伝送される情報に含まれるシンボルごとに、そのシンボルに対応する各サンプリング点での照明部１４の各発光素子が発する色成分値または輝度を決定する。そして発光パターン変調部１５１は、照明部１４が有する発光素子のうち、パルス変調される第２の特性と関連しない発光素子について、シンボルごとの各サンプリング点での色成分値または輝度を表す制御信号を生成して、照明部１４へ出力する。また発光パターン変調部１５１は、照明部１４が有する発光素子のうち、パルス変調される第２の特性に関連する発光素子について、各サンプリング点でのその発光素子が発する色成分の値または輝度をパルスパターン変調部１５２へ通知する。
パルスパターン変調部１５２は、パルス変調にて伝送すべき情報についても、発光パターンによる変調にて伝送される情報と同様に、１〜複数のビットを持つビット列単位で分割し、各ビット列を、それぞれ、一つのシンボルとする。パルスパターン変調部１５２は、シンボルの値に応じたパルスパターンを表すデータを記憶部１２から読み込む。そしてパルスパターン変調部１５２は、シンボルごとに、第２の時間長を持ち、かつ、そのシンボルの値に応じたパルスパターンで、照明部１４から発する光の第２の特性をパルス変調する。シンボルが1ビットのデータを表す場合、パルスパターンは、マンチェスター符号によるパターンとすることができる。あるいは、シンボルが2ビットのデータを表す場合、パルスパターンは、4 Pulse Phase Modulation(PPM)方式によるパターンであってもよい。また、第２の時間周期は、例えば、数100μsec〜1msec(すなわち、第２の時間周期に対応する第２の周波数は1kHz〜数kHz)とすることができる。
なお、パルスパターン変調部１５２は、発光パターン変調部１５１と同様に、伝送すべき情報の先頭に、プリアンブルとして、所定のシンボル列を含めてもよい。あるいは、パルスパターン変調部１５２は、伝送すべき情報に、CRC符号といった誤り検出符号を含めてもよい。パルスパターン変調部１５２が、これらのシンボル列または誤り検出符号を伝送すべき情報に含めることで、受信装置２は、パルスパターンにより伝送された情報を正確に復号することが容易となる。
本実施形態では、パルスパターン変調部１５２は、発光パターンによる変調とパルスパターンによる変調とが多重化されるように、発光パターンによる変調におけるサブ区間ごとに、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する。なお、以下では、パルスの第２の特性についてのピーク値及びボトム値を、それぞれ、単にパルスのピーク値及びボトム値と呼ぶ。例えば、パルスパターン変調部１５２は、サブ区間ごとに、そのサブ区間内の第２の特性の平均値が、そのサブ区間に含まれる発光パターンのサンプリング点での第２の特性の値と等しくなるように、そのサブ区間に含まれる各パルスのピーク値とボトム値とを設定する。
なお、以下の説明では、発光パターンにより変調される光の第１の特性が色成分であり、パルス変調される光の第２の特性は所定の色成分であるとする。しかし、第１の特性と第２の特性の組み合わせが上記と異なる場合であっても、パルスパターン変調部１５２は、各パルスのピーク値及びボトム値を下記の説明に従って設定すればよい。
図７は、発光パターンによる変調とパルス変調との多重化の説明図である。図７において、横軸は時間を表し、縦軸は、パルス変調される色成分の明るさを表す。なお、図７では、一例として、青色成分がパルス変調されるものとする。一番上のグラフ７０１に示されるように、発光パターンによる変調にて、青色成分は、サブ区間PS1〜PS3ごとに変化する。図７に示される例では、サブ区間PS1〜PS3のうち、サブ区間PS2において青色成分は最も明るく、サブ区間PS1において青色成分は最も暗くなる。
また、２番目のグラフ７０２に示されるように、青色成分は、伝送される情報に応じて、個々のサブ区間PS1〜PS3よりも短い第２の時間周期に相当するパルス長PWを持つパルスパターンでパルス変調される。この例では、青色成分は、マンチェスター符号により、パルス位相変調される。すなわち、シンボル当たりにおける、パルスがボトム値となる期間とパルスがピーク値となる期間の長さは等しい。
一番下のグラフ７０３は、発光パターンによる変調とパルス変調とが多重化された、青色成分の時間変化を表す。サブ区間PS1〜PS3のそれぞれごとに、そのサブ区間における、多重変調された青色成分の平均値が、発光パターンによる変調に応じた、そのサブ区間に含まれるサンプリング点での青色成分の値と等しくなるように、各パルスのピーク値及びボトム値が設定される。この例では、各パルスのピーク値が、そのパルスが含まれるサブ区間における、発光パターンによる変調に応じた、そのサブ区間に含まれるサンプリング点での青色成分の値に基づいて設定される。一方、各パルスのボトム値は、一定値に設定される。したがって、各パルスのピーク値は、次式に従って設定される。
Figure 0006848988
 ここで、Ck0は、サブ区間k(第１の時間周期にN個のサンプリング点が設定される場合、k=1,2,...,N)における、発光パターンによる変調に応じた、サブ区間kに含まれるサンプリング点での青色成分の値を表す。またCk1は、サブ区間kに含まれる各パルスのピーク値を表す。そしてCk2は、サブ区間kに含まれる各パルスのボトム値を表す。
図８は、変形例による、発光パターンによる変調とパルス変調との多重化の説明図である。この変形例では、各パルスのピーク値だけでなく、ボトム値も、発光パターンによる変調に応じて調整される代わりに、各パルスの振幅は一定に保たれる。図８において、横軸は時間を表し、縦軸はパルス変調される色成分の明るさを表す。なお、図８でも、一例として、青色成分がパルス変調されるものとする。
図７と同様に、一番上のグラフ８０１に示されるように、発光パターンによる変調にて、青色成分は、サブ区間PS1〜PS3ごとに変化する。また、２番目のグラフ８０２に示されるように、青色成分は、伝送される情報に応じて、個々のサブ区間PS1〜PS3よりも短い第２の時間周期に相当するパルス長PWを持つパルスパターンでパルス位相変調される。
一番下のグラフ８０３は、発光パターンによる変調とパルス変調とが多重化された、青色成分の時間変化を表す。この例でも、サブ区間ごとに、そのサブ区間における、多重変調された青色成分の平均値が、発光パターンによる変調に応じた、そのサブ区間に含まれるサンプリング点での青色成分の値と等しくなるように、各パルスのピーク値及びボトム値が設定される。この例では、各パルスの振幅は一定に保たれる。したがって、各パルスのピーク値及びボトム値は、次式に従って設定される。
Figure 0006848988
 ここでAは、パルスの振幅である。この変形例によれば、発光パターンの波形によらずに、パルスの振幅が一定に保たれるので、受信装置２が照明部１４から発する光に重畳されたパルスパターンを特定することが容易となる。
図９は、他の変形例による、発光パターンによる変調とパルス変調との多重化の説明図である。この変形例では、4PPM符号に従って照明部１４からの光はパルス位相変調される。すなわち、この例では、一つのシンボルに相当する、第２の時間長PWを持つパルス期間が４分割され、４分割されたパルス期間のうちの何れか一つにおいて、シンボルの値に応じてパルスはボトム値となり、それ以外ではパルスはピーク値となる。図９において、横軸は時間を表し、縦軸は、パルス変調される色成分の明るさを表す。なお、図９でも、一例として、青色成分がパルス変調されるものとする。
図７と同様に、一番上のグラフ９０１に示されるように、発光パターンによる変調にて、青色成分は、サブ区間PS1〜PS3ごとに変化する。また、２番目のグラフ９０２に示されるように、青色成分は、伝送される情報に応じて、個々のサブ区間PS1〜PS3よりも短い第２の時間長PWを持つパルスパターンでパルス位相変調される。
一番下のグラフ９０３は、発光パターンによる変調とパルス変調とが多重化された、青色成分の時間変化を表す。この例でも、サブ区間ごとに、そのサブ区間における多重変調された青色成分の平均値が、発光パターンによる変調に応じたそのサブ区間に含まれるサンプリング点での青色成分の値と等しくなるように、各パルスのピーク値及びボトム値が設定される。この例では、各パルスのボトム値は一定に保たれる。また、一つのシンボルに対応する第２の時間長の1/4においてパルスはボトム値となり、一方、第２の時間長の3/4においてパルスはピーク値となる。したがって、各パルスのピーク値及びボトム値は、次式に従って設定される。
Figure 0006848988
なお、4PPM符号が用いられる場合、パルス変調される色成分は、一つのシンボルに対応する第２の時間長の3/4においてパルスはボトム値となり、一方、第２の時間長の1/4においてパルスはピーク値となるようにパルス変調されてもよい。この場合には、各パルスのピーク値及びボトム値は、例えば、次式に従って設定される。
Figure 0006848988
なお、4PPM符号が用いられる場合においても、各パルスの振幅が一定となるように、各パルスのピーク値及びボトム値が設定されてもよい。
なお、各サブ区間内のパルス変調される色成分の平均値が発光パターンに応じた波形を維持する値であれば、各サブ区間内のパルス変調される色成分の平均値と、そのサブ区間に含まれる、発光パターンのサンプリング点でのその色成分の値とは一致しなくてもよい。例えば、各サブ区間について、そのサブ区間内のパルス変調される色成分の平均値が、そのサブ区間に対応する発光パターンのサンプリング点でのその色成分の値よりも所定値だけ高くなるように、各パルスのピーク値及びボトム値は設定されてもよい。その際、サブ区間に含まれる発光パターンのサンプリング点での色成分の値が高いほど、所定値も大きくなるように、各パルスのピーク値及びボトム値は設定されてもよい。あるいはまた、各サブ区間について、そのサブ区間内のパルス変調される色成分の平均値が、そのサブ区間に含まれる発光パターンのサンプリング点での色成分の値よりも所定値だけ低くなるように、各パルスのピーク値及びボトム値は設定されてもよい。このように、各パルスのピーク値及びボトム値が設定される場合でも、発光パターンの波形は維持されるので、受信装置２は、発光パターンにより変調された光を復調することで、伝送された情報を復号できる。
パルスパターン変調部１５２は、シンボルごとに、そのシンボルの値に応じたパルスパターンにおいて、第２の特性値が設定したパルスのピーク値及びボトム値となる制御信号を生成し、その制御信号を照明部１４へ出力する。
図１０は、送信装置１による送信処理の動作フローチャートである。
送信装置１の制御部１５の発光パターン変調部１５１は、伝送する情報をシンボル単位に分割する（ステップＳ１０１）。そして発光パターン変調部１５１は、シンボルごとに、発光パターンを重畳する期間を設定する（ステップＳ１０２）。また発光パターン変調部１５１は、伝送する情報に含まれ、未着目のシンボルのうち、先頭のシンボルを着目するシンボルとして選択する（ステップＳ１０３）。そして発光パターン変調部１５１は、その着目するシンボル値に応じて発光パターンを決定する（ステップＳ１０４）。
発光パターン変調部１５１は、第１の時間長を持つ期間に複数のサンプリング点を設定し、サンプリング点を含むサブ区間ごとに、照明部１４が有する各発光素子の色成分値Ck0を発光パターンに応じて決定する（ステップＳ１０５）。そして発光パターン変調部１５１は、パルス変調しない各色成分について、サブ区間ごとに、そのサブ区間に含まれるサンプリング点での色成分値で対応する発光素子に発光させる制御信号を生成し、その制御信号を照明部１４へ出力する（ステップＳ１０６）。
一方、パルスパターン変調部１５２は、サブ区間ごとに、そのサブ区間内のパルス変調される色成分の平均値がサンプリング点での色成分値Ck0と等しくなるように、そのサブ区間に含まれる各パルスのピーク値Ck1及びボトム値Ck2を設定する（ステップＳ１０７）。パルスパターン変調部１５２は、パルス変調される色成分について、各サブ区間について設定された各パルスのピーク値Ck1及びボトム値Ck2と、シンボルごとの値に応じた第２の時間長を持つパルスパターンに基づいてパルス変調する制御信号を生成する。そしてパルスパターン変調部１５２は、その制御信号を照明部１４へ出力する（ステップＳ１０８）。
制御部１５は、着目するシンボルに設定されていない未着目のシンボルが残っているか否か判定する（ステップＳ１０９）。未着目のシンボルが残っていれば（ステップＳ１０９−Ｙｅｓ）、制御部１５は、ステップＳ１０３以降の処理を繰り返す。
一方、未着目のシンボルが残っていなければ（ステップＳ１０９−Ｎｏ）、制御部１５は、送信処理を終了する。
次に、受信装置２について説明する。
図１１は、受信装置２のハードウェア構成図である。受信装置２は、例えば、撮像部を有する携帯端末、あるいは、据え置き型の装置とすることができる。そして受信装置２は、通信インターフェース部２１と、記憶部２２と、記憶媒体アクセス装置２３と、撮像部２４と、ユーザインターフェース部２５と、制御部２６とを有する。受信装置２は、送信装置１からの光が照射された領域の少なくとも一部を含む撮影範囲を、撮像部２４により所定の撮影レートで時系列に沿って複数回撮影して得られる複数の画像を解析することで、送信装置１が送信した情報を復号する。
通信インターフェース部２１は、例えば、受信装置２を、有線または無線の通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部２１は、制御部２６から受け取った情報を、通信ネットワークを介して他の装置、例えば、サーバへ送信する。また通信インターフェース部２１は、他の装置から受け取った情報を制御部２６へ渡す。
記憶部２２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そして記憶部２２は、例えば、撮像部２４により時系列に沿って生成された複数の画像を受信処理の実行中において記憶する。また記憶部２２は、制御部２６が受信処理を行うために利用する各種の情報及びプログラムを記憶する。さらに記憶部２２は、送信装置１が送信し、かつ復号された情報を記憶してもよい。
記憶媒体アクセス装置２３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体２７にアクセスする装置である。記憶媒体アクセス装置２３は、例えば、記憶媒体２７に記憶された、制御部２６上で実行される、受信処理用のコンピュータプログラムを読み込み、制御部２６に渡す。
撮像部２４は、例えば、CCDあるいはCMOSといった、送信装置１の照明部１４が発する光に感度を持つ固体撮像素子の２次元アレイにより形成されるイメージセンサと、そのイメージセンサ上に、撮影範囲の像を結像する結像光学系を有する。なお、撮影範囲に、送信装置１の照明部１４からの光が照射された領域の少なくとも一部が含まれるように、例えば、図１の物体３が撮影範囲に含まれるように、受信装置２は配置されることが好ましい。そして撮像部２４は、受信装置２が受信処理を行っている間、所定の撮影レートで撮影を行って、撮影を行う度に画像を生成する。なお、第１の特性値または第２の特性値が色に関するものである場合、撮像部２４が生成する画像はカラー画像であることが好ましい。
また、撮像部２４は、例えば、ローリングシャッター方式といった、パルス変調に対応できる高速なシャッタ速度を実現可能な露光方式が採用されたものであってもよく、あるいは、パルス変調には対応できない露光方式が採用されたものであってもよい。撮像部２４がパルス変調に対応可能な露光方式を採用しており、かつ、パルス変調により光に重畳された情報を復元する場合には、所定の撮影レートは、例えば、第２の時間長の1/2以下の時間周期に相当する撮影レートとすることができる。一方、発光パターンによる変調にて光に重畳された情報を復元できればよい場合には、所定の撮影レートは、例えば、第１の時間長の1/2以下の時間周期に相当する撮影レートとすることができる。
撮像部２４は、画像を生成する度に、その画像を制御部２６へ出力する。
ユーザインターフェース部２５は、例えば、タッチパネルディスプレイといった、人が受信装置２を操作したり、あるいは、受信装置２が人に情報を表示するためのデバイスを有する。そしてユーザインターフェース部２５は、人の操作に応じた操作信号、例えば、受信処理の開始を指示する操作信号を制御部２６へ出力する。またユーザインターフェース部２５は、制御部２６から受け取った各種の情報及び撮像部２４により生成された画像を表示する。例えば、ユーザインターフェース部２５は、撮像部２４により生成された画像とともに、受信処理によって復号した、送信装置１から送信された情報を表示してもよい。
制御部２６は、一つまたは複数のプロセッサと、その周辺回路とを有する。そして制御部２６は、受信装置２全体を制御する。また制御部２６は、撮像部２４により、時系列に沿って生成された複数の画像を周波数解析して、送信装置１から送信された情報を復号する。
図１２は、受信処理に関する制御部２６の機能ブロック図である。制御部２６は、分割部２６１と、特徴抽出部２６２と、発光パターン復号部２６３と、パルス復号部２６４とを有する。制御部２６が有するこれらの各部は、例えば、制御部２６が有するプロセッサ上で動作するコンピュータプログラムにより実現されるソフトウェアモジュールである。あるいは、制御部２６が有するこれらの各部は、その各部の機能を実現するファームウェアとして受信装置２に実装されてもよい。あるいまた、制御部２６が有するこれらの各部は、例えば、Webブラウザ上で動作するWebアプリケーションとして実装されてもよい。なお、撮像部２４がパルス変調に対応できない露光方式を採用している場合には、パルス復号部２６４は省略されてもよい。また、撮像部２４がパルス変調に対応できる露光方式を採用している場合には、発光パターン復号部２６３は省略されてもよい。
図１３は、発光パターンにより重畳された情報についての受信処理の概念図である。送信装置１の照明部１４からの光で照明された物体が撮像部２４により生成された各画像に写っているとすると、その物体が写っている領域に含まれる画素値は、照明部１４が発する光の第１の特性の変化に影響される。また、撮像部２４が撮影する際のシャッター速度が第２の時間長よりも長い場合、その物体が写っている領域に含まれる画素値は、シャッターが開放されている期間にわたって照明部１４からの光量を積分したものに相当する値となる。そこで、撮像部２４により生成された画像１３００−１、１３００−２、１３００−３、・・・、１３００−ｎは、それぞれ複数の部分領域１３０１に分割される。そして各部分領域から照明部１４が発する光の第１の特性を表す特徴量１３０２が抽出され、その特徴量１３０２の時間変化を調べることで、発光パターン１３０３が特定される。したがって、受信装置２は、発光パターン１３０３に対応するシンボルの値を復号することが可能となる。
図１４は、パルス変調により重畳された情報についての受信処理の概念図である。図１４において、横軸は時間を表す。また左側のグラフにおいて、縦軸はパルス変調された色成分の明るさを表す。一方、右側のグラフにおいて、縦軸は画素値を表す。グラフ１４０１に示されるように、照明部１４が発する光のうちの何れかの色成分がパルス変調されているとする。この場合において、撮像部２４が各パルスのパルス幅以下の周期tで撮影を行っていれば、グラフ１４０２に示されるように、照明部１４が発する光で照明された物体が写っている部分領域内の画素値のうちのパルス変調された色成分も時系列に変化する。したがって、画素値のうちのパルス変調された色成分の時間変化を調べることによりパルスパターンが特定され、受信装置２は、そのパルスパターンに対応するシンボルの値を復号することが可能となる。
分割部２６１は、各画像を複数の部分領域に分割する。例えば、分割部２６１は、各画像を、水平方向及び垂直方向に、それぞれ２〜４分割してもよい。また分割部２６１は、複数の分割方法で各画像を分割してもよい。例えば、分割部２６１は、各画像を、水平方向及び垂直方向のそれぞれについて２分割して、各画像について４個の部分領域を設定するとともに、各画像を、水平方向及び垂直方向のそれぞれについて３分割して、各画像について９個の部分領域を設定してもよい。これにより、何れかの部分領域において送信装置１からの光で照明された物体が表された領域、あるいは送信装置１の照明部１４そのものが部分領域の大部分を占めるように、部分領域を設定できる確率が高くなる。
分割部２６１は、各画像の各部分領域を表す情報（例えば、部分領域間の境界の位置）を特徴抽出部２６２へ渡す。
特徴抽出部２６２は、各画像の各部分領域から、送信装置１の照明部１４から発した光の発光パターンに応じて時系列で変化する光の第１の特性を表す特徴量を抽出する。例えば、時系列で変化する光の第１の特性が輝度である場合、特徴抽出部２６２は、各部分領域の画素の輝度値の平均値あるいは中央値を特徴量として抽出する。また、時系列で変化する光の第２の特性が発光色である場合、特徴抽出部２６２は、各部分領域の各画素の値をYUV色空間またはHLS色空間の値に変換して、各画素の色成分（例えば、U成分、V成分、または色相）の平均値または中央値を特徴量として算出する。なお、撮像部２４により得られた画像の各画素の値がRGB色空間で表されている場合には、特徴抽出部２６２は、画像の各画素の値をYUV色空間またはHLS色空間の値に変換することで、色成分の平均値または中央値を算出できる。なお、特徴量は上記の例に限られず、特徴抽出部２６２は、発光パターンで変化する光の第１の特性に応じて時系列で変化する様々な特徴量、例えば、部分領域内の輝度値または特定の色成分の総和、分散または標準偏差を特徴量として抽出してもよい。あるいはまた、特徴抽出部２６２は、時間的に連続する２枚の画像間で同じ位置にある画素の画素値間の差分値の部分領域内の平均値を特徴量として抽出してもよい。
なお、撮像部２４がパルス変調に対応した露光方式を採用しており、かつ、第２の時間長の1/2(4PPM方式が採用されている場合には、第２の時間周期の1/4)よりも短い撮影周期で画像を生成している場合には、各画像の画素値は、パルス変調による影響を受ける。そこで特徴抽出部２６２は、所定の時間長を持つ区間ごとに、その区間に含まれる複数の画像について、対応画素間の画素値の平均値を算出することで合成画像を生成してもよい。そして特徴抽出部２６２は、時系列に配列された複数の合成画像に対して上記の処理を実行することで、各合成画像の各部分領域から特徴量を抽出してもよい。なお、所定の時間長は、パルス変調による影響が軽減され、かつ、発光パターンの波形に関する情報が失われないように、例えば、第２の時間長の２倍以上、かつ、発光パターンの１周期（すなわち、第１の時間長）の1/2以下の時間長に設定されることが好ましい。
また、特徴抽出部２６２は、撮像部２４がパルス変調に対応した露光方式を採用しており、かつ、パルス幅よりも短い撮影周期で画像を生成している場合には、各画像の各部分領域からパルス変調を表す特徴量を抽出する。例えば、照明部１４から発する光の特定の色成分がパルス変調されている場合、特徴抽出部２６２は、各画像について、部分領域ごとに、その部分領域に含まれる各画素のその特定の色成分の平均値を、パルス変調を表す特徴量として抽出する。
特徴抽出部２６２は、各画像の部分領域ごとの発光パターンに関する特徴量を発光パターン復号部２６３へ渡し、パルス変調に関する特徴量をパルス復号部２６４へ渡す。
発光パターン復号部２６３は、部分領域ごとに抽出された特徴量の時系列順での変化から発光パターンを特定し、その発光パターンに応じたシンボルの値を復号する。
上記のように、発光パターンに従って送信装置１の照明部１４から発した光の特性が周期的に変動している場合、送信装置１により照明された物体が写っている部分領域の特徴量の時間変動は、発光パターンの変動周期に応じた時間軸方向の周波数成分を持つ。例えば、上記のように、送信装置１からの光の特性が正弦波状に変動する場合、時間軸方向における特徴量の周波数成分には、その正弦波に対応する特定の周波数成分が含まれる。
そこで発光パターン復号部２６３は、一つのシンボルに対応する期間と同じ長さの着目期間に含まれる複数の画像について、同一の物体が写っている部分領域ごとに、時系列順にその部分領域から抽出された特徴量を並べて１次元ベクトルを作成する。なお、受信装置２が静止しており、かつ、受信装置２の撮影範囲内に静止している物体が存在する場合、複数の画像において同一の物体が写っている部分領域は、画像上の同じ位置にある部分領域とすることができる。そして発光パターン復号部２６３は、その１次元ベクトルをフーリエ変換する。そして発光パターン復号部２６３は、部分領域ごとに、得られた周波数成分から発光パターンの周期と同じ周波数のスペクトルを抽出する。
発光パターン復号部２６３は、部分領域のうち、抽出したスペクトルの振幅レベルが最大となる部分領域を選択する。あるいは、発光パターン復号部２６３は、抽出したスペクトルの振幅レベルが所定の閾値以上となる部分領域を選択してもよい。これにより、発光パターン復号部２６３は、送信装置１により照明された物体または送信装置１の照明部１４そのものが写っている部分領域を選択できる。そして発光パターン復号部２６３は、選択した部分領域について、抽出したスペクトルから、発光パターンに応じた値を持つ成分を検出する。発光パターンに応じた値を持つ成分は、例えば、着目期間内の所定時点（例えば、着目期間の開始時点または終了時点）における光の特性の周期的な変動の位相または振幅レベルである。
なお、送信装置１がシンボルごとに設定する期間と、着目期間とがずれている可能性がある。そこで発光パターン復号部２６３は、時系列に沿って着目期間を１フレームずつずらしながら、上記の処理を行って、着目期間ごとに発光パターンに応じた値を持つ成分を検出する。この場合、着目期間と送信装置１がシンボルごとに設定する期間とが一致した場合に、その検出された成分の値が極値となるので、発光パターン復号部２６３は、その極値を、発光パターンに応じた値を持つ成分とすればよい。一旦、極値が得られれば、その極値に対応する着目期間が一つのシンボルに対応する期間と一致していると考えられるので、発光パターン復号部２６３は、その着目期間を基準として、以後の着目期間を設定すればよい。そして発光パターン復号部２６３は、着目期間ごとに、発光パターンに応じた値を持つ成分を検出する。
なお、発光パターン復号部２６３は、上記の方法以外の方法により、発光パターンを特定してもよい。例えば、発光パターン復号部２６３は、着目期間内で、時間的に隣接する画像間での特徴量の差分値を求め、その差分値により特徴量の増減を調べることで、発光パターンを特定してもよい。
発光パターン復号部２６３は、検出された成分を時系列順に並べる。発光パターン復号部２６３は、上記のように、プリアンブルとして、伝送される情報に所定のシンボル列（例えば、'01010101'）が含まれている場合、検出された成分の並びから、そのプリアンブルに相当するシンボル列と一致する部分を抽出する。そして発光パターン復号部２６３は、抽出した部分において検出された成分とシンボルの値が一致するように、検出された成分とシンボルの値を対応付ければよい。
あるいは、発光パターン復号部２６３は、伝送される情報にCRC符号といった誤り検出符号が含まれている場合、その誤り検出符号を利用してシンボルの誤りが最小となるように、検出された成分とシンボルの値を対応付けてもよい。
あるいはまた、発光パターン復号部２６３は、検出された成分とシンボルの値との対応関係を表す参照テーブルを参照して、検出された成分に応じたシンボルの値を求めてもよい。なお、その参照テーブルは、例えば、予め記憶部２２に記憶される。
発光パターン復号部２６３は、復号されたシンボルの値を所定の順序、例えば、時間順に並べることで、伝送された情報を復号する。そして発光パターン復号部２６３は、復号された情報を記憶部２２に記憶する。
パルス復号部２６４は、各画像の部分領域ごとのパルス変調に関する特徴量に基づいて、パルス変調によって送信装置１の照明部１４から発する光に重畳された情報を復号する。
例えば、パルス復号部２６４は、部分領域ごとに、得られた特徴量の最大値と最小値の差を算出し、その差が所定値以上となる部分領域を、照明部１４が発した光で照明された物体が写っている部分領域と判定する。そしてパルス復号部２６４は、照明部１４が発した光で照明された物体が写っている部分領域について、所定の時間長を持つ区間ごとに、特徴量の平均値を算出する。なお、所定の時間長は、例えば、第２の時間長よりも長く、かつ、発光パターンによる変調に関して発光パターンの１周期中に設定されるサブ区間の長さ以下とすることが好ましい。これにより、発光パターンに応じて各パルスのピーク値及びボトム値が変化しても、パルス復号部２６４は、各パルスを識別できる。そしてパルス復号部２６４は、平均値よりも高い特徴量をパルスのピーク値に対応付け、一方、平均値よりも低い特徴量をパルスのボトム値に対応付ける。パルス復号部２６４は、パルスのピーク値とボトム値の時間変化のパターンに応じて、重畳されたパルスパターンを特定すればよい。そして、パルスパターンとシンボルとの値との関係を表す参照テーブルが記憶部２２に予め記憶され、パルス復号部２６４は、その参照テーブルを参照して、パルスパターンに対応するシンボルの値を特定すればよい。
パルス復号部２６４は、復号されたシンボルの値を所定の順序、例えば、時間順に並べることで、伝送された情報を復号する。なお、パルス復号部２６４は、上記のように、プリアンブルとして、伝送される情報に所定のシンボル列が含まれている場合、検出された成分の並びから、そのプリアンブルに相当するシンボル列と一致する部分を抽出する。そしてパルス復号部２６４は、抽出した部分において検出された成分とシンボルの値が一致するように、検出された成分とシンボルの値を対応付けてもよい。
あるいは、パルス復号部２６４は、伝送される情報にCRC符号といった誤り検出符号が含まれている場合、その誤り検出符号を利用してシンボルの誤りが最小となるように、検出された成分とシンボルの値を対応付けてもよい。そしてパルス復号部２６４は、復号された情報を記憶部２２に記憶する。
制御部２６は、復号した情報を通信インターフェース部２１を介して他の装置へ出力する。あるいは、制御部２６は、復号した情報に応じた処理を実行する。例えば、復号した情報が所定のアプリケーションの起動を指示する情報であれば、制御部２６は、そのアプリケーションを起動する。あるいは、制御部２６は、復号した情報をユーザインターフェース部２５に表示させてもよい。なお、発光パターンによる変調にて重畳された情報と、パルス変調により重畳された情報とが同一である場合、制御部２６は、発光パターン復号部２６３により復号された情報とパルス復号部２６４により復号された情報のうちの一方に上記の処理を行えばよい。
図１５は、受信装置２により実行される受信処理の動作フローチャートである。
制御部２６の分割部２６１は、各画像を複数の部分領域に分割する（ステップＳ２０１）。そして制御部２６の特徴抽出部２６２は、部分領域ごとに発光パターンで変化する光の第１の特性を表す特徴量を抽出する（ステップＳ２０２）。さらに、特徴抽出部２６２は、部分領域ごとにパルス変調に関する特徴量を抽出する（ステップＳ２０３）。
発光パターン復号部２６３は、一つのシンボルに相当する期間に含まれる複数の画像の組を含む期間ごとに、同じ位置の部分領域の発光パターンに関する特徴量を周波数解析して発光パターンの周期を持つスペクトルを検出する（ステップＳ２０４）。そして発光パターン復号部２６３は、その期間ごとに、検出したスペクトルから発光パターンに対応するシンボルの値を特定して、伝送された情報を復号する（ステップＳ２０５）。
一方、パルス復号部２６４は、パルス変調に関する特徴量の時間変化に応じて対応するシンボルの値を特定することで、伝送された情報を復号する（ステップＳ２０６）。そして制御部２６は、受信処理を終了する。
以上に説明してきたように、この通信システムは、送信装置が発する光に情報を重畳して受信装置へ伝送することができる。その際、送信装置は、時系列に変化する発光パターンをシンボルの値に応じて異ならせることで、送信装置が発する光に情報を重畳するとともに、送信装置が発する光を発光パターンよりも短い周期でパルス変調することでも、情報を重畳する。そのため、受信装置の撮像部がパルス変調に対応可能な露光方式を採用していれば、受信装置は、パルス変調された光を復調することで伝送された情報を復号できる。一方、受信装置の撮像部がパルス変調に対応していない露光方式を採用している場合、受信装置は、発光パターンにより変調された光を復調することで伝送された情報を復号できる。このように、この通信システムは、受信装置が有する撮像部の露光方式によらずに情報を送信装置から受信装置へ伝送できる。さらに、パルス変調による変調の周期は、発光パターンによる変調の周期よりも短いため、受信装置の撮像部がパルス変調に対応可能な露光方式を採用している場合、この通信システムは、より短期間で情報を送信装置から受信装置へ伝送できる。
なお、変形例によれば、発光パターンによる変調にて照明部１４が発する光に重畳される情報と、パルス変調により照明部１４が発する光に重畳される情報とは、互いに異なるものであってもよい。この場合には、送信装置１は、例えば、相対的に重要度が高い情報を、発光パターンによる変調にて照明部１４が発する光に重畳し、一方、相対的に重要度が低い情報を、パルス変調により照明部１４が発する光に重畳してもよい。
また他の変形例によれば、照明部１４が発する光の色成分ごとに、異なる情報が、パルス変調により重畳されてもよい。この場合には、受信装置２の制御部２６の特徴抽出部２６２及びパルス復号部２６４は、色成分ごとに、上記の実施形態または変形例による処理を実行してもよい。この変形例によれば、色成分ごとに異なる情報が重畳されるので、伝送効率が向上する。
さらに他の変形例によれば、送信装置１の制御部１５は、伝送されるシンボルの値に応じて、照明部１４から発する光をパルス周波数変調してもよい。この場合も、発光パターンによる変調の１周期を分割した各サブ区間において、パルスがピーク値を持つ時間の長さとパルスがボトム値を持つ時間の長さは等しいので、各パルスのピーク値及びボトム値は、（１）式または（２）式に従って設定されればよい。この場合、受信装置２のパルス復号部２６４は、発光パターン復号部２６３と同様に、時系列に並んだパルス変調に関する特徴量を周波数解析することで、パルス変調により光に重畳された情報を復号すればよい。
なお、上記の実施形態または変形例において、受信装置は、撮像部を有する端末と、その端末と通信ネットワークを介して接続された他の装置、例えばサーバとを有していてもよい。この場合、端末は、画像を生成する度に、その画像を、端末を特定するための識別情報、例えば、その端末のIPアドレスとともに通信ネットワークを介してサーバへ送信してもよい。そしてサーバのプロセッサが、上記の実施形態による受信装置の制御部の各処理を実行して、送信装置から伝送された情報を復号してもよい。さらに、サーバは、復号した情報を、端末を特定するための識別情報を参照して、その端末へ返送してもよい。
あるいは、端末が有するプロセッサは、画像を生成する度に、その画像に対して分割部２６１の処理と特徴抽出部２６２の処理を行って、部分領域ごとの特徴量を抽出してもよい。そして端末は、各画像から抽出された部分領域ごとの特徴量を、端末を特定するための識別情報とともに通信ネットワークを介してサーバへ送信してもよい。そしてサーバのプロセッサは、上記の実施形態による受信装置の発光パターン復号部２６３及びパルス復号部２６４の処理を実行して、送信装置から伝送された情報を復号してもよい。
さらに、上記の各実施形態による送信装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、上記の実施形態による受信装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
１００ 通信システム
１ 送信装置
１１ 通信インターフェース部
１２ 記憶部
１３ 記憶媒体アクセス装置
１４ 照明部
１５ 制御部
１５１ 発光パターン変調部
１５２ パルスパターン変調部
１６ 記憶媒体
２ 受信装置
２１ 通信インターフェース部
２２ 記憶部
２３ 記憶媒体アクセス装置
２４ 撮像部
２５ ユーザインターフェース部
２６ 制御部
２７ 記憶媒体
２６１ 分割部
２６２ 特徴抽出部
２６３ 発光パターン復号部
２６４ パルス復号部

Claims (7)

  1. 発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、
    第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って前記照明部から発する光の前記第１の特性を時系列に沿って変調するよう前記照明部を制御し、かつ、前記伝送する情報に応じて前記照明部から発する光の前記第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう前記照明部を制御し、前記発光パターンの１周期に複数のサンプリング点を設定し、前記期間を前記サンプリング点の数で分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する制御部と、
    を有する送信装置。
  2. 前記制御部は、前記複数のサブ区間のそれぞれごとに、当該サブ区間における前記発光パターンの前記波形による前記第２の特性の値と、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値とが等しくなるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する、請求項１に記載の送信装置。
  3. 前記制御部は、前記期間全体にわたって各パルスの前記第２の特性についてのピーク値とボトム値との差が一定となるように、前記複数のサブ区間のそれぞれごとに、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する、請求項１または２に記載の送信装置。
  4. 第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう前記照明部を制御する発光パターン変調部と、
    前記伝送する情報に応じて前記照明部から発する光の第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう前記照明部を制御し、前記発光パターンの１周期に複数のサンプリング点を設定し、前記期間を前記サンプリング点の数で分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定するパルスパターン変調部と、
    を有する送信制御装置。
  5. 送信装置と受信装置とを有する通信システムであって、
    前記送信装置は、
    発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、
    第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って前記照明部から発する光の前記第１の特性を時系列に沿って変調するよう前記照明部を制御し、かつ、前記伝送する情報に応じて前記照明部から発する光の前記第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう前記照明部を制御し、前記発光パターンの１周期に複数のサンプリング点を設定し、前記期間を前記サンプリング点の数で分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する制御部と、を有し、
    前記受信装置は、
    所定の撮影周期で前記送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、
    前記撮像部により生成された複数の前記画像に基づいて前記伝送された情報を復号する制御部と、
    を有する通信システム。
  6. 第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調し、
    前記伝送する情報に応じて前記照明部から発する光の第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調し、前記発光パターンの１周期に複数のサンプリング点を設定し、前記期間を前記サンプリング点の数で分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する、
    ことを含む送信方法。
  7. 第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調し、
    前記伝送する情報に応じて前記照明部から発する光の第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調し、前記発光パターンの１周期に複数のサンプリング点を設定し、前記期間を前記サンプリング点の数で分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する、
    ことをコンピュータに実行させるための送信用コンピュータプログラム。
JP2018566711A 2017-02-09 2017-02-09 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム Active JP6848988B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/004790 WO2018146778A1 (ja) 2017-02-09 2017-02-09 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2018146778A1 JPWO2018146778A1 (ja) 2019-12-19
JP6848988B2 true JP6848988B2 (ja) 2021-03-24

Family

ID=63108245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018566711A Active JP6848988B2 (ja) 2017-02-09 2017-02-09 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム

Country Status (5)

Country Link
US (1) US10951312B2 (ja)
EP (1) EP3582410B1 (ja)
JP (1) JP6848988B2 (ja)
CN (1) CN110268643B (ja)
WO (1) WO2018146778A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2021044B1 (en) * 2018-06-01 2019-12-10 Eldolab Holding Bv LED driver and method of operating a camera

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006013755A1 (ja) * 2004-08-05 2006-02-09 Japan Science And Technology Agency 空間光通信を用いた情報処理システム及び空間光通信システム
CN101406013A (zh) * 2006-04-20 2009-04-08 松下电器产业株式会社 脉冲发送装置、脉冲接收装置、脉冲传输方法和脉冲解调方法
JP5000327B2 (ja) 2007-02-22 2012-08-15 パナソニック株式会社 可視光通信システム
JP5171393B2 (ja) 2008-05-27 2013-03-27 パナソニック株式会社 可視光通信システム
JP5394843B2 (ja) 2009-07-24 2014-01-22 三星電子株式会社 送信装置、受信装置、可視光通信システム、及び可視光通信方法
US8447189B2 (en) * 2009-09-21 2013-05-21 Electronics And Telecommunications Research Institute Transmitter, receiver for visible light communication and method using the same
JP5750837B2 (ja) * 2010-05-28 2015-07-22 カシオ計算機株式会社 情報伝送システム、情報伝送方法、受光装置、受光方法、及び、プログラム
WO2013100743A1 (ko) * 2011-12-31 2013-07-04 Lee Moon Key 깜빡임이 없는 칼라 가시광 통신 시스템
WO2016001972A1 (ja) * 2014-06-30 2016-01-07 富士通株式会社 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
CN105049118B (zh) * 2015-08-20 2017-10-20 华南理工大学 基于双重调制技术的可见光通信方法及其可见光通信系统

Also Published As

Publication number Publication date
JPWO2018146778A1 (ja) 2019-12-19
US10951312B2 (en) 2021-03-16
CN110268643B (zh) 2022-01-11
EP3582410A1 (en) 2019-12-18
CN110268643A (zh) 2019-09-20
EP3582410A4 (en) 2020-02-19
EP3582410B1 (en) 2021-09-01
US20190363794A1 (en) 2019-11-28
WO2018146778A1 (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
US10236979B2 (en) Transmitter, receiver, communication system, and transmission and reception methods
CN104041190B (zh) 使用多个不同的调制周期的照明装置和照明系统
US9112606B2 (en) Method and apparatus for transmitting and receiving data using visible light communication
US20140321859A1 (en) Methods and Devices for Transmitting /Obtaining Information by Visible Light Signals
CN107222258B (zh) 一种数据获取方法、数据发送方法、装置及数据传输系统
JP6897389B2 (ja) 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム
JP6405820B2 (ja) 信号伝送装置、信号伝送方法および信号伝送プログラム
WO2016001339A1 (en) Communicating barcode data
JP6579069B2 (ja) 光通信装置、光通信方法、及び、プログラム
JP6848988B2 (ja) 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム
EP3004984B1 (en) Detecting coded light
JP2018107824A (ja) 受信装置及び受信方法
WO2018073870A1 (ja) 送信装置、受信装置、通信システム、送信方法、受信方法および送信用コンピュータプログラムならびに受信用コンピュータプログラム
US20210135753A1 (en) Detecting coded light
TW202032933A (zh) 可視光通訊裝置、可視光通訊方法及可視光通訊程式

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190816

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R150 Certificate of patent or registration of utility model

Ref document number: 6848988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150