JP6653128B2 - Visible light communication system - Google Patents
Visible light communication system Download PDFInfo
- Publication number
- JP6653128B2 JP6653128B2 JP2015101439A JP2015101439A JP6653128B2 JP 6653128 B2 JP6653128 B2 JP 6653128B2 JP 2015101439 A JP2015101439 A JP 2015101439A JP 2015101439 A JP2015101439 A JP 2015101439A JP 6653128 B2 JP6653128 B2 JP 6653128B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- blinking
- image sensor
- interval
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Optical Communication System (AREA)
Description
本発明は、可視光通信システムに関し、特に、撮像素子として（ＣＭＯＳイメージセンサ等の）受光イメージを一定時間ごとに位置をずらしながら走査して撮像するタイプの撮像素子を使用した可視光通信システムに関する。 The present invention relates to a visible light communication system, and more particularly, to a visible light communication system using an image sensor of a type that scans a received light image (such as a CMOS image sensor) while shifting its position at regular time intervals and captures an image. .
［従来の可視光通信］
近年、可視光通信なる通信方式が提案されている。この可視光通信は、発光素子から出力する可視光を変調（即ち、強度変調）することにより、可視光に所望の情報を付与して出力し、受光素子で受光した可視光を復調して前記所望の情報を読み出すことにより、所望のデータを送受信する通信方式である。可視光通信は、信号出力装置として特別な装置を用意しなくても、照明器具、誘導灯、交通信号機等の身近な発光装置を利用して情報伝送を行うことができることから、光の直進性による制約がない環境（即ち、発光側と受光側との間に障害物がない環境）で、従来の無線通信方式を代替する、或いは、従来の無線通信方式と競合する通信技術として期待されている。なお、可視光通信で使用される発光素子としては、ＬＥＤ（発光ダイオード）や有機ＥＬ等の高速点滅可能な半導体素子が一般的である。また、可視光通信の受光素子としては、フォトダイオードが一般的であるが、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子の使用も提案されている。なお、受光素子として固体撮像素子を使用した可視光通信は、イメージセンサ通信とも呼ばれている。
[Conventional visible light communication]
In recent years, a communication method called visible light communication has been proposed. This visible light communication modulates the visible light output from the light emitting element (that is, modulates the intensity) to give desired information to the visible light and outputs the same, and demodulates the visible light received by the light receiving element to demodulate the visible light. This is a communication method for transmitting and receiving desired data by reading out desired information. Visible light communication can transmit information using familiar light-emitting devices, such as lighting fixtures, guide lights, and traffic signals, without preparing special devices as signal output devices. Is expected to be a communication technology that replaces the conventional wireless communication system or competes with the conventional wireless communication system in an environment where there is no restriction due to (i.e., an environment where there is no obstacle between the light emitting side and the light receiving side). I have. In addition, as a light emitting element used in visible light communication, a semiconductor element such as an LED (light emitting diode) or an organic EL that can blink at high speed is generally used. As a light receiving element for visible light communication, a photodiode is generally used, but the use of a solid-state imaging element such as a CCD image sensor or a CMOS image sensor has also been proposed. Note that visible light communication using a solid-state imaging device as a light receiving element is also called image sensor communication.
［従来の可視光通信に関する特許文献］
ここで、可視光通信に関する発明として、特許文献１に記載の表示装置及びプログラムが提案されている。この発明は、可視光による情報送信を好適に行なえるようにすることを目的とし、携帯端末において、制御部が、他の携帯端末へ送信すべき情報であるタグＩＤを可視光通信に用いるマーカーに変換するようにしている。更に、制御部及びドライバが、変換されたマーカーを表示部に表示させる制御を行うようにしている。また、制御部及びドライバが、表示部に表示されるマーカーの表示態様を調整する制御を行うようにしている。
[Patent Documents Related to Conventional Visible Light Communication]
Here, as an invention related to visible light communication, a display device and a program described in
特許文献１に記載の可視光通信装置は、受光素子としてＣＣＤイメージセンサを使用するため、上記したイメージセンサ通信技術に関するものであるが、一般に、イメージセンサ通信技術では、データ処理の高速化が難しいという課題があり、データ処理の高速化を図るためには構成が複雑化するという更なる課題がある。
The visible light communication device described in
そこで、本発明は、撮像素子として（ＣＭＯＳイメージセンサ等の）受光イメージを経時的に位置をずらしながら走査して撮像するタイプの撮像素子を使用すると共に、そのような撮像素子に特有の現象を利用して、全体の構成を複雑化することなくデータ処理の高速化を実現することができる可視光通信システムを提供することを目的とする。 Therefore, the present invention uses an image sensor of a type that scans a light-receiving image (such as a CMOS image sensor) while shifting its position over time as an image sensor and captures an image. It is an object of the present invention to provide a visible light communication system capable of realizing high-speed data processing without complicating the entire configuration using the same.
本発明に係るコンピュータ装置用の可視光通信システムは、発光側装置と受光側装置とからなる可視光通信システムである。前記発光側装置は、発光素子からなる光源と、前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備える。前記受光側装置は、前記光源の光を受光して、その受光イメージを撮像し、その撮像データを出力する撮像素子と、前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備える。前記発光側制御手段は、前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力する。前記受光側制御手段は、前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化する。前記発光側制御手段は、更に、前記撮像素子の解像度に応じて、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成する。前記発光側制御手段は、前記撮像素子の１回の走査時間内に撮像される前記点滅光セットの点滅光の数である１走査時間内点滅光数が、少なくとも、１組の前記点滅光セットの点滅光の総数の２倍より１少ない数となるよう、前記点滅光セットの点滅制御を行う。 The visible light communication system for a computer device according to the present invention is a visible light communication system including a light emitting side device and a light receiving side device. The light emitting side device includes a light source composed of a light emitting element and light emitting side control means for controlling the light from the light source to be output directly or indirectly in a predetermined manner. The light-receiving-side device receives light from the light source, captures an image of the received light, inputs an image pickup device that outputs the image pickup data, and image pickup data from the image pickup device, and receives a predetermined image based on the image pickup data. Light receiving side control means for performing control. The light-emitting side control means outputs a plurality of predetermined blinking lights by directly or indirectly using light from the light source, and sets a blinking interval of the plurality of blinking lights to a specific value. , The plurality of blinking lights are encoded, and the encoded data is output. The light receiving side control unit inputs the plurality of blinking lights from the light source to the image sensor, and captures an image of a pattern corresponding to each unique blinking interval of the plurality of blinking lights by the image sensor. , And outputs the pattern, and decodes the encoded data from the blinking light based on the pattern. The light-emitting side control unit further includes: a flashing light, such that each lighting time and each lighting time of the flashing light is equal to or longer than an exposure time over a plurality of pixels of the imaging device, according to a resolution of the imaging device. Are set, and a predetermined blinking light set is constituted by the blinking lights at the blinking intervals. The light-emitting-side control means may include at least one set of the blinking light set, wherein the number of blinking lights within one scanning time, which is the number of blinking lights of the blinking light set imaged within one scanning time of the image sensor, The flashing control of the flashing light set is performed so that the number becomes one less than twice the total number of the flashing lights.
本発明は、上記のように構成したことにより、撮像素子として（ＣＭＯＳイメージセンサ等の）受光イメージを経時的に位置をずらしながら走査して撮像するタイプの撮像素子を使用すると共に、そのような撮像素子に特有の現象を利用して、全体の構成を複雑化することなくデータ処理の高速化を実現することができる。 According to the present invention, as described above, an image sensor of a type that scans a light-receiving image (such as a CMOS image sensor) while shifting its position over time and captures an image is used as the image sensor. Utilizing a phenomenon peculiar to the image sensor, it is possible to realize high-speed data processing without complicating the entire configuration.
以下、本発明を実施するための形態（以下、実施の形態という）を説明する。なお、各実施の形態を通じ、同一の部材、要素または部分には同一の符号を付して、その説明を省略する。なお、以下の説明における「・・・手段」とは、所定の電気・電子部品や電子素子等により対応する所定の機能を実現するよう構成されたハードウエア資源による構成を指す場合もあり、また、コンピュータ装置のＣＰＵ、ＲＯＭ、ＲＡＭ、外部記憶装置、入力装置、出力装置等のハードウエア資源を、所定のプログラムによる指令によって動作させることで、対応する所定の機能を実現するように構成されたソフトウエア資源による構成を指す場合もあり、更には、ハードウエア資源とソフトウエア資源との組み合わせによる構成を指す場合もある。いずれにしても、ある「手段」について、ハードウエア資源による構成をソフトウエア資源による構成で置換できる場合は、そのようなソフトウエア資源による構成も発明の範囲内にあり、また、ソフトウエア資源による構成をハードウエア資源による構成で置換できる場合は、そのようなハードウエア資源による構成も発明の範囲内にある。 Hereinafter, embodiments for carrying out the present invention (hereinafter, referred to as embodiments) will be described. Note that, throughout the embodiments, the same members, elements, or portions are denoted by the same reference numerals, and description thereof will be omitted. In the following description, "... means" may refer to a configuration using hardware resources configured to realize a predetermined function corresponding to a predetermined electric / electronic component, an electronic element, or the like. By operating hardware resources such as a CPU, a ROM, a RAM, an external storage device, an input device, and an output device of a computer device in accordance with a command of a predetermined program, a corresponding predetermined function is realized. In some cases, it refers to a configuration based on software resources, and also refers to a configuration based on a combination of hardware resources and software resources. In any case, for a certain “means”, if the configuration using hardware resources can be replaced by a configuration using software resources, such a configuration using software resources is also within the scope of the invention, and a configuration using software resources is also considered. If the configuration can be replaced by a configuration using hardware resources, such a configuration using hardware resources is also within the scope of the invention.
［実施の形態１：可視光通信システム］
本発明は、図１〜図３に示す実施の形態１の可視光通信システムとして具体化することができる。以下、この可視光通信システムの全体構成について、まず、図１を参照して概略的に説明する。本実施の形態の可視光通信システムは、図１に示すように、発光側装置（発光部）１０と、受光側装置（受光部）５０とから構成されている。発光側装置１０は、発光素子からなる光源１１と、発光部側制御ユニット２０と、入力装置２５とを備えている。一方、受光側装置５０は、カメラモジュール６０と、受光部側制御ユニット９０と、出力装置９３とを備えている。カメラモジュール６０は、筐体６１と、筐体６１の前面開口部に装着した絞り部６２と、絞り部６２と同軸状に配設したレンズ６３と、デジタルシグナルプロセッサ（ＤＳＰ）７０と、受光素子としてのＣＭＯＳイメージセンサ８０とを備える構成である。
The present invention can be embodied as the visible light communication system according to the first embodiment shown in FIGS. Hereinafter, the entire configuration of the visible light communication system will be schematically described first with reference to FIG. As shown in FIG. 1, the visible light communication system according to the present embodiment includes a light emitting device (light emitting unit) 10 and a light receiving device (light receiving unit) 50. The light emitting
［可視光通信システムの骨子］
本実施の形態の可視光システムの各部の詳細について説明する前に、本発明に係る可視光通信システムの骨子となる構成について概略的に説明する。まず、本実施の形態を含む本発明に係る可視光通信システムは、後述するように、ＣＭＯＳイメージセンサ８０からなる撮像素子の１回分の走査時間（動画の場合、１フレーム分の走査時間）内に、（点滅駆動手段から出力される）所定の点滅周期による点滅光が光源１１からＣＭＯＳイメージセンサ８０に入力されると、ＣＭＯＳイメージセンサ８０には、光源１１からの１つの点滅光に対応して１対の明暗線（１本の明線と１本の暗線との対）が撮像されるという本発明者らの新規な知見に基づき完成されたものである。例えば、ＣＭＯＳイメージセンサ８０の１回分の走査時間内に、光源１１から１０個の点滅光が出力されてＣＭＯＳイメージセンサ８０に入力されると、ＣＭＯＳイメージセンサ８０には、対応する１０対の明暗線が点滅光の周期（即ち、点滅間隔）に相当する間隔を置いて連続的に平行に配置された状態で撮像され、ストライプ状のパターン（縞模様）の撮像イメージがＣＭＯＳイメージセンサ８０から出力される。本発明に係る可視光通信システムは、かかる本発明者らの新規な知見に係る現象を前提として創作されたものであり、このようなＣＭＯＳイメージセンサ８０に撮像された明暗線のパターンを、コンピュータ装置を制御するための（例えば、コンピュータ装置に所定のイベント等の処理を実行させるための）制御用データ又は制御符号（制御コード）として使用する。
[Overview of Visible Light Communication System]
Before describing the details of each unit of the visible light system according to the present embodiment, the outline of the configuration of the visible light communication system according to the present invention will be schematically described. First, visible light communication system according to the present invention including this embodiment, as described below (in the case of video, one frame scanning time) batch of scanning time of the image pickup device consisting of
詳細には、本実施の形態を含む本発明の可視光通信システムでは、典型的には、所定の複数対数だけ連続する明暗線の集合（セット）により１組の明暗線のセット（本願では、「明暗線セット」と称する。）を構成し、この明暗線セットを前記ＣＭＯＳイメージセンサ８０の撮像データ（即ち、制御用データ又は制御符号）として使用する。このとき、この可視光通信システムでは、明暗線セットを構成する各明暗線の明線の幅及び暗線の幅のうち、少なくともいずれか一方の幅（明線若しくは暗線の幅、又は、両方の幅）を所定幅に設定し、一つの明暗線セットにおいて連続する明暗線の幅（明線及び／又は暗線の幅）の相互の関係により、一意の情報を表現している。
In detail, in the visible light communication system of the present invention including the present embodiment, typically, a set of light-dark lines (set in this application, The light / dark line set is used as image data (that is, control data or control code) of the
一方、この可視光通信システムでは、前記明暗線セットをＣＭＯＳイメージセンサ８０に撮像するため、前記明暗線セットの明暗線の数に対応して（明暗線セットの明暗線の数と）同一の複数だけ連続する点滅光の集合（セット）により１組の点滅光のセット（本願では、「点滅光セット」と称する。）を構成し、この点滅光セットを前記発光部側制御ユニット２０の制御によって光源１１から出力する。このとき、この可視光通信システムでは、点滅光セットを構成する各点滅光の点灯間隔（オン時間間隔）及び消灯間隔（オフ時間間隔）の時間間隔のうち、少なくともいずれか一方の時間間隔（点灯間隔若しくは消灯間隔、又は、両方の時間間隔）を（前記明暗線の幅に対応する）所定時間間隔に設定し、一つの点滅光セットにおいて連続する点滅光の時間間隔（点灯間隔及び／又は消灯間隔）の相互の関係が、前記明暗線の幅の相互の関係と一致するようにしている。即ち、１組の点滅光セットの点滅光は、明暗線セットの明暗線の数と同一の複数だけ連続すると共に、明暗線セットの各明暗線の幅に対応する周期で点滅（オンオフ）する点滅光の集合により構成され、この点滅光セットが、前記発光部側制御ユニット２０の制御によって光源１１から出力される。
On the other hand, in this visible light communication system, since the light and dark line set is imaged by the
そして、本実施の形態を含む本発明の可視光通信システムでは、前記発光部側制御ユニット２０の制御によって光源１１から出力された点滅光セットの点滅光パターンを、カメラモジュール６０によりＣＭＯＳイメージセンサ８０に撮像し、前記明暗線パターンを撮像データとして取得する。その後、受光部側制御ユニット９０が、ＣＭＯＳイメージセンサ８０から出力された明暗線セットのパターンの態様（即ち、明暗線の数と明暗線の幅とにより決定される一意の情報）を認識して読解し、その明暗線セットに対応する所定の信号を出力することで、その明暗線セットに対応する所定の処理をコンピュータ装置に実行させる。
In the visible light communication system of the present invention including the present embodiment, the blinking light pattern of the blinking light set output from the
＜点滅光セット及び明暗線セットの具体例１（モノクロ態様）＞
次に、前記点滅光セット及び明暗線セットの具体例について説明する。例えば、本実施の形態の可視光通信システムでは、図２に示すように、発光部側制御ユニット２０の制御により、光源１１から、前記点滅光セットとして、合計６つの連続する点滅光（即ち、連続する６つのオン時間及びオフ時間の対）から構成する。この場合、図２中の光源１１からの点滅光のタイミングチャート（図２中の左下側）に示すように、６つの点滅光を光源１１から順次出力すると共に、６つの点滅光の消灯部分（オフ部分）Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔（オフ時間間隔）を、所定の時間間隔（時間幅）Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６に設定する。この場合、例えば、６つの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６として、最大の時間間隔（最大間隔）、最小の時間間隔（最小間隔）、及び、それらの中間的な時間間隔（中間間隔）の３つの相対的な間隔を設定し、これら最大間隔、中間間隔及び最小間隔のいずれかを前記６つの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６として割り当てることができる。具体的には、６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２をいずれも中間間隔の対として同一間隔とすると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４を最小間隔及び最大間隔の対として異なる間隔とし、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６を最小間隔及び最大間隔の対として異なる間隔とすることができる。
<Specific Example 1 of Flashing Light Set and Light / Dark Line Set (Monochrome Mode)>
Next, specific examples of the blinking light set and the light / dark line set will be described. For example, in the visible light communication system of the present embodiment, as shown in FIG. 2, under the control of the light emitting unit
前記点滅光セットの構成に対応して、明暗線セットにおいては、明暗線セットを合計６対の連続する明暗線（即ち、連続する６つの明線及び暗線の対）から構成する。この場合、それらの明暗線のうち、最初の２対の明暗線（２つの明線及び暗線の対）を、その明暗線セットの開始位置を（受光部側制御ユニット９０が）認識するため開始位置認識用明暗線又は同期信号用明暗線（いわゆるスタートビットに対応する開始部又はプリコード）として設定し、残りの４対の明暗線を、前記制御用データ又は制御符号となるデータ部として設定することができる。また、この場合、明暗線セットの各明暗線の明線及び暗線のうち、暗線を前記開始部及びデータ部を構成する信号又はデータとして使用することができる。即ち、この場合、図２中のＣＭＯＳイメージセンサ８０における撮像イメージの概念図（図２中の右下側）に示すように、光源１１からの点滅光セットの６つの点滅光に対応して、６対の明暗線がＣＭＯＳイメージセンサ８０に撮像される。このとき、６対の明暗線の暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅（ＣＭＯＳイメージセンサ８０の走査方向における間隔）を、所定の間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６に設定する。なお、この明暗線セットの暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６の値は、点滅光セットの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６の値にそれぞれ対応している。
Corresponding to the configuration of the blinking light set, in the light-dark line set, the light-dark line set is composed of a total of six pairs of continuous light-dark lines (that is, six consecutive pairs of light lines and dark lines). In this case, the first two pairs of light and dark lines (two light and dark line pairs) are started because the light receiving unit
即ち、６対の明暗線の暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６は、点滅光セットの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６に対応して、最大の間隔（最大間隔）、最小の間隔（最小間隔）、及び、それらの中間的な間隔（中間間隔）の３つの相対的な間隔に設定され、これら最大間隔、中間間隔及び最小間隔のいずれかが前記６対の明暗線の暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６として割り当てられる。具体的には、６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２をいずれも中間間隔の対として同一間隔とすると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４を最小間隔及び最大間隔の対として異なる間隔とし、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６を最小間隔及び最大間隔の対として異なる間隔とした場合、６対の明暗線の最初の２本の暗線Ｓ１，Ｓ２（開始部）の幅Ｗ１，Ｗ２のいずれも中間間隔の対として同一間隔となると共に、次の２本の暗線（データ部の最初の２本の暗線）Ｓ３，Ｓ４も最小間隔及び最大間隔の対として異なる間隔となり、更に、次の２本の暗線（データ部の最後の２本の暗線）Ｓ５，Ｓ６も最小間隔及び最大間隔の対として異なる間隔となる。 That is, the widths W1, W2, W3, W4, W5, and W6 of the dark lines S1, S2, S3, S4, S5, and S6 of the six pairs of light and dark lines are the light-off portions L1, L2, L3 of the blinking light of the blinking light set. The maximum intervals (maximum intervals), the minimum intervals (minimum intervals), and the intermediate intervals (intermediate intervals) corresponding to the light-off intervals W1, W2, W3, W4, W5, and W6 of L4, L5, and L6. ), And any one of the maximum interval, the intermediate interval, and the minimum interval is the width W1, W2 of the six pairs of dark lines S1, S2, S3, S4, S5, and S6. , W3, W4, W5, and W6. More specifically, the light-off intervals W1 and W2 of the first two light-off portions L1 and L2 (start portions) of the six blinking lights are set to the same interval as a pair of intermediate intervals, and the next two light-off portions ( The first two light-off portions of the data portion) L3 and L4 are different intervals as a pair of the minimum interval and the maximum interval, and the next two light-off portions (the last two light-off portions of the data portion) L5 and L6 are minimized. When different intervals are used as the pair of the interval and the maximum interval, the widths W1 and W2 of the first two dark lines S1 and S2 (starting portion) of the six pairs of bright and dark lines are the same interval as the pair of the intermediate intervals. , The next two dark lines (the first two dark lines in the data portion) S3 and S4 also have different intervals as a pair of the minimum interval and the maximum interval, and further, the next two dark lines (the last two dark lines in the data portion) Dark lines) S5 and S6 are also the minimum interval and the maximum interval A different spacing as pairs of.
なお、かかる点滅光セットの点滅光の消灯間隔の設定、及び、これに対応する明暗線セットの暗線の幅の設定については、より具体的な事例を後述する。また、点滅光セットの他の態様、及び、これに対応する明暗線セットの他の態様についても、より具体的な事例を後述する。 A more specific example of setting of the interval of turning off the flashing light of the flashing light set and setting of the width of the dark line of the light and dark line set corresponding thereto will be described later. Further, other specific examples of the blinking light set and other corresponding light / dark line sets will be described later.
＜１フレーム内の明暗線の最低包含数＞
ここで、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０では、前記明暗線セットによるパターンを取得するためには、１フレーム分の走査時間内に、最低でも前記点滅光セットの点滅光の数以上の点滅光が入力されて撮像される必要がある。即ち、上記のとおり、ＣＭＯＳイメージセンサ８０による１フレーム分の走査時間（即ち、１フレーム分の撮像時間）内に、例えば６個の点滅光を１セットとするデータセットである点滅光セットが、少なくとも１セットは（点滅光セット内のどの点滅光も欠けることなく）全て含まれるようにする必要がある（即ち、ＣＭＯＳイメージセンサ８０により全て撮像されるようにする必要がある）。こうすると、ＣＭＯＳイメージセンサ８０には、光源１１からの１つの点滅光に対応して１対の明暗線（１本の明線と１本の暗線との対）が撮像される。即ち、１セットの点滅光セットを構成する６個の点滅光については、６対の明暗線が点滅光の周期（即ち、点滅間隔）に相当する間隔を置いて連続的に平行に配置された状態で撮像され、ストライプ状のパターン（縞模様）の撮像イメージがＣＭＯＳイメージセンサ８０から出力される。
<Minimum number of light and dark lines included in one frame>
Here, in the visible light communication system of the present invention including the present embodiment, in the
しかし、このとき、光源１１からＣＭＯＳイメージセンサ８０への点滅光セットの点滅光の入力開始のタイミングと、ＣＭＯＳイメージセンサ８０による走査開始のタイミングとがずれると、点滅光セットの最初の点滅光が、ＣＭＯＳイメージセンサ８０の走査時間の途中から入力されて、対応する明暗線セットの明暗線が、ＣＭＯＳイメージセンサ８０の走査方向の途中から撮像開始されることになる。この場合、ＣＭＯＳイメージセンサ８０の１フレーム分の走査時間内に撮像される点滅光の数（本願書類において、「フレーム内点滅光数」と称する。）が、少なくとも、１組の点滅光セットの点滅光の総数の２倍より１少ない数だけあれば、即ち、光源１１からの点滅光を連続的に撮像する場合において、ＣＭＯＳイメージセンサ８０に撮像される明暗線の数（本願書類において、「フレーム内明暗線数」と称する。）が、少なくとも、１組の明暗線セットの明暗線の総数の２倍より１少ない数だけあれば、ＣＭＯＳイメージセンサ８０における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも１組の点滅光セットの全ての点滅光をＣＭＯＳイメージセンサに撮像できるとの新規な知見を、本発明者らは鋭意の試験研究により得ている。したがって、この知見に基づき、本発明者らは、使用するＣＭＯＳイメージセンサ８０の特性（解像度や走査速度等）に応じて、前記フレーム内点滅数が、少なくとも、１組の点滅光セットの点滅光の総数の２倍より１少ない数（本願書類において、「最小フレーム内点滅光数」と称する。）となり、前記フレーム内明暗線が、少なくとも、１組の明暗線セットの明暗線の総数の２倍より１少ない数（本願書類において、「最小フレーム内明暗線数」と称する。）となるよう、発光部側制御ユニット２０により、光源１１から出力される点滅光の周期を設定するようにしている。例えば、１組の点滅光セットの点滅光の総数が６つで、１組の明暗線セットの明暗線の総数が６対の場合、前記フレーム内点滅数が、少なくとも、１組の点滅光セットの点滅光の総数（６個）の２倍（１２個）より１少ない数（１１個）となり、前記フレーム内明暗線が、少なくとも、１組の明暗線セットの明暗線の総数（６対）の２倍（１２対）より１少ない数（１１対）となるよう、発光部側制御ユニット２０により、光源１１から出力される点滅光の周期を設定するようにしている。無論、使用するＣＭＯＳイメージセンサ８０の特性（解像度や走査速度等）に応じて、前記フレーム内点滅数が、１組の点滅光セットの点滅光の総数の２倍以上の数となり、前記フレーム内明暗線が、１組の明暗線セットの明暗線の総数の２倍以上の数となるよう、発光部側制御ユニット２０により、光源１１から出力される点滅光の周期を設定することもできる。
However, at this time, if the timing of starting the input of the blinking light of the blinking light set from the
［発光側装置］
次に、本実施の形態の発光側装置（発光部１０）について詳細に説明すると、前記光源１１の発光素子としては、発光ダイオード（ＬＥＤ）を好適に使用することができるが、後述するような点滅動作が可能な限りにおいて、有機ＥＬ等の他の光源を使用することもできる。また、ＬＥＤとしては、白色ＬＥＤ等の特定色の可視光ＬＥＤを使用することができるが、赤色、緑色及び青色の三原色を発光自在なフルカラーＬＥＤを使用することもできる。また、光源は、ＬＥＤ等の発光素子を１個のみ配設した構成とすることもできるが、後述するような所定の発光パターン（点滅パターン）での発光駆動が可能な限りにおいて、複数個の発光素子を集合的に配置した構成（例えば、複数個のＬＥＤを集合配置したＬＥＤモジュールの構成）とすることもでき、或いは、ＬＥＤチップを基板上に複数又は多数実装したチップＬＥＤモジュールを使用することもできる。更には、後述するような所定の発光パターン（点滅パターン）での発光駆動が可能な限りにおいて、一般的な照明器具を光源として使用することもできる。
[Light emitting device]
Next, the light emitting side device (light emitting unit 10) of the present embodiment will be described in detail. As a light emitting element of the
＜発光部側制御ユニット＞
前記発光部側制御ユニット２０は、光源１１を所定の態様で発光するように（即ち、上記のような点滅光セットを出力するための所定の点滅パターンで発光するように）制御する発光制御手段を構成する。詳細には、発光部側制御ユニット２０は、点滅駆動手段を構成する点滅駆動回路２１、点滅周期調整手段２２、点滅セット設定手段２３、変調回路２４、及び、発光駆動回路２５を備える構成とすることができる。発光部側制御ユニット２０は、本実施の形態の発光側装置の特徴的な構成であるが、ハードウエア資源による構成としての各種のマイコン（マイクロコンピュータ）に対して、後述するような所定の機能を当該マイコンに実現させる（各種プログラム等の）ソフトウエア資源による構成を組み合わせて構成することができる。
<Light emitting unit side control unit>
The light emitting unit
＜点滅駆動回路＞
点滅駆動手段としての点滅駆動回路２１は、光源１１を所定の点滅周期で連続的に点滅駆動する点滅駆動機能を実現するものである。典型的には、点滅駆動回路２１からなる点滅駆動手段は、連続する所定幅のパルスにより光源１１の発光素子（典型的にはＬＥＤ）をパルス駆動するパルス駆動機能を実現するものであり、パルス発振器から出力するパルスの幅を任意に増減調節して、パルスを一定周期で連続的に出力すると共に、ＰＷＭ制御によりデューティー比（１周期に対するパルスのオン時間の比）を制御して出力するＰＷＭ駆動回路より構成することができる。ここで、点滅駆動回路２１は、一例として、１周期２０００マイクロ秒（Ｔ＝２０００μｓ／周期）のパルスを出力するよう構成することができ、この場合、所定の点滅周波数（５００Ｈｚ）でＬＥＤ等の発光素子を連続的に点滅駆動するものである。即ち、本実施の形態では、点滅駆動回路２１からなる点滅駆動手段は、ＰＷＭ駆動回路等の点滅駆動回路からなるハードウエア資源による構成として実現することができ、パルスを、一定周期で（即ち、一定間隔で）、かつ、一定のデューティー比で連続的に（即ち、回路の駆動開始時から回路の駆動停止時まで連続して）出力する機能を実現するものである。
<Blinking drive circuit>
The blinking
＜点滅周期調整手段＞
ここで、上記のように、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０の１回分の走査時間（動画の場合、１フレーム分の走査時間）内に、前記点滅光セットの全ての点滅光が必ずＣＭＯＳイメージセンサ８０内に入力されて撮像されるよう（即ち、前記明暗線セットの全ての明暗線が撮像されるように）、前記光源１１からの点滅光の周期が設定されている必要がある。即ち、発光部側制御ユニット２０において、点滅駆動回路２１による点滅光の周期が、ＣＭＯＳイメージセンサ８０の１回分の走査時間内に前記点滅光セットの全ての点滅光が包含される周期となる必要がある（即ち、全点滅光の個数分の時間間隔が、前記１回分の走査時間内となる必要がある）。この場合、発光部側制御ユニット２０の点滅駆動回路２１による点滅光の周期の初期設定値において、全点滅光の個数分の時間間隔が前記１回分の走査時間内となるような周期である場合、発光部側制御ユニット２０による点滅光の周期の調整は不要である。しかし、発光部側制御ユニット２０の点滅駆動回路２１による点滅光の周期の初期設定値において、全点滅光の個数分の時間間隔が前記１回分の走査時間を超えるような周期である場合、発光部側制御ユニット２０による点滅光の周期の調整が必要となる。
<Flashing cycle adjusting means>
Here, as described above, in the visible light communication system of the present invention including the present embodiment, the blinking is performed within one scan time of the CMOS image sensor 80 (one frame of scan time for a moving image). In order that all the blinking lights of the light set are always input into the
これに加え、上記のとおり、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０の撮像動作における１フレーム内の明暗線の最低包含数が、前記最小フレーム内明暗線（明暗線セットの明暗線の総数の２倍より１少ない数以上の数）となるよう、光源１１からの点滅光の周期を設定することが望ましい。
In addition, as described above, in the visible light communication system of the present invention including the present embodiment, the minimum inclusion number of light and dark lines in one frame in the imaging operation of the
そこで、本実施の形態では、発光部側制御ユニット２０は、かかる点滅光の周期の調整のために、点滅周期調整手段２２を設けている。詳細には、点滅周期調整手段２２は、前記点滅駆動回路２１の設置値の点滅周期による光源１１からの点滅光の点滅数が、前記最小フレーム内点滅光数に満たない場合に、前記点滅駆動回路２１から出力されるパルスの周期を、点滅光数が前記最小フレーム内点滅光数以上の数となる所定の周期へと調整するものであり、本実施の形態では、上記ソフトウエア資源による構成として実現されている。なお、点滅駆動回路２１の設定値において、前記点滅駆動回路２１の設置値の点滅周期による光源１１からの点滅光の点滅数が、前記最小フレーム内点滅光数以上の数となっている場合は、点滅周期調整手段２２は省略することもできる。
Therefore, in the present embodiment, the light emitting unit
詳細には、点滅周期調整手段２２は、ＣＭＯＳイメージセンサ８０の１回分の走査時間内に点滅駆動回路２１から出力される（その際の設定値である）点滅周期の点滅光の数が、前記最小フレーム内点滅光数未満の数となっている場合（例えば、最小フレーム内点滅光数が１１個の場合において、１回分の走査時間内に入力されている点滅光の数が１０個以下の数となっている場合）、点滅駆動回路２１による点滅駆動用の信号の周期を短くする（例えば、ＰＷＭ制御におけるパルスの周期を短くする）ことにより、ＣＭＯＳイメージセンサ８０の１回分の走査時間内に点滅駆動回路２１から出力される（新たな設定値である）点滅周期の点滅光の数が、前記最小フレーム内点滅光数以上の数になるように、点滅駆動回路２１を制御する（即ち、点滅駆動回路２１に対応する制御信号を出力して制御する）。例えば、最小フレーム内点滅光数が１１個の場合において、１回分の走査時間内に入力されている点滅光の数が１０個以下の数となっている場合、点滅周期調整手段２２は、１回分の走査時間内に入力されている点滅光の数が１１個以上の数となるように、点滅光の周期を早める。このように、例えば、１組の点滅光セットの点滅光数を６個とした場合に、フレーム内点滅光数を１１個以上（即ち、最小フレーム内点滅光数以上の数）とすれば、点滅光セットを複数セット連続的にＣＭＯＳイメージセンサ８０に入力したときに、ＣＭＯＳイメージセンサ８０に撮像されたイメージには、必ず、１セット分の点滅光セットの点滅光が完全に含まれる（即ち、いずれの点滅光も欠けることなく、全ての点滅光が含まれる）ことになり、データセットとしての点滅光セットの情報を欠けることなく読み出すことができるようになる。したがって、例えば、１組の点滅光セットの点滅光数を６個とした場合、フレーム内点滅光数は、少なくとも１１個とすることが好ましい。
More specifically, the blinking period adjusting means 22 determines the number of blinking lights of the blinking period output from the blinking drive circuit 21 (which is a set value at that time) within one scanning time of the
このとき、ＣＭＯＳイメージセンサ８０の１回分の走査時間内に光源１１からの点滅光が何個撮像されるかは、例えば、実機としての光源１１から実機としてのカメラモジュール６０に点滅光を入力することで実験的に確認することもできる。即ち、この場合、図４に示すように、光源１１からの点滅光を、スマートフォンや通信機能付デジカメ等のコンピュータ装置からなる情報端末装置１００のカメラモジュール６０により撮影し、それらの点滅光を、レンズ６３を介してＣＭＯＳイメージセンサ８０に入射して実際に撮像して、情報端末装置１００のディスプレイ１１０に表示することにより、その撮像イメージからなる受信データ１１１に何対の明暗線が含まれるかを目視により確認する。そして、実際に撮像された明暗線の数が１１対未満の場合は、１１対以上となるように、点滅駆動回路２１によるパルス出力の周期を調節して設定することで、前記フレーム内点滅数を前記最小フレーム内点滅数以上の数に設定することができる。
At this time, the number of blinking lights from the
＜点滅光セット設定手段＞
また、上記のように、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０に（所定複数の明暗線からなると共に、各明暗線の幅が所定幅となる）明暗線セットからなるパターンを撮像するために、光源１１から対応する点滅光セットの点滅光を出力する（即ち、明暗線セットと同一数の点滅光からなり、かつ、各点滅光の暗線の幅を各明暗線の所定幅と対応させた点滅光を出力する）必要がある。そこで、本実施の形態では、発光部側制御ユニット２０は、かかる点滅光セットの設定のために、点滅光セット設定手段２３を設けている。詳細には、点滅光設定手段２３により点滅光セットを設定していない状態では、点滅駆動回路２１から出力される信号（パルス）は、一定周期であり、点滅周期調整手段２２による周期調整を受けた後でも、やはり、点滅駆動回路２１は、調整後の一定周期の信号を出力している。そこで、点滅光セット設定手段２３は、前記点滅駆動回路２１から出力される信号を、１周期単位及びパルス単位で変調することにより、点滅駆動回路２１からの信号が前記点滅光セットの信号となるように変調する機能を実現するものであり、上記のソフトウエア資源による構成として実現されている。
<Blinking light set setting means>
Further, as described above, in the visible light communication system of the present invention including the present embodiment, the
例えば、点滅光セットを合計６個の点滅光から構成し、かつ、各点滅光の周期をそれぞれ異なる値に設定する場合、点滅光セット設定手段２３は、点滅駆動回路２１から一定周期で連続して出力される信号を、６個単位で１セットとして設定し、かつ、各セットの各信号の周期を前記各点滅光の周期と一致する周期に設定し、その設定値を変調回路２４に出力する。具体的には、図５に示すように、点滅光セットが、６つの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６について、それぞれ、固有の（一定幅ではない）消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６を有する場合、各消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６の間隔がそのような消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６とするための制御信号（即ち、変調回路２４が点滅駆動回路２１からの信号をそのような態様に変調するための制御信号）を変調回路２４に出力する。即ち、例えば、ある点滅光セットについて、６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２が、いずれも中間間隔の対として同一間隔に設定されると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４が、最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６が、最小間隔及び最大間隔の対として異なる間隔に設定されている場合、点滅駆動回路２１からの信号をそのような消灯部分Ｌ１〜Ｌ６の間隔Ｗ１〜Ｗ６とそれぞれ一致するように変調するための制御信号を、変調回路２４に出力する。
For example, when the blinking light set is composed of a total of six blinking lights and the period of each blinking light is set to a different value, the blinking light set setting means 23 is continuously transmitted from the blinking
＜変調回路＞
変調回路２４は、点滅駆動回路２１からの信号を入力すると共に、前記点滅光セット設定手段２３からの制御信号を受けて、点滅駆動回路２１から一定周期で連続して出力される信号を、６個単位で１セットとして、各セットの各信号の周期を前記各点滅光の周期と一致する周期に変調し、その変調後の信号を出力するものであり、ハードウエア資源による構成として実現されている。例えば、変調回路２４は、ある点滅光セットの６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２がいずれも中間間隔の対として同一間隔に設定されると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４が最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６が最小間隔及び最大間隔の対として異なる間隔に設定されている場合、点滅駆動回路２１からの信号をそのような消灯部分Ｌ１〜Ｌ６の間隔Ｗ１〜Ｗ６とそれぞれ一致するように変調して出力する。
<Modulation circuit>
The
＜発光駆動回路＞
発光駆動回路２５は、変調回路２４からの信号を入力し、その信号にしたがって光源１１を発光駆動するものであり、上記ハードウエア資源により構成されている。詳細には、発光駆動回路２５は、変調回路２４から前記点滅光セットに対応する信号（６個単位で１セットとされ、各セットの各信号の周期が前記各点滅光の周期と一致する周期に変調された変調後の信号）を受けて、その変調後の信号を増幅等した駆動信号を光源１１に出力する。これにより、光源は、発光駆動回路２５からの駆動信号にしたがって点滅発光し、例えば、上記のように、６個の点滅光を１セットとした点滅光セットであって、最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２がいずれも中間間隔の対として同一間隔に設定されると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４が最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６が最小間隔及び最大間隔の対として異なる間隔に設定されている点滅光セットを出力する。
<Light emission drive circuit>
The light
＜入力装置＞
入力装置２６は、前記点滅周期調整手段２２及び前記点滅光セット調整手段２４への入力インターフェースを提供するものであり、上記ハードウエア資源による構成として実現されている。詳細には、入力装置は、点滅周期調整手段２２に対して、前記点滅周期を調整して調整後の点滅周期を設定するための入力機能を提供すると共に、点滅光セット調整手段２４に対して、所望の各種の点滅光セットを設定するための入力機能を提供する。
<Input device>
The
［受光側装置］
次に、本実施の形態の受光側装置（受光部５０）について詳細に説明する。まず、前記カメラモジュール６０自体は、公知の構成であり、上記のとおり、筐体６１の前面開口部に絞り部６２を装着し、絞り部６２と同軸状にレンズ６３を配設している。そして、絞り部６２を介してレンズ６３から受光されたイメージが、デジタルシグナルプロセッサ（ＤＳＰ）７０の制御により、ＣＭＯＳイメージセンサ８０により撮像されて出力される。なお、図３に示すように、ＤＳＰ７０は、メモリコントロールユニット（ＭＣＵ）、クロック発生手段、ＲＧＢ補完処理手段、色再現調整手段、ノイズ除去手段、ホワイトバランス手段、γ補正手段、スケーラ手段、色差信号生成手段、輪郭補正手段、出力インターフェース等の公知の構成を備えている。また、ＣＭＯＳイメージセンサ８０自体も、公知の構成であり、駆動回路によりフォトダイオードアレイを駆動して撮像動作を行い、その撮像データ（アナログデータ）をＡ−Ｄコンバータによりデジタルデータへと変換して出力するモノであり、ＣＤＳ（相関二重サンプリング）によるノイズ低減機能を備えたものもある。
[Receiver device]
Next, the light receiving side device (light receiving unit 50) of the present embodiment will be described in detail. First, the camera module 60 itself has a known configuration. As described above, the
＜ＣＭＯＳイメージセンサによる撮像イメージ＞
上記のように、ＣＭＯＳイメージセンサ８０には、光源１１からの所定の点滅光セットの点滅光が、上記所定の固有の周期で連続的に入力され、それらの点滅光に対応する周期の明暗線が、ストライプ状のパターンとなる撮像イメージとして記録される。具体的には、図５に示す点滅光セットを入力した場合、ＣＭＯＳイメージセンサ８０には、その点滅光セットに対応して、図６に示すような明暗線セットが撮像される。即ち、図５に示すように、点滅光セットが、６つの点滅光の消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６について、それぞれ、固有の（一定幅ではない）消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６を有する場合、ＣＭＯＳイメージセンサ８０には、これに対応して、６対の明暗線から明暗線セットが撮像される。このとき、この撮像パターンである明暗線セットの暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６は、それぞれ、点滅光セットの消灯部分Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６に相当し、かつ、各暗線Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６の幅Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６は、各点滅光の消灯間隔Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６に相当する値となり、固有の（一定幅ではない）値となる。
<Image taken by CMOS image sensor>
As described above, the flashing light of the predetermined flashing light set from the
具体的には、点滅光セットについて、６つの点滅光の最初の２つの消灯部分Ｌ１，Ｌ２（開始部）の消灯間隔Ｗ１，Ｗ２が、いずれも中間間隔の対として同一間隔に設定されると共に、次の２つの消灯部分（データ部の最初の２つの消灯部分）Ｌ３，Ｌ４が、最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の２つの消灯部分（データ部の最後の２つの消灯部分）Ｌ５，Ｌ６が、最小間隔及び最大間隔の対として異なる間隔に設定されている場合を例にとる。この場合、ＣＭＯＳイメージセンサ８０に撮像される明暗線セットについては、６本の暗線の最初の２本の暗線Ｓ１，Ｓ２（開始部）の幅Ｗ１，Ｗ２は、消灯部Ｌ１，Ｌ２の消灯間隔Ｗ１，Ｗ２に対応して、いずれも中間間隔の対として同一間隔となる。また、次の２つの暗線（データ部の最初の２本の暗線）Ｓ３，Ｓ４の幅Ｗ３，Ｗ４は、消灯部分Ｌ３，Ｌ４の消灯間隔Ｗ３．Ｗ４に対応して、最小間隔及び最大間隔の対として異なる間隔となる。更に、次の２つの暗線（データ部の最後の２本の暗線）Ｓ５，Ｓ６は、消灯部分Ｌ５，Ｌ６の消灯間隔Ｗ５，Ｗ６に対応して、最小間隔及び最大間隔の対として異なる間隔となる。
Specifically, in the blinking light set, the light-off intervals W1 and W2 of the first two light-out portions L1 and L2 (start portions) of the six blinking lights are set to the same interval as a pair of intermediate intervals. , The next two extinguished portions (the first two extinguished portions of the data portion) L3 and L4 are set at different intervals as a pair of the minimum interval and the maximum interval. The two light-off portions L5 and L6 are set at different intervals as a pair of the minimum interval and the maximum interval. In this case, for the set of bright and dark lines imaged by the
＜撮像タイミングと撮像イメージ（１フレーム１２本の暗線撮像の場合）＞
ここで、例えば、光源１１から、６個の点滅光からなる点滅光セットを連続的に出力して、その点滅光をＣＭＯＳイメージセンサ８０により１フレーム分撮像した場合、ＣＭＯＳイメージセンサ８０のフレームの走査開始タイミングと光源１１からの点滅光セットの開始位置とが同期して一致している場合は、図６及び図７（ａ）に示すように、フレームの読取り方向（走査方向）における始端から明暗線セットの１本目の暗線が順番に連続して撮像されることになる。そして、例えば、ＣＭＯＳイメージセンサ８０の１フレーム内に１２対の明暗線（即ち、１２本の暗線）が撮像される場合は、１フレーム内に２セット分の明暗線セットが完全な態様で（即ち、各明暗線セットが６対の明暗線を含む態様で）撮像されることになる。一方、ＣＭＯＳイメージセンサ８０のフレームの走査開始タイミングと光源１１からの点滅光セットの開始位置とが同期していない場合は、図７（ｂ）及び図７（ｃ）に示すように、明暗線セットの１本目の暗線が、フレームの読取り方向における途中位置から順番に連続して撮像されることになる。そして、例えば、ＣＭＯＳイメージセンサ８０の１フレーム内に１２対の明暗線が撮像される場合は、１フレーム内に２セット分の明暗線セットは完全な態様で撮像されず、１セット分の明暗線セットのみが完全な態様で撮像されることになる。いずれにしても、明暗線セットの１本目の暗線が、フレームの読取り方向におけるどの位置から開始しても、少なくとも、１セット分の明暗線セットが完全な態様で撮像されることになる。
<Imaging timing and imaging image (in the case of
Here, for example, when a blinking light set including six blinking lights is continuously output from the
＜撮像タイミングと撮像イメージ（１フレーム１１本の暗線撮像の場合）＞
また、図８に示すように、６個の点滅光からなる点滅光セットを連続的に出力する場合において、ＣＭＯＳイメージセンサ８０の１フレーム内に１１対の明暗線（即ち、１１本の暗線）が撮像されるようにした場合、かかる１１対の明暗線は、前記フレーム内最低明暗線数となるため、上記のとおり、ＣＭＯＳイメージセンサ８０における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも１組の点滅光セットの全ての点滅光をＣＭＯＳイメージセンサに撮像して、１組の明暗線セットを完全な態様で撮像することができる。例えば、光源１１から、６個の点滅光からなる点滅光セットを連続的に出力して、その点滅光をＣＭＯＳイメージセンサ８０により１フレーム分撮像した場合、ＣＭＯＳイメージセンサ８０のフレームの走査開始タイミングと光源１１からの点滅光セットの開始位置とが同期して一致している場合は、図８及び図９（ａ）に示すように、フレームの読取り方向（走査方向）における始端から明暗線セットの１本目の暗線が順番に連続して撮像されることになる。この場合、１フレーム内に１セット分の明暗線セットが完全な態様で撮像されることになる。一方、ＣＭＯＳイメージセンサ８０のフレームの走査開始タイミングと光源１１からの点滅光セットの開始位置とが同期していない場合は、図９（ｂ）及び図９（ｃ）に示すように、明暗線セットの１本目の暗線が、フレームの読取り方向における途中位置から順番に連続して撮像されることになる。そして、この場合も、１セット分の明暗線セットが完全な態様で撮像されることになる。いずれにしても、明暗線セットの１本目の暗線が、フレームの読取り方向におけるどの位置から開始しても、少なくとも、１セット分の明暗線セットが完全な態様で撮像されることになる。
<Imaging timing and imaging image (in the case of
Further, as shown in FIG. 8, when a blinking light set including six blinking lights is continuously output, 11 pairs of bright and dark lines (that is, 11 dark lines) are included in one frame of the
＜明暗線撮像の機序＞
ここで、本実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ８０には、光源１１自体のイメージやその周囲の風景等のイメージが撮像されるのではなく、上記のとおり、入力された点滅光の点滅周期に対応する明暗線からなるストライプ状のパターン（即ち、所定の点滅光セットを入力し田場合は所定の明暗線セットからなるパターン）のみが撮像される。これは、ＣＭＯＳイメージセンサの動作機序（特に、蓄積した電化を順次走査方向に走査して読み出すという機序）に起因するものと予想される。即ち、例えば、ＣＭＯＳイメージセンサと共に固体撮像素子の典型例となるＣＣＤイメージセンサでは、グローバル露光と呼ばれる動作方式を採用し、同一期間中に各画素のフォトダイオードに入射した光（撮影イメージを反映した光）を、信号電荷として各画素のフォトダイオードに同時に蓄積し、全ての画素の電荷を同時に垂直ＣＣＤに読み出している。そのため、ＣＣＤイメージセンサは、電子シャッターと組み合わせることで、高速に移動する物体（即ち、高速動体）もその瞬間を止めて撮像することができ、撮像イメージに歪みが生じることはない。即ち、ＣＣＤイメージセンサの場合、全ての画素の信号電化の蓄積動作は同一期間に行われるため、いわゆる蓄積の同時性が維持される。
<Mechanism of light-dark line imaging>
Here, in the visible light communication system of the present invention including the present embodiment, the
一方、ＣＭＯＳイメージセンサの場合、ライン露光又はローリングシャッターと呼ばれる動作方式を採用しており、同一期間中に各画素のフォトダイオードに入射した光（撮影イメージを反映した光）を、信号電荷として各画素のフォトダイオードに蓄積する際に、各画素のフォトダイオードにおける電荷の蓄積期間が走査方向における走査タイミングに依存し、走査線単位でみると、走査する時間差分だけ信号電荷の蓄積期間が走査方向にずれることになる。したがって、ＣＭＯＳイメージセンサの場合、高速動体を撮像すると、その撮像イメージに走査方向への歪み（いわゆる動体歪み）が生じる。 On the other hand, in the case of a CMOS image sensor, an operation method called a line exposure or a rolling shutter is adopted, and light (light reflecting a captured image) incident on a photodiode of each pixel during the same period is converted into a signal charge. When the charge is accumulated in the photodiode of the pixel, the charge accumulation period in the photodiode of each pixel depends on the scanning timing in the scanning direction. Will be shifted to Therefore, in the case of a CMOS image sensor, when a high-speed moving object is imaged, distortion in the scanning direction (so-called moving object distortion) occurs in the captured image.
本発明の可視光通信システムにおいて、ＣＭＯＳイメージセンサ８０に、所定の点滅光セットを入力した場合に所定の明暗線セットからなるパターンのみが撮像されるのは、このＣＭＯＳイメージセンサ８０に固有の動作方式によるものと推定される。即ち、ＣＭＯＳイメージセンサ８０の特性（解像度に応じた画素数、特に、走査方向の画素数、及び、１フレームの走査に要する走査時間等）に基づき、ＣＭＯＳイメージセンサ８０に入射した点滅光セットの各点滅光の点滅間隔（点滅周期）に対応する時間間隔の信号電荷が、ＣＭＯＳイメージセンサ８０の走査タイミングに応じて、順次、ＣＭＯＳイメージセンサ８０の走査方向（図６中の読取り方向）における対応画素に蓄積されることで、点滅光の点滅順序にしたがって、各点滅光の点滅周期に対応する固有の幅を有する明暗線が、ＣＭＯＳイメージセンサ８０の走査方向に順次撮像され、最終的に、点滅光セットに対応する明暗線セットのパターンが撮像イメージとして出力されると推定される。
In the visible light communication system of the present invention, when a predetermined blinking light set is input to the
［制御符号の具体例］
ここで、ＣＭＯＳイメージセンサ８０に撮像された明暗線セットを所定の制御用データ又は制御符号として利用する場合の具体例について説明する。まず、この場合、１個の点滅光がＣＭＯＳイメージセンサ８０で占める画素数について算出し、その画素数に基づき、点滅光の周期（特に、消灯部分の消灯間隔の値）を設定する。詳細には、まず、点滅光セットについて、例えば、光源１１としてＬＥＤを使用し、（必要に応じて点滅周期調整手段２２により周期を調整した）点滅駆動回路２１によって、２０００マイクロ秒で１周期となる波長の点滅光又はパルス光を光源１１から出力する場合において、デューティー比を５０とすると、各パルス光のオン時間間隔は１０００マイクロ秒となり、オフ時間間隔は１０００マイクロ秒となる。そして、この周期の点滅光を光源１１から出力した場合において、ＣＭＯＳイメージセンサ８０に１１対の明暗線が撮像される場合、ＣＭＯＳイメージセンサの解像度に基づき、１対の明暗線が占める画素数を算出できる。即ち、この場合において、例えば、ＣＭＯＳイメージセンサの走査方向の画素数が１０８０ピクセルである場合、１フレームの撮像イメージにおいて１対の明暗線が占める走査方向の画素数（ピクセル数）は、１０８０／１１＝約９８（１対の明暗線当たり約９８ピクセル）となる。即ち、２０００マイクロ秒／周期の点滅光は、ＣＭＯＳイメージセンサ８０において約９８ピクセル分の幅を有することになり、その暗線部分は、約４９ピクセル（約９８／２＝約４９）分の幅を有することになる。
[Specific example of control code]
Here, a specific example in the case where a set of light and dark lines captured by the
そこで、本実施の形態の可視光通信システムでは、点滅光の消灯部分の消灯間隔（１周期のオフ部分の時間間隔）を所定の調整単位で増減調整することで、結果的に、ＣＭＯＳイメージセンサ８０に撮像される明暗線の暗線の幅を調整し、その調整幅の値をＩＤ化することで、制御用データ又は制御符号として使用する。具体的には、点滅光の消灯部分の消灯間隔の調整単位は、１単位１００マイクロ秒とする（即ち、消灯部分の時間間隔である１０００マイクロ秒の１０分の１の間隔とする）。この場合、点滅光の消灯部分の時間間隔について１単位分の増減調整を行うと、対応する明暗線の暗線の幅は、ＣＭＯＳイメージセンサ８０の約５ピクセル分の幅となる（約４９／１０＝約５）。そして、上記のように、点滅光セットを６個の点滅光から構成し、明暗線セットに６本の暗線Ｓ１〜Ｓ６を含むようにした場合において、各点滅光の消灯部分Ｌ１〜Ｌ６の消灯間隔Ｗ１〜Ｗ６を、基準値としての１０００マイクロ秒に対して１００マイクロ秒単位で増減調整すると、各暗線Ｓ１〜Ｓ６の幅Ｗ１〜Ｗ６は、基準値である約４９ピクセルに対して約５ピクセル単位で増減調整される。なお、各明線の幅は、増減調整されず、（点滅光の点灯部分の時間間隔の設定値である１０００マイクロ秒に対応する）約４９ピクセル分の同一幅となる。また、点滅光の消灯部分の消灯間隔の増減調整は、例えば、発光部側制御ユニット２０を構成するマイコン等のｄｅｌａｙ関数（又は、ｄｅｌａｙＭｉｃｒｏｓｅｃｏｎｄｓ関数）を使用して実現することができる。
Therefore, in the visible light communication system of the present embodiment, the CMOS image sensor is consequently adjusted by increasing or decreasing the light-off interval (the time interval of one cycle of the off-portion) of the light-off portion of the blinking light in a predetermined adjustment unit. By adjusting the width of the dark line of the light and dark lines imaged at 80 and converting the value of the adjusted width into an ID, it is used as control data or a control code. Specifically, the adjustment unit of the light-off interval of the light-off portion of the blinking light is 100 microseconds per unit (that is, one-tenth of the time interval of the light-off portion, 1000 microseconds). In this case, if the increase or decrease of the time interval of the portion where the blinking light is turned off is increased or decreased by one unit, the width of the dark line of the corresponding light and dark line becomes the width of about 5 pixels of the CMOS image sensor 80 (about 49/10). = About 5). Then, as described above, when the blinking light set is composed of six blinking lights, and the dark and dark line set includes six dark lines S1 to S6, the light-off portions L1 to L6 of the blinking lights are turned off. When the intervals W1 to W6 are increased or decreased in units of 100 microseconds with respect to 1000 microseconds as the reference value, the width W1 to W6 of each dark line S1 to S6 becomes about 5 pixels with respect to the reference value of about 49 pixels. It is increased or decreased in units. The width of each bright line is not adjusted to be increased or decreased, and has the same width of about 49 pixels (corresponding to 1000 microseconds, which is the set value of the time interval of the lighting portion of the blinking light). Further, the increase / decrease adjustment of the turn-off interval of the turn-off portion of the blinking light can be realized using, for example, a delay function (or a delay Microseconds function) of a microcomputer or the like constituting the light emitting unit
＜制御符号の具体例１＞
この場合について更に詳細に説明すると、まず、６個の点滅光の消灯部分Ｌ１〜Ｌ６について、以下のように消灯間隔Ｗ１〜Ｗ６を前記調整単位で増減調整することができる。
消灯部分Ｌ１（プリコード）の間隔Ｗ１：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ２（プリコード）の間隔Ｗ２：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ３（コード）の間隔Ｗ３：−１００（１００マイクロ秒減少）
消灯部分Ｌ４（コード）の間隔Ｗ４：１００（１００マイクロ秒増加）
消灯部分Ｌ５（コード）の間隔Ｗ５：−４００（４００マイクロ秒減少）
消灯部分Ｌ６（コード）の間隔Ｗ６：４００（４００マイクロ秒増加）
<Specific Example 1 of Control Code>
This case will be described in more detail. First, for the light-off portions L1 to L6 of the six blinking lights, the light-off intervals W1 to W6 can be increased or decreased in the above-described adjustment units as described below.
Interval W1: 0 between light-off portions L1 (precode) (zero adjustment, ie, no increase or decrease)
Interval W2: 0 of light-off portion L2 (precode) (zero adjustment, ie, no increase or decrease)
Light-off portion L3 (code) interval W3: -100 (reduced by 100 microseconds)
Light-out portion L4 (code) interval W4: 100 (100 microsecond increase)
Light-off portion L5 (code) interval W5: -400 (reduced by 400 microseconds)
Light-out portion L6 (code) interval W6: 400 (increase by 400 microseconds)
したがって、制御符号の具体例１の場合、６本の明暗線における暗線Ｓ１〜Ｓ６の幅Ｗ１〜Ｗ６は、上記点滅光の消灯部分Ｌ１〜Ｌ６の幅Ｗ１〜Ｗ６の増減に対応する値となる。即ち、図１０に示すように、プリコードとなる暗線Ｓ１及び暗線Ｓ２の幅は、共に、（点滅光の暗線部分の基準値である１００マイクロ秒に対応する）基準値である約５ピクセル分を１単位として、１０単位分の幅となる。また、コードとなる暗線Ｓ３及び暗線Ｓ４の幅は、基準値である約５ピクセル分を１単位として、それぞれ、９単位分の幅及び１１単位分の幅となる。また、コードとなる暗線Ｓ５及び暗線Ｓ６の幅は、基準値である約５ピクセル分を１単位として、それぞれ、６単位分の幅及び１４単位分の幅となる。なお、図１０では、説明の便宜上、（実際は図９等に示すように走査方向に連続する）暗線Ｓ１〜Ｓ６を、暗線単位で分割して描画し、かつ、暗線Ｓ１〜Ｓ６を基準値である約５ピクセル分を１単位として分割するよう描画しているが、実際は、単位間の直線が表れるものではない。 Therefore, in the case of the specific example 1 of the control code, the widths W1 to W6 of the dark lines S1 to S6 of the six light and dark lines are values corresponding to the increase and decrease of the widths W1 to W6 of the light-off portions L1 to L6 of the blinking light. . That is, as shown in FIG. 10, the widths of the dark lines S1 and S2 serving as precodes are both about 5 pixels which is the reference value (corresponding to 100 μs which is the reference value of the dark line portion of the blinking light). Is a unit, and the width is 10 units. The widths of the dark lines S3 and S4, which are codes, are 9 units and 11 units, respectively, with the reference value of about 5 pixels as one unit. Further, the widths of the dark lines S5 and S6 serving as codes are 6 units and 14 units, respectively, with the reference value of about 5 pixels as one unit. In FIG. 10, for convenience of explanation, the dark lines S1 to S6 (actually continuous in the scanning direction as shown in FIG. 9 and the like) are divided and drawn in units of dark lines, and the dark lines S1 to S6 are used as reference values. Although drawing is performed so as to divide a certain approximately five pixels into one unit, in reality, a straight line between the units does not appear.
＜制御符号の具体例２＞
また、６個の点滅光の消灯部分Ｌ１〜Ｌ６について、以下のように消灯間隔Ｗ１〜Ｗ６を前記調整単位で増減調整することもできる。
消灯部分Ｌ１（プリコード）の間隔Ｗ１：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ２（プリコード）の間隔Ｗ２：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ３（コード）の間隔Ｗ３：−４００（４００マイクロ秒減少）
消灯部分Ｌ４（コード）の間隔Ｗ４：４００（４００マイクロ秒増加）
消灯部分Ｌ５（コード）の間隔Ｗ５：−２００（２００マイクロ秒減少）
消灯部分Ｌ６（コード）の間隔Ｗ６：２００（２００マイクロ秒増加）
<Specific Example 2 of Control Code>
Further, with respect to the extinguished portions L1 to L6 of the six blinking lights, the extinguishing intervals W1 to W6 can be increased or decreased in the above-described adjustment units as follows.
Interval W1: 0 between light-off portions L1 (precode) (zero adjustment, ie, no increase or decrease)
Interval W2: 0 of light-off portion L2 (precode) (zero adjustment, ie, no increase or decrease)
Light-off portion L3 (code) interval W3: -400 (reduced by 400 microseconds)
Light-out portion L4 (code) interval W4: 400 (increase by 400 microseconds)
Light-off portion L5 (code) interval W5: -200 (reduced by 200 microseconds)
Light-out portion L6 (code) interval W6: 200 (increase by 200 microseconds)
＜制御符号の具体例３＞
また、６個の点滅光の消灯部分Ｌ１〜Ｌ６について、以下のように消灯間隔Ｗ１〜Ｗ６を前記調整単位で増減調整することもできる。
消灯部分Ｌ１（プリコード）の間隔Ｗ１：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ２（プリコード）の間隔Ｗ２：０（ゼロ調整、即ち、増減なし）
消灯部分Ｌ３（コード）の間隔Ｗ３：４００（４００マイクロ秒増加）
消灯部分Ｌ４（コード）の間隔Ｗ４：−４００（４００マイクロ秒減少）
消灯部分Ｌ５（コード）の間隔Ｗ５：２００（２００マイクロ秒増加）
消灯部分Ｌ６（コード）の間隔Ｗ６：−２００（２００マイクロ秒減少）
<Specific Example 3 of Control Code>
Further, with respect to the extinguished portions L1 to L6 of the six blinking lights, the extinguishing intervals W1 to W6 can be increased or decreased in the above-described adjustment units as follows.
Interval W1: 0 between light-off portions L1 (precode) (zero adjustment, ie, no increase or decrease)
Interval W2: 0 of light-off portion L2 (precode) (zero adjustment, ie, no increase or decrease)
Light-out portion L3 (code) interval W3: 400 (increase by 400 microseconds)
Light-off portion L4 (code) interval W4: -400 (reduced by 400 microseconds)
Light-off portion L5 (code) interval W5: 200 (increase by 200 microseconds)
Light-off portion L6 (code) interval W6: -200 (reduced by 200 microseconds)
また、上記点滅光セットによりＣＭＯＳイメージセンサ８０に撮像される明暗線セットの例を、図１１（ａ）〜（ｃ）に示す。図１１（ａ）の例は、点滅光のデューティー比を５０とした場合の例を示す。即ち、図１１（ａ）の例では、基準値と同一幅となる暗線Ｓ１，Ｓ２の幅Ｗ１，Ｗ２が、（全て同一幅となる）明線の幅と同一となっている。また、図１１（ｂ）の例は、点滅光のデューティー比を５０より小さくとした場合の例を示す。即ち、図１１（ｂ）の例では、デューティー比の減少にしたがって暗線の幅の基準値が相対的に小さくなり、かつ、明線の幅の設定値が相対的に大きくなるため、暗線Ｓ１，Ｓ２の幅Ｗ１，Ｗ２が、明線の幅よりも小さくなっている。また、図１１（ｃ）の例は、点滅光のデューティー比を５０より小さくとした場合の例を示す。即ち、図１１（ｃ）の例でも、デューティー比の減少にしたがって暗線の幅の基準値が相対的に小さくなり、かつ、明線の幅の設定値が相対的に大きくなるため、暗線Ｓ１，Ｓ２の幅Ｗ１，Ｗ２が、明線の幅よりも小さくなっている。このように、点滅光のデューティー比を５０以外の値として点滅光セットを構成することもできるが、いずれの場合も、上記制御符号の具体例のように、点滅光の消灯間隔を増減調整して明暗線の暗線の幅を増減調整することで、所望の制御用データ又は制御符号を得ることができる。
FIGS. 11A to 11C show examples of light and dark line sets captured by the
＜受光部側制御ユニット＞
次に、受光部側制御ユニット９０は、上記のように所定の明暗線セットからなる撮像イメージを出力するＣＭＯＳイメージセンサ８０に接続され、ＣＭＯＳイメージセンサ８０の出力を受けて所定の制御動作を行うものであり、本実施の形態の受光側装置の特徴的な構成である。受光部側制御ユニット９０は、ハードウエア資源による構成としての各種のマイコン（マイクロコンピュータ）に対して、後述するような所定の機能を当該マイコンに実現させる（各種プログラム等の）ソフトウエア資源による構成を組み合わせて構成することができる。詳細には、受光部側制御ユニット９０は、パターン認識手段９１、マッチング手段９２、及び、指令手段９３を備える構成とすることができる。
<Light receiving unit side control unit>
Next, the light-receiving-unit-
＜パターン認識手段＞
パターン認識手段９１は、ＣＭＯＳイメージセンサ８０の出力した撮像イメージを入力して、その撮像イメージのパターンを認識するものであり、例えば、上記ソフトウエア資源による構成として実現することができる。即ち、パターン認識手段９１は、ＣＭＯＳイメージセンサ８０の出力した明暗線セットのパターンにおいて走査方向（読取り方向）に連続する各明暗線（制御符号として暗線を使用した場合は各暗線）と、各明暗線の幅（制御符号として暗線を使用した場合は暗線の幅）とを認識し、その認識結果に応じた制御信号を出力する。例えば、上記制御符号の具体例１（図１０参照）のように制御符号を校正した場合、パターン認識手段９１は、まず、プリコードとしての暗線Ｓ１，Ｓ２を、その幅Ｗ１，Ｗ２により認識し（即ち、暗線Ｓ１，Ｓ２の幅Ｗ１，Ｗ２が基準値と同一値であることを認識し）、これに続くコードである一対の暗線Ｓ３，Ｓ４及び一対の暗線Ｓ５，Ｓ６を認識する。このとき、パターン認識手段９１は、一対の暗線Ｓ３，Ｓ４の幅Ｗ３，Ｗ４の基準値からの増減幅、及び、一対の暗線Ｓ５，Ｓ６の幅Ｗ５，Ｗ６の基準値からの増減幅を認識し、それらの増減幅をＩＤ情報として利用する。具体的には、前記制御符号の具体例１では、パターン認識手段９１は、図１０に示すように、暗線Ｓ１〜Ｓ６の幅Ｗ１〜Ｗ６の基準値からの増減幅が、「０＿０＿−１００＿１００＿−４００＿４００」からなる配列であると認識し、この配列（特に、コード部分の配列である「−１００＿１００＿−４００＿４００」）を一意のコード情報又は識別子（即ち、ＩＤ）として、対応する信号を出力する。
<Pattern recognition means>
The
＜マッチング手段＞
マッチング手段９２は、パターン認識手段９１からの信号を入力し、パターン認識手段９１の認識結果を、所定の処理とマッチングするものであり、例えば、上記ソフトウエア資源による構成として実現することができる。詳細には、前記明暗線セットのパターンに応じた特定の処理をコンピュータ装置に実行させるための特定の指令情報が、異なる明暗線セットごとに対応付けて用意されている（例えば、データベースに格納されている）。よって、マッチング手段９２は、パターン認識手段９１から入力された（明暗線セットの制御符号の内容に対応する）一意のコード情報を表す信号に基づき、ＣＭＯＳイメージセンサ８０に撮像された明暗線セットのパターンを、特定の指令情報とマッチングし、そのマッチング情報に対応する信号を出力する。
<Matching means>
The matching
＜指令手段＞
指令手段９３は、マッチング手段９２からの信号を入力し、その信号に対応する指令情報を出力するものであり、例えば、上記ソフトウエア資源による構成として実現することができる。例えば、指令手段９３は、マッチング手段９２からのマッチング情報に基づき、コンピュータ装置に特定の処理を実行させるための指令情報を出力することができ、この指令情報に応答して、コンピュータ装置が、例えば、その出力装置９４に、所定の情報（映像、画像、音声等）を出力するよう構成することができる。
<Instruction means>
The command means 93 is for inputting a signal from the matching means 92 and outputting command information corresponding to the signal, and can be realized, for example, as a configuration using the above software resources. For example, the
［使用方法］
本実施の形態の可視光通信システムは、例えば、以下のようにして使用することができる。即ち、図４に示すように、まず、カメラ装置（例えば、情報端末装置１００のカメラモジュール６０）をオンする一方で、光源１１から所定の点滅光セットからなる点滅光を出力し、この点滅光をカメラモジュール６０のレンズ６３を介して撮影し、ＣＭＯＳイメージセンサ８０の１フレームに撮像する。このときの撮像は、静止画により行ってもよく、動画により行ってもよい。動画による撮像とすると、制御符号の情報量を多く確保することができる。いずれにしても、１フレーム内に少なくとも１つの明暗線セットが過不足なく撮像されればよい。そして、ＣＭＯＳイメージセンサ８０の撮像パターンをパターン認識手段９１により認識してＩＤ等の制御符号に変換し、マッチング手段９２によりその認識結果に応じたマッチング情報を出力して、指令手段９３によりそのマッチング情報に対応する指令をコンピュータ装置に出力する。なお、パターン認識手段９１により認識した明暗線セットの撮像パターンは、情報端末装置１００のディスプレイ１１０等にそのまま表示してもよいが、表示しないよう構成することもできる（即ち、プログラムの仕様により任意の設定とすることができる）。
[how to use]
The visible light communication system of the present embodiment can be used, for example, as follows. That is, as shown in FIG. 4, first, while turning on the camera device (for example, the camera module 60 of the information terminal device 100), the
［作用効果］
上記実施の形態を含む本発明の可視光通信装置によれば、光源１１の明るさ（即ち、輝度）の変化によってもＣＭＯＳイメージセンサ８０における撮像イメージのパターン（明暗線の周期や幅）は影響されず、光源１１からの点滅光セットに常に対応する明暗線セットを得ることができるため、安定した動作が可能となる。また、光源１１からの距離に関係なく（即ち、光源１１からカメラモジュール６０等のカメラ装置までの距離が遠くても近くても）、撮影によりＣＭＯＳイメージセンサ８０に撮像される明暗線セットの明暗線の幅は変わることがなく、常に、点滅光セットの点滅間隔に対応する幅となる。即ち、明暗線の（幅調製される）暗線の幅は、点滅光の消灯部分の時間間隔にのみ依存して決定される。更に、カメラモジュール６０等のカメラ装置を光源１１に対して傾斜させて撮影しても、ＣＭＯＳイメージセンサに撮像される明暗線セットの明暗線が傾斜することはなく、常に、走査方向に直交する直線状となる。よって、このようなバイに対処するための補正機能が不要となり、カメラ装置をどの角度として撮影しても所期の良好な結果を得ることができる。また、光源１１は、点滅光を出力するが、この点滅動作は（上記のように、周期２０００マイクロ秒等の）高速点滅動作となるため、通常の点灯状態と同様に視認され、点滅光にＩＤが含まれているにもかかわらず、人には認識できないものとなっている。また、従来の可視光通信は、「０」及び「１」のビット情報からなるタイムラインの信号を読み取るが、本発明は、撮像イメージをストライプ状の縞模様としてＩＤ化すると共に、ＣＭＯＳイメージセンサの１フレームを撮像する間に一つのＩＤが含まれる構成であるため、非常に高速動作が可能となる。なお、この動作速度は、使用するカメラ装置やスマートフォン等に実装したカメラモジュールのＣＭＯＳイメージセンサの性能に応じた１秒間のフレーム数に依存し、ＣＭＯＳイメージセンサの精度やリフレッシュレートに依存する。
[Effects]
According to the visible light communication device of the present invention including the above-described embodiment, the change in the brightness (that is, the brightness) of the
［撮像パターンの使用例］
上記実施の形態を含む本発明の可視光通信装置によれば、明暗線セットからなる撮像パターンの制御符号は、ＩＤとして使用することができるが、制御符号をコード化して文字データとしたり、制御符号をＵＲＬを表す情報として使用することもでき、或いは、エラー訂正のための符号として使用することもできる。ＵＲＬとして実現する場合、そのＵＲＬを送信して対応するウエブページを取得する等の処理をコンピュータ装置に実行させることもできる。なお、制御符号をＩＤ化する場合は、明暗線セットは、上記のようにＣＭＯＳイメージセンサ８０の１フレーム内に収まる情報量ですむが、文字コード化する場合、２〜３フレーム分の情報量が必要となる。また、ＵＲＬ化する場合も、同様に、２〜３フレーム分の情報量が必要となる。
[Example of using imaging pattern]
According to the visible light communication device of the present invention including the above-described embodiment, the control code of the imaging pattern including the light and dark line set can be used as an ID. The code can be used as information representing the URL, or can be used as a code for error correction. In the case where the URL is realized, the computer device may execute a process such as transmitting the URL and acquiring a corresponding web page. When the control codes are converted into IDs, the bright and dark line sets need to be the amount of information that fits within one frame of the
［本発明の範囲］
［別例１（ＲＧＢ出力による情報量増大）］
上記実施の形態の可視光通信システムで説明した構成以外に、本発明の可視光通信システムは、各部の構成を変更して実施することもできる。例えば、上記実施の形態では、光源１１から白色光等の同一色又は単色の点滅光を出力し、この点滅光からなる点滅光セットの各消灯部分の消灯間隔を増減調整することで、ＣＭＯＳイメージセンサ８０に撮像する明暗線セットの各暗線の幅を増減調整して符号化している。即ち、明暗線セットをモノクロ情報として撮像している。しかし、光源１１からＲＧＢ（赤、緑、青）の３原色の光からなる点滅光を選択的に出力し、この３原色の点滅光からなる点滅光セットの各消灯部分の消灯間隔を増減調整することで、ＣＭＯＳイメージセンサ８０に撮像する明暗線セットの各暗線の幅を増減調整して符号化することもできる。この場合、明暗線セットの明線の色を認識することにより、明暗線セットによる符号化の際の情報量を、モノクロ情報として撮像する場合の情報量の３乗の情報量を確保することができる。更に、ＲＧＢの３原色以外の色を使用して、色数を増やすことも可能である。ただし、色数を増やすと、それに応じてエラーが増加するので、エラーが増加しないよう、色数を所定数以下に抑える必要がある。また、ＣＭＯＳイメージセンサの１フレーム分のスペースの制約もあるため、色数を大きく増加することは好ましくない。
[Scope of the present invention]
[Another Example 1 (Increase in Information Amount by RGB Output)]
In addition to the configuration described in the visible light communication system of the above embodiment, the visible light communication system of the present invention can be implemented by changing the configuration of each unit. For example, in the above-described embodiment, the flashing light of the same color or a single color such as white light is output from the
［別例２（明暗線セット）］
また、上記実施の形態では、明暗線セットの最初の２本の暗線を同一幅の暗線としてプリコードとして使用しているが、プリコードとしては、他の本数及び／又は幅（例えば、異なる幅）の暗線を使用することもできる。また、上記実施の形態では、明暗線セットは、６本の暗線からなる構成としているが、これを他の本数からなる構成とすることもできる。更に、明暗線セットの明線の幅を認識して符号化する構成としたり、明暗線セットの明線の幅及び暗線の幅を共に認識して符号化する構成とすることも理論上は可能である。
[Another example 2 (light and dark line set)]
In the above embodiment, the first two dark lines of the set of light and dark lines are used as precodes as dark lines having the same width. However, as the precode, other numbers and / or widths (for example, different widths) are used. ) Can also be used. Further, in the above-described embodiment, the light-dark line set has a configuration including six dark lines, but may have a configuration including another number. Further, it is theoretically possible to adopt a configuration in which the width of the bright line in the set of bright and dark lines is recognized and encoded, or a configuration in which the width of the bright line and the width of the dark line in the bright and dark line set are both recognized and encoded. It is.
［別例３（左右一対の構成）］
また、上記実施の形態を含む本発明の可視光通信装置において、左右一対の光源を用意すると共に、左側の光源からの点滅光セットを音声出力用とし、右側の光源からの点滅光セットを映像（動画）出力用とすることもできる。
[Another example 3 (a pair of right and left)]
In the visible light communication device of the present invention including the above-described embodiment, a pair of right and left light sources is prepared, a blinking light set from the left light source is used for audio output, and a blinking light set from the right light source is used as an image. (Movie) output can also be used.
［別例４（ＣＭＯＳイメージセンサ）］
まず、本発明の可視光通信システムの全体構成において、前記受光素子としての撮像素子としてＣＭＯＳイメージセンサを使用する場合、ＣＭＯＳイメージセンサとしては、直線状の構成のものに加え、直線状でない構成のもの（例えば、曲線状の構成のもの等、非直線形状の構成のもの）も理論上は製作可能であり、将来的に開発されるこのようなＣＭＯＳイメージセンサも含め、任意のＣＭＯＳイメージセンサを使用することもできる。
[Another example 4 (CMOS image sensor)]
First, in the overall configuration of the visible light communication system of the present invention, when a CMOS image sensor is used as an image sensor as the light receiving element, the CMOS image sensor has a non-linear configuration in addition to a linear configuration. A sensor (for example, one having a non-linear configuration such as a curved configuration) can be theoretically manufactured, and any CMOS image sensor including such a CMOS image sensor to be developed in the future can be used. Can also be used.
［別例５（受光素子）］
また、上記実施の形態を含む本発明の可視光通信システムの全体構成においては、前記受光素子としての撮像素子（イメージセンサ）としては、ＣＭＯＳイメージセンサを典型的な撮像素子として使用しているが、ＣＭＯＳイメージセンサ以外にも、ＣＭＯＳイメージセンサと同等の撮像動作を行うイメージセンサを使用することもできる。即ち、本発明の受光素子は、ＣＣＤイメージセンサのように同時にイメージを取得する撮像方式（グローバル露光方式又は同時撮像方式）ではなく、ＣＭＯＳイメージセンサのようにずれたタイミングでイメージを取得する撮像方式（ライン露光方式又は順次撮像方式）と同等の撮像方式による撮像を行うものであれば、将来的に開発されるイメージセンサも含め、任意のイメージセンサを使用することができる。即ち、本発明の受光側装置に必要な本質的性質は、「同時にイメージを取得するものではない（ずれたタイミングで取得する）」構造であることであり、このような構造を備える限り、任意の構成を採用することができる。
[Another example 5 (light receiving element)]
In the overall configuration of the visible light communication system of the present invention including the above embodiment, a CMOS image sensor is used as a typical image sensor as the image sensor (image sensor) as the light receiving element. In addition to the CMOS image sensor, an image sensor that performs the same imaging operation as that of the CMOS image sensor can be used. That is, the light receiving element of the present invention is not an imaging method for acquiring images at the same time (global exposure method or simultaneous imaging method) like a CCD image sensor, but an imaging method for acquiring images at shifted timing like a CMOS image sensor. Any image sensor including an image sensor to be developed in the future can be used as long as an image is captured by an imaging method equivalent to (line exposure method or sequential imaging method). That is, the essential property required for the light-receiving side device of the present invention is that it has a structure that “images are not acquired at the same time (acquires at shifted timings)”. Can be adopted.
［別例６（変調手段）］
上記実施の形態では、変調手段は、電気回路によるハードウエア構成からなる変調回路により実現され、光源に供給する発光駆動用の電力を制御する構成とされているが、光源から前記点滅光セットを出力できる限りにおいて、電力での変調以外の構成も採用することができ、例えば、液晶シャッターによる構成等、任意の構成を採用することができる。
[Another example 6 (modulation means)]
In the above embodiment, the modulating means is realized by a modulating circuit having a hardware configuration by an electric circuit, and is configured to control power for driving light emission to be supplied to the light source. As long as the output is possible, a configuration other than the modulation with electric power can be adopted. For example, an arbitrary configuration such as a configuration using a liquid crystal shutter can be adopted.
［別例７（本発明の本質的特徴に関する別例）］
可視光通信システムに具体化される本発明の本質的特徴は、大きく、以下の二点にある。即ち、（１）使用する撮像素子の「非同時のイメージ取得」という特性を用いることで、フレームレートを上回る転送レートを出す仕組み、及び、（２）この撮像素子に載せるコード及びデコード手法又は符号化・復号化手法（なお、今回の実装に係るコード・デコード手法はごく一例を示すにすぎない）。例えば、本発明の可視光通信システムは、光源の明るさの変化にできるだけ追従する工夫も盛り込んでいる（以下、この工夫に係る機能実現手段を「明度変化追従手段」という）。更には、本発明の可視光通信システムは、「ゆっくり明滅する光源」にも安定してデータを載せられる（任意に、即時に、データが得られる）工夫をしている（以下、この工夫に係る機能実現手段を「低速点滅光源用データ安定化手段」という）。また、本発明の可視光通信システムは、光源にフルカラーＬＥＤを使用する場合は、フルカラーＬＥＤの各色のＬＥＤを個別に駆動することで（同期しつつも独立した情報を載せることで）、単位時間あたりに送信できる容量を増やせるという大変重要な性質を備えている（以下、この性質を達成するための機能実現手段を「データ送信容量増大手段」という）。
[Another Example 7 (Another Example Concerning Essential Features of the Present Invention)]
The essential features of the present invention embodied in the visible light communication system are mainly in the following two points. That is, (1) a mechanism for providing a transfer rate higher than the frame rate by using a characteristic of “non-simultaneous image acquisition” of an image sensor to be used, and (2) a code and a decoding method or code to be mounted on the image sensor. Coding / decoding method (the code / decoding method according to this implementation is only an example). For example, the visible light communication system of the present invention incorporates a device for following a change in the brightness of the light source as much as possible (hereinafter, the function realizing means according to this device is referred to as “brightness change tracking device”). Furthermore, the visible light communication system of the present invention is devised so that data can be stably loaded even on the “light source that blinks slowly” (data can be obtained arbitrarily and immediately). Such a function realizing means is referred to as “a low-speed blinking light source data stabilizing means”). Further, in the visible light communication system of the present invention, when a full-color LED is used as a light source, each color LED of the full-color LED is individually driven (by putting independent information while being synchronized), so that the unit time can be reduced. It has a very important property that the capacity that can be transmitted per unit can be increased (hereinafter, the function realizing means for achieving this property is referred to as "data transmission capacity increasing means").
［別例７（撮像動作の時間間隔）］
上記実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、（ＣＭＯＳイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して）一定時間間隔ごとに入力データとしての点滅光セットの各点滅光を撮像する構成であるが、この入力データの撮像のための時間間隔は、一定時間間隔でなくともよい。例えば、その時間間隔が既知であればその非一定の時間間隔を既知の情報に基づいて調整することで（或いは、未知であっても、事前校正することで）、本発明の可視光通信システムを構成することができる。また、この時間間隔が仮にランダムであったとしても、その揺らぎが一定範囲以内であれば、その揺らぎ範囲を考慮した制御を行うことで、本発明の可視光通信システムを構成することができる。即ち、撮像素子の撮像動作における前記時間間隔の要件としては、時間がずれていること（また、更には、ある時間間隔以下であること）だけが必要である。即ち、本発明の可視光通信システムは、入力データの撮像のための時間間隔が非一定である一方で既知の場合においてその非一定の時間間隔を既知の情報（即ち、既知の非一定時間間隔）に基づいて調整するための機能実現手段（以下、「非一定時間間隔調整手段」という）、入力データの撮像のための時間間隔が非一定である一方で既知の場合においてその非一定の時間間隔が未知の場合においてその非一定の時間間隔を事前校正するための機能実現手段（以下、「非一定時間間隔事前校正手段」という）、及び、入力データの撮像のための時間間隔が仮にランダムである一方でその揺らぎが一定範囲以内である場合においてその揺らぎ範囲を考慮した制御を実行するための機能実現手段（以下、「揺らぎ範囲に基づく非一定時間間隔制御手段」という）を設けることで、入力データの撮像のための時間間隔が非一定又はランダムである場合においても、上記と同様に所定の点滅光セットに応じた所定の明暗線セットを復元可能である。
[Another Example 7 (Time Interval of Imaging Operation)]
In the visible light communication system of the present invention including the above-described embodiment, an image sensor such as a CMOS image sensor inputs a blinking light set from a light source over time, and outputs a (rolling shutter function of a CMOS image sensor or the like). In this configuration, each blinking light of the blinking light set as input data is imaged at regular time intervals (using a function). However, the time intervals for imaging the input data need not be constant time intervals. For example, if the time interval is known, the non-constant time interval is adjusted based on the known information (or, if unknown, by pre-calibration), the visible light communication system of the present invention. Can be configured. Even if the time interval is random, if the fluctuation is within a certain range, the visible light communication system of the present invention can be configured by performing control in consideration of the fluctuation range. In other words, the only requirement for the time interval in the imaging operation of the image sensor is that the time be shifted (and further, be less than or equal to a certain time interval). That is, in the visible light communication system of the present invention, when the time interval for imaging the input data is non-constant while it is known, the non-constant time interval is replaced with known information (that is, the known non-constant time interval). ) (Hereinafter referred to as “non-constant time interval adjusting means”), wherein the time interval for imaging of input data is non-constant while the non-constant time is A function realizing means for pre-calibrating the non-constant time interval when the interval is unknown (hereinafter referred to as "non-constant time interval pre-calibration means"), and a time interval for imaging of input data is temporarily random On the other hand, when the fluctuation is within a certain range, a function realizing means for executing control in consideration of the fluctuation range (hereinafter referred to as “non-constant time interval control based on the fluctuation range”) In this case, even if the time interval for imaging the input data is non-constant or random, a predetermined light-dark line set corresponding to a predetermined blinking light set can be restored in the same manner as described above. is there.
［別例８（撮像動作の方向）］
上記実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、（ＣＭＯＳイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して）所定の方向（又は一定方向）に入力データとしての点滅光セットの各点滅光を撮像する構成であるが、この入力データの撮像のための方向は、一定方向でなくともよい。例えば、その方向が一定でなくても、その撮像順序が既知であればその非一定の方向を既知の情報に基づいて調整することで（或いは、未知であっても、事前校正することで）本発明の可視光通信システムを構成することができる。即ち、本発明の可視光通信システムは、入力データの撮像方向又は撮像順序が非一定方向である一方で既知の場合においてその非一定方向を既知の撮像順序に基づいて調整するための機能実現手段（以下、「非一定撮像順序調整手段」という）、入力データの撮像方向が非一定である一方で未知の場合においてその非一定の時間間隔を事前校正するための機能実現手段（以下、「非一定撮像順序事前校正手段」という）を設けることで、入力データの撮像順序が非一定又はランダムである場合においても、上記と同様に所定の点滅光セットに応じた所定の明暗線セットを復元可能である。
[Another Example 8 (Direction of Imaging Operation)]
In the visible light communication system of the present invention including the above-described embodiment, an image sensor such as a CMOS image sensor inputs a blinking light set from a light source over time, and outputs a signal (a rolling shutter function of a CMOS image sensor or the like). This is a configuration in which each blinking light of the blinking light set as input data is imaged in a predetermined direction (or a fixed direction) using a function. Good. For example, even if the direction is not constant, if the imaging order is known, the non-constant direction is adjusted based on known information (or even if unknown, pre-calibration is performed). The visible light communication system of the present invention can be configured. That is, the visible light communication system of the present invention is a function realizing means for adjusting the non-constant direction based on the known imaging order when the imaging direction or the imaging order of the input data is a non-constant direction and is known. (Hereinafter, referred to as “non-constant imaging order adjusting means”), a function realizing means (hereinafter, “non-constant imaging order adjusting means”) for pre-calibrating the non-constant time interval when the imaging direction of input data is unknown while unknown. In the case where the imaging order of input data is non-constant or random, a predetermined light-dark line set corresponding to a predetermined blinking light set can be restored even if the imaging order of input data is irregular or random. It is.
［別例９（撮像素子における撮像動作の位置）］
上記実施の形態を含む本発明の可視光通信システムでは、ＣＭＯＳイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、（ＣＭＯＳイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して）所定の方向（又は一定方向、或いは、上記のような非一定の方向）に入力データとしての点滅光セットの各点滅光の位置をずらして（位置をシフトして）撮像する構成であるが、この入力データの撮像のための位置のシフトは、下記のように、一定の条件を満たせば、必ずしも必要ではない。即ち、上記実施の形態を含む本発明の可視光通信システムでは、撮像素子は、１フレーム分の走査時間内に１セット分の点滅光セットの点滅光を撮像している。これにより、この可視光通信システムは、１フレーム分の走査時間内で一つの点滅光セット（即ち、一つのコード情報）を処理することができ、（従来のように一つのコード情報を処理するために多数のフレームを必要とする場合と比較して）情報処理を大幅に高速化することができる。しかし、本発明の可視光通信システムは、撮像素子における１フレーム分の走査時間を分割して（例えば、１フレーム分の１／５に分割して）撮像し、その分割した時間範囲内で１セットの点滅光セットを撮像するように構成する動作方式を採用することもできる。即ち、この動作方式は、撮像素子のフレームを走査方向に分割して使用する動作方式と考えることもできる。こうすると、１フレームを更に複数に分割した短い走査時間内で一つの点滅光セットを処理することができ、情報処理を更に大幅に高速化することができる。更には、この動作方式を更に押し進めて、撮像素子の一素子だけを超高速で動作する光センサとして使用することも理論上は可能であり、この場合、「位置をずらして」撮影することを必要とせず、本発明の可視光通信システムを構成することができる。即ち、この場合、撮像素子の特定のアドレスの単一のフォトダイオードのみにより、光源からの点滅光セットを受光して、その受光した点滅光のタイミングに基づいて（即ち、点滅光の点滅間隔に基づいて）所定のパターン（即ち、点滅間隔のパターン）を読取り、点滅光セットのコード情報（符号化データ）を読解することも可能である。
[Another Example 9 (Position of Imaging Operation in Image Sensor)]
In the visible light communication system of the present invention including the above-described embodiment, an image sensor such as a CMOS image sensor inputs a blinking light set from a light source over time, and outputs a (rolling shutter function of a CMOS image sensor or the like). Image is taken by shifting the position of each blinking light of the blinking light set as input data in a predetermined direction (or a fixed direction, or a non-constant direction as described above) using a function. However, the shift of the position for capturing the input data is not always necessary if certain conditions are satisfied as described below. That is, in the visible light communication system of the present invention including the above-described embodiment, the imaging device captures one set of blinking light in a blinking light set within one frame of scanning time. Thereby, this visible light communication system can process one blinking light set (that is, one code information) within one frame of scanning time, and process one code information as in the related art. Therefore, the information processing speed can be significantly increased (compared to the case where a large number of frames are required). However, the visible light communication system of the present invention captures an image by dividing the scanning time of one frame in the image sensor (for example, by dividing it into １ ／ of one frame), and within one time within the divided time range. An operation method configured to capture an image of a blinking light set of the set may be adopted. That is, this operation method can be considered as an operation method in which a frame of the image sensor is divided and used in the scanning direction. In this way, one blinking light set can be processed within a short scanning time in which one frame is further divided into a plurality of frames, and the information processing can be further speeded up. Further, it is theoretically possible to further advance this operation method and use only one element of the image sensor as an optical sensor that operates at a very high speed. Without the need, the visible light communication system of the present invention can be configured. That is, in this case, the flashing light set from the light source is received only by the single photodiode at the specific address of the image sensor, and based on the timing of the received flashing light (ie, the flashing interval of the flashing light). It is also possible to read a predetermined pattern (that is, a pattern of blinking intervals) and read code information (encoded data) of the blinking light set.
［別例１０（光源からの光による点滅光セット）］
上記実施の形態では、光源として、能動的に発光するＬＥＤ等の能動的光源を使用したが、本発明の可視光通信システムは、他の光源からの光を反射して前記点滅光セットを出力するように構成することもでき、本発明の可視光システムにおける「光源」には、このような受動的光源も含む。また、本発明の可視光通信システムは、上記実施の形態では、発光側制御手段により、光源自体の発光動作を制御して、光源から直接的に所定の点滅光セットを出力する構成の機能実現手段（以下、「直接的点滅光出力手段」という）を採用しているが、光源からの発光を点滅光ではなく連続光とする一方で、光源と受光側装置との間に、前記光源からの連続光を所定の点滅光セットに変換して間接的に出力する構成の機能実現手段（以下、「間接的点滅光出力手段」という）を採用してもよい。例えば、このような間接的点滅光出力手段としては、光源からの連続光を機械式シャッター構造等によってオンオフ動作（開閉動作）するシャッター装置がある。また、このような間接的点滅光出力手段は、光源と受光側装置との間に配設して光源から直接入射する連続光（即ち、直接光）をオンオフ動作するよう構成してもよいが、光源からの連続光を一旦反射手段により反射した反射光を間接的点滅光出力手段によりオンオフ動作するよう構成してもよい。この場合、間接的点滅光出力手段は反射手段と受光側装置との間に配設する。なお、上記の場合、本発明の可視光通信システムにおいて、間接的点滅光出力手段や反射手段は、発光側装置に含まれる。
[Another example 10 (flashing light set by light from light source)]
In the above embodiment, an active light source such as an LED that actively emits light is used as the light source. However, the visible light communication system of the present invention reflects the light from another light source and outputs the blinking light set. The “light source” in the visible light system of the present invention also includes such a passive light source. Further, in the visible light communication system of the present invention, in the above-described embodiment, the function of realizing a configuration in which the light emitting side control means controls the light emitting operation of the light source itself and directly outputs a predetermined blinking light set from the light source. Means (hereinafter referred to as "direct blinking light output means"), while the light emission from the light source is not a blinking light but a continuous light, and the light source is disposed between the light source and the light receiving side device. A function realizing means (hereinafter, referred to as “indirect flashing light output means”) configured to convert the continuous light into a predetermined flashing light set and indirectly output the set may be employed. For example, as such an indirect blinking light output unit, there is a shutter device that performs an on / off operation (opening / closing operation) of continuous light from a light source by a mechanical shutter structure or the like. Further, such an indirect blinking light output unit may be arranged between the light source and the light receiving side device so as to turn on / off continuous light (that is, direct light) directly incident from the light source. Alternatively, the continuous light from the light source may be temporarily reflected by the reflection means, and the reflected light may be turned on and off by the indirect blinking light output means. In this case, the indirect blinking light output means is disposed between the reflection means and the light receiving side device. In the above case, in the visible light communication system of the present invention, the indirect blinking light output means and the reflection means are included in the light emitting side device.
［別例１１（可視光通信システムの応用）］
本発明の可視光通信システムは、上記実施の形態のように、発光側装置からの符号化データを受光側装置により復号化し、その復号化データに基づき、所定の処理をコンピュータ装置に実行させるための指令を出力するように構成する以外にも、出力側にコンピュータ装置を使用しない場合（即ち、出力側のコンピュータ装置に何らかの処理を指令する指令信号を出力しない場合）にも適用できる。例えば、本発明の可視光通信システムは、復号化データを指令信号として出力するのではなく、データとして表示したり、データとして活用するだけのアプリケーションにも適用することができる。また、本発明の可視光通信システムは、コンピュータ装置で利用する識別子や一意の情報（ＩＤ、パスワード、アカウント情報等）を表現するよう符号化データ及び複合化データを構成し、コンピュータ装置で利用する識別子や一意の情報を出力する構成として具体化することもできる。
[Another Example 11 (Application of Visible Light Communication System)]
The visible light communication system according to the present invention, as in the above embodiment, decodes encoded data from the light emitting side device by the light receiving side device and causes the computer device to execute predetermined processing based on the decoded data. The present invention can be applied to a case where a computer device is not used on the output side (that is, a case where no command signal for instructing any processing is output to the computer device on the output side) in addition to the configuration in which the command is output. For example, the visible light communication system of the present invention can be applied to an application in which decoded data is not displayed as a command signal but is displayed as data or used only as data. In the visible light communication system of the present invention, encoded data and composite data are configured so as to express an identifier and unique information (ID, password, account information, and the like) used by the computer device, and are used by the computer device. It may be embodied as a configuration for outputting an identifier and unique information.
［別例１２（コード化）］
本発明の可視光通信システムでは、撮影のシャッタースピードが落ちると、明線が「太くなる」現象が生じるとの知見を本発明者らは得ている。即ち、この現象により、光源からの点滅光におけるオン時間間隔とオフ時間間隔とが同一である場合でも、撮像素子に撮像される明線の幅が異なることがあるとの知見を、本発明者らは得ている。したがって、本発明の可視光通信システムを実現するための（所定のプログラムの）アルゴリズムでは、この現象を軽減するための手段（工夫）が施されている（以下、この工夫に係る機能実現手段を「低シャッタースピード用コード化手段」という）。
[Another Example 12 (Coding)]
The present inventors have found that in the visible light communication system of the present invention, when the shutter speed for shooting is reduced, the phenomenon that the bright line becomes “thicker” occurs. In other words, the present inventor has found that, due to this phenomenon, even when the on-time interval and the off-time interval in the blinking light from the light source are the same, the width of the bright line imaged by the image sensor may be different. Have gained. Therefore, in the algorithm (of a predetermined program) for realizing the visible light communication system of the present invention, means (invention) for reducing this phenomenon is provided (hereinafter, the function realization means according to this ingenuity is provided). "Coding means for low shutter speed").
［別例１３（走査方向又は走査順序）］
本発明の実施の形態１では、（ＣＭＯＳイメージセンサ等の）受光イメージを一定時間ごとに一定方向に位置をずらしながら走査して撮像するタイプの撮像素子を使用することを想定して、撮像素子は、従来のパソコン用ディスプレイにおける走査方式であるプログレッシブ方式（ノンインターレース方式）と同様に、撮像素子の各露光ラインを一定方向に順次走査して撮像する構成となっている。したがって、この場合、発光側装置からの所定の点滅光セットに応じて撮像素子が撮像するのは、上記実施の形態１で述べたような明暗線セットのパターンとなる。なお、上記の場合における撮像素子の「露光ライン」とは、例えば、撮像素子の水平方向に隣接配置されて左右方向に延びる１列の画素ブロック（以下、「水平列ライン」という）の各々により構成され、或いは、撮像素子の垂直方向に隣接配置されて上下方向に延びる１列の画素ブロック（以下、「垂直列ライン」という）の各々により構成される。そして、この場合、撮像素子は、露光ラインの延びる方向と直交する方向、即ち、水平列ラインの場合は撮像素子の垂直方向となる上下方向（例えば、上端から下端に向かう方向）、垂直列ラインの場合は撮像素子の水平方向となる左右方向（例えば、左端から右端に向かう方向）に位置をずらしながら走査して、点滅光セットの点滅光を経時的に順次撮像することになる。具体的には、この場合、例えば、上記のように、撮像素子において垂直列ラインの画素ブロックを左右方向に（即ち、最も左端の垂直列ラインから右端の垂直列ラインに向かって、又は、最も右端の垂直列ラインから左端の垂直列ラインに向かって）位置をずらしながら走査して撮像する場合、点滅光セットのパターンに応じて、撮像素子の垂直方向に延びる明暗線からなる明暗線セットのパターンが撮像されることになる。
[Another example 13 (scanning direction or scanning order)]
In the first embodiment of the present invention, it is assumed that an image sensor of a type that scans a light-receiving image (such as a CMOS image sensor) while shifting its position in a certain direction at regular time intervals and uses the image is used. Has a configuration in which each exposure line of an image sensor is sequentially scanned in a fixed direction to capture an image, similarly to a progressive method (non-interlace method) which is a scanning method in a conventional personal computer display. Therefore, in this case, the image pickup device picks up an image in accordance with the predetermined blinking light set from the light emitting side device, in the pattern of the light and dark line set as described in the first embodiment. Note that the “exposure line” of the image sensor in the above case is, for example, each of a row of pixel blocks (hereinafter, referred to as “horizontal line”) that are arranged adjacent to the image sensor in the horizontal direction and extend in the horizontal direction. Or one pixel block (hereinafter, referred to as a “vertical column line”) arranged vertically adjacent to the image sensor and extending in the vertical direction. Then, in this case, the image sensor is arranged in a direction perpendicular to the direction in which the exposure line extends, that is, in the case of a horizontal column line, a vertical direction (for example, a direction from the upper end to the lower end) which is a vertical direction of the image sensor. In the case of (1), scanning is performed while shifting the position in the horizontal direction (for example, the direction from the left end to the right end), which is the horizontal direction of the image sensor, and the flashing light of the flashing light set is sequentially imaged with time. Specifically, in this case, for example, as described above, the pixel block of the vertical column line in the image sensor is shifted in the horizontal direction (that is, from the leftmost vertical column line to the rightmost vertical column line, or When scanning and imaging while shifting the position (from the rightmost vertical column line to the leftmost vertical column line), according to the pattern of the blinking light set, a bright and dark line set consisting of bright and dark lines extending in the vertical direction of the image sensor is set. The pattern will be imaged.
一方、上記別例８（撮像動作の方向）で述べたように、本発明のコンピュータ装置用の可視光通信システムでは、撮像素子において、一定方向ではない任意の方向に経時的に順次位置をずらしながら走査して撮像することにより、点滅光セットのパターンに応じたパターンの（前記明暗線パターンに相当する）明暗部パターンを出力することもできる。例えば、撮像素子は、従来のＮＴＳＣ方式のテレビにおける走査方式であるインターレース方式と同様に、撮像素子の各露光ラインを１本置きに（又は複数本置きに）順次走査して撮像する構成とすることができる。発光側装置からの所定の点滅光セットに応じて撮像素子が撮像する明暗部のパターンは、上記実施の形態１で述べたような明暗線セットの各明暗線が、露光ラインの１本置きに（又は複数本置きに）隙間を置いて平行となるよう配置されたパターンとなる。なお、上記実施の形態１のようないわゆるプログレッシブ方式による撮像の場合も、上記インターレース方式による撮像の場合も、撮像素子の１回の露光単位が同列上の連続する画素からなる１本の直線帯状の画素ラインである露光ラインとなるため、明暗部パターンは、実施の形態１の明線及び暗線から構成されるパターン（即ち、点滅光の点灯間隔に相当する幅の明線と、点滅光の消灯間隔に相当する幅の暗線とが、プログレッシブ方式の場合は互いに隣接して、インターレース方式の場合は単位本数だけの画素列を飛ばした隙間間隔を置いて平行に配置されるパターン）となる。 On the other hand, in the visible light communication system for a computer apparatus according to the present invention, as described in the above-mentioned another example 8 (direction of imaging operation), the position of the imaging device is sequentially shifted in an arbitrary direction other than a fixed direction over time. By scanning and capturing an image, it is possible to output a bright / dark portion pattern (corresponding to the bright / dark line pattern) corresponding to the pattern of the blinking light set. For example, similarly to the interlacing method, which is a scanning method in a conventional NTSC television, the image sensor sequentially scans every other exposure line (or every other line) of the image sensor to capture an image. be able to. The pattern of the light and dark portions imaged by the image sensor in accordance with the predetermined blinking light set from the light emitting side device is such that each light and dark line of the light and dark line set as described in the first embodiment is arranged every other exposure line. The pattern is arranged so as to be parallel with a gap (or every other). Note that, in both the case of the so-called progressive method as in the first embodiment and the case of the interlaced method, one exposure unit of the image sensor is formed by a single linear band formed of continuous pixels on the same row. Therefore, the bright / dark portion pattern is a pattern composed of the bright line and the dark line of the first embodiment (that is, a bright line having a width corresponding to the lighting interval of the blinking light, In the case of the progressive system, the dark lines having a width corresponding to the light-off interval are adjacent to each other, and in the case of the interlaced system, the dark lines are arranged in parallel at intervals of a pixel row of a unit number.
一方、撮像素子及び／又は発光制御手段を適宜構成することにより、撮像素子の１回の露光単位を、１本の直線帯状の露光ラインではなく、撮像素子の１個の画素単位（即ち、各画素単位）、或いは、隣接する複数個の画素を１ブロックとして１つの画素ブロックを構成した場合における各画素ブロック単位とすると共に、撮像方向又は撮像順序を、撮像素子の全画素単位又は全画素ブロック単位を、最初の画素単位又は画素ブロック単位から最後の画素単位又は画素ブロック単位まで、一つずつ、かつ、重複しないよう、任意の順番で経時的に移動しながら撮像する構成とすることもできる。好ましくは、撮像方向又は撮像順序については、撮像素子の全画素ブロック単位を、最初の画素ブロック単位から最後の画素ブロック単位まで、一ブロックずつ、かつ、画素ブロックが重複しないよう、任意の順番で経時的に移動しながら撮像する構成とする。こうすれば、露光単位を画素単位とする場合と比較して、より大面積の画素ブロックにより明部及び暗部を判別できるため、撮像素子のダイナミックレンジが低く明暗の差の表現能力が低い等、ハードウエア資源の性能が低い場合であっても、点滅光セットの符号化データに対応する完全な複合化データを正確に復元することができる。また、この場合、撮像素子における全画素ブロックの各々を同一数で同一寸法（及び同一外形）とすることもできるが（即ち、全ての画素ブロックの各々を同一数のｎ個の画素により構成し、かつ、例えば同一の矩形状等に形成することもできるが）、理論上は、一部の画素ブロックを他の画素ブロックと異なる画素数の画素ブロックとしたり、一部の画素ブロックを他の画素ブロックと異なる寸法（及び外形）の画素ブロックとしたりすることも可能である。なお、撮像素子における露光単位を画素ブロック単位とする場合、（撮像素子における露光単位を画素ライン単位とする場合の）前記明暗線の明線及び暗線に対応する明部及び暗部が、撮像素子の対応する画素ブロックに撮像され、これら明部及び暗部の対からなる明暗部の所定数の組（例えば、６つの点滅光からなる点滅光セットを撮像する場合、６組の明暗部）により、前記明暗線パターンに対応する明暗部パターンが生成される。このとき、明部及び暗部のそれぞれの外形及び寸法は、対応する画素ブロックのそれぞれの外形及び寸法に対応するものとなる。 On the other hand, by appropriately configuring the image sensor and / or the light emission control means, one exposure unit of the image sensor is not a single linear strip exposure line but a single pixel unit of the image sensor (that is, Pixel unit), or each pixel block unit when one pixel block is configured with a plurality of adjacent pixels as one block, and the imaging direction or imaging order is set to all pixel units or all pixel blocks of the image sensor. It is also possible to adopt a configuration in which images are taken from the first pixel unit or the pixel block unit to the last pixel unit or the pixel block unit while moving in an arbitrary order with time so as not to overlap one by one. . Preferably, with respect to the imaging direction or the imaging order, all the pixel block units of the image sensor are arranged in an arbitrary order from the first pixel block unit to the last pixel block unit, one block at a time, and so that the pixel blocks do not overlap. An image is taken while moving over time. In this case, as compared with the case where the exposure unit is a pixel unit, since a bright portion and a dark portion can be determined by a pixel block having a larger area, the dynamic range of the image pickup device is low, and the ability to express the difference between light and dark is low. Even when the performance of the hardware resources is low, it is possible to accurately restore complete composite data corresponding to the encoded data of the blinking light set. Further, in this case, all the pixel blocks in the image sensor can have the same number and the same size (and the same outer shape) (that is, all the pixel blocks are configured by the same number of n pixels). And, for example, can be formed in the same rectangular shape), but in theory, some pixel blocks may have a different number of pixels from other pixel blocks, or some pixel blocks may have other pixel blocks. It is also possible to use a pixel block having a different size (and outer shape) from the pixel block. When the exposure unit in the image sensor is a pixel block unit, the bright and dark portions corresponding to the bright and dark lines of the light and dark lines (when the exposure unit in the image sensor is a pixel line unit) are the image sensor. A predetermined number of sets of bright and dark parts (for example, when capturing a blinking light set consisting of six blinking lights, six sets of bright and dark parts) are picked up by a corresponding pixel block, A light / dark portion pattern corresponding to the light / dark line pattern is generated. At this time, the respective outer shapes and dimensions of the bright and dark portions correspond to the respective outer shapes and dimensions of the corresponding pixel blocks.
［別例１４（撮像素子）］
本発明の可視光通信システムは、撮像素子としてＣＭＯＳイメージセンサを使用する以外にも、発光側装置からの所定の点滅光セットの点滅光を、その点滅光の順序に応じた所定の順序で、経時的に撮像位置をずらしながら撮像する（即ち、画素ライン単位、画素単位又は画素ブロック単位で位置をずらしながら撮像する）ことにより、点滅光セットの符号化データに対応する完全な複合化データを正確に復元することができる限りにおいて、任意の撮像素子を使用することができる。例えば、ＣＣＤイメージセンサであっても、オンオフリレーにより、点滅光セットの点滅光を、その点滅光の順序に応じた所定の順序で、経時的に撮像位置をずらしながら撮像することも可能である。
[Another Example 14 (Imaging Device)]
The visible light communication system of the present invention, besides using a CMOS image sensor as an image sensor, a flashing light of a predetermined flashing light set from the light emitting side device, in a predetermined order according to the order of the flashing light, By performing imaging while shifting the imaging position over time (that is, imaging while shifting the position in pixel line units, pixel units or pixel block units), complete composite data corresponding to the encoded data of the blinking light set is obtained. Any image sensor can be used as long as the image can be accurately restored. For example, even in the case of a CCD image sensor, it is also possible to image the blinking light of the blinking light set by an on / off relay in a predetermined order according to the order of the blinking light while shifting the imaging position over time. .
［別例１５（点滅光セットの点滅光の点滅間隔及び点滅タイミング）］
本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットは、得るべき符号化データに応じて、点滅光セットを構成する点滅光の点滅間隔が非均一となることもあるが、符号化データにより表現する情報の種類が少なく、情報館の区別のための符号化データの種類が少なくなるような場合は、均一な点滅間隔の点滅光により点滅光セットを生成することも可能である。即ち、本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットの点滅光の点滅間隔が特定のパターンとなる限りにおいて、点滅光の点滅間隔を任意の間隔とすることができる。また、本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットは、所定の周期で点滅する所定の複数の点滅光により構成する以外に、所定の点滅タイミングで点滅する所定の複数の点滅光により構成することもできる。即ち、点滅光セットにより所定のパターンの点滅光を表現できる限りにおいて、点滅光セットの点滅光の点滅間隔は、周期性を有するもの以外に、任意の点滅タイミングとなる点滅間隔とすることもできる。
[Another Example 15 (Blinking interval and blinking timing of blinking light of blinking light set)]
In the visible light communication system of the present invention, the blinking light set generated by the light emission control means may have a non-uniform blinking interval of blinking lights constituting the blinking light set according to encoded data to be obtained. When the type of information expressed by encoded data is small and the type of encoded data for discriminating information halls is small, it is possible to generate a blinking light set with blinking light with a uniform blinking interval It is. That is, in the visible light communication system of the present invention, the blinking interval of the blinking light can be set to an arbitrary interval as long as the blinking interval of the blinking light of the blinking light set generated by the light emission control unit has a specific pattern. . Further, in the visible light communication system according to the present invention, the blinking light set generated by the light emission control means may be constituted by a plurality of blinking lights blinking at a predetermined cycle, and a predetermined blinking timing at a predetermined blinking timing. It can also be constituted by a plurality of blinking lights. That is, as long as a blinking light of a predetermined pattern can be expressed by the blinking light set, the blinking interval of the blinking light of the blinking light set may be a blinking interval at any blinking timing other than the one having periodicity. .
［別例１６（点滅光セットの時間間隔）］
本発明の可視光通信システムは、実施の形態１では、一つの点滅光セットの時間間隔が、撮像素子の１回の操作時間間隔（及び、シャッタースピード）よりも短い時間間隔となるよう、発光制御手段により点滅光セットを生成し、これにより、点滅光セットのパターンに応じた明暗部のパターンを撮像素子に撮像して生成し、その結果、撮像素子の１フレームに相当する時間間隔内に所定の情報を表現する符号化データを包含させることで、撮像素子のフレームレートを超える高速な情報処理を可能としている。換言すれば、本発明の可視光通信システムは、撮像素子の１フレーム内で所定の情報処理を完結することができるが、表現すべき情報量が増大した場合、撮像素子の複数フレーム（２フレーム以上）にわたって１つの点滅光セットのパターンが撮像されるよう、発光制御手段により点滅光を発光制御すると共に、これにより撮像素子の複数フレームにわたって撮像された明暗部のパターンに基づき、点滅光セットのパターンが表現する符号化データに対応する複合化データを復元するよう、受光制御手段によって撮像素子による撮像データを処理することも可能である。
[Another example 16 (time interval of blinking light set)]
In the visible light communication system of the present invention, in the first embodiment, light emission is performed such that the time interval of one blinking light set is shorter than one operation time interval (and shutter speed) of the image sensor. A flashing light set is generated by the control unit, and thereby, a pattern of a light and dark portion corresponding to the pattern of the flashing light set is captured and generated by the image sensor, and as a result, within a time interval corresponding to one frame of the image sensor. By including coded data representing predetermined information, high-speed information processing exceeding the frame rate of the image sensor is enabled. In other words, the visible light communication system of the present invention can complete predetermined information processing within one frame of the image sensor, but when the amount of information to be expressed increases, a plurality of frames (two frames) of the image sensor The light emission control means controls the emission of the blinking light so that one blinking light set pattern is imaged over the above), and thereby, the blinking light set of the blinking light set is determined based on the pattern of the light and dark portions imaged over a plurality of frames of the image sensor. It is also possible to process the image data by the image sensor by the light receiving control unit so as to restore the composite data corresponding to the encoded data represented by the pattern.
［別例１７（情報処理速度）］
本発明の可視光通信システムは、上記のとおり、少なくとも１セットの点滅光セットの点滅光を、撮像素子の画素ライン単位や画素ブロック単位で一定方向又は任意の方向又はランダムに位置をずらしながら走査して撮像するため、各点滅光セットの時間間隔は、上記のとおり、撮像素子の１回分の走査時間以下の時間間隔となり、撮像素子のシャッタースピード以下の時間間隔となる。例えば、撮像素子のシャッタースピードが１／３０秒の場合は、各点滅光セットの時間間隔は、１／３０秒以下となり、撮像素子のシャッタースピードが１／６０秒の場合は、各点滅光セットの時間間隔は、１／６０秒以下となる。また、本発明の可視光通信システムは、上記のとおり、撮像素子における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも１組の点滅光セットの全ての点滅光を撮像素子により完全に撮像できるよう、撮像素子の１回の走査時間内に撮像される点滅光セットの点滅光の数である１走査時間内点滅光数が、少なくとも、１組の点滅光セットの点滅光の総数の２倍より１少ない数となるよう、発光側制御手段による点滅光セットの点滅制御を行うことで、前記１組の点滅光セットの点滅光に対応して撮像素子の１操作時間内に撮像素子により撮像される明暗部の数である１走査時間内明暗部数が、少なくとも、１組の明暗部セットの明暗部の総数の２倍より１少ない数となるようにすることが好ましい。なお、この場合のシャッタリングは、撮像のラインごとに行われる。この場合、シャッターの開始時間が、フレームレートをライン数で割っただけずれているものと予想される。この場合、シャッターが閉じるタイミングについては、それぞれスタートからの経過時間（開放時間）で閉じられることとなる。（「開放時間」は、一フレーム内では、通常、同じ時間と思われる。）開放時間が、「ずれ」の時間より遅い場合は、線が太く写る。短い場合は、露出が抑えられるだけと考えられる。（被写体の動きが激しい場合は別であり、ラインごとの像が、とぎれとぎれになることがある。）
[Another example 17 (information processing speed)]
As described above, the visible light communication system of the present invention scans the blinking light of at least one blinking light set while shifting the position in a fixed direction or an arbitrary direction or randomly in units of pixel lines or pixel blocks of the image sensor. As described above, the time interval of each blinking light set is equal to or less than one scanning time of the image sensor, and is equal to or less than the shutter speed of the image sensor. For example, when the shutter speed of the image sensor is 1/30 second, the time interval of each blinking light set is 1/30 second or less, and when the shutter speed of the image sensor is 1/60 second, each blinking light set Is less than 1/60 second. Further, as described above, the visible light communication system according to the present invention is capable of transmitting all blinking lights of at least one set of blinking lights to the image pickup device regardless of the time lag between the input timing of the blinking light and the scanning timing in the image pickup device. The number of blinking lights in one scanning time, which is the number of blinking lights of the blinking light set imaged within one scanning time of the image sensor, is at least the blinking light of one set of blinking light sets so that imaging can be performed completely. By controlling the blinking of the blinking light set by the light emitting side control means so as to be one less than twice the total number of the light emitting devices, the light emitting side control means can respond to the blinking light of the one blinking light set within one operation time of the image sensor. It is preferable that the number of light and dark parts within one scanning time, which is the number of light and dark parts imaged by the image sensor, is at least one less than twice the total number of light and dark parts in one set of light and dark parts. Note that shuttering in this case is performed for each imaging line. In this case, it is expected that the shutter start time is shifted by the frame rate divided by the number of lines. In this case, the shutter closes at the time elapsed from the start (open time). (The “open time” is usually considered to be the same time within one frame.) If the open time is later than the “shift” time, a thick line appears. If it is short, it is considered that exposure is only suppressed. (Unless the movement of the subject is severe, the image of each line may be interrupted.)
［実施例６（複数フレームにわたる点滅光セットの処理）］
本発明の可視光通信システムは、実施の形態１では、１セットの点滅光セットの全体を１フレーム内に撮像することで、情報処理の高速化を図っているが、１セットの点滅光セットの符号長が１フレームを超えるような情報の場合、図１２に示すような処理が可能である。具体的には、例えば、１セットの点滅光セットの符号長が１．５フレームに相当する長さとなる情報の場合、このままこの点滅光セットを撮像素子により撮像すると、この点滅光セットの点滅光は、２フレームにわたって撮像されることになる。このとき、フレーム間のタイミングで点滅光セットの点滅光が撮像素子に入射することがあるが、この場合、フレーム間の時間間隔を正確に予測して補完を行うことは容易でない。したがって、本実施例の可視光通信システムは、図１２に示すように、例えば、１セットの点滅光セットの符号長が１フレームを越える長さで２フレーム未満の長さとなる情報の場合、撮像素子の連続する３フレームを使用してその撮像を行うよう、発光制御手段による制御を行う構成としている。例えば、１セットの点滅光セットの符号長が１．５フレームに相当する長さとなる情報の場合、撮像素子の連続する３フレームを使用してイメージを撮像素子に撮像させるよう、発光制御手段は、撮像素子のフレームレート（及び／またはシャッタースピード）に応じて、点滅光セットの符号長のうち、前半２／３の長さの符号部分の点滅光を１番目のフレームＦ１の時間間隔の範囲内で出力し（例えば、フレームＦ１の走査開始と同期して前半２／３の点滅光の最初の点滅光を出力すると共に、フレームＦ１の走査終了直前に前半２／３の点滅光の最後の点滅光を出力し）、次に、２番目のフレームＦ２に対応する時間間隔を置いて（即ち、２番目のフレームＦ２の時間間隔内では、残りの１／３の点滅光を出力せずに消灯動作を維持して待機し）、残りの後半１／３の長さの符号部分の点滅光を３番目のフレームＦ３の時間間隔の範囲内で出力する（例えば、フレームＦ３の走査開始と同期して後半１／３の点滅光の最初の点滅光を出力する）。こうすると、点滅光セットの符号長のうち、前半２／３の長さの符号部分の点滅光が３フレーム中の１番目のフレームＦ１に撮像され、次の２番目のフレームＦ２は点滅光は撮像されることなく空白フレームとなり、後半１／３の長さの符号部分の点滅光が３番目のフレームＦ３に撮像される。したがって、１セットの点滅光セットの撮像に撮像素子の３フレームを必要とし、上記実施の形態１のように撮像素子の１フレーム内に１セットの点滅光セットを撮像する場合と比較すると、情報処理速度は低下する（情報処理時間が３倍になる）が、それでも、フレームレートが３０ｆｐｓの場合でも、１単位の点滅光セットの符号データの撮像時間は１／１０秒となり、従来の可視光通信装置と比較して大幅に高速な情報処理が可能となる。また、複数フレームに渡る信号を載せる場合は、一連の情報のスタート、一連の情報のエンド、個別のデータの区切り（ダブったり抜けたりしないため）のマーカーが必要である。
[Example 6 (Processing of blinking light set over a plurality of frames)]
In the visible light communication system of the present invention, in the first embodiment, the speed of information processing is increased by imaging the entire set of blinking light sets in one frame. In the case of information having a code length of more than one frame, processing as shown in FIG. 12 can be performed. Specifically, for example, in the case of information in which the code length of one set of blinking light sets is a length corresponding to 1.5 frames, if the blinking light set is imaged by the image sensor as it is, the blinking light of this blinking light set Will be imaged over two frames. At this time, the blinking light of the blinking light set may be incident on the image sensor at the timing between frames. In this case, it is not easy to accurately predict the time interval between frames and perform complementation. Therefore, as shown in FIG. 12, the visible light communication system according to the present embodiment is configured to perform image capturing when the code length of one blinking light set is longer than 1 frame and shorter than 2 frames. The configuration is such that control is performed by the light emission control means so that imaging is performed using three consecutive frames of the element. For example, in the case of information in which the code length of one set of blinking light sets is a length corresponding to 1.5 frames, the light emission control means controls the image sensor to capture an image using three consecutive frames of the image sensor. According to the frame rate (and / or shutter speed) of the image sensor, the blinking light of the code portion having the length of the first two-thirds of the code length of the blinking light set is within the range of the time interval of the first frame F1. (For example, the first blinking light of the first two-thirds of the blinking light is output in synchronization with the start of scanning of the frame F1 and the last one of the last two-thirds of the blinking light of the first half immediately before the end of the scanning of the frame F1) Blinking light is output), and then at the time interval corresponding to the second frame F2 (that is, within the time interval of the second frame F2, the remaining 1/3 of the blinking light is not output). Keep the operation off And outputs the remaining blinking light of the code portion having the length of the latter half of the latter half within the time interval of the third frame F3 (for example, the latter half of the latter in synchronization with the start of scanning of the frame F3). The first flashing light of the flashing light is output). In this case, of the code length of the blinking light set, the blinking light of the code portion having the length of 前 of the first half is captured in the first frame F1 of the three frames, and the blinking light of the next second frame F2 is A blank frame is formed without being imaged, and the blinking light of the code portion having the length of the latter half is imaged in the third frame F3. Therefore, imaging of one set of blinking light sets requires three frames of the image sensor, and as compared with the case of imaging one set of blinking light sets in one frame of the image sensor as in the first embodiment, Although the processing speed is reduced (the information processing time is tripled), even when the frame rate is 30 fps, the imaging time of the code data of one unit of the blinking light set is 1/10 second, and the conventional visible light The information processing can be performed at a significantly higher speed than the communication device. In addition, when carrying a signal over a plurality of frames, a marker for starting a series of information, ending the series of information, and delimiting individual data (to avoid dubbing or dropping) is required.
［実施例７（明暗部セットの明暗線の幅認識処理）］
本発明の可視光通信システムは、実施の形態１のように、点滅光セットのパターンに対応して撮像素子に明暗線セットのパターンを撮像する場合において、明暗線セットの明線の幅及び暗線の幅は、点滅光の点灯時間（オン時間）及び消灯時間（オフ時間）に対応する幅、即ち、同一又は比例する幅となるが、明線の場合、撮像素子の走査特性に依存して、撮像素子においてより高い明度の光を撮像した部分（即ち、輝度の大きい部分）において、明線の幅方向端縁が外方に膨出する傾向にあることを本発明者らは実験結果により確認している。例えば、図１３に示すように、光源からの点滅光の強度が撮像素子の（露光ラインの長さ方向中央部で大きくなり、撮像素子の垂直方向中央部の輝度が他の部分より大きくなるような場合、明線の長さ方向中央部の両端縁が外方に張り出すように撮像される傾向にある。この場合、明線の幅及び暗線の幅の比率が、実際の点滅光の点灯間隔及び消灯間隔の比率と異なる比率になる（例えば、実際は６：４の比率が７：３として撮像される）可能性がある。
[Embodiment 7 (light / dark line width recognition processing of light / dark portion set)]
In the visible light communication system of the present invention, when the pattern of the bright and dark line set is imaged on the image sensor corresponding to the pattern of the blinking light set as in the first embodiment, the width of the bright line and the dark line of the bright and dark line set Is the width corresponding to the lighting time (on time) and the extinguishing time (off time) of the blinking light, that is, the same or proportional width. However, in the case of a bright line, it depends on the scanning characteristics of the image sensor. According to experimental results, the inventors have found that in a portion where light with higher brightness is imaged by an image sensor (that is, a portion with high luminance), the edge in the width direction of the bright line tends to bulge outward. I have confirmed. For example, as shown in FIG. 13, the intensity of the blinking light from the light source is increased at the center of the image sensor in the length direction of the exposure line, and the luminance at the center of the image sensor in the vertical direction is higher than other portions. In such a case, there is a tendency that the image is taken such that both edges of the central portion in the longitudinal direction of the bright line project outward, and in this case, the ratio of the width of the bright line to the width of the dark line is determined by the actual lighting of the blinking light. The ratio may be different from the ratio between the interval and the light-off interval (for example, a 6: 4 ratio is actually imaged as 7: 3).
このような事態に対処し、撮像素子の撮像（特に明線）が入射光の強度によって部分的又は全体的に膨張した場合にも、撮像データを復号化する際に明線及び暗線の比率を誤認識しないよう、本発明の可視光通信システムは、図１４に示すような構成を採用することができる。詳細には、本発明の可視光通信システムは、撮像素子に撮像される明線の幅が一定となり、暗線の幅の大小により情報を表現するよう、発光制御手段により、点滅光セットの点灯部分の時間間隔を一定とし、消灯部分の時間間隔を基準値から所定単位で増減して設定し、かかる点滅光セットを出力するようになっている。また、本発明の可視光通信システムは、図１４に示すように、明線の両側に隣接する１対の暗線のそれぞれの幅方向中心位置の間の間隔ＴＨを取得し、この間隔ＴＨから、（幅が一定である）左右の明線のそれぞれの幅の１／２の間隔をそれぞれ減算することで、結果的に、中央の暗線の幅を取得している。こうすると、撮像素子に撮像された明線の幅が、点滅光の点灯時間に対応する本来の幅よりも幅方向に拡大して撮像される場合に（例えば、明線の幅が、本来は図１４中に実線で示す位置であるにもかかわらず、破線で示す位置まで拡大して撮像された場合に）、両明線の中心位置間の間隔ＴＨから、拡大した左側の明線の幅の中心位置までの寸法１／２ＷＨ１と、拡大した右側の明線の幅の中心位置までの寸法１／２ＷＨ１とを減算すると、両明線の中心位置間の間隔ＴＨから、本来の左側の明線の幅の中心位置までの寸法１／２ＷＨ２と、本来の右側の明線の幅の中心位置までの寸法１／２ＷＨ２とを減算した値と同一となり、明線の幅の拡大いかんにかかわらず、常に本来の暗線の幅ＢＷ２を取得することができる。即ち、ＴＨ−（１／２ＷＨ１−１／２ＷＨ１）＝ＴＨ−（１／２ＷＨ２−１／２ＷＨ２）＝ＢＨ２となる。なお、上記のように明線を固定長とし暗線を可変長とする構成とは逆に、暗線を固定長とし明線を可変長とする場合にも、上記の明線及び暗線を暗線及び明線として取り扱うことで、上記発光制御手段により制御を適用することができる。
In order to cope with such a situation, even when the imaging of the image sensor (especially the bright line) is partially or wholly expanded due to the intensity of the incident light, the ratio between the bright line and the dark line is determined when decoding the imaging data. In order to avoid erroneous recognition, the visible light communication system of the present invention can adopt a configuration as shown in FIG. In detail, the visible light communication system of the present invention uses a light emission control unit to control the lighting portion of the blinking light set so that the width of the bright line captured by the image sensor is constant and the information is represented by the width of the dark line. Is set to be constant, and the time interval of the light-off portion is set to be increased or decreased by a predetermined unit from the reference value, and the blinking light set is output. Further, as shown in FIG. 14, the visible light communication system of the present invention obtains an interval TH between respective widthwise center positions of a pair of dark lines adjacent to both sides of the bright line, and from this interval TH, As a result, the width of the central dark line is obtained by subtracting half the width of each of the left and right bright lines (having a constant width). In this case, when the width of the bright line imaged by the image sensor is larger in the width direction than the original width corresponding to the lighting time of the blinking light and the image is captured (for example, the width of the bright line is originally smaller than the original width). In the case where the image is enlarged to the position indicated by the dashed line in spite of the position indicated by the solid line in FIG. 14), the width of the enlarged left clear line is calculated from the interval TH between the center positions of the both light lines. Is subtracted from the
［実施例８（発光制御処理）］
本発明の可視光通信システムは、発光性制御手段により、例えば、図１５に示すような発光制御処理を行う。詳細には、図１５に示すように、ＳＴＥＰ１で、撮像素子の垂直方向（縦方向）の画素における輝度の平均化を行う（即ち、露光ラインの上の画素を縦方向に全て同じ平均輝度にする）。詳細には、ＳＴＥＰ１では、露光ラインの長さ方向（上下方向）に沿って、中心付近の所定画素数文（例えば、５０ｐｘ分）の輝度を取得して、これらの輝度値に基づき１つの平均値を算出する。ここで、露光ラインの画素数が縦方向に７６８ｐｘであるとすると、７６８個の全ての画素の輝度を取得して、それらの輝度の合計値に基づき（合計値／７６８）１つの平均値を算出することもできるが、処理量軽減等の観点から、また、撮像素子においては中心部では光強度が大きくなる傾向にあることから、中心部の所定画素数文の輝度を取得して、平均値を算出するようにしている。なお、撮像素子の特性として、露光ラインの長さ方向（縦方向）において入射光の輝度に差が生じることから、ＳＴＥＰ１のように、縦方向においても輝度差を平均化する処理を実行するようにしている。
[Example 8 (light emission control processing)]
In the visible light communication system of the present invention, the light emission control means performs, for example, light emission control processing as shown in FIG. More specifically, as shown in FIG. 15, in STEP1, the luminance of the pixels in the vertical direction (vertical direction) of the image sensor is averaged (that is, all the pixels on the exposure line have the same average luminance in the vertical direction). Do). More specifically, in
次に、ＳＴＥＰ２で、撮像素子の水平方向の撮像領域（有効画素範囲）をｎ分割してそれらの撮像領域について、それぞれ、（平均値−標準偏差／２）を閾値の候補（仮閾値）として設定する。この場合、例えば、ｎ＝３に設定する。即ち、撮像素子に明暗線（ストライプ）を生成する場合、撮像素子の横方向（水平方向、走査方向）において、中心付近と周辺での輝度の差があるため、これを平均化して標準化する。例えば、撮像素子の画素数が水平方向１０８０ｐｘの場合、１０８０ｐｘを３つの領域に分けて３つの値を算出する。なお、上記ｎ分割は例えば３分割とすることができるが、その他の分割数としてもよい。そして、ｎ領域の各領域において、平均値−標準偏差／２を仮閾値として設定する。 Next, in STEP2, the horizontal imaging region (effective pixel range) of the imaging device is divided into n, and (average value−standard deviation / 2) is set as a threshold candidate (temporary threshold) for each of those imaging regions. Set. In this case, for example, n = 3. That is, when a light-dark line (stripe) is generated in the image sensor, there is a difference in luminance between the vicinity of the center and the periphery in the horizontal direction (horizontal direction, scanning direction) of the image sensor. For example, when the number of pixels of the image sensor is 1080 px in the horizontal direction, three values are calculated by dividing 1080 px into three regions. Note that the above n division can be, for example, three divisions, but may be another division number. Then, in each of the n regions, the average value−standard deviation / 2 is set as the provisional threshold.
次に、ＳＴＥＰ３で、ＳＴＥＰ２で得た閾値の最大値が画面の中心となり、最小値が画面の外側になるように線形に補完し、閾値を画素分（例えば、水平方向１０８０ｐｘの場合は１０８０個）求める。このとき、ＳＴＥＰ２の仮閾値の最大値と最小値を使用する（中間値は使用しない）。即ち、撮像素子の特性として、画面中央の方が光の強度が相対的に大きくなるため、画面中央の閾値を最大値とし、画面の周辺は光の強度が想定的に小さくなるため、画面周辺の閾値を最小値とする。このようにして、画面の左右前置にわたって等分に閾値が変わるようにする。なお、このとき、処理量の軽減等の理由により、まず、水平方向の全ての画素ではなく中央部分の所定数の画素（例えば、１００ｐｘ分の画素）について計算を行う。そして、その後、線形補完により、全ピクセル分（１０８０）について閾値を出す。
Next, in
次に、ＳＴＥＰ４で、ＳＴＥＰ３で求めた値を閾値にして、各画素について２値化を行う。即ち、画素を水平方向に走査して全ピクセルの輝度を閾値と比較し、閾値より大きければ白（１）、小さければ黒（０）と判断する。 Next, in STEP4, binarization is performed for each pixel using the value obtained in STEP3 as a threshold. That is, the pixels are scanned in the horizontal direction, and the luminance of all the pixels is compared with a threshold. If the luminance is larger than the threshold, white (1) is determined, and if smaller, black (0) is determined.
次に、ＳＴＥＰ５で、２値化した画像の１列を走査して（黒＋白）の幅を数列化する。このとき、任意の水平方向の一列の画素を走査して、黒が何個あるかを数え、数列化する（数列として保持する）。なお、白は一定間隔に設定されているため、白に対応する画素の数は一定数となる。例えば、黒５、白、黒６、白、黒３、白・・・のように連続する場合、（５，２，６，２，３，２，・・・）のような数列化を行う。
Next, in
次に、ＳＴＥＰ６において、ＳＴＥＰ５で得られた数列が送信コードかどうか判定する。この場合、数列の最小値から２つの数が６つおきに配置されるかどうかを判定する。詳細には、数列の最小値から２つの数、即ち、プリコードとして最初に表れる最小値の黒（２００ｍｓ分）と、その次の白の組合せからなるストライプ（黒白２本の線）が、６つおきに表れるかどうか判断し、６つおきの場合、送信コードと判定する。異なる数値の場合、送信コードを正常に読取れなかったと判断する。
Next, in
次に、ＳＴＥＰ７において、ＳＴＥＰ６で得られたコードの候補の６つの数字を時間に置き換える。（黒の最小値が２００ｕｓであるため。）例えば、１ピクセル分の時間がｔ＝２０μｓ／ｐｘである場合、各数字の数値にｔ＝２０を乗算して、点灯時間及び消灯時間として算出する。
Next, in
次に、ＳＴＥＰ８において、ＳＴＥＰ７で得られた時間を分解能に対応する所定数（例えば、「５０」）で割って送信数列にする。なお、この所定数は「５０」以外の数とすることができるが、本発明者らが現在の送信数列の分解能を実験結果により確認した結果、５０μｓが最小値となることが判明したため、分解能として設定している。また、この分解能に対応する所定数は、カメラや撮像素子の性能によって相違する数値となる。
Next, in
次に、ＳＴＥＰ９において、ＳＴＥＰ８でのチェックデジットを計算する。即ち、送信コードの最終ビットに基づきチェックデジットを計算する。
Next, in
次に、ＳＴＥＰ１０で、チェックデジットが正しかったらテーブルから対応するコードをを探す。なお、このテーブルは、コードと数列との対応表である。
Next, in
ＳＴＥＰ７及びＳＴＥＰ１０で、「ＮＯ」の場合、ＳＴＥＰ１２及びＳＴＥＰ１３の例外処理に移行する。 In the case of “NO” in STEP7 and STEP10, the process proceeds to the exception process of STEP12 and STEP13.
なお、本発明では、コードとしては、ＯＮ時間（白）、ＯＦＦ時間（黒）とし、白＋黒をストライプと称している。また、白の間隔は一定に設定し（固定長とし）、黒の最小値は２００μｓに設定している。また、６ストライプで１つのコードを表す（先頭＋コード部（４本）＋チェックデジット（１本））ようにしている。更に、最初のストライプは、最小値（２００ｕｓ）としている。また、黒は６００ｕｓを基準にして、図１６の表のように時間的なずらしを加えている。具体的には、コードを、５０ｕｓ区切りで１６段階作成すると、ＯＦＦ時間は２００ｕｓ（最小）及び１０００ｕｓ（最大）となる。また、データ部分の単位合計が「５０」になるようにしている（明るさが一定になるようにしている）。これは、１つの数字あたりが１６通りの場合、４つの数字の合計の組み合わせが一番多い場合が「５０（２７３６通り）」となるためである。 In the present invention, codes are an ON time (white) and an OFF time (black), and white + black is called a stripe. The white interval is set to be constant (fixed length), and the minimum value for black is set to 200 μs. Also, one code is represented by six stripes (head + code part (four) + check digit (one)). Further, the first stripe has a minimum value (200 us). Black is time-shifted with reference to 600 us as shown in the table of FIG. More specifically, if a code is created in 16 steps at intervals of 50 us, the OFF time is 200 us (minimum) and 1000 us (maximum). Further, the unit sum of the data portion is set to “50” (the brightness is kept constant). This is because “50 (2736 kinds)” is the case where the number of combinations of the four numbers is the largest when there are 16 ways per one number.
送信する数列は、送信時は５から２０までの１６種類である。また、５つの数字をセットにし（Ｘ１,Ｘ２,Ｘ３,Ｘ４,ＣＤ）、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４＝５０）になるものをコードとして採用している（全２７３６種類）。また、誤り検出のためにチェックデジット（ＣＤ）を計算している。ＣＤの計算に関しては、便宜上、Ｘ１,Ｘ２,Ｘ３,Ｘ４を０から１５として扱う（コードの値から５を引いたもの）。また、計算式は、ＣＤ＝（Ｘ１−Ｘ２＋１６）％４＋（（Ｘ３−Ｘ４＋１６）％４）＊４である。また、この計算式で得られるＣＤの分布は、図１７の表の左側部に示すとおりであり、更にＣＤの２進数表記を（ｄ３,ｄ２,ｄ１,ｄ０）とした時にｄ０が「０」になるようにしている。これにより、ｄ３,ｄ２＝（０，１）又は（１，１）のときにｄ０を反転させることで、図１７の表の左側部に示すとおりとなる。 The sequence to be transmitted is 16 types from 5 to 20 at the time of transmission. A set of five numbers (X1, X2, X3, X4, CD) and (X1 + X2 + X3 + X4 = 50) are adopted as codes (total 2736 types). Also, a check digit (CD) is calculated for error detection. Regarding the calculation of CD, for convenience, X1, X2, X3, and X4 are treated as 0 to 15 (the value of the code minus 5). The calculation formula is CD = (X1-X2 + 16)% 4 + ((X3-X4 + 16)% 4) * 4. The distribution of CD obtained by this formula is as shown on the left side of the table in FIG. 17, and when the binary notation of CD is (d3, d2, d1, d0), d0 is "0". I am trying to be. Thus, by inverting d0 when d3, d2 = (0, 1) or (1, 1), the result is as shown on the left side of the table in FIG.
［実施の形態２：カード型発光装置］
本発明の可視光通信システムは、図１８に示す実施の形態２の発光部としての発光装置として具体化することができる。詳細には、発光装置２００は、シート状又はカード状の基体２０１の内部に、（上記発光制御手段に相当する）マイコンチップ２０２と、電源２０３と、光源としてのＬＥＤ２０４とを実装し、マイコンチップ２０２からの発光制御によりＬＥＤ２０４を上記した所定の態様で点滅発光制御する。また、ＬＥＤ２０４の表面側には拡散層がＬＥＤ２０４を覆うように設けられ、ＬＥＤ２０４からの点滅光を拡散して放射するようになっている。
[Embodiment 2: Card type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as a light emitting unit of
［実施の形態３：電球型発光装置］
本発明の可視光通信システムは、図１９に示す実施の形態３の発光部としての発光装置として具体化することができる。詳細には、発光装置３００は、通常の電球と同様の構成のソケット部３０１、電球部３０２及び発光部３０３を備え、電球部３０２及び発光部３０３の内部に、基板３０４を配設すると共に、基板３０４に、光源としてのＬＥＤ３０５と、（上記発光制御手段に相当する）マイコンチップ３０６とを実装し、マイコンチップ３０６からの発光制御によりＬＥＤ３０５を上記した所定の態様で点滅発光制御する。
[Embodiment 3: Light bulb type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as a light emitting unit of
［実施の形態４：プロジェクタ型発光装置］
本発明の可視光通信システムは、図２０に示す実施の形態４の発光部としての発光装置として具体化することができる。詳細には、発光装置４００は、通常のプロジェクタと同様の構成の基体４０１及びレンズ４０２を備え、基体４０１の内部に、（上記発光制御手段に相当する）マイコンチップ（図示略）を実装し、マイコンチップからの発光制御によりプロジェクタに内装した光源からの光を、上記した所定の態様で点滅発光制御する。また、発光装置４００は、基体４０１の所定位置にスロット４０３を設け、所定形状（例えば、コイン型又はメダル型）の識別子提供装置４１０をスロット４０３に挿入することにより、識別子提供装置４１０に固有の識別子４１１を認識して、識別子４１１に応じた発光制御態様でレンズ４０２から前記点滅光セットに対応する点滅光を出力するようになっている。
[Embodiment 4: Projector type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as a light emitting unit of
［実施の形態５：コイン型発光装置］
本発明の可視光通信システムは、図２１に示す実施の形態５の発光部としての発光装置として具体化することができる。詳細には、発光装置５００は、コイン型の基体５０１の内部に、（上記発光制御手段に相当する）マイコンチップ５０２と、電源５０３と、光源としてのＬＥＤ５０４とを実装し、マイコンチップ５０２からの発光制御によりＬＥＤ５０４を上記した所定の態様で点滅発光制御する。また、マイコンチップ５０２の記憶部に、所定の通貨情報を格納しており、前記点滅光は、この通貨情報に対応したコード情報を提供するような点滅光セットとして出力される。
[Embodiment 5: coin-type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as a light emitting unit of
［実施の形態６：鍵型発光装置］
本発明の可視光通信システムは、図２２に示す実施の形態６の発光部としての発光装置として具体化することができる。詳細には、発光装置６００は、把持部６０１及び鍵部６０２を備え、把持部６０１の内部に、電源６０３と、（上記発光制御手段に相当する）マイコンチップ６０４とを実装すると共に、鍵部６０２の先端にＬＥＤ６０６を実装し、マイコンチップ６０３からの発光制御によりＬＥＤ６０６を、上記した所定の態様で点滅発光制御する。また、タブレットやスマートフォン等の携帯端末装置６２０のカメラレンズ部分に対応する位置には（３Ｄプリンタ等で製作した）嵌合部６１０が装着され、嵌合部６１０の鍵孔６１１に、発光装置６００の鍵部６０２の先端を差し込んで嵌合することで、タブレット６２０がＬＥＤ６０６からの点滅光パターンを認識して、その点滅光パターンに応じた動作を行うようになっている。
[Embodiment 6: Key type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as a light emitting unit of
［実施の形態７：ボール型発光装置］
本発明の可視光通信システムは、図２３に示す実施の形態７の発光部としての発光装置として具体化することができる。詳細には、発光装置７００は、球状の基部７０１を備え、基部７０１の内部に、電源７０２と、（上記発光制御手段に相当する）マイコンチップ７０３と、ＬＥＤ７０５とを実装し、マイコンチップ７０３からの発光制御によりＬＥＤ７０５を、上記した所定の態様で点滅発光制御する。また、基部７０１の内部には、図示はしないが、近距離無線通信装置が内蔵されている。更に、任意の位置に隠蔽状態で配置した発光装置７００を、タブレットやスマートフォン等の携帯端末装置７１０が、そのＧＰＳ機能や近距離無線通信技術を使用して探索し、所定のアプリによりディスプレイ７１１に表示した探索画面７２０の探索領域７２１上に、探索した発光装置７００の位置７２２を表示する。そして、探索された発光装置７００のＬＥＤ７０５から、その発光装置７００に固有のパターンの点滅光セットを出力することで、携帯端末装置７０１がその点滅光セットに対応するコードを取得し、そのコードに応じた動作を実行する。
[Embodiment 7: Ball type light emitting device]
The visible light communication system of the present invention can be embodied as a light emitting device as a light emitting unit of
１０：発光部（発光側装置）
１１：光源
２０：発光部側制御ユニット（発光部側制御手段）
５０：受光部（受光側装置）
６０：カメラモジュール
８０：ＣＭＯＳイメージセンサ（撮像素子）
９０：受光部側制御ユニット（受光部側制御手段）
10: Light emitting unit (light emitting side device)
11: Light source 20: Light emitting unit side control unit (light emitting unit side control means)
50: Light receiving unit (light receiving side device)
60: Camera module 80: CMOS image sensor (imaging device)
90: light receiving unit side control unit (light receiving unit side control means)
Claims (9)
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記撮像素子の解像度に応じて、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記発光側制御手段は、前記撮像素子の１回の走査時間内に撮像される前記点滅光セットの点滅光の数である１走査時間内点滅光数が、少なくとも、１組の前記点滅光セットの点滅光の総数の２倍より１少ない数となるよう、前記点滅光セットの点滅制御を行うことを特徴とする可視光通信システム。 A visible light communication system including a light emitting side device and a light receiving side device,
The light emitting side device,
A light source comprising a light emitting element,
Light-emitting side control means for controlling to output light from the light source directly or indirectly in a predetermined manner,
The light receiving side device,
An image sensor that receives light from the light source, exposes the received light image to different pixels while shifting the position over time to capture an image, and outputs the captured data;
Light receiving side control means for inputting image data from the image sensor and performing predetermined control based on the image data,
The light emitting side control means,
By directly or indirectly using the light from the light source, and outputting a plurality of predetermined blinking lights, the blinking intervals of the plurality of blinking lights, respectively, by a unique blinking interval. Encoding the plurality of blinking lights and outputting the encoded data;
The light receiving side control means,
The plurality of blinking lights from the light source are input to the imaging device, and the imaging device captures an image of a pattern corresponding to a unique blinking interval of each of the plurality of blinking lights, and outputs the pattern. Decoding the encoded data from the blinking light based on the pattern,
The light-emitting-side control means further includes: a lighting time and a lighting-off time of the blinking light corresponding to a resolution of the image sensor such that the blinking light is longer than an exposure time over a plurality of pixels of the image sensor. Set the blinking interval, configure a predetermined blinking light set by the blinking light of the blinking interval,
The light-emitting-side control means may include at least one set of the blinking light set, wherein the number of blinking lights within one scanning time, which is the number of blinking lights of the blinking light set imaged within one scanning time of the image sensor, A blinking light set, wherein the blinking light set is controlled to be one less than twice the total number of blinking lights.
前記光源からの光を直接的に又は間接的に使用して前記点滅光セットの複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記点滅光セットの複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化して復号化データを出力することを特徴とする請求項１記載の可視光通信システム。 The light receiving side control means,
Using the light from the light source directly or indirectly, inputting the plurality of blinking lights of the blinking light set to the image sensor, and the image sensor causes the plurality of blinking lights of the blinking light set to enter. Capturing a pattern corresponding to each unique blinking interval, outputting the pattern, decoding decoded data from the blinking light based on the pattern, and outputting decoded data. The visible light communication system according to claim 1.
前記光源からの光を直接的に又は間接的に使用して、前記撮像素子の１フレーム分の走査時間内に、前記撮像素子の露光ラインの複数本に相当する所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の点滅間隔を、それぞれ、前記点滅光セットに固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記点滅光セットの複数個の点滅光と同一数の明暗線からなると共に、前記点滅光セットの複数個の点滅光のそれぞれの固有の点滅間隔に対応する幅をそれぞれ有する明暗線パターンを撮像し、その明暗線パターンを出力して、その明暗線パターンに基づき、前記点滅光からの符号化データを復号化して復号化データを出力することを特徴とする請求項１記載の可視光通信システム。 The light emitting side control means,
Using the light from the light source directly or indirectly, within a scanning time of one frame of the image sensor, a predetermined plurality of blinking lights corresponding to a plurality of exposure lines of the image sensor. And outputting the blinking intervals of the plurality of blinking lights, each of which is a blinking interval unique to the blinking light set, thereby encoding the plurality of blinking lights and outputting encoded data thereof.
The light receiving side control means,
The plurality of blinking lights are input to the image sensor, and the imager includes a plurality of blinking lights of the blinking light set, the same number of bright and dark lines as the plurality of blinking lights of the blinking light set. Image a light-dark line pattern having a width corresponding to each unique blinking interval, output the light-dark line pattern, and decode and decode encoded data from the blinking light based on the light-dark line pattern. 2. The visible light communication system according to claim 1, wherein the visible light communication system outputs digitized data.
前記光源を所定の点滅タイミングで連続的に点滅駆動する点滅駆動手段と、
前記撮像素子の１フレーム分の走査時間内に、所定の点滅周期の点滅光が２以上の所定の複数からなるフレーム内点滅数以上包含されるように、前記点滅光の所定の点滅タイミングを設定する点滅タイミング設定手段と、
前記点滅光において、前記フレーム内点滅数の範囲内で、所定の複数だけ連続する一連の点滅光の集合を、前記点滅光の複数個と同一数である点滅光セットとして設定すると共に、前記点滅光セットの各々の点滅光について、そのオン時間とオフ時間のうちの少なくともいずれか一方を、前記点滅光の所定の点滅タイミングにおける初期設定値を基準として増減調整した所定の時間間隔である駆動用設定値に設定することで、前記点滅光セットの各々の点滅光の点滅間隔を駆動用点滅間隔へと設定する点滅光セット設定手段と、
前記点滅駆動手段による前記光源の点滅駆動を制御して、前記点滅光セットの各々の点滅光の点滅間隔が前記駆動用点滅間隔となるように変調する変調手段とを備え、
前記変調手段により変調した点滅光により前記光源を発光駆動することを特徴とする請求項２記載の可視光通信システム。 The light emitting side control means,
Blinking driving means for continuously blinking the light source at a predetermined blinking timing,
A predetermined blinking timing of the blinking light is set such that a blinking light having a prescribed blinking cycle is included in a scanning time for one frame of the image sensor, the number of blinking being more than two in a plurality of frames. Blinking timing setting means for
In the blinking light, a set of a series of blinking lights continuous by a predetermined number within the range of the blinking number in the frame is set as a blinking light set having the same number as the plurality of blinking lights, and the blinking light is set. For each blinking light of the light set, at least one of the on time and the off time is a predetermined time interval obtained by increasing or decreasing the blinking light based on an initial set value at a predetermined blinking timing of the blinking light. By setting to a set value, blinking light set setting means for setting the blinking interval of each blinking light of the blinking light set to the drive blinking interval,
Modulating means for controlling the blinking drive of the light source by the blinking drive means, and modulating the blinking interval of each blinking light of the blinking light set to be the driving blinking interval,
3. The visible light communication system according to claim 2, wherein the light source is driven to emit light by blinking light modulated by the modulation unit.
前記光源からの前記駆動用点滅間隔で点滅する点滅光を前記撮像素子により撮像することで、前記撮像素子の前記固有の特性を利用して、前記撮像素子による撮像イメージとして、前記点滅光セットの各点滅光のオン時間部分を直線状の明線とすると共にオフ時間部分を直線状の暗線とし、前記点滅光セットの点滅数に対応する数の前記明線及び前記暗線が交互に連続的に繰り返すストライプ状のパターンとなる縞模様イメージを撮像し、かつ、前記縞模様イメージにおける前記明線の各々の幅が、当該明線の元となる点滅光のオン時間部分に対する前記駆動用設定値に対応する幅となると共に、前記縞模様イメージにおける前記暗線の各々の幅が、当該暗線の元となる点滅光のオフ時間部分に対する前記駆動用設定値に対応する幅となるようにして、その縞模様イメージを前記点滅光セットのパターンデータとして前記撮像素子から出力し、
前記受光側制御手段は、前記撮像素子からの前記縞模様イメージからなる点滅光セットのパターンデータを入力し、そのパターンデータに基づき、コンピュータ装置に対応する所定の処理を実行させる指令を出力することを特徴とする請求項４記載の可視光通信装置。 The light receiving side device,
By imaging the blinking light that blinks at the drive blinking interval from the light source with the image sensor, utilizing the unique characteristic of the image sensor, as an image captured by the image sensor, the blinking light set The on-time portion of each flashing light is a linear bright line and the off-time portion is a linear dark line, and the number of the bright lines and the dark lines corresponding to the number of flashes of the flashing light set are alternately and continuously. An image of a stripe pattern image to be a repeating stripe pattern is taken, and the width of each of the bright lines in the stripe pattern image is set to the drive setting value for the on-time portion of the blinking light that is the source of the bright line. In addition to the corresponding width, the width of each of the dark lines in the striped image is the width corresponding to the drive setting value for the off-time portion of the blinking light that is the source of the dark line. The to and output from the imaging element the stripes image as pattern data of the flashing light set,
The light-receiving-side control means inputs pattern data of a blinking light set including the striped pattern image from the imaging element, and outputs a command for causing a computer device to execute a predetermined process based on the pattern data. The visible light communication device according to claim 4, wherein:
前記発光側制御手段は、
前記光源を所定の点滅周期で連続的に点滅駆動する点滅駆動手段と、
前記ＣＭＯＳイメージセンサの１フレーム分の走査時間内に、所定の点滅周期の点滅光が２以上の所定の複数からなるフレーム内点滅数以上包含されるように、前記点滅光の所定の点滅周期を設定する点滅周期設定手段と、
前記点滅光において、前記フレーム内点滅数の範囲内で、所定の複数だけ連続する一連の点滅光の集合を、前記点滅光の複数個と同一数である点滅光セットとして設定すると共に、前記点滅光セットの各々の点滅光について、そのオン時間とオフ時間のうちの少なくともいずれか一方を、前記点滅光の所定の点滅タイミングにおける初期設定値を基準として増減調整した所定の時間間隔である駆動用設定値に設定することで、前記点滅光セットの各々の点滅光の点滅間隔を駆動用点滅間隔へと設定する点滅光セット設定手段と、
前記点滅駆動手段による前記光源の点滅駆動用の電力を、前記点滅光セットの各々の点滅光の点滅間隔が前記駆動用点滅間隔となるように変調する変調手段と、
前記変調手段からの点滅駆動用の電力を前記光源に供給して前記光源を発光駆動する発光駆動手段とを備えることを特徴とする請求項２記載の可視光通信システム。 The image pickup device of the light emitting side device receives the light of the light source, scans the received light image by shifting the position in a predetermined direction at regular time intervals by a line exposure, and outputs the image pickup data. A CMOS image sensor,
The light emitting side control means,
Blinking driving means for continuously blinking the light source at a predetermined blinking cycle,
The predetermined blinking cycle of the blinking light is set so that the blinking light of the prescribed blinking cycle is included in the scanning time for one frame of the CMOS image sensor by the number of blinks in the frame composed of two or more predetermined pluralities. Blinking period setting means to be set;
In the blinking light, a set of a series of blinking lights continuous by a predetermined number within the range of the blinking number in the frame is set as a blinking light set having the same number as the plurality of blinking lights, and the blinking light is set. For each blinking light of the light set, at least one of the on time and the off time is a predetermined time interval obtained by increasing or decreasing the blinking light based on an initial set value at a predetermined blinking timing of the blinking light. By setting to a set value, blinking light set setting means for setting the blinking interval of each blinking light of the blinking light set to the drive blinking interval,
Modulating means for modulating the power for blinking driving of the light source by the blinking driving means, so that the blinking interval of each blinking light of the blinking light set is the driving blinking interval,
3. The visible light communication system according to claim 2, further comprising: a light emission drive unit that supplies power for blinking drive from the modulation unit to the light source to drive the light source to emit light.
前記光源からの前記駆動用点滅間隔で点滅する点滅光を前記ＣＭＯＳイメージセンサにより撮像することで、前記ＣＭＯＳイメージセンサのライン露光による固有の特性を利用して、前記ＣＭＯＳイメージセンサによる撮像イメージとして、前記点滅光セットの各点滅光のオン時間部分を直線状の明線とすると共にオフ時間部分を直線状の暗線とし、前記点滅光セットの点滅数に対応する数の前記明線及び前記暗線が交互に連続的に繰り返すストライプ状のパターンとなる縞模様イメージを撮像し、かつ、前記縞模様イメージにおける前記明線の各々の幅が、当該明線の元となる点滅光のオン時間部分に対する前記駆動用設定値に対応する幅となると共に、前記縞模様イメージにおける前記暗線の各々の幅が、当該暗線の元となる点滅光のオフ時間部分に対する前記駆動用設定値に対応する幅となるようにして、その縞模様イメージを前記点滅光セットのパターンデータとして前記ＣＭＯＳイメージセンサから出力し、
前記受光側制御手段は、前記ＣＭＯＳイメージセンサからの前記縞模様イメージからなる点滅光セットのパターンデータを入力し、そのパターンデータに基づき、コンピュータ装置に対応する所定の処理を実行させる指令を出力することを特徴とする請求項６記載の可視光通信装置。 The light receiving side device,
By imaging the flashing light that flashes at the drive flashing interval from the light source with the CMOS image sensor, utilizing the unique characteristics of the CMOS image sensor by line exposure, as an image captured by the CMOS image sensor, The on-time portion of each flashing light set of the flashing light set is a linear bright line and the off-time portion is a linear dark line, and the number of the bright lines and the dark lines corresponding to the number of flashes of the flashing light set is An image of a stripe pattern that is a stripe pattern that is alternately and continuously repeated is taken, and the width of each of the bright lines in the stripe pattern image is the width of the on-time portion of the blinking light that is the source of the bright line. The width corresponding to the set value for driving and the width of each of the dark lines in the striped pattern image correspond to the width of the blinking light that is the source of the dark line. As a width corresponding to the driving set value for the time portion, and output from the CMOS image sensor that striped image as pattern data of the flashing light set,
The light receiving side control means inputs pattern data of a blinking light set including the striped pattern image from the CMOS image sensor, and outputs a command for executing a predetermined process corresponding to a computer device based on the pattern data. 7. The visible light communication device according to claim 6, wherein:
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記撮像素子の解像度に応じて、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、かつ、前記点滅光セットの各々の点滅光について、そのオン時間とオフ時間のうちの少なくともいずれか一方を、前記点滅光の所定の点滅タイミングにおける初期設定値を基準として増減調整した所定の時間間隔である駆動用設定値に設定することで、前記点滅光セットの各々の点滅光の点滅間隔を駆動用点滅間隔へと設定し、
前記受光側装置は、
前記光源からの前記駆動用点滅間隔で点滅する点滅光を前記撮像素子により撮像することで、前記撮像素子の前記固有の特性を利用して、前記撮像素子による撮像イメージとして、前記点滅光セットの各点滅光のオン時間部分を直線状の明線とすると共にオフ時間部分を直線状の暗線とし、前記点滅光セットの点滅数に対応する数の前記明線及び前記暗線が交互に連続的に繰り返すストライプ状のパターンとなる縞模様イメージを撮像し、かつ、前記縞模様イメージにおける前記明線の各々の幅が、当該明線の元となる点滅光のオン時間部分に対する前記駆動用設定値に対応する幅となると共に、前記縞模様イメージにおける前記暗線の各々の幅が、当該暗線の元となる点滅光のオフ時間部分に対する前記駆動用設定値に対応する幅となるようにして、その縞模様イメージを前記点滅光セットのパターンデータとして前記撮像素子から出力し、
前記受光側制御手段は、前記撮像素子からの前記縞模様イメージからなる点滅光セットのパターンデータを入力し、そのパターンデータに基づき、コンピュータ装置に対応する所定の処理を実行させる指令を出力し、
前記発光側制御手段は、前記撮像素子に撮像される前記明線及び前記暗線の一方の幅が一定の固定長となると共に前記明線及び前記暗線の他方の幅が可変長となるようにし、前記可変長となる前記明線及び前記暗線の他方の幅の大小により情報を表現するよう、前記点滅光のオン時間及びオフ時間の一方を固定長とすると共に他方を可変長とし、かつ、可変長となる前記点滅光のオン時間及びオフ時間の他方の時間間隔を基準値から所定単位で増減して設定して前記点滅光セットを出力することを特徴とする可視光通信装置。 A visible light communication system including a light emitting side device and a light receiving side device,
The light emitting side device,
A light source comprising a light emitting element,
Light-emitting side control means for controlling to output light from the light source directly or indirectly in a predetermined manner,
The light receiving side device,
An image sensor that receives light from the light source, exposes the received light image to different pixels while shifting the position over time to capture an image, and outputs the captured data;
Light receiving side control means for inputting image data from the image sensor and performing predetermined control based on the image data,
The light emitting side control means,
By directly or indirectly using the light from the light source, and outputting a plurality of predetermined blinking lights, the blinking intervals of the plurality of blinking lights, respectively, by a unique blinking interval. Encoding the plurality of blinking lights and outputting the encoded data;
The light receiving side control means,
The plurality of blinking lights from the light source are input to the imaging device, and the imaging device captures an image of a pattern corresponding to a unique blinking interval of each of the plurality of blinking lights, and outputs the pattern. Decoding the encoded data from the blinking light based on the pattern,
The light-emitting side control unit further includes: a flashing light, such that each lighting time and each lighting time of the flashing light is equal to or longer than an exposure time over a plurality of pixels of the imaging device, according to a resolution of the imaging device. Are set , and a predetermined blinking light set is constituted by the blinking lights of the blinking interval, and at least one of the on time and the off time of each blinking light of the blinking light set. By setting the drive setting value which is a predetermined time interval adjusted to increase or decrease based on the initial setting value at the predetermined blink timing of the blinking light, the blinking interval of each blinking light of the blinking light set is driven. To the flashing interval for
The light receiving side device,
By imaging the blinking light that blinks at the drive blinking interval from the light source with the image sensor, utilizing the unique characteristic of the image sensor, as an image captured by the image sensor, the blinking light set The on-time portion of each flashing light is a linear bright line and the off-time portion is a linear dark line, and the number of the bright lines and the dark lines corresponding to the number of flashes of the flashing light set are alternately and continuously. An image of a stripe pattern image to be a repeating stripe pattern is taken, and the width of each of the bright lines in the stripe pattern image is set to the drive setting value for the on-time portion of the blinking light that is the source of the bright line. In addition to the corresponding width, the width of each of the dark lines in the striped image is the width corresponding to the drive setting value for the off-time portion of the blinking light that is the source of the dark line. The to and output from the imaging element the stripes image as pattern data of the flashing light set,
The light-receiving-side control means inputs pattern data of a blinking light set including the striped pattern image from the imaging device, and outputs a command to execute a predetermined process corresponding to a computer device based on the pattern data,
The light-emitting side control means, so that the width of one of the bright line and the dark line imaged by the image sensor has a fixed fixed length and the other width of the bright line and the dark line has a variable length, One of the on-time and off-time of the blinking light has a fixed length and the other has a variable length, and the variable length, so that the information is represented by the width of the other of the bright line and the dark line having the variable length. A visible light communication device, characterized in that the blinking light set is output by setting the other time interval of the long on time and off time of the blinking light by increasing or decreasing a predetermined unit from a reference value.
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記撮像素子の解像度に応じて、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、かつ、前記点滅光セットの各々の点滅光について、そのオン時間とオフ時間のうちの少なくともいずれか一方を、前記点滅光の所定の点滅タイミングにおける初期設定値を基準として増減調整した所定の時間間隔である駆動用設定値に設定することで、前記点滅光セットの各々の点滅光の点滅間隔を駆動用点滅間隔へと設定し、
前記受光側装置は、
前記光源からの前記駆動用点滅間隔で点滅する点滅光を前記撮像素子により撮像することで、前記撮像素子の前記固有の特性を利用して、前記撮像素子による撮像イメージとして、前記点滅光セットの各点滅光のオン時間部分を直線状の明線とすると共にオフ時間部分を直線状の暗線とし、前記点滅光セットの点滅数に対応する数の前記明線及び前記暗線が交互に連続的に繰り返すストライプ状のパターンとなる縞模様イメージを撮像し、かつ、前記縞模様イメージにおける前記明線の各々の幅が、当該明線の元となる点滅光のオン時間部分に対する前記駆動用設定値に対応する幅となると共に、前記縞模様イメージにおける前記暗線の各々の幅が、当該暗線の元となる点滅光のオフ時間部分に対する前記駆動用設定値に対応する幅となるようにして、その縞模様イメージを前記点滅光セットのパターンデータとして前記撮像素子から出力し、
前記受光側制御手段は、前記撮像素子からの前記縞模様イメージからなる点滅光セットのパターンデータを入力し、そのパターンデータに基づき、コンピュータ装置に対応する所定の処理を実行させる指令を出力し、
前記発光側制御手段は、前記撮像素子に撮像される前記明線の幅が一定の固定長となると共に前記暗線の幅が可変長となるようにし、前記可変長となる前記暗線の幅の大小により情報を表現するよう、前記点滅光のオン時間を固定長とすると共にオフ時間を可変長とし、かつ、可変長となる前記点滅光のオフ時間の時間間隔を基準値から所定単位で増減して設定して前記点滅光セットを出力することを特徴とする可視光通信装置。 A visible light communication system including a light emitting side device and a light receiving side device,
The light emitting side device,
A light source comprising a light emitting element,
Light-emitting side control means for controlling to output light from the light source directly or indirectly in a predetermined manner,
The light receiving side device,
An image sensor that receives light from the light source, exposes the received light image to different pixels while shifting the position over time to capture an image, and outputs the captured data;
Light receiving side control means for inputting image data from the image sensor and performing predetermined control based on the image data,
The light emitting side control means,
By directly or indirectly using the light from the light source, and outputting a plurality of predetermined blinking lights, the blinking intervals of the plurality of blinking lights, respectively, by a unique blinking interval. Encoding the plurality of blinking lights and outputting the encoded data;
The light receiving side control means,
The plurality of blinking lights from the light source are input to the imaging device, and the imaging device captures an image of a pattern corresponding to a unique blinking interval of each of the plurality of blinking lights, and outputs the pattern. Decoding the encoded data from the blinking light based on the pattern,
The light-emitting side control unit further includes: a flashing light, such that each lighting time and each lighting time of the flashing light is equal to or longer than an exposure time over a plurality of pixels of the imaging device, according to a resolution of the imaging device. Are set , and a predetermined blinking light set is constituted by the blinking lights of the blinking interval, and at least one of the on time and the off time of each blinking light of the blinking light set. By setting the drive setting value which is a predetermined time interval adjusted to increase or decrease based on the initial setting value at the predetermined blink timing of the blinking light, the blinking interval of each blinking light of the blinking light set is driven. To the flashing interval for
The light receiving side device,
By imaging the blinking light that blinks at the drive blinking interval from the light source with the image sensor, utilizing the unique characteristic of the image sensor, as an image captured by the image sensor, the blinking light set The on-time portion of each flashing light is a linear bright line and the off-time portion is a linear dark line, and the number of the bright lines and the dark lines corresponding to the number of flashes of the flashing light set are alternately and continuously. An image of a stripe pattern image to be a repeating stripe pattern is taken, and the width of each of the bright lines in the stripe pattern image is set to the drive setting value for the on-time portion of the blinking light that is the source of the bright line. In addition to the corresponding width, the width of each of the dark lines in the striped image is the width corresponding to the drive setting value for the off-time portion of the blinking light that is the source of the dark line. The to and output from the imaging element the stripes image as pattern data of the flashing light set,
The light-receiving-side control means inputs pattern data of a blinking light set including the striped pattern image from the imaging device, and outputs a command to execute a predetermined process corresponding to a computer device based on the pattern data,
The light-emitting-side control means controls the width of the bright line imaged by the image sensor to have a fixed fixed length and the width of the dark line to be a variable length. In order to express information, the on-time of the blinking light has a fixed length and the off-time has a variable length, and the time interval of the off-time of the blinking light having a variable length is increased or decreased by a predetermined unit from a reference value. And transmitting the blinking light set.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015101439A JP6653128B2 (en) | 2014-05-16 | 2015-05-18 | Visible light communication system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014102863 | 2014-05-16 | ||
| JP2014102863 | 2014-05-16 | ||
| JP2015101439A JP6653128B2 (en) | 2014-05-16 | 2015-05-18 | Visible light communication system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019128821A Division JP7090233B2 (en) | 2014-05-16 | 2019-07-10 | Visible light communication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015233276A JP2015233276A (en) | 2015-12-24 |
| JP6653128B2 true JP6653128B2 (en) | 2020-02-26 |
Family
ID=54934484
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015101439A Active JP6653128B2 (en) | 2014-05-16 | 2015-05-18 | Visible light communication system |
| JP2019128821A Active JP7090233B2 (en) | 2014-05-16 | 2019-07-10 | Visible light communication system |
| JP2022078459A Pending JP2022097664A (en) | 2014-05-16 | 2022-05-11 | Visible light communication system |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019128821A Active JP7090233B2 (en) | 2014-05-16 | 2019-07-10 | Visible light communication system |
| JP2022078459A Pending JP2022097664A (en) | 2014-05-16 | 2022-05-11 | Visible light communication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6653128B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3528584A4 (en) | 2016-10-12 | 2019-11-06 | Panasonic Intellectual Property Corporation of America | Transmission device, reception device, communication system, transmission method, reception method, and communication method |
| WO2019041167A1 (en) * | 2017-08-30 | 2019-03-07 | 陕西外号信息技术有限公司 | Optical communication device and system, and corresponding information transmission and reception method |
| US10591385B2 (en) | 2017-12-01 | 2020-03-17 | Exfo Inc. | Method and system for multi-fiber cable testing |
| US11340137B2 (en) | 2017-12-01 | 2022-05-24 | Exfo Inc. | Method and system for multi-link connection testing |
| CN110943778B (en) * | 2018-09-25 | 2021-12-07 | 北京外号信息技术有限公司 | Optical communication device and method for transmitting and receiving information |
| JP7052696B2 (en) | 2018-11-30 | 2022-04-12 | カシオ計算機株式会社 | Transmitter, transmission method and program |
| JP7228889B2 (en) * | 2019-04-11 | 2023-02-27 | 学校法人加計学園 | Visible light communication device and visible light communication method |
| CN111416661B (en) * | 2020-01-15 | 2021-06-29 | 华中科技大学 | Light path alignment method for space optical communication |
| CN112394322B (en) * | 2020-05-27 | 2023-06-20 | 南京邮电大学 | Method for realizing accurate positioning of indoor visible light communication system based on two-step method |
| US20240162982A1 (en) * | 2021-04-02 | 2024-05-16 | Nippon Telegraph And Telephone Corporation | Optical space communication device and optical space communication method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0380719A (en) * | 1989-08-24 | 1991-04-05 | Sunx Ltd | Optical communication system and its transmitting station and receiving station |
| JP4736397B2 (en) * | 2004-10-22 | 2011-07-27 | 日本電気株式会社 | Imaging device, imaging module, and portable terminal |
| JP4577612B2 (en) * | 2005-03-30 | 2010-11-10 | カシオ計算機株式会社 | Information display system and information display method |
| JP4639127B2 (en) * | 2005-08-31 | 2011-02-23 | 株式会社オプナス | Receiving machine |
| JP2007274580A (en) * | 2006-03-31 | 2007-10-18 | Nakagawa Kenkyusho:Kk | Visible light communication system |
| JP5936902B2 (en) * | 2012-04-13 | 2016-06-22 | 株式会社東芝 | Transmission system, transmission device and reception device |
| ES2668904T3 (en) * | 2012-05-24 | 2018-05-23 | Panasonic Intellectual Property Corporation Of America | Information communication procedure |
| EP2893651B1 (en) * | 2012-09-10 | 2016-04-20 | Koninklijke Philips N.V. | Light detection system and method |
-
2015
- 2015-05-18 JP JP2015101439A patent/JP6653128B2/en active Active
-
2019
- 2019-07-10 JP JP2019128821A patent/JP7090233B2/en active Active
-
2022
- 2022-05-11 JP JP2022078459A patent/JP2022097664A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP7090233B2 (en) | 2022-06-24 |
| JP2015233276A (en) | 2015-12-24 |
| JP2022097664A (en) | 2022-06-30 |
| JP2019208233A (en) | 2019-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6653128B2 (en) | Visible light communication system | |
| US10949647B2 (en) | System and method of efficient illuminator-sensor synchronization to capture images | |
| JP6236356B2 (en) | Visible light communication signal display method and display device | |
| JP5936902B2 (en) | Transmission system, transmission device and reception device | |
| US9516295B2 (en) | Systems and methods for multi-channel imaging based on multiple exposure settings | |
| KR102278509B1 (en) | Continuous video in a light deficient environment | |
| US10194129B2 (en) | Method of taking pictures for generating three-dimensional image data | |
| US20100171875A1 (en) | Imager capturing an image with a rolling shutter | |
| CN109784120B (en) | Optical code generation device, light sensation data interaction method and image acquisition device | |
| JP6073501B2 (en) | Method and apparatus for generating a variable illumination pattern infrared illumination beam | |
| JP6373577B2 (en) | Imaging control device | |
| JP5989284B1 (en) | Imaging system and light source device | |
| KR20180057505A (en) | Hidden camera prevention device | |
| US10218439B2 (en) | Optical communication device, optical communication method, and non-transitory recording medium | |
| TWI713887B (en) | Optical communication device and system and corresponding information transmission and reception method | |
| JP7091326B2 (en) | Information processing equipment and methods | |
| CN104917938A (en) | Depth camera device for mobile communication device | |
| CN113422945A (en) | Laser projection equipment and display method of projected image thereof | |
| CN108306682B (en) | Light emitting device, information transmission system, and information transmission method | |
| US8681263B2 (en) | Imager capturing an image with a rolling shutter using flicker detection | |
| JP2020153715A (en) | Ranging device and ranging method | |
| KR101945969B1 (en) | object color independence camera communication system and method thereof | |
| JP7070530B2 (en) | Information acquisition device, information acquisition method and program | |
| US20170070712A1 (en) | Lighting device, lighting system, and program | |
| JP6307922B2 (en) | Imaging system, imaging device, light emitting device, imaging method, light emitting method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180330 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190311 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6653128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |