JP6657344B1

JP6657344B1 - 情報伝達システム

Info

Publication number: JP6657344B1
Application number: JP2018158772A
Authority: JP
Inventors: 哲理園田
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-08-27
Filing date: 2018-08-27
Publication date: 2020-03-04
Anticipated expiration: 2038-08-27
Also published as: JP2020036104A

Abstract

【課題】光送信部が小さい光源や、光送信部が離れた場所にあり小さくしか撮像されない場合にも、問題なく情報の伝達を行える情報伝達システムを提供する。【解決手段】送信対象の情報を信号の強弱からなる時系列信号に変調する情報変調部１０３と、その変調された時系列信号に対応した強弱の光を出力する光送信部１０４と、光送信部から出力された光を所定の方向に伸張する光伸張部１０６（シリンドリカルレンズアレイ）と、その光伸張部で伸張された光を受光し、画像データとして取得するローリングシャッタセンサ１０８と、そのローリングシャッタセンサで取得した画像データに基づき、送信された情報を復調する情報復調部１０９を備える。そして所定の方向は、ローリングシャッタセンサにおける露光時間ずれが生じる方向にした。【選択図】図１

Description

本発明は、光を用いた情報伝達システムに関するものである。

例えば、高速に点滅する光源を用いて情報を送信し、ローリングシャッタによる撮像センサを用いたカメラで撮影し、情報伝送を行う手法が開発されている。ローリングシャッタセンサは、センサ上方から走査線単位で露光時間がずれる特徴を持っており、十分に速い露光速度で撮影した場合、撮影された光源像は点滅に合わせてバーコード状になって画像上に現れる。このバーコード状になった画像を用いて、光源の点滅時に適用した変調方法に応じて復号を行うことで、情報の伝送を行うことができる。

しかし、上記の手法は撮影された光源像がバーコード状の領域を十分に読み取れる大きさである必要があり、例えば小さい光源を用いた場合や、光源から離れた距離で光源像が小さく撮影された場合は適用できないという課題がある。

上述した課題はそれぞれ独立したものとして記載しているものであり、本発明は、必ずしも記載した課題の全てを解決できる必要はなく、少なくとも一つの課題が解決できれば良い。またこの課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。

（１）上述した課題を解決するために、本発明の情報伝達システムは、送信対象の情報を信号の強弱からなる時系列信号に変調する情報変調手段と、その変調された時系列信号に対応した強弱の光を出力する光送信手段と、前記光送信手段から出力された光を所定の方向に伸張する光伸張手段と、その光伸張手段で伸張された光を受光し、画像データとして取得するローリングシャッタセンサと、そのローリングシャッタセンサで取得した前記画像データに基づき、送信された情報を復調する情報復調手段を備え、前記所定の方向は、前記ローリングシャッタセンサにおける露光時間ずれが生じる方向、あるいは前記露光時間ずれが生じる方向に対して傾斜した方向とした。

本発明によれば、変調された時系列信号に対応した強弱の光をローリングシャッタで撮影することで、露光時間のずれの方向に強弱に対応するバーコードのような画像が得られる。そして、ローリングシャッタによる撮像センサを用いたカメラで撮影する際に、光送信手段からの光を光伸張手段によりローリングシャッタの露光方向と同一の方向に伸張することで、光の強弱に対応するバーコード状の信号を引き延ばし、情報伝達を行うのに十分な光源像の大きさを確保する。また、露光時間ずれが生じる方向に対して傾斜した方向であっても、情報伝達を行うのに十分な光源像の大きさを確保できるほど引き延ばせれば良い。例えば、画像中の露光時間ずれが生じる方向に上下方向に複数の光源があることが想定される場合は、光の伸張する方向を斜め方向とすることで双方の信号が重ならず、復調を容易にすることができるのでよい。

（２）前記光伸張手段は、シリンドリカルレンズアレイにより構成されるようにするとよい。シリンドリカルレンズアレイは、小型で簡単な構成で一方向のみに光源を伸張することができるので好ましい。

（３）前記光伸張手段は、前記所定の方向である伸張方向にのみ大きな開口を持つレンズ絞りを用いたレンズにより構成されるようにするとよい。所定のレンズ絞りを設ければ良く、レンズの構成は簡単なものとなり、より簡単で安価に形成できる。

（４）前記光伸張手段は、前記光送信手段から出力された光を受光する受光部分を前記所定の方向である伸張方向に往復移動させる移動機構を備え、少なくとも情報伝送を行う際に、前記移動機構を動作させて前記光を伸張させるように構成するようにするとよい。移動機構は、例えば、変形例で示した振動モータや、手振れ機構等に対応する。このように機械的に振動等生じさせることでも所定の方向に光を伸張することができるとともに、例えば情報伝送を行わない時には、移動機構を動かさないようにすることで、通常の画像を劣化させることなく撮影することも可能になる。

（５）前記光送信手段は、ＬＥＤを光源とし、そのＬＥＤの発光を制御して強弱の光を出力するように構成するとよい。このようにすると、簡単かつ高速に発光の強弱の切替ができる。

本発明は、例えば光送信部が小さい光源の場合や、光送信部が離れた場所にあって小さくしか撮像されない場合にも、問題なく情報の伝達を行うことができる。

本発明に係る情報伝達システムの好適な一実施形態を示す図である。その作用を説明する処理フロー図である。情報変調部の機能を説明する図である。情報変調部の機能を説明する図である。情報変調部の機能を説明する図である。情報変調部の機能を説明する図である。ローリングシャッタセンサで撮像した撮影画像の一例を示す図である。ローリングシャッタセンサで撮像した撮影画像の一例を示す図である。ローリングシャッタセンサで撮像した撮影画像の一例を示す図である。ローリングシャッタセンサで撮像した撮影画像の一例を示す図である。情報復調部の機能を説明する図である。情報復調部の機能を説明する図である。情報復調部の機能を説明する図である。情報復調部の機能を説明する図である。

以下、本発明の好適な実施形態について図面に基づき、詳細に説明する。なお、本発明は、これに限定されて解釈されるものではなく、本発明の範囲を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、修正、改良を加え得るものである。

図１は、本発明に係る情報伝達システムの好適な一実施形態を示している。この情報伝達システムは、高速に点滅する光源を用いて情報を送信する情報送信部１０１と、その情報送信部１０１から送られてくる光を受信し、ローリングシャッタによる撮像センサを用いたカメラで撮影し、送られてきた情報を取得する情報受信部１０５を備える。

情報送信部１０１は、情報生成部１０２と、情報変調部１０３と、光送信部１０４を備える。情報生成部１０２は、送信する文字列やバイナリデータ列、アナログデータなどの情報を生成するコンピュータである。なお、情報を生成する手段であれば、コンピュータに限ることはなく、例えば、各種のセンサや、情報を記録したストレージなどでもよい。

情報変調部１０３は、情報生成部１０２からの情報を、信号の強弱からなる時系列信号に変調するものであり、マイコンや、専用の変調回路等により構成する。

光送信部１０４は、情報変調部１０３で変調された時系列信号に対応した強弱の光を出力するものである。この光送信部１０４に用いる光源は、例えばＬＥＤを用いる。小型の光源が良く、ＬＥＤ以外の白熱球等の他の光源を用いても良いが、本実施形態のようにＬＥＤを用いると、光の強弱の制御が容易かつ明確で、高速に切り替えることができ、発熱もなく、小型化が容易に行えるので特に良い。また、光の強弱は、例えばともに発光した状態でレベルを変える場合でも良いし、発光するか否か（弱い方は発光しない）のように０／１としても良い。光の強弱を０／１にすると、点滅させればよく、制御が容易となる。

情報受信部１０５は、光伸張部１０６と、撮像光学系１０７と、ローリングシャッタセンサ１０８と、情報復調部１０９と、情報取得部１１０とを備える。光伸張部１０６は、受光した光を、所定の方向に伸張する機能を備えたものである。実際の情報伝達システムにおいて、光伸張部１０６には、光送信部１０４から出力された光が入射されるように構成し、光伸張部１０６は、当該光を伸張する。伸張する所定方向は、後述するローリングシャッタセンサ１０８における露光時間ずれが生じる方向である。この光伸張部１０６は、例えば、シリンドリカルレンズアレイ等により構成すると良い。シリンドリカルレンズアレイは、簡単な構成で一方向のみに光源を伸張することができるので、ローリングシャッタセンサ１０８における露光時間ずれが生じる方向、すなわち、当該一軸方向に、効率よく伸張できるので好ましい。

撮像光学系１０７は、光伸張部１０６で伸張された光をローリングシャッタセンサ１０８に向けて結像させるレンズ等で構成する。ローリングシャッタセンサ１０８は、伸張された光を受光し、画像データとして取得するローリングシャッタ方式の撮像センサである。そして、これら撮像光学系１０７とローリングシャッタセンサ１０８によりカメラ１１１を構成する。情報復調部１０９は、ローリングシャッタセンサ１０８で取得した画像データに基づき送信された情報を復調するものであり、例えばコンピュータや専用の復調回路等により構成する。情報取得部１１０は、復調された情報を取得する手段であり、例えばコンピュータや情報を新しく記録するストレージなどにより構成する。上述した各処理部のより具体的な機能・構成等は、図２に示す処理フローを引用しつつ、適宜説明する。

図２は、上述した情報伝達システムにおける情報伝達を行う処理フローの一例を示している。まず、情報生成部１０２は、送信するための情報を生成する（ＳＴ２０１）。ここでは、０〜２５５までの数値を生成する前提で、例として「１２０」という数値を情報として生成する。情報生成部１０２は、この生成した情報（例えば「１２０」）を情報変調部１０３に与える。

情報変調部１０３が、下記の手順（１）〜（３）に従って、送信するための情報を信号の強弱からなる時系列信号に変調する（ＳＴ２０２）。

（１）情報変調部１０３は、受け取った情報を二進数所定桁（例えば８桁）に変換する。これにより、例えば「１２０」という数値は、２進数８桁からなる「０１１１１０００」に変換される。

（２）情報変調部１０３は、変換した数値（２進数）に対し、マンチェスタ符号化による変調を行う。すなわち、情報変調部１０３は、変換した各桁の「０」と「１」をそれぞれ一定の長さを持つ信号の図３に示す「立ち上がり」と図４に示す「立ち下がり」に置き換える。これにより、情報変調部１０３は、「０１１１１０００」から図５のような時系列信号を生成する。

（３）情報変調部１０３は、上記の（２）で生成した変調信号に対し、図６に示すように、信号の最初に立ち上がりと立ち下がりの間が長い頭出し信号を付加する。なお、頭出し信号と立ち上がり、立ち下がり信号との識別を容易にするため、頭出し信号の前後には立ち上がり、立ち下がり信号と同じ長さを持つ信号のない緩衝領域を設ける。

情報変調部１０３が生成し出力する時系列信号を用いて光送信部１０４を発光させ、高速に点滅させる（ＳＴ２０３）。具体的には、例えば時系列信号が「１」の区間は発光させ、「０」の区間は消灯する処理を行う。この処理では、時系列信号は受信が完了するまで、周期的に繰り返す。

光伸張部１０６は、光送信部１０４からの光を特定の方向に伸張する（ＳＴ２０４）。本実施形態では、光伸張部１０６は、シリンドリカルレンズアレイを用いて構成しているので、受光した光を特定の一軸方向に伸張する。例えば、光送信部１０４は、円形の発光部を有し、点滅制御すると、点灯時は円形の光を受光するが、光伸張部１０６を通過すると一軸方向に拡散した光となる。

次いで、光伸張部１０６で引き伸ばされた光を、ローリングシャッタセンサ１０８で撮像して撮像画像を取得する（ＳＴ２０５）。ローリングシャッタセンサ１０８で撮影すると、図７に示すように、シャッタタイミングは画像の上から下に向かってずれていく。そのため、例えば、ＬＥＤが高速点滅（例えば、１／２００００秒単位）した状態を通常のシャッター速度（１／３０秒程度）で撮影すると点滅が確認できないが、ローリングシャッタセンサ１０８を用いて、例えば、１／３００００秒で高速シャッター撮影すると、図示のように上下方向に高速点滅の軌跡が撮影でき、光源がバーコード状に再現される。このようにローリングシャッタセンサ１０８における露光時間ずれが生じる方向は、上下方向の一軸方向となる。

光伸張部１０６における伸長方向と、ローリングシャッタセンサ１０８における露光時間ずれが生じる方向（上下方向）を一致させているので、例えば、図８に示すような一軸方向に伸張された撮影画像が得られる。なお、光伸張部１０６を設けず、情報受信部１０５で受光した光を、撮像光学系１０７を介してローリングシャッタセンサ１０８で撮像すると、例えば図９に示すように伸張せずほぼ円形のままとなる。

このようにして取得した撮影画像は、情報復調部１０９に与えられる。情報復調部１０９は、下記の手順（１）〜（６）にしたがって撮像画像を用いて、変調された情報を復調する（ＳＴ２０６）。

（１）情報復調部１０９は、画像の各ｘ座標上に存在するすべてのｙ座標の輝度値を加算した値を計算し、図１０に示すようにｘ座標上での輝度がピークとなる位置ｘｐを検出する。

（２）情報復調部１０９は、ｘｐ上で、図１０のようにｙ座標上での輝度がピークとなる位置ｙｐを検出する。

（３）情報復調部１０９は、上記の（１）と（２）で得たｘｐ，ｙｐ座標を起点位置として、ｙの上下方向を走査し、頭出し信号を２つ検出する。走査したｘｐ上のｙ方向の輝度変化を図１１に示す。頭出し信号は、図６に示すように他の信号よりも立ち上がり−立ち下がりのまで時間が長いため、情報復調部１０９は、図１２に示すように立ち上がり〜立ち下がりまでの経過時間ｔｈを計測し、経過時間が頭出し時間閾値ｔ０に対してｔｈ＞ｔ０であれば頭出し信号と判定する。第一の頭出し信号の立ち下がり位置をｙ０、第二の頭出し信号の立ち上がり位置をｙ１とする。

（４）情報復調部１０９は、ｙｕ＝（ｙ１−ｙ０）／１０として、図１２に示すようにｙ０−ｙ１間をｙｕの長さで１０分割し、先頭と終端の分割領域を緩衝領域として除外し、それ以外の各領域をｓ０〜ｓ７とする。

（５）情報復調部１０９は、図１３に示すようにｓ０〜ｓ７の各領域を２分割し、双方の領域の平均輝度ａｓ０〜ａｓ７、ｂｓ０〜ｂｓ７を計算する。ここで、情報復調部１０９は、ａｓｘ＜ｂｓｘであれば「立ち上がり」と判定して１を出力し、ａｓｘ＞＝ｂｓｘであれば「立ち下がり」と判定して０を出力する。情報復調部１０９は、本処理を、各領域ｓ０〜ｓ７の全てに適用し、それぞれの領域で出力された値ｃ０〜ｃ７を取得する。

（６）情報復調部１０９は、図１４に示すようにｃ０〜ｃ７の値を２進数として並べる。本例の場合、「０１１１１０００」となり、情報復調部１０９は、これを１０進数に変換して「１２０」という値を復調し、その値を出力する。

情報取得部１１０は、情報復調部１０９で復調された値「１２０」を情報として取得する（ＳＴ２０７）。

以上の手順により、光送信部１０４が小さい光源の場合や、光送信部１０４が離れた場所にあって、小さくしか撮像されない場合にも、問題なく情報の伝達を行うことができる。

そして、上述した情報伝達システムを用いて伝送する情報は、各種のものを用いることができる。例えば、現実環境にコンピュータを用いて情報を付加提示する拡張現実を実現する場合、現実の環境に実在する物体や空間そのものを認識・識別する必要がある。個々の物体を識別するため、例えば、個々の物体に識別番号等を付与し、個々の物体に当該識別番号等の情報を保持させ、例えば、その物体を含む空間を撮影した際にコンピュータ等がその情報を読み取ることで当該物体を認識・識別する技術がある。係る識別するものとしては、例えば、ＡＲマーカーやＱＲコード（登録商標）などの静的マーカーを用いる技術がある。しかし、一旦マーカーに印刷されたＩＤは、事後変更できないこと、並びに、マーカーを大きくすると邪魔になり、一方、マーカーを小さくすると遠距離からの認識、計測が難しい。そこで、本実施形態の情報伝達システムを利用し、個々の物体に割り当てた識別番号等を、個々の物体が記憶保持する。そして、情報変調部１０３が識別番号等の情報を変調し、光送信部１０４が識別番号等の情報に応じた点滅を行うと、それを受けて情報受信部１０５で、光伸張、受光、情報復調等の各処理を行い、識別番号等の情報を取得することができる。

本実施形態によれば、光源はＬＥＤを用い、それを点滅させるだけで良いので、シンプルで安価なものとなり、ＬＥＤは点光源で最小限の大きさで実現でき、光伸張を行うことで、情報送信部１０１（光送信部１０４）と、情報受信部１０５が離れていても識別可能となる。さらに、例えば、隣接して存在する物体の識別情報（ＩＤ）が重複しているような場合が生じても、動的に識別情報（ＩＤ）を変更することが可能であり、また、不要時はオフにできる。よって、拡張現実における識別に優位に適用できる。

上述した実施形態では、光伸張部１０６はシリンドリカルレンズアレイを用いて構成したが、本発明はこれに限るものではなく、光を伸張できる手段であればよい。一例を示すと、例えば、光の伸張方向にのみ大きな開口を持つレンズ絞りを用いたレンズを用いても良い。また、手振れ補正機構を有するレンズを用いて、撮像時に光の伸張方向に手振れ補正機構を駆動させて意図的にブレを作り出しても良い。また、光の伸張方向に対して高速に振動する振動モータを情報受信部に装着し、振動によって光を伸張させても良い。これらの構成を用いることで、情報伝送を行わない時には、通常の画像をシリンドリカルレンズアレイで劣化させることなく撮影することも可能になる。一方、通常の画像を撮影することを想定せず、光伸張を用いた光による情報伝達を行う場合、実施形態のようにシリンドリカルレンズアレイを用いると、簡単な構成で一方向にのみ光源からの光を伸張できるのでより好ましい。

さらにまた、光伸張部１０６における伸張方向は、露光時間ずれが生じる方向に対して完全に同一でなく、一定の角度をつけて傾斜させても良い。一定の角度は、例えばローリングシャッタセンサ１０８で撮像した撮影画像に基づき情報復調部１０９で復調可能な程度に伸張される角度範囲とするとよい。特に例えば画像中の露光時間ずれが生じる方向である上下方向に複数の光源があることが想定される場合は、光の伸張を上下方向でなく、斜め方向とすることで双方の信号が重ならず、復調を容易にすることができるので良い。係る場合、双方の信号が重ならない範囲で露光時間ずれが生じる方向（例えば上下方向）に近い（なす角が狭い）傾斜角度とすると光の伸張を十分にとることができるのでよい。

また上述した実施形態では、情報変調部１０３および情報復調部１０９はマンチェスタ符号を用いて変調および復調を行うようにしたが、本発明はこれに限ることはなく、情報を信号の強度に変調できる手段であればよい。例えば、携帯電話などで用いられているＱＡＭ変調などの信号の位相に加えて強度も用いて変調することで、同じ信号長さでより多くの情報の伝送も可能になる。また、Ｍ系列などの疑似ランダム符号を用いて変調することで、露光時間ずれの生じる方向に、信号が重なるような条件下でも、情報の復調を行うことが可能になる。

以上、本発明の様々な側面を実施形態並びに変形例を用いて説明してきたが、これらの実施形態や説明は、本発明の範囲を制限する目的でなされたものではなく、本発明の理解に資するために提供されたものであることを付言しておく。本発明の範囲は、明細書に明示的に説明された構成や製法に限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求する可能性があることを、念のために申し述べる。

１０１：情報送信部
１０２：情報生成部
１０３：情報変調部
１０４：光送信部
１０５：情報受信部
１０６：光伸張部
１０７：撮像光学系
１０８：ローリングシャッタセンサ
１０９：情報復調部
１１０：情報取得部

Claims

送信対象の情報を信号の強弱からなる時系列信号に変調する情報変調手段と、
その変調された時系列信号に対応した強弱の光を出力する光送信手段と、
前記光送信手段から出力された光を所定の方向に伸張する光伸張手段と、
その光伸張手段で伸張された光を受光し、画像データとして取得するローリングシャッタセンサと、
そのローリングシャッタセンサで取得した前記画像データに基づき、送信された情報を復調する情報復調手段を備え、
前記所定の方向は、前記ローリングシャッタセンサにおける露光時間ずれが生じる方向、あるいは前記露光時間ずれが生じる方向に対して傾斜した方向であり、
前記光伸張手段は、前記光送信手段から出力された光を受光する受光部分を前記所定の方向である伸張方向に往復移動させる移動機構を備え、
少なくとも情報伝送を行う際に、前記移動機構を動作させて前記光を伸張させるように構成したことを特徴とする情報伝達システム。
前記光送信手段は、ＬＥＤを光源とし、そのＬＥＤの発光を制御して強弱の光を出力するように構成したことを特徴とする請求項１に記載の情報伝達システム。