WO2015137313A1

WO2015137313A1 - 可視光受信方法

Info

Publication number: WO2015137313A1
Application number: PCT/JP2015/056946
Authority: WO
Inventors: 博六車
Original assignee: ユニバーリンク株式会社
Priority date: 2014-03-14
Filing date: 2015-03-10
Publication date: 2015-09-17
Also published as: US9929807B2; KR101903588B1; JP6480419B2; KR20160123348A; EP3086487A4; US20170063455A1; JPWO2015137313A1; EP3086487A1

Abstract

　可視光送信信号は、送信する情報信号に基づき変調され、可視光に重畳されて送信される。カメラ（１０）が、画素アンプ順次出力式撮像素子（１１）を用いて、送信された可視光を撮影し、画素アンプ順次出力式撮像素子（１１）が、各画素で発生する電荷を、各々の画素アンプ（２２）で増幅して、各画素アンプ（２２）から順に撮像信号を出力する。撮像信号から得られる縞模様の画像データはフレーム単位で取り込まれ、順に出力された各画素または各行ごとの露光量の変位について、微分値を算出する。１フレーム内で各画素または各行を１サンプルとする複数サンプルの撮像信号の微分値に基づき、送信された情報信号を復調する。

Description

可視光受信方法

　本発明は、可視光通信に使用される可視光受信方法およびその装置に関し、特に、携帯情報端末、携帯電話機などのカメラ（デジタルカメラ或いはビデオカメラ）を備えた携帯端末などで好適に使用可能な可視光受信方法に関する。

　近年、可視光を通信媒体として用いる可視光通信が開発され、下記特許文献１などにおいて、照明光などの可視光を使用して可視光通信を行なう可視光通信装置が提案されている。

　この従来の可視光通信装置は、可視光に送信信号を重畳して送信する可視光送信装置が、送信する情報信号（パルス信号）を、４値ＰＰＭ方式による変調（パルス位置変調）を行って送信信号を生成し、ＬＥＤを使用した光源に、送信信号を印加してＬＥＤを駆動し、ＬＥＤの照射する可視光に送信信号を重畳して送信するように動作する。

　また、この可視光通信装置では、通常使用される照明用光源を、可視光送信装置の光源として有効に使用するために、照明用のＬＥＤ光源にＰＰＭ信号を印加する際、比較的長いデジタル値「０」の期間にＬＥＤを連続点灯させ、時間の短いデジタル値「１」の期間に、サブキャリアの搬送波信号によって、ＬＥＤをより短い周波数で点滅動作させ、これにより、可視光通信の送信時に、照明用として必要な照度を確保するようにしている。

　一方、近年、携帯電話機などの携帯端末の普及が著しく、殆どの人々が携帯端末を携帯して日常生活を行なうようになっており、またこの種の携帯端末には、通常、動画撮影が可能なデジタルカメラが搭載されるため、使用者は、あらゆる機会で、カメラ撮影が可能な環境で日常を過ごしている。

　そこで、従来、可視光通信を行なう可視光送信装置の光源となる照明用光源から照射される可視光、つまり送信される情報信号を重畳した可視光通信用の照明光を、携帯端末などのカメラで撮影し、その撮影された画像データを解析して、画像データに含まれるデータビット列を抽出し、データビット列から送信された情報信号データを復調する可視光通信装置が、下記特許文献２で提案されている。

特開２００８－２８３４４６号公報特開２０１１－５５２８８号公報米国特許第８５２００６５号公報

　しかし、上記可視光通信装置は、例えば照明用光源を可視光源とする可視光通信装置の光源を、デジタルカメラ或いはビデオカメラで撮影し、照明用光源から照射される明るい可視光（光源の光）をカメラで直接撮影するため、必然的に、カメラの露光が画面全体で自動調整される。このために、撮影画像上の光源像は真っ白となり、白飛び状態となって撮影されてしまう。

　このため、カメラで撮影された画像データは、画像処理を行なったとしても、白飛び状態の画像データ中に含まれる可視光送信データを正確に抽出することは、例え高速で動作するマイクロコンピュータの画像処理技術を使用したとしても、非常に難しい。

　また、可視光を撮影したとき、撮影画像が白飛び状態とならない場合であっても、画像の輪郭線などが可視光送信データのノイズとして含まれるため、画像データから可視光送信データを正確に抽出することは困難である。

　一方、下記特許文献３において、デジタルカメラの撮像素子として、ＣＭＯＳイメージセンサなどの画素アンプ順次出力式撮像素子を備えたデジタルカメラを使用し、画素の行ごとのタイミングで行の画素に電荷を蓄積し、各画素に蓄積された電荷に基づく信号を、各画素の画素アンプから各画素ごとのタイミングで順に出力し、撮影された画像中に、送信された信号に基づく縞模様を、画素の行方向に生じさせ、縞模様の発生状態に基づき、送信信号を抽出し復調する可視光通信装置が提案されている。

　この従来の可視光通信装置のデジタル変調・復調方式は、概略的にはパルス幅変調・復調方式の１つであり、可視光として照射し送信する可視光送信信号は、パルス状に照射される可視光信号の照射パルス幅として、可視光に重畳されて送信され、照射された可視光をデジタルカメラで撮影する。

　このとき、デジタルカメラの撮像素子の各画素から出力される画像信号には、縞模様（light and dark bands）が生じ、撮像素子の縞模様に対応した各画素の出力信号は、図１１に示すように、所定時間ｔ１づつずれて出力される。

　そして、この従来のデジタル変調・復調方式では、ＰＷＭ変調された送信信号が可視光に重畳させて送信され、受信装置であるデジタルカメラは、撮像した撮影画像に生じる縞模様（light and dark bands）の幅（長さ、時間）を測定し、縞模様の幅に基づき、送信された可視光送信信号を復調する。この撮影画像に生じる縞模様の幅は、デジタルカメラの露光期間ｔｘに略比例し、可視光送信信号のパルス幅に比例する値である。

　しかしながら、図１１のように、通常、可視光送信信号の信号幅ｔ２に比して露光時間ｔｘは長く、露光量として取得される受信信号は露光時間における明るさの総和となって積分される。このため、送信信号のパルスが生じる信号幅ｔ２の期間で、受信信号の露光量は傾斜することとなり、可視光送信信号のもつ信号幅ｔ２の正確なパルス信号情報は消失し、受信信号を正確に復調することができない。

　さらに、上記特許文献３の可視光通信のデジタル変調・復調方式では、例えば、可視光に重畳されて送信される送信パルス信号の周波数が２ＫＨｚで信号の周期が５ｍ秒の場合、撮像された画像の縞模様の幅は５ｍ秒となる。このため、デジタルカメラのシャッター速度を、カメラのシャッター速度としては非常に高速の、例えば１／５０００秒とし、露光時間ｔｘを５ｍ秒とし、可視光送信信号のパルス幅ｔ２を、例えば０．５ｍ秒（４値ＰＰＭ変調された送信信号の１シンボルの時間）とし、図１１のように、１本の縞模様内で、１個の可視光送信パルス信号のみを取り込むようにすれば、縞模様を示す画像信号の長さが送信パルス信号の長さに対応することとなり、この縞模様の幅（露光時間ｔｘ）に基づき、可視光送信された送信パルス信号を復調することができる可能性はある。

　しかし、例えば通常のデジタルカメラの場合のように、シャッター速度を１／５００秒、露光時間ｔｘを５０ｍ秒、可視光送信信号のパルス幅ｔ２を、０．５ｍ秒として可視光送信信号をデジタルカメラで受信した場合、シャッター速度に基づく露光時間ｔｘ内に、２個以上の送信パルス信号が入ることとなって、縞模様の幅に基づく復調では、送信されたパルス信号の情報が消失する結果となり、送信信号を復調することはできなくなる。このため、可視光送信信号の周波数つまり可視光送信データの送信速度は、デジタルカメラのシャッター速度（露光時間）により制限され、可視光通信の伝送速度の高速化が阻害される課題があった。

　本発明は、上述の課題を解決するものであり、汎用のカメラを備えた携帯端末等を使用して、可視光通信用の可視光を撮影し、可視光通信の送信信号を受信する可視光受信方法において、送信信号を安定して確実に受信し、且つ可視光通信速度の高速化を図ることができる可視光受信方法することを目的とする。

　上記の課題を解決する本発明の可視光受信方法は、可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された可視光送信信号を受信する可視光受信方法において、
　該可視光送信信号は送信する情報信号に基づき変調されて可視光に重畳され、
　前記カメラが、画素アンプ順次出力式撮像素子を用いて撮影し、該画素アンプ順次出力式撮像素子が、各画素で発生する電荷を各々の画素アンプで増幅して該各画素アンプから順に撮像信号を出力し、該撮像信号から得られる縞模様の画像データをフレーム単位で取り込み、順に出力された画素の各行または各画素の露光量の差分に基づき微分値を算出し、１フレーム内で各行または各画素を１サンプルとする複数サンプルの撮像信号の微分値に基づき、信号を復調することを特徴とする。

　この発明によれば、１フレームの画像データの各行を１サンプルとして、情報信号の複数サンプルを１回の処理で取り込み、さらに、各サンプルの画像データにおける縞模様に対応した画素の各行の露光量の変位から、その微分値を算出する。この微分値が可視光の送信パルス信号を示すこととなる。

　このため、縞模様に対応した画素の各行ごとに生じる露光量の微分値に基づき、可視光送信により送信された、送信パルス信号のパルス情報を正確に復調することができる。さらに、各行の画素の露光量の微分値を算出し、微分値の波形から送信パルス信号を抽出するため、従来方式のように送信信号の伝送速度（縞模様の幅）がシャッター速度の上限によって制限されることがなく、従来より遥かに高速で伝送された可視光送信信号を、汎用のデジタルカメラで撮影するのみで受信し、送信信号を高速で復調することができる。

　ここで、上記可視光受信方法において、上記可視光送信信号は送信する情報信号に基づきオンオフ変調されて可視光に重畳され、前記微分値は前記縞模様を示す露光量を微分して算出され、該微分値に対して、所定の閾値を設定し、該閾値によって微分値データを二値化して可視光送信信号を復調することができる。

　またここで、上記可視光送信信号のパルス幅は画素の各行の露光期間より短く、且つ可視光送信信号のパルス間隔は該露光期間とは相違させることが好ましい。なお、露光期間とは、上記カメラの撮像時、上記撮像素子の各画素が受光した光に基づき電荷を蓄積する期間であり、撮影画像に表れる縞模様の長さ（幅）はこの露光期間の時間に略比例し、送信された可視光送信信号に比例する時間である。

　これにより、縞模様の画像データ（画素の輝度成分）つまり縞模様を示す露光量を微分してその微分値を算出し、その微分値の波形に負の微分値が生じた場合、その負の微分値が次の送信信号のパルスにおける正の微分値と同じタイミングで発生し打ち消し合うような現象は生じず、送信信号を安定して確実に受信し受信データを復調することができる。

　またここで、上記露光期間は上記可視光送信信号のパルス間隔より長く設定することが好ましい。これによれば、露光期間がカメラの性能により決まる場合であっても、可視光送信信号のパスル間隔を短くして送信パルス信号の伝送速度を高速化することができ、算出した微分値に基づき、可視光送信パルス信号を正確に復調することができる。

　本発明の可視光受信方法によれば、汎用のカメラを使用して、可視光通信用の可視光を撮影し、可視光通信用に送信された可視光送信信号を、高速で受信し復調することができる。

本発明の可視光受信方法を実施する、一実施形態としての可視光受信装置の構成ブロック図である。画素アンプ順次出力式の撮像素子の概略構成ブロック図である。画素の回路構成説明図である。可視光受信装置の受信処理のフローチャートである。各画素の電荷の蓄積タイミングと各画素の信号出力タイミングを示す説明図である。撮像素子の画像信号をグレースケール変換し、モノクロの画像信号に変換して、輝度成分を抽出した画像説明図である。撮像素子の行方向に沿った各行線の画素から出力される輝度成分の平均値を算出して、各行線の輝度データをグラフ化した輝度平均値グラフである。各行の画素の露光期間、送信信号、露光量、及び微分値の各グラフのタイミングチャートである。各行の画素の露光期間、送信信号、露光量、及び微分値の各グラフのタイミングチャートである。各行の画素の露光期間、送信信号、露光量、及び微分値の各グラフのタイミングチャートである。従来の可視光受信の復調方式を示す各行の画素の露光期間、送信信号、露光量の各グラフのタイミングチャートである。

　以下、本発明の一実施形態を図面に基づいて説明する。図１は携帯端末１の概略構成ブロック図を示し、この携帯端末１は可視光受信方法を実施する可視光受信装置を備え、可視光通信用に照射された可視光を撮影して、可視光送信信号を受信する。

　携帯端末１は、携帯電話機などのカメラ（デジタルカメラ）１０を搭載した端末機器であり、携帯端末１のカメラモードにおいて、ファンクションスイッチなどを操作して、スチル画像または動画を撮影する。このスチル画像または動画の撮影時に、可視光通信用に送信される可視光の情報信号を受信する。

　図１に示すように、カメラ１０の光入射部に、結像用のレンズ１３が配設され、レンズ１３の内側に絞り機能を有するアイリス１４が配置され、アイリス（虹彩絞り機構）１４の内側に撮像素子１１が配設され、レンズ１３、アイリス１４を通して撮影した画像の可視光を入射させる。アイリス１４は、ＮＤフィルター（減光フィルター）に代えて絞り機構とすることもできる。

　なお、レンズ１３の前には、可視光通信用に送信される可視光信号を受信するために、光拡散フィルター１２が配置されるが、光拡散フィルター１２を設けずに、通常のデジタルカメラで通常の画像を撮影し、画像中に縞模様を発生させて可視光信号を受信することもできる。

　光拡散フィルター１２をレンズ１３の前に配置した場合、被写体の拡散光がカメラ１０内に入射され、可視光通信用の可視光を投光する可視光送信機の投光器がスポットライトのような照明器具であったとしても、投光器の光源像が白飛びすることはなくなる。さらに、光拡散フィルター１２によって、被写体からの光を拡散させてカメラ１０に入射させ、拡散光でぼかした状態として可視光を撮影することができるので、被写体の明暗や輪郭線が縞模様の抽出に悪影響（ノイズ）を与えることなく、可視光通信用の可視光を撮影する際、その画像中の縞模様を容易にとらえることができる。

　光拡散フィルター１２は、スリガラス或いは光拡散フィルム等の光拡散層を有する板ガラス或いはフィルムシートから構成され、可視光受信を行なう際、携帯端末１の外部に露出したレンズ１３の外面に貼着して使用することができる。また、光拡散フィルター１２は、携帯端末１内に移動可能に配設し、可視光受信を行なう際、スイッチ操作などにより、光拡散フィルター１２が入射光路に入るように移動させ、カメラを通常の写真撮影に使用する際は、光拡散フィルター１２を光路から外すように動かす構造とすることもできる。

　また、光拡散フィルター１２は、印加電圧に応じて光拡散と光透過を切り替えるフィルム液晶から構成することもできる。フィルム液晶は、重ね合わせたフィルム内に例えばＴＮ液晶を充填した薄く軽量化された液晶フィルターであり、通常時には、液晶を光透過状態とし、通常のカメラとしての使用を可能とし、可視光受信時には、印加電圧に応じて液晶を乳白色などの光拡散状態とする。このようなフィルム液晶は、光拡散と光透過を切り替え可能な光拡散フィルター１２として、簡便に使用することができる。

　カメラ１０の撮像素子１１として、各画素２１で発生する電荷を各々の画素アンプ２２で増幅し、各画素アンプ２２から順に撮像信号を出力する画素アンプ順次出力式の撮像素子１１が携帯端末１内に内蔵される。画素アンプ順次出力式撮像素子としては、ＣＭＯＳイメージセンサが、画素で発生する電荷を各々の画素アンプで増幅し、各画素アンプから順に撮像信号を出力する撮像素子であるため、好適に使用することができる。画素アンプ順次出力式の撮像素子１１は、図２に示すように構成され、その走査デバイスは、行方向に走査する行走査デバイス１６と列方向に走査する列走査デバイス１７とから構成される。

　ＣＭＯＳイメージセンサからなる画素アンプ順次出力式の撮像素子１１は、図２に示す如く、多数の画素２１が行列のマトリックス状に配置される。図３に示すように、各画素２１は、受光素子と受光素子に生じた電荷を蓄積するコンデンサ部を有し、切替スイッチ２８の切替動作に応じて、露光時に発生した電荷の蓄積と、蓄積した電荷に基づく画素信号の出力とを切り替えるように構成される。

　各画素２１の露光タイミングつまり電荷の蓄積動作は、図５に示すように、同一の行内の画素２１は、同一の蓄積タイミングで、電荷の蓄積を行うように、画素２１の各行についてシャッター信号線３０が配設され、シャッター信号線３０からの信号に基づき、各行の画素２１が各々の行ごとにおいて同一タイミングで電荷の蓄積を行うようになっている。各行に沿って配設されたシャッター信号線３０には行選択スイッチ３２が接続され、図５に示す如く、画素２１の各行は、行ごとに順にずらしたタイミングで電荷の蓄積つまり露光動作を行い、電荷蓄積後の信号の出力は、電荷を蓄積した行の画素２１から順に、電荷に基づく信号を出力し、全ての画素２１から画素信号を順に出力する。

　図２に示す如く、各画素２１の出力側に各々画素アンプ２２が設けられ、画素アンプ２２の出力側は画素選択スイッチ２３を介して垂直信号線２５に接続される。行走査デバイス１６は、マトリックス状に配置された各々の画素２１の電荷を、画素アンプ２２で増幅し、画素選択スイッチ２３を通して、その出力側に接続された列方向の各垂直信号線２５に送り、各行の各画素２１の電荷に基づく信号を、各垂直信号線２５を通して、順次出力させるように接続される。

　列走査デバイス１７は、各垂直信号線２５の出力側に接続された列選択スイッチ２４を１本の水平信号線２６に接続して構成され、各列選択スイッチ２４のオンオフ制御により、列方向の垂直信号線２５を選択し、各垂直信号線２５の画素２１からその荷重に基づく信号を、１本の水平信号線２６を通して出力する。このために、各垂直信号線２５が列方向に沿って配置され、各行方向に配置された各行線の画素２１の出力側が画素アンプ２２と画素選択スイッチ２３を介して垂直信号線２５に接続される。垂直信号線２５は、列方向に向けて延設され、マトリックス状の各列上に配置される多数の画素２１に沿った列と平行に配置される。各垂直信号線２５の下端には、第２アンプ２７が接続され、第２アンプ２７の出力側は列選択スイッチ２４を介して１本の水平信号線２６に接続される。

　一方、行走査デバイス１６には、上記の如く、画素２１の各行に沿って、シャッター信号線３０が配設され、同一行内の各画素２１は、カメラのシャッター操作時、このシャッター信号線からの信号に基づく露光タイミングで、同時に電荷の蓄積を行なうようになっている。画素２１からの出力信号は、電荷の蓄積後の切替スイッチ２８の切替動作と画素選択スイッチ２３の動作に基づき出力されるように接続され、図５に示すように、撮影時、各行列の全画素２１から画素信号が順に出力される。

　これにより、カメラ１０のシャッターをオンして、可視光を撮影したとき、画素アンプ順次出力式の撮像素子１１は、各行の画素２１において、同一行の各画素２１は同一のタイミングで電荷の蓄積を行い、電荷の蓄積後、全画素２１からは、蓄積された電荷に基づく信号が順に出力され、画素アンプ２２で増幅された後、画素選択スイッチ２３のスイッチング動作と列選択スイッチ２４のスイッチング動作に基づき、垂直信号線２５に送出され、水平信号線２６を通して出力される。

　つまり、送信された可視光をカメラ１０で撮影すると、撮像素子１１は、図２において、最上段のシャッター信号線３０の行選択スイッチ３２がオンし、最上段の画素２１で電荷の蓄積が同時に行われ、次に、２番目の行のシャッター信号線３０の行選択スイッチ３２がオンし、２段目の行の画素２１において、電荷の蓄積が行われる。この後、３段目、４段目と順に最後の行の画素２１まで順に電荷の蓄積が行われ、各行ごとの露光（電荷の蓄積）が各行ごとに順にずらした露光タイミングで電荷の蓄積が行なわれる。一方、電荷の蓄積を行った後、図５に示すように、各行の画素２１は、最上段の画素２１から、電荷に基づく画素信号が順に出力される。

　このとき、図２に示す撮像素子１１では、先ず、左端の垂直信号線２５に接続された最上段の画素選択スイッチ２３がオンし、且つ水平信号線２６に接続された左端の列選択スイッチ２４がオンし、これにより、最上段左端の画素２１から信号が出力され、次に、同じ行の左端から２番目の画素２１の画素選択スイッチ２３がオンし、且つ２番目の垂直信号線２５に接続された列選択スイッチ２４がオンし、これにより、同一行の２番目の画素２１から信号が出力される。このようにして、先ず、最上段の行の画素２１から蓄積された電荷に基づく信号が順に出力され、次に、２段目の行の左端の画素２１から順に信号が出力され、このような動作がこの後、３段目、４段目と続き、最終的に最下段の行の画素２１から順に信号が出力される。

　上記の如く、図２の撮像素子１１では、撮影時、最上段のシャッター信号線３０から順にその行選択スイッチ３２がオンし、最上段の画素２１で電荷の蓄積が同時に行われ、次に２段目の行のシャッター信号線３０の行選択スイッチ３２がオンして、２段目の行の画素２１で電荷の蓄積が行われるように、露光動作が行なわれ、電荷の蓄積の後、各行の画素２１は、最上段の画素２１から、図５に示すように、電荷に基づく画素信号が順に出力される。これにより、最終的に右端の垂直信号線２５を通して最下段の行の画素２１から信号が出力され、１フレームの画像信号が取り込まれる。

　図５に示すように、撮像素子１１では画素２１の各行における電荷の蓄積動作つまり露光タイミングが順にずれて行われ、最上段から２段目、３段目の行の画素における露光タイミングは順にずれるため、例えば１フレームの画像信号を取り込む時間が、カメラのフレームレート（例えば１／３０秒～１／６０秒）とされる。可視光には、ＯＯＫ変調（オンオフキーイング変調）された送信データが送信パルス信号として重畳され、送信パルス信号に応じて時間的な明暗が生じているため、１フレーム中の各行列の画素から出力される信号には、１フレーム中の画素が露光する時間に、可視光に重畳された送信データが送信パスル信号として含まれることとなる。

　ＯＯＫ変調されて可視光に重畳される送信パルス信号は、１サンプルの時間が例えば約０．５ｍ秒となり、この送信パルス信号を含む可視光の輝度の明暗変化が縞模様として撮像素子１１の撮影画像中に発生する。これにより、撮像素子１１により可視光通信用の可視光を撮影すると、情報信号を含む縞模様がその１フレーム中に撮像され、その画像信号が走査デバイスを通して画像処理装置に送出される。

　汎用の携帯電話機に内蔵されるカメラ１０は、通常、画素アンプ順次出力式の撮像素子（ＣＭＯＳイメージセンサ）１１を内蔵し、その画素数を例えば１２００万画素とする場合、例えば３０００行×４０００列で画素が配列され、それが１フレームを構成する。撮像素子１１の１フレーム分の各画素から信号を取り込む時間がカメラ１０のフレームレートとなるから、例えば１／３０秒のフレームレートで撮影する場合、１フレームの時間は約３３ｍ秒であり、上記可視光通信規格に基づく可視光通信用の情報信号の１ｂｐｓの時間は約０．２５ｍ秒となるから、各行を１サンプルとして処理することにより、１フレームの撮影により、複数サンプルの情報信号がカメラ１０を使用する可視光受信装置において可能となる。

　なお、この実施形態の可視光受信装置では、カメラ１０で撮像され出力されるカラーの画像信号は、グレースケール変換を行ない、モノクロの画像信号に変換して、輝度成分を抽出するが、カメラで撮像され出力されるカラーの画像信号について、色信号毎に輝度成分を抽出することもできる。

　また、この実施形態では、図示しない可視光通信用の可視光送信機からＩＤ情報を含む可視光を送信する例を説明するが、その場合には、複数の可視光送信機に各々、固有のＩＤ情報が割り当てられて設定され、それらのＩＤ情報は１フレームの画像データ中に充分に含ませることができる。

　また、カメラ１０は、単一のスチル画像を撮影し、縞模様を含む画像データに基づき、可視光送信され送信データ信号を復調して再生或いは表示するように使用されるが、可視光通信を行なう可視光送信装置の投光器（照明器具）を被写体として動画を撮影し、複数フレームの画像データを取り込み、それらに含まれる縞模様から送信データ信号を取り出すこともできる。

　さらに、上記実施形態では、図２に示す如く、シャッター信号線３０を画素２１の行方向（図２の水平横方向）に沿って配設し、各行の画素２１について同時に且つ行ごとに順にずれたタイミングで電荷の蓄積つまり露光動作を行うように構成したが、シャッター信号線を画素２１の列方向（図２の縦方向）に沿って配設し、各列の画素２１について同時に且つ列ごとに順にずれたタイミングで電荷の蓄積を行うように構成することもできる。

　この場合、撮影画像の１フレーム中に撮像され、送信された可視光に含まされる情報信号を含む縞模様は、画素２１の列方向に生じることとなる。つまり、上述したように、各行の画素２１について同時に且つ行ごとに順にずれたタイミングで電荷の蓄積を行った場合、行方向に沿った縞模様（横縞模様）が撮影画像中に生じるところ、各列の画素２１について同時に且つ列ごとに順にずれたタイミングで電荷の蓄積を行った場合、列方向に沿った縞模様（縦縞模様）が撮影画像中に生じるが、その縞模様には送信された送信データが含まれるため、当該縞模様に基づき送信されたデータを抽出することができる。

　撮影画像信号を処理する画像処理装置は、図１に示すように、ＡＤコンバータ１８と画像処理ＬＳＩ１９を備え、ＡＤコンバータ１８を通して画像信号をデジタル信号に変換し、そのデジタル信号を画像処理ＬＳＩ１９に取り込み、画像処理を行なうように構成される。画像処理ＬＳＩ１９は、カラー情報と輝度情報を含む画像デジタル信号を取り込むと、輝度情報のみを取り出して、例えば０～２５５階調のグレースケールデータに変換し、信号の輝度成分つまり縞模様成分を抽出し、図１に示すように、その抽出データをマイクロプロセッサ４８に送出する。このような１フレームの撮影画像の縞模様は、図６に示すように、横方向の縞模様として撮影画像中に発生し、横方向の各縞の発生状態に、可視光通信用の情報信号が含まれることとなる。

　携帯端末１は、上記の如くカメラ１０を内蔵するとともに、無線ＬＡＮに接続可能なＰＤＡ、タブレット型端末、或いは携帯電話通信網や無線ＬＡＮに接続可能な携帯電話機から構成され、無線ＬＡＮなどを通してインターネット等のネットワークに接続される。

　また、携帯端末１は、図１に示すように、マイクロプロセッサ４８を主要部として構成され、ＲＡＭ，ＲＯＭ等からなる記憶部５０、及び入出力回路等を含む周辺インターフェイス５３が含まれる。携帯端末１は、各種機能スイッチ入力用のタッチ入力が可能で、且つ動画、静止画、テキスト等を表示するタッチ感知ディスプレイ５７、タッチ感知ディスプレイ５７の制御を行なうディスプレイコントローラ５６等を備える。さらに、携帯端末１は、無線ＬＡＮに或いは携帯電話通信網に接続するためのＲＦ回路５４を備え、周辺インターフェイス５３及びＲＦ回路５４を通して、無線ＬＡＮに或いは携帯電話通信網に接続可能である。

　携帯端末１の記憶部５０には、ブラウザソフト、音声再生ソフト、及び可視光受信処理ソフトなどが予め記憶される。携帯端末１のマイクロプロセッサ４８は、上記構成のカメラ１０によって撮影された可視光通信用の送信データ信号（画像データ）を取り込み、行方向の輝度成分の平均値を算出し、さらに平均化された各行の輝度データの平均値の変位に基づいて微分値を算出する。この輝度データの平均値は撮像素子１１の各画素の各行で生じる縞模様の露光量を示し、露光量の変位に基づいて微分値が算出される。

　さらに、マイクロプロセッサ４８は、露光量の微分値に対し所定の閾値を設定し、この閾値に基づき露光量の微分値を二値化し、二値化したデータから受信され送信信号を抽出し、送信信号をＯＯＫ方式に従って復調し、可視光送信機から送信された音声データ或いは画像データ等の送信情報を取得し、再生する処理或いは表示する処理を行なう。また、可視光により送信された情報信号が可視光送信機の固有のＩＤ情報である場合、当該ＩＤ情報に対応したコンテンツ情報を再生し或いは表示する。

　このために、携帯端末１には、音声信号を再生するためのオーディオ回路４６及び画像や文字を表示する上記のディスプレイ５７が設けられ、オーディオ回路４６の出力側には、スピーカー５２が接続され、入力側にはマイク５１が接続される。携帯端末１のマイクロプロセッサ４８は、上記のように、カメラ１０によって撮影された可視光通信用の光源（照明器具）の縞模様を含む画像データから、可視光送信機のＩＤ情報を抽出し受信処理を行う。

　さらに、マイクロプロセッサ４８は、受信したＩＤ情報に基づき、予め記憶するコンテンツ情報の音声データを読み出し、アナログ信号に変換した後、その音声信号をオーディオ回路４６に出力する。オーディオ回路４６は音声信号を増幅しスピーカー５２を駆動して音声が再生される。受信した受信データ或いはコンテンツ情報が画像データ或いは文字データの場合、ディスプレイコントローラ５６を通してタッチ感知ディスプレイ５７でそれらを表示するように構成される。

　図１に示す携帯端末１のＲＦ（Radio Frequency）回路５４は、アンテナシステムやチューナーを含み、ＲＦ信号を送信或いは受信し、インターネット等に接続される無線ＬＡＮのアクセスポイント或いは携帯電話通信網の基地局との間で、電波による通信を行うように構成される。

　次に、上記構成の可視光受信装置の使用態様を説明するとともに、可視光受信方法を、図４のフローチャートを参照して説明する。

　携帯端末１は、例えば美術館、博物館などにおいて、展示物の解説コンテンツ（音声ガイド）を視聴するために使用される。この場合、その施設等における展示物の近傍などの、解説コンテンツ（音声ガイド）を提供する場所に、図示しない可視光送信機（例えば照明器具兼用の投光器を有する可視光送信装置）が設置される。各可視光送信機には異なるＩＤ情報が割り当てられて設定され、各々のＩＤ情報に対応するコンテンツ情報は携帯端末１の記憶部５０に記憶される。

　美術館、博物館のように、展示物の解説用機器として携帯端末１を利用者に貸し出して使用する場合、それらの携帯端末１には、予め各ＩＤ情報（各展示物に対応するＩＤ）に対応して解説コンテンツ情報が取り込まれ、記憶部５０に記憶されるが、これらのコンテンツ情報は、例えばネットワーク上のコンテンツサーバ内に予めＩＤ情報とともに格納されており、展示開催の際、携帯端末１を操作して、ネットワークを介してコンテンツサーバにアクセスし、携帯端末１にコンテンツ情報をダウンロードし、使用することができる。これにより、新たな展示会を美術館、博物館などで開催する場合、開始時に予めその解説用のコンテンツをダウンロードし、携帯端末１の記憶部５０に格納しておけば、その展示会の開催中は、携帯端末１をネットワークに接続することなく、そのまま使用することができる。

　各可視光送信機の投光器は、美術館などの施設における照明器具を兼用し、その投光部からの光は、展示物を照明するとともに、その展示物解説用のコンテンツを示すＩＤ情報がＯＯＫ変調（オンオフキーイング変調）され、可視光に重畳して照射されている。可視光送信機のＯＯＫ変調は、送信データを符号化し、符号化された送信符号化データに基づき、送信パルス信号が作成され、送信パルス信号が可視光に重畳されて送信される。送信パルス信号は、「０」と「１」の割合が常に一定となるように作成され、送信データに関わらず可視光の照度が常に一定となるように可視光送信を行ない、展示物を照明する際に違和感を生じないようしている。

　使用者が、携帯端末１のカメラ１０を操作してシャッターをオンし、展示物を照明する可視光を撮影する（ステップ１００）。このとき、カメラ１０の撮像素子１１は可視光送信された可視光を受光し、各行の画素２１は、シャッター信号線３０からの信号に基づき、図５に示すように、画素２１の行ごとに同一のタイミングで、電荷の蓄積を行う。各行の画素２１は、行ごとに順にずらしたタイミングで電荷の蓄積を行い、その後、電荷を蓄積した行の画素２１から順に電荷に基づく画素信号が出力されて、画素アンプ２２で増幅され、全ての画素２１から画素信号が順に出力される。

　このとき、撮像素子１１は、画素選択スイッチ２３のスイッチング動作と列選択スイッチ２４のスイッチングの動作に基づき、先ず、最上段の行の左端の画素２１から順に垂直信号線２５、水平信号線２６を通して、画素２１からの信号の取り込みが行なわれる。次に、２段目の行の左端の画素２１から右端の画素２１について信号の取り込みが行なわれ、同様に、３段目の行、４段目の行の画素２１からの信号の読み出しが順に行なわれ、最終的に最下段の行の右端の画素２１から信号が出力される。これにより、撮像素子１１の全画素２１から１フレーム分の画像信号が取り出され、ＡＤコンバータ１８を通して画像処理装置に送出される。

　すなわち、撮像素子１１は、各画素２１において、各行ごとの露光タイミングで、蓄積された電荷に基づく信号を、画素アンプ２２を通して順に出力させて取り込むように動作する。このとき、先ず、図２の左端の垂直信号線２５に接続された最上段の画素選択スイッチ２３をオンさせ、且つ水平信号線２６に接続された左端の列選択スイッチ２４をオンさせ、図２の最上段の左端に位置する画素２１の信号を出力させる。次に、同じ行の左端から２番目の垂直信号線２５に接続された最上段の画素選択スイッチ２３をオンさせ、且つ水平信号線２６に接続された左端から２段目の列選択スイッチ２４をオンさせ、図２の最上段の行の左から２段目に位置する画素２１の画素信号が出力される。

　このように、撮像素子１１は、画素選択スイッチ２３と列選択スイッチ２４をオンオフ制御して、先ず最上段の行の全画素２１について、左端から右端まで全ての画素２１から順に信号が出力され、その後、同様に上から２段目の行の画素２１について、蓄積された電荷に基づく信号が垂直信号線２５及び水平信号線２６を通して出力され、これらの信号が、左端から順に右端の画素まで順に画素信号が出力される。その後、同様に３段目、４段目の行の画素２１について、垂直信号線２５、水平信号線２６を通して各画素２１の信号が出力されて取り込まれ、さらに撮像素子１１は最終的に右端の垂直信号線２５を通して最下段の行の画素２１から信号が出力される。

　これにより、撮像素子１１の各行ごとの画素２１において、露光され蓄積された電荷に基づく画素信号が、画素アンプ２２で増幅され、垂直信号線２５、水平信号線２６を通して、図５に示すように、全画素２１から順に且つ各行の配列順に出力される。

　撮像素子１１の全画素２１では、上記のように、各行ごとに露光が行なわれることとなり、送信された可視光に送信データに基づく送信パルス信号が重畳されて可視光に時間的な明暗が生じている場合、その送信データを含む画素信号には行方向に沿って明暗に基づく縞模様（図６に示すような横縞模様）が生じる。すなわち、撮影された可視光に、可視光送信信号のパルス信号が含まされる場合、撮像素子１１により撮影された画像には、各画素２１の露光量の変化に応じて、行方向に沿って縞模様が現れる。

　撮像素子１１の各画素２１から出力されるこのような縞模様を含む画素信号は、ＡＤコンバータ１８でデジタル信号に変換され、画像処理ＬＳＩ１９に送られる。画像処理ＬＳＩ１９は１フレーム分の画像信号を取り込み、そこに含まれる輝度情報を取り出すための画像処理を行なう（ステップ１１０）。

　送信パルス信号の周波数が例えば５ＫＨｚである場合、可視光送信機の投光器から、５Ｋｂｐｓの送信パルス信号が可視光に重畳されて照射される。この場合、送信パルス信号の１サンプルを示す時間は約０．５ｍ秒となり、この送信パルス信号を含む可視光の輝度の明暗変化が、縞模様として撮像素子１１の撮影画像中に発生する。縞模様は図６に示すように、撮像素子１１の行方向に生じる。

　画像処理ＬＳＩ１９は、カラー情報と輝度情報を含むデジタルの画像信号を取り込むと、輝度情報のみを取り出して、例えば０～２５５階調のグレースケールデータに変換し、信号の輝度成分つまり縞模様成分を抽出し、その抽出データをマイクロプロセッサ４８に送出する（ステップ１２０）。なお、撮像素子１１がカラー撮影用ではなく、モノクロ撮影用の場合、グレースケール変換は不要である。

　マイクロプロセッサ４８は、撮影した可視光に含まれる縞模様成分の抽出データを取り込むと、各行方向の輝度成分の平均値を算出する（ステップ１３０）。図７の輝度平均値グラフに示すように、各行方向の輝度成分の平均値は、縞模様が生じる部分で、各行方向の横軸（時間軸）に応じて大きく変化する。

　さらに、マイクロプロセッサ４８は、平均化された各行の輝度データつまり各行の露光量信号の平均値の差分から微分値を算出する（ステップ１４０）。

　図８は、その上段に、撮像素子１１の各行の画素１２の露光期間Ｔｘと送信パルス信号が記載され、その中段に、露光量信号のグラフが記載され、その下段に、微分値の波形が記載される。

　例えば、図８に示すように、可視光にパルス幅Ｔｐの送信パルス信号（可視光送信信号）ＳＰが含まれて可視光送信され、撮像素子１１によりその可視光が撮影された場合、各行の画素１２の露光量は、送信パルス信号ＳＰが各行の露光期間Ｔｘに多く含まれるほど、大きくなり、撮影画像は明るくなる。

　ここで、送信パルス信号ＳＰと各行の露光期間Ｔｘと露光量との関係を考えた場合、図８の露光期間Ｔ０、Ｔ１、Ｔ２，Ｔ３に着目すると、送信パルス信号ＳＰの立ち上がり時、露光期間Ｔ０の端部に送信パルス信号ＳＰが接し、次の露光期間Ｔ１まで送信パルス信号ＳＰ内の露光時間が徐々に増大するため、時刻ｔ０から時刻ｔ１までの露光量グラフ（露光量信号）は徐々に増加し、露光期間Ｔ１から露光期間Ｔ２までは、送信パルス信号ＳＰ内の露光時間は変化しないため、時刻ｔ１から時刻ｔ２までの露光量グラフは一定となる。さらに、露光期間Ｔ２から露光期間Ｔ３までは、送信パルス信号ＳＰ内の露光時間は徐々に減少するため、時刻ｔ２から時刻ｔ３までの露光量グラフは徐々に低下する。

　このように、露光量が送信パルス信号ＳＰに応じて変化する結果として、撮影画像に縞模様が現れ、撮像素子１１の各行の画素１２の露光量から送信パルス信号ＳＰを抽出することが可能となる。

　このため、可視光受信処理では、ステップ１４０のように、各行の輝度データつまり露光量の平均値を、時間で微分して微分値を算出する。露光量の微分値は前後の露光期間における露光量の差分となり、その微分値のグラフは、図８の下段に示すように、送信パルス信号のパルス幅Ｔｐの期間で、正のパルスＰ１が発生し、その後、露光量の低下期間で、負のパルスＰ２が発生する波形となる。

　このように、露光量の微分値の波形が、送信パルス信号のパルスに対応したパルス波形を示すため、微分値に対し所定のレベルで閾値を設定し、微分値データを二値化することにより、正のパルスＰ１に対応した送信パルス信号の情報が抽出される（ステップ１５０）。

　なお、図９に示すように、露光時間Ｔｘと送信パルス信号のパルス間隔（パルス周期）Ｔｐが同一となる場合、露光量の微分値の波形は、前の送信パルスのタイミングで発生する、正のパルスＰ１に対応した負のパルスＰ２と、次の送信パルスのタイミングで発生する正のパルスＰ３とが、同時に発生する。このような現象が生じると、微分波形のパルスＰ３が打ち消され、送信パルス信号を正確に検出することができない。このような不具合を解消するためには、可視光送信信号のパルス幅は撮像時の露光時間より短く、且つ可視光送信信号のパルス間隔Ｔｐと露光時間Ｔｘは相違して設定すればよい。

　また、図１０に示すように、送信パルス信号のパルス間隔（パルス周期）Ｔｐが露光時間Ｔｘより短い場合であっても、露光量の微分値の微分波形において、正負のパルスが同時に発生しないように設定すれば、図１０の正のパルスＰ１，Ｐ３が打ち消されることはなく、受信した送信パルス信号を正確に抽出することができる。したがって、露光量の微分値を算出して送信パルス信号を抽出する方式を採用すれば、カメラの露光時間に拘わらず、可視光送信信号の伝送速度を高速化することができる。

　次に、マイクロプロセッサ４８は、上記のように二値化した二値化データから、送信されたＯＯＫ信号（オンオフキーイング変調信号）を抽出する（ステップ１６０）。このＯＯＫ信号は、可視光送信時、照明光となる可視光のフリッカーを抑制するように、元の送信データを符号化しているため、符号化に応じて元の送信データを抽出し、ＯＯＫ信号の復調を行う（ステップ１７０）。

　そして、マイクロプロセッサ４８は、可視光送信されたデータが音声データ或いは画像文字データの場合、それらを再生する処理或いは表示する処理を行なう。可視光により送信された情報信号が可視光送信機の固有のＩＤ情報である場合、当該ＩＤ情報に対応したコンテンツ情報（音声案内等）を記憶部５０から読み出し、スピーカー５２を通して再生し或いはディスプレイ５７に表示する。

　このように、可視光送信された可視光を撮像素子１１により撮影し、撮像信号から得られる縞模様の画像データをフレーム単位で取り込み、順に出力された画素の各行の露光量の変位に基づいてその微分値を算出し、微分値に基づき可視光送信信号を復調するので、各画素ごとに生じる縞模様の前後の画像データの差分を算出することとなる。このため、縞模様の画像データに基づき、可視光送信信号のパルス情報を正確に復調することができる。

　さらに、各行の露光量の変位に基づいてその微分値を算出するため、従来の方式のように送信信号の伝送速度（縞模様の幅）がシャッター速度の上限によって制限されることがなく、従来より遥かに高速で伝送された可視光送信信号を、汎用のデジタルカメラで撮影するのみで受信し、受信した可視光送信信号を高速で復調することができる。

　また、汎用のカメラ１０を搭載する携帯端末１において、画素アンプ順次出力式の撮像素子１１により画像を撮影し、撮影画像中に、情報信号に応じた縞模様を行方向または列方向に生じさせ、情報信号を撮影画像中に捕捉する。このとき撮影画像に含まれる縞模様は、時間軸とともに変化する情報信号（送信される可視光の輝度の明暗変化）を含み、その縞模様の発生状態に、可視光通信で送信された情報信号が含まれる。この縞模様から情報信号を抽出することにより、汎用のカメラ１０を搭載する携帯電話機などの携帯端末１であれば、可視光通信用の可視光を受光するための専用の受光素子を設ける必要がなく、汎用の携帯端末１を使用して、可視光通信の情報信号を簡単に受信することができる。さらに、１フレームの各行の画像データを、情報信号の複数サンプルとして１回の処理で抽出することができるので、従来に比べ、高速で送信データを受信することができる。

　１　　　携帯端末
　１０　　カメラ
　１１　　撮像素子
　１２　　光拡散フィルター
　１３　　レンズ
　１４　　アイリス
　１６　　行走査デバイス
　１７　　列走査デバイス
　１８　　ＡＤコンバータ
　２１　　画素
　２２　　画素アンプ
　２３　　画素選択スイッチ
　２４　　列選択スイッチ
　２５　　垂直信号線
　２６　　水平信号線
　２７　　第２アンプ
　２８　　切替スイッチ
　３０　　シャッター信号線
　３１　　画素選択スイッチ
　３２　　行選択スイッチ
　４６　　オーディオ回路
　４８　　マイクロプロセッサ
　５０　　記憶部
　５１　　マイク
　５２　　スピーカー
　５３　　周辺インターフェイス
　５４　　ＲＦ回路
　５６　　ディスプレイコントローラ
　５７　　ディスプレイ

Claims

　可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された可視光送信信号を受信する可視光受信方法において、
　該可視光送信信号は送信する情報信号に基づき変調されて可視光に重畳され、
　前記カメラが、画素アンプ順次出力式撮像素子を用いて撮影し、該画素アンプ順次出力式撮像素子が、各画素で発生する電荷を各々の画素アンプで増幅して該各画素アンプから順に撮像信号を出力し、該撮像信号から得られる縞模様の画像データをフレーム単位で取り込み、順に出力された画素の各行または各画素の露光量の差分に基づき微分値を算出し、１フレーム内で各行または各画素を１サンプルとする複数サンプルの撮像信号の該微分値に基づき、信号を復調することを特徴とする可視光受信方法。
　前記可視光送信信号は送信する情報信号に基づきオンオフ変調されて可視光に重畳され、前記微分値は前記縞模様を示す画素の各行の露光量を微分して算出され、該微分値に対し所定の閾値を設定し、該閾値に基づき該微分値データを二値化して可視光送信信号を復調することを特徴とする請求項１記載の可視光受信方法。
　前記可視光送信信号のパルス幅は、前記画素の各行の露光期間より短く、且つ該可視光送信信号のパルス間隔が該露光期間とは相違して設定されることを特徴とする請求項１の可視光受信方法。
　前記露光期間は前記可視光送信信号のパルス間隔より長く設定されることを特徴とする請求項３の可視光受信方法。