JPWO2015045416A1 - 表示方法および表示装置 - Google Patents

表示方法および表示装置 Download PDF

Info

Publication number
JPWO2015045416A1
JPWO2015045416A1 JP2015538918A JP2015538918A JPWO2015045416A1 JP WO2015045416 A1 JPWO2015045416 A1 JP WO2015045416A1 JP 2015538918 A JP2015538918 A JP 2015538918A JP 2015538918 A JP2015538918 A JP 2015538918A JP WO2015045416 A1 JPWO2015045416 A1 JP WO2015045416A1
Authority
JP
Japan
Prior art keywords
image
visible light
light communication
display
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015538918A
Other languages
English (en)
Other versions
JP6362608B2 (ja
Inventor
前田　敏行
敏行 前田
亮裕 植木
亮裕 植木
崇司 鈴木
崇司 鈴木
塩川　晃
塩川　　晃
青砥　宏治
宏治 青砥
幸司 中西
幸司 中西
秀紀 青山
秀紀 青山
大嶋　光昭
光昭 大嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2015045416A1 publication Critical patent/JPWO2015045416A1/ja
Application granted granted Critical
Publication of JP6362608B2 publication Critical patent/JP6362608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2059—Display of intermediate tones using error diffusion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optical Communication System (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

可視光通信信号を適切に送信することができる表示方法は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成するステップ（ＳＬ１１）と、所定のフレームにおいて、前記映像信号に含まれる画像を表示するステップ（ＳＬ１２）と、その所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示するステップ（ＳＬ１３）とを含み、そのステップ（ＳＬ１３）では、映像信号に含まれる画像が所定のフレーム内で表示された後、第１の識別用画像および第１の可視光通信画像をそれぞれ、その所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。

Description

本開示は、映像信号に含まれる画像を表示する表示方法などに関する。
可視光を用いた通信技術が提案されている。例えば特許文献１および２のように、ディスプレイ、プロジェクターなどを含めた映像表示装置において、通常の映像表示の中に可視光による通信情報を重畳して表示を行う提案がされている。
また、印刷物で試用されている電子透かし技術や、ＱＲコード（登録商標）、バーコードなどを画像中に表示して、それらの符号化された信号を介して情報を携帯電話やスマートフォン、デジタルカメラなどの撮像機器を通じて、インターネットの世界への展開をする技術がある。
特開２００７−４３７０６号公報 特開２００９−２１２７６８号公報
しかしながら、上記特許文献１および２の表示方法では、可視光通信用の信号を適切に送信することができないという問題がある。
そこで、本開示は、可視光通信信号を適切に送信することができる表示方法を提供する。
本開示の表示方法は、映像信号に含まれる画像をフレームごとに表示する表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成ステップと、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示ステップと、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示ステップとを含み、前記第２の表示ステップでは、前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。
本開示によれば、可視光通信の信号を適切に送信することができる。
図１は、実施の形態にかかる可視光通信のシステムの一例を示す概略図である。 図２は、実施の形態にかかる表示装置の概略構成を示すブロック図である。 図３は、実施の形態にかかる受信装置の概略構成を示すブロック図である。 図４は、実施の形態にかかる可視光通信画像および符号化画像の一例を示す図である。 図５は、実施の形態にかかる表示装置の動作を説明するための図である。 図６Ａは、実施の形態にかかる表示装置および受信装置の動作を説明するための図である。 図６Ｂは、実施の形態にかかる表示装置および受信装置の動作を説明するための図である。 図７は、実施の形態にかかる可視光通信画像と受信装置との角度と、撮像エラー発生確率との関係を示す図である。 図８は、実施の形態にかかる表示装置の動作を説明するための図である。 図９は、実施の形態にかかる可視光通信画像の他の例を示す図である。 図１０Ａは、実施の形態にかかる可視光通信画像の他の例を示す図である。 図１０Ｂは、実施の形態にかかる表示装置の動作を説明するための図である。 図１１は、可視光通信画像と反転画像との時間間隔と、縞模様認識率との関係を示す図である。 図１２は、実施の形態にかかる表示装置の動作を説明するための図である。 図１３は、実施の形態にかかる表示装置の動作を説明するための図である。 図１４は、実施の形態にかかる表示装置の動作を説明するための図である。 図１５は、実施の形態で説明した可視光通信画像の表示に至る手順を表したフローチャートである。 図１６は、周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示す図である。 図１７は、実施の形態にかかる表示方法を３Ｄ表示システムに適用した場合の一例を示す図である。 図１８は、実施の形態にかかる表示方法を照明装置に適用した一例を示す図である。 図１９Ａは、本開示の一態様に係る表示方法のフローチャートである。 図１９Ｂは、本開示の一態様に係る表示装置のブロック図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
（発明に至った経緯）
特許文献１および２の表示方法では、バックライトの点滅により可視光通信信号を映像に重畳する。そのため、バックライトの消灯時間中は可視光通信信号の送信ができない。可視光通信信号を送信ができない期間は、信号の伝達ミスの要因となるため、画質を低下させた状態で通信を行うしかない。なお、本開示において、画格とは画面サイズのことである。
また、これらの方法では、画格サイズ、および焦点合わせのレベルなどの制限があるため、画像認識に時間がかかるという課題がある。
そこで本開示は、画質を大きく劣化させることなく、通信に要する制限を緩和しながら、可視光通信信号を映像に挿入して送信することができる表示方法などを提供する。
本開示の一態様に係る表示方法は、映像信号に含まれる画像をフレームごとに表示する表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成ステップと、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示ステップと、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示ステップとを含み、前記第２の表示ステップでは、前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。
これにより、例えば全黒画像または一様に灰色の画像が識別用画像として表示された後に第１の可視光通信画像が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始位置を示す一様に黒または灰色のラインが表れる。したがって、そのイメージセンサーを備える受信装置は、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。また、可視光通信信号の送信のためにバックライトを点滅させる必要がないため、画質を大きく劣化させることなく、通信に要する制限を緩和しながら、可視光通信信号を映像に挿入して送信することができる。
また、前記表示方法は、さらに、前記第１の可視光通信画像が表示された後に、可視光通信用の縞模様の画像を第２の可視光通信画像として表示する第３の表示ステップを含んでもよい。
これにより、縞模様の可視光通信画像が繰り返し表示されるため、受信装置は、それらの可視光通信画像によって示される可視光通信信号を確実に受信することができる。
また、前記第３の表示ステップでは、前記第１の可視光通信画像の縞模様の向きと異なる向きの縞模様の前記第２の可視光通信画像を表示してもよい。
これにより、繰り返し表示される可視光通信画像の縞模様の向きが異なるため、イメージセンサーに含まれる各露光ラインの向きによって可視光通信信号の受信確率が低下すること（撮像エラー発生確率が上昇すること）を抑えることができる。
また、前記第３の表示ステップでは、前記第１の可視光通信画像の縞模様を構成する互いに異なる２つの輝度値または色を入れ換えることによって示される反転画像を、前記第２の可視光通信画像として表示してもよい。例えば、前記第１および第２の可視光通信画像のそれぞれの縞模様は、補色の関係を有する２つの色を用いて構成されている。
これにより、繰り返し表示される可視光通信画像が、例えばポジに対するネガなどの反転画像として表示されるため、可視光通信画像が表示されることによる画像のちらつきを抑えることができる。
また、前記第３の表示ステップでは、前記第１の可視光通信画像と前記第２の可視光通信画像との表示間隔が２０ｍ秒以下となるように、前記第２の可視光通信画像を表示してもよい。
これにより、可視光通信画像が人の目に視認され難くすることができ、映像信号の画像に対する可視光通信画像の影響を抑えることができる。
また、前記表示方法は、さらに、前記第１の可視光通信画像が表示された後、前記第２の可視光通信画像が表示されるまでの間に、前記識別用画像を再び表示する第１の再表示ステップを含んでもよい。
これにより、第１の可視光通信画像と第２の可視光通信画像とが表示される間に識別用画像が表示されるため、受信装置は、第１の可視光通信画像による可視光通信信号と、第２の可視光通信画像による可視光通信信号とを適切に分離して受信することができる。
また、前記表示方法は、さらに、前記第２の可視光通信画像が表示された後に、前記識別用画像を再び表示する第２の再表示ステップを含んでもよい。
これにより、上述の撮像画像において、第２の可視光通信画像による可視光通信信号の終了位置を明確にすることができ、その可視光通信信号を適切に送信することができる。
また、前記第１または第２の再表示ステップでは、前記所定のフレーム内で、当該所定のフレームよりも短い期間だけ前記識別用画像を再び表示してもよい。
これにより、識別画像を目立たなくすることができ、映像信号の画像に対する識別画像の影響を抑えることができる。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
図１は、本実施の形態にかかる可視光通信システムの一例を示す概略図である。
表示装置１００は、例えば液晶表示装置であり、表示部１１０に映像を表示することができる。また、この表示部１１０に表示されている映像には、表示されている映像に関する情報を示す可視光通信信号が挿入されている。表示装置１００の表示部１１０に表示されることによって送信された可視光通信信号を、受信装置２００は表示部１１０に表示された映像を撮像することで受信する。受信装置２００は、例えば、順次露光型のイメージセンサーが内蔵されているスマートフォンとして構成されている。これによりユーザーは、表示部１１０に表示されている画像に関連する情報などを受け取ることができる。
なお、本実施の形態では、表示装置１００として液晶表示装置を例にあげているが、表示装置１００は、有機ＥＬ表示装置、プラズマ表示装置などのディスプレイ機器、或いは、プロジェクション表示装置、プロジェクターなどの投影型の表示装置であっても良い。
また、受信装置２００としてスマートフォンを例に挙げているが、受信装置２００は、順次露光が可能なタイプのイメージセンサーを搭載した電子機器であればよい。例えばデジタルスチルカメラなどでもよい。
図２は、本実施の形態にかかる表示装置１００の概略構成の一例示すブロック図である。図２に示すように、表示装置１００は、表示部１１０、第１の入力部１２０、第１の信号処理部１３０、表示制御部１４０、第２の入力部１５０、および第２の信号処理部１６０を備えている。
第１の入力部１２０は、放送電波、映像録画機、映像再生機、ＰＣなどからアンテナケーブル、映像信号線、例えばコンポジットケーブルや、ＨＤＭＩ（登録商標）ケーブル、ＰＪＬｉｎｋケーブルなど、或いはＬＡＮケーブルなどを通じて、表示部１１０に表示される映像に関する映像信号を受信し、第１の信号処理部１３０に送信する。尚、映像録画機或いは映像再生機においては種々の記録媒体に保存した信号を用いても良い。
第１の信号処理部１３０は、入力された映像信号に復号処理などの一般的な画像処理を施した後、各フレームを複数のサブフレームに分解する。第１の信号処理部１３０は、サブフレームと映像信号の大きさ、表示タイミングや明るさなどを示す情報を表示制御部１４０と第２の信号処理部１６０に送信する。なお、フレームは、映像信号に含まれる１枚のピクチャを表示する時間であって、例えば１／６０秒である。また、サブフレームは、フレームを分割することによって得られる時間であって、例えば、フレームの１／４の時間である。
第２の入力部１５０では、ＰＣなどで作成された可視光通信信号を専用のケーブルなど、或いは、ＬＡＮケーブルなどを通じて受信する。尚、可視光通信信号は、放送電波の一部に重畳して、アンテナケーブルを通じて入力しても良いし、それを録画した映像録画機、或いは別途ＰＣなどで作成された可視光通信信号を映像信号と重畳したものを映像録画機或いは映像再生機からＨＤＭＩ（登録商標）ケーブルやＰＪＬｉｎｋケーブル等の一部のラインに載せて送受信しても良い。映像録画機或いは映像再生機においては種々の記録媒体に保存した信号を用いても良い。また、外部から受信する以外にも、表示装置１００のＩＤなど、表示装置に内蔵された情報を利用し、インターネットなどを通じてサーバー情報を読み込み取得する情報に代替する方法もある。第２の入力部１５０は、受信した信号を、第２の信号処理部１６０に送信する。以下、可視光通信信号の一連のデータの１まとまりを１ブロックとして標記することとする。
第２の信号処理部１６０は、第２の入力部１５０よりに入力された可視光通信信号の変調信号を作成し、変調信号を元に可視光通信画像を作成する。可視光通信信号の符号化では、ＪＥＩＴＡ−ＣＰ１２２２、或いは、１２２３に準拠した符号化を行っても良いし、ＩＥＥＥ−Ｐ８０２．１５．７などの規格を用いても良い。また、符号化だけであれば、それに対応した受信装置を用いて構成してもよい。これら以外の符号化方法、例えばマンチェスターコーディングなどを用いて変調しても良い。更には、ここでは、あくまで、二値での符号化を行っていたが、階調表現をそのまま使用できることをかんがみると、三値以上で符号化すること、すなわち、従来の２倍以上の情報量を伝達することも可能である。
また、第２の信号処理部１６０は、第１の信号処理部１３０から入力される映像信号に含まれる映像の明るさ等に関する情報に基づいて、１フレームを構成するサブフレームのうち、どのサブフレームに可視光通信画像を挿入させるかを決定する。例えば、比較的明るく表示されるフレームの中のサブフレームを選択して可視光通信画像を挿入する。また、第２の信号処理部１６０は、比較的明るく表示されるサブフレームを選択して可視光通信画像を挿入してもよい。
また、重みをつけたサブフレームを用いて階調表現している場合には、誤差拡散などにより階調表現の幅を広げている場合がある。この場合、重みの低いサブフレームを用いる際には、誤差拡散などでも輝度が変動しなく、点灯状態が継続される期間を選択して、可視光通信画像を表示しても良い。
さらに、通常の映像表示に関しては、可視光通信画像を表示することによる輝度の上昇低下を他のサブフィールドで補正を行い、連続した映像として違和感なく視聴できる表示方法を用いても良い。
なお、既存のサブフレームではなく、１フレーム内に、通常の映像を表示する時間領域と、可視光通信画像を表示する時間領域を設定または作成してもよい。この際も、可視光通信画像が挿入または表示されるフレームとして、第２の信号処理部１６０が比較的明るいフレームを選択しても良い。
また、可視光通信画像を挿入する位置また時間領域が予め決められている場合は、第２の信号処理部１６０によって行われる、可視光通信画像を挿入するサブフレーム又は時間領域の決定に関する処理を行わなくてもよい。この場合は、予め決められているサブフレーム又は時間領域に可視光通信画像を挿入して表示または出力すればよい。
また、可視光通信画像を表示する時間は、できる限り短時間にするほうが望ましいが、受信装置側の性能によるところも大きいので、本件は後に詳述する。
第２の信号処理部１６０は、生成した可視光通信画像と可視光通信画像を挿入するサブフレーム又は時間領域を示す表示タイミング情報とを表示制御部１４０に送信する。
表示制御部１４０は、第１の信号処理部１３０及び第２の信号処理部１６０よりそれぞれ入力される表示タイミング情報に応じて、第１の信号処理部１３０より入力される映像信号に、第２の信号処理部１６０より入力される可視光通信画像を挿入する。なお、表示制御部１４０は、後述するとおり、映像の応答速度などを考慮すると、固体半導体素子を用いたスイッチングを行える素子を用いて画像表示することが望ましい。表示部１１０は、表示制御部１４０より入力される映像信号を表示する。
図３は、本実施の形態にかかる受信装置２００の一構成例を示すブロック図である。
図３に示すように、受信装置２００は、撮像部２１０、映像化部２２０、信号判定部２３０、および信号復調部２４０を備えている。
撮像部２１０は、表示部１１０に表示されている画像を撮像する。撮像部２１０は、例えば、順次露光型のイメージセンサーで構成される。撮像を開始すると、イメージセンサーは、順次横列として順次露光を行い、撮像したデータをバッファ（図示せず）に格納する。イメージセンサーによっては、列（露光ライン）毎に順次露光をするものや、各露光素子毎、一定の素子の群として順次露光するものなど存在するが、取り扱いは同じで、あくまで画像の横方向に配列されたデータを取得することが目的である。
映像化部２２０は、撮像部２１０で撮像されバッファに格納されているデータに対して、各画素毎の輝度を、二次元表示したビットマップとして表現し、信号判定部２３０に映像として出力する。
信号判定部２３０は、映像化部２２０より入力された映像に可視光通信画像が含まれているかどうかを判定する。まず、信号判定部２３０は、１ブロックの大きさのデータごとに、データのヘッダ部分を探し、データが含まれているか否かを判断する。信号判定部２３０は、入力された映像に可視光通信画像が挿入されていると判定した場合は、入力された映像を信号復調部２４０に出力すると共に、撮像部２１０に撮像動作をやめるよう指示する。また、信号判定部２３０が、入力された信号に可視光通信画像が挿入されていないと判定した場合には、撮像部２１０は、バッファに格納したデータを、撮像して得られた画像データに上書を行いながら順次露光を更に繰り返す。ここで、信号判定部２３０は、一定期間撮像を行っても、可視光通信画像が挿入されている映像を判定できない場合は、撮像部２１０の撮像動作を停止させる。
信号復調部２４０は、信号判定部２３０より出力された映像から可視光通信画像を取り出して、元の可視光通信信号に復調する。
次に、可視光通信信号を画像化した可視光通信画像について説明する。
図４は、可視光通信画像の一例を示した図である。図４の（ａ）は、１ブロックの可視光通信信号を符号化した符号化画像Ｐを示し、水平方向に明暗の表示となって表現される。図４の（ａ）の符号化画像Ｐは、図４の（ｂ）に示すように、そのまま鉛直方向に、表示部１１０の両端付近、つまり画面の両端付近まで、延伸されることによって、符号化画像Ｐ１が生成される。その後、図４の（ｃ）に示すように、図４の（ｂ）の符号化画像Ｐ１を横方向に５回繰り返し表示し、最終的な可視光通信画像が生成される。ここで、横方向への繰り返し回数は、１ブロックの符号化画像の大きさと、映像（画面）の大きさに応じて決定する。
なお、１ブロックの符号化画像を延伸していることによって、後述するように、多くの露光ラインで捉えることができるため、受信確率を向上させることが期待できる。また、１ブロックの符号化画像を繰り返し表示しているのは、表示装置１００と受信装置２００間の距離、受信装置２００の撮像部２１０の性能によって画格が異なることに対応するためである。これは、受信装置２００が表示部１１０全体を撮影する性能がなくても、表示部１１０に表示されている可視光通信画像のいずれかの部分を撮影すれば、図４の（ａ）で示す符号化画像Ｐ１が取得できることを示す。可視光通信画像をこのように生成することで、受信装置２００の撮影状況の制約を緩和することが可能となる。符号化画像の繰り返し回数は多いほど近接した撮影が有効になる。また、受信装置２００が、画面全体を撮像できることを前提とするならば、符号化画像を繰り返す必要は必ずしもない。
以下、本実施の形態にかかる可視光通信システムの動作について具体的に説明する。まず、表示装置１００の動作を説明する。
図５は、本実施の形態にかかる表示装置１００の動作を説明する図である。図５において、横方向を時間軸とする。
図５の（ａ）は第１の信号処理部１３０から出力される画像、同図の（ｂ）は第２の信号処理部１６０から出力される画像、同図の（ｃ）は、表示制御部１４０から出力される画像を示す。
まず、図５の（ａ）に示すように、第１の信号処理部１３０からは、１／Ｆ秒間に４枚の画像が出力される。これは、第１の入力部１２０に入力された映像が、１／Ｆ秒間に４つの画像を表示することを示している。第１の信号処理部１３０は、表示制御部１４０に、１／Ｆ秒間に４つの画像を表示する表示タイミング情報を送信する。また、第１の信号処理部１３０は、画像Ａ１１、Ａ２１、Ａ３１、Ａ４１、…を１／Ｆ秒毎に表示制御部１４０に出力する。さらに、第１の信号処理部１３０は、表示制御部１４０に送信した表示タイミング情報と同じ表示タイミング情報を第２の信号処理部１６０に送信する。
次に、図５の（ｂ）に示すように、第２の信号処理部１６０は、予め保持している全黒画像Ｂ１と、第２の入力部１５０から入力された可視光通信信号より生成した可視光通信画像Ｃ１とを表示制御部１４０に出力する。この場合、第２の信号処理部１６０は、画像Ａ１ｘ、Ａ２ｘ、Ａ３ｘ、Ａ４ｘを、画像の明るさなどから、可視光通信画像を混入する画像と決定する（ｘは、画像がｘ番目のフレームにあることを表す）。また、第２の信号処理部１６０は、１／Ｆ秒間に４枚の画像を表示し、３枚目に全黒画像Ｂｘ、４枚目に可視光通信画像Ｃｘを混入させることを決定する。第２の信号処理部１６０は、決定した表示に関する情報を、表示タイミング情報として表示制御部１４０に出力する。例えば、ｘは１である。
次に、図５に示すように、表示制御部１４０は、第１の信号処理部１３０から入力された画像Ａと、第２の信号処理部１６０から入力された全黒画像Ｂｘおよび可視光通信画像Ｃｘとの表示タイミングを、入力された表示タイミング情報に応じて決定する。この場合、表示制御部１４０は、表示部１１０が１／Ｆ秒間に４枚の画像を表示するよう制御する。表示制御部１４０は、４枚の画像において、１枚目および２枚目には、第１の信号処理部１３０から送信された画像Ａ１１、Ａ２１を表示部１１０に表示するように制御し、３枚目には、第２の信号処理部１６０から送信された全黒画像Ｂ１を表示部１１０に表示するように制御し、４枚目に、第２の信号処理部１６０から送信された可視光通信画像Ｃ１を表示部１１０に表示するように制御する。
さらに、表示制御部１４０は、次の１／Ｆ秒間に４枚の画像を表示するよう制御する。この場合、表示制御部１４０は、４枚の画像において、１枚目および２枚目には、画像Ａ１（ｘ＋１）、Ａ２（ｘ＋１）を表示部１１０に表示するように制御し、３枚目には、全黒画像Ｂ（ｘ＋１）を表示部１１０に表示するように制御し、４枚目には、可視光通信画像Ｃ（ｘ＋１）を表示部１１０に表示するよう制御する。図５の例では、４枚目の可視光通信画像Ｃ１を９０度回転し、可視光通信画像Ｃ１と同じサイズに成型した可視光通信画像Ｃ２を混入させている。すなわち、可視光通信画像を複数回混入させるときは、同じ可視光通信画像を複数回混入させても良いし、元の可視光通信画像を反転したり、回転させて混入させても良い。これは、受信装置２００の撮像方向または角度などに対応するのに有効である。全黒画像Ｂ１とＢ２は同じであってもよく、可視光通信画像Ｃ１とＣ２は同じものであっても、前述したように異なるものでも良い。
また、各画像Ａ１ｘ、Ａ２ｘ、Ａ３ｘ、Ａ４ｘ、全黒画像Ｂｘ、および可視光通信画像Ｃｘはそれぞれ１／Ｆ秒間隔で表示される。
尚、映像によっては、可視光通信画像を連続したフレームで表示せず、いくつかのフレーム毎に表示、或いはランダムに表示しても良い。
なお、本実施の形態のサブフレームとは、階調表現のために作成されたサブフレームに限らず、液晶表示装置などの所謂４倍駆動など、画質向上のために作成されたサブフレームであってもよい。
次に、受信装置２００の動作を説明する。
図６Ａおよび図６Ｂは、本実施の形態にかかる受信装置の動作を説明する図である。図６Ａおよび図６Ｂにおいて、横方向を時間軸とする。
図６Ａの（ａ）は表示装置１００の表示部１１０に表示される画像、同図の（ｂ）は、撮像部２１０における各露光ラインの露光時間、同図の（ｃ）は受信装置が撮像した画像を示す。
図６Ａの（ａ）に示すように、表示部１１０には、１／Ｆ秒に４枚の画像が表示される。図６Ａの（ａ）の例では、４枚の画像において、３枚目に全黒画像Ｂ１、４枚目に可視光通信画像Ｃ１が表示される。
撮像部２１０は、表示部１１０に表示されている映像を撮像する。撮像部２１０が、順次露光型のイメージセンサーで構成されている場合、撮像を開始すると、イメージセンサーは、順次横列として順次露光を行い、撮像したデータをバッファ（図示せず）に格納する。各順次露光を行う単位を、特にここではライン状に順次行うことを想定しているため、露光ラインと呼ぶ。図６Ａの（ｂ）の場合は、露光ラインＬ１、Ｌ２，Ｌ３、…の順に露光が行われる。
なお、図６Ａの（ｂ）では、一例としてイメージセンサーは１０本の露光ラインに分割されているが、これ以外の分割数でも良いし、また、ライン状でなくともよい。各々の露光ラインの露光時間が他の露光ラインの露光時間と非常に短い時間だけオーバーラップするように、各露光ラインは順次露光する。
図６Ａの（ｃ）は、全露光ラインの撮像が終了した時点のバッファに格納されている画像を示す。この場合、フレーム内の画像の始まりと、撮像の１単位の始まりが偶然にも一致しているが、これがずれて撮像の単位が始まったとしてもよい。この場合、受信装置２００側での撮像した画像では、図６Ａの（ｃ）に示すように、上から３番目の横方向に信号が幅の短い横縞として撮像されている。これに対して、画像中の場所が上下するだけで、必ず横縞が観察されるため、特にタイミングを制御する必要もなく、トリガ信号をどこかから拾う必要もない。図６Ａの（ｃ）の場合、露光ラインＬ６に可視光通信画像が撮像されている。
映像化部２２０は、撮像部２１０で撮像されバッファに格納されているデータに対して、各画素毎の輝度を、二次元表示したビットマップとして表現し、信号判定部２３０に映像として出力する。
信号判定部２３０は、映像化部２２０より入力された映像に可視光通信画像が含まれているかどうかを判定する。図６Ａの場合、信号判定部２３０は、図６Ａの（ｃ）の映像が入力されると、露光ラインＬ１〜Ｌ１０において、露光ラインＬ６に可視光通信画像が挿入されていると判定し、入力された映像を信号復調部２４０に出力すると共に、撮像部２１０に撮像動作をやめるよう指示する。
信号復調部２４０は、信号判定部２３０より出力された映像から可視光通信画像を示す露光ラインＬ６の画像を取り出して、元の可視光通信信号に復号する。
なお、信号判定部２３０の判定は、入力される映像単位で行ったが、露光ライン毎に行ってもよい。その場合は、露光ラインＬ６に可視光通信画像が含まれると判定した時点で、露光ラインＬ７以降の判定を行わず、撮像部２１０の動作を止めても良い。
また、図６Ａに示すように１秒間にＦ個のフレームで映像が構成され、可視光通信画像が表示される期間は、１フレームのうちの一部の時間、本実施の形態では１フレームの１／４の場合を説明した。可視光通信画像が表示される期間は１／４フレーム以外でも良いが、信号をできる限り視認しにくいという面で、少なくとも１／４フレーム以下が望ましい。さらに、受信装置２００側の対応可能な範囲でできるだけ小さな値の方が望ましい。
以上のような構成により、短い期間に可視光通信画像を挿入し、露光時間が充分短かければ、つまり、図６Ａに基づくと、ｎＦ分の１秒（図６Ａの場合はｎ＝４）よりも充分早い露光時間（シャッタースピード）であれば、どこかの該当する露光ラインが可視光通信画像を表示している時間に該当する。露光ラインの露光時間中に、他の画像が挿入しないことが望ましいため、更には、図６Ａの例では、４Ｆ分の１秒の更に半分より小さい露光時間にすると、確実に他の画像が挿入されない画像を撮像することが可能となる。なお、図６Ｂに示すように、全黒画像Ｂｘの代わりに、全黒画像よりも一様に輝度が明るい全グレー画像Ｂｘを挿入してもよい。
このように、順次露光型の撮像部２１０で撮像する受信装置２００と表示装置１００との組合せにより、簡便に、タイミングに制約されないため、単純な構成にて可視光通信信号を送受信することが可能となる。
つまり、本実施の形態の表示方法は、図５、図６Ａおよび図６Ｂに示すように、映像信号に含まれる画像をフレーム（例えば１／Ｆ秒）ごとに表示する表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像（Ｃ１）として生成する可視光通信画像生成ステップと、所定のフレームにおいて、前記映像信号に含まれる画像（Ａ１１、Ａ２１）を表示する第１の表示ステップと、前記所定のフレームにおいて、表示される前記画像（Ａ１１、Ａ２１）の平均輝度よりも一様に低い輝度の画像を識別用画像（Ｂ１）として表示し、続けて前記第１の可視光通信画像（Ｃ１）を表示する第２の表示ステップとを含み、前記第２の表示ステップでは、前記映像信号に含まれる画像（Ａ１１、Ａ２１）が前記所定のフレーム内で表示された後、前記第１の識別用画像（Ｂ１）および前記第１の可視光通信画像（Ｃ１）をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。
これにより、例えば全黒画像または一様に灰色の画像が識別用画像（Ｂ１）として表示された後に第１の可視光通信画像（Ｃ１）が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始位置を示す一様に黒または灰色のライン（Ｌ４）が表れる。したがって、そのイメージセンサーを備える受信装置２００は、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。また、可視光通信信号の送信のためにバックライトを点滅させる必要がないため、画質を大きく劣化させることなく、可視光通信信号を映像に挿入して送信することができる。
また、本実施の形態における前記表示方法は、さらに、前記第１の可視光通信画像（Ｃ１）が表示された後に、可視光通信用の縞模様の画像を第２の可視光通信画像（Ｃ２）として表示する第３の表示ステップを含む。これにより、縞模様の可視光通信画像（Ｃ１、Ｃ２）が繰り返し表示されるため、受信装置２００は、それらの可視光通信画像（Ｃ１、Ｃ２）によって示される可視光通信信号を確実に受信することができる。
なお、可視光通信画像を挿入する時間と、順次露光型の撮像部２１０の走査速度及び露光時間に関しては（式１）の関係を満たすことが望ましい。これは、可視光通信画像の前後の映像信号と一緒に可視光通信画像に対して、露光ラインが露光されることにより、Ｓ／Ｎが極端に悪化するためである。
（式１） 露光ライン１ラインの露光時間＜１／（２×ｎＦ）
（式１）において、ｎは、映像の１フレームを均等に分割したサブフレームの数であり、Ｆは１秒間に表示されるフレーム数である。ｎは正の整数、Ｆは正の数である。
可視光通信画像または符号化画像が、人の目に残像として認識されにくい時間幅を考えると、可視光通信画像または符号化画像を表示する時間（１露光ラインの露光時間）は、１ｍｓｅｃ以内、さらに、０．２ｍｓｅｃ以内にすることが望ましい。現在の映像信号の一般的なフレーム数Ｆ＝６０で考えると、（式１）を満たすためには、ｎ＞８、望ましくは、ｎ＞４０であることが望ましい。
以下、可視光通信画像または符号化画像を表示する時間として望ましい範囲を設定した理由を説明する。これは、人の目の時間分解能は、一般に、５０ｍｓｅｃ程度であるとされ、それ以下は残像として前後の映像と交じり合った画像として認識されることによる。一方で、人の目が輝度の差として捉えられる限界は、個人差はあるものの、凡そ、隣接する領域の輝度差が２％つくと、ほとんどの人が、輝度差があることを認識するとされている。従って、挿入した可視光通信画像または符号化画像が前後の画像と交じり合って輝度差として認識されないためには、５０ｍｓｅｃの２％、すなわち、１ｍｓｅｃ以下の時間であることが望ましい。
なお、一般的な順次露光型イメージセンサーでは、汎用性を考えると、最低限１フレームを二分割しなければ完全に画像として残像が残る。１フレームをそのまま使用することになると、サブリミナル効果などの副作用も懸念されることから、ｎ＝２が最低限必要なフレーム分割数となる。これによると、１／４８０より小さい露光時間を選択することが望ましい。
また、映像機器から非常に短い期間、可視光通信画像または符号化画像を出す具体的手法としては、ＰＤＰ（Plasma Display Panel）やＥＬ（electro-luminescence）のように動作速度が速いものがある。つまり、ＰＤＰまたはＥＬは、駆動信号による制御によって本実施の形態に対応できる。しかし、ＬＣＤ（Liquid Crystal Display）などは、駆動だけ高速化しても液晶の反応速度が遅い場合には、本実施の形態に対応できない。このような際には、特にバックライトが、ＬＥＤ（Light Emitting Diode）などで点滅が高速にできるものであれば、ＬＥＤを消灯して短い時間だけ表示することが可能になる。プロジェクターについては、ＬＣＯＳ（Liquid crystal on silicon）など、液晶を使用しているものも同様に、光源側に制御を加えて、短時間の表示を実現できる。更に、デジタルミラーデバイス（ＤＭＤ）など、高速駆動できるミラーデバイスにて、投影側へ光を射出する方法を取るプロジェクターの場合には、ＤＭＤの制御によって短時間表示することも可能であり、また、光源側での制御で、時間を切ることもでき、さらに、これらを合わせて時間を短くすることも可能である。
なお、本実施の形態においては、可視光通信信号を横方向に配列した場合について説明したが、これに限定するものではない。可視光通信信号を横方向に配列した場合、符号化画像は縦縞になる。そのため、受信装置２００の撮像部２１０が横方向を単位とした縦方向への順次露光する方向にて画像を撮像しない場合、可視光通信信号の符号化画像を取得することができない。
また、一定以上の角度で受信装置２００を傾けて撮像すると、データの１ブロックが撮像範囲に全て入らない、或いは縞模様と受信装置２００の露光ラインとが平行になるため、データが取り得ないなどの課題も発生する。
図７は、可視光通信画像と受信装置２００との角度と、撮像エラー発生確率との関係の一例を示す図である。
図７に示すように、可視光通信画像の縞模様と受信装置２００との角度と、撮像エラー発生確率との関係は、ほぼコサイン則の形状を示すグラフに成る。これは、受信装置２００における１つの露光ラインで得られる画格については、角度が変化すると、コサイン則に従ってその撮像できるデータの範囲が小さくなり、１つの露光ラインで撮像できるデータが１ブロック分とほぼ同等の領域まで小さくなると、急激にその誤認識の確率が高くなる。図７によって示される関係は、全画面にデータが４ブロック分格納された可視光通信画像または符号化画像を用い、受信装置２００がほぼ全画面を撮像することができる位置から撮像した際の結果である。この関係から、１３５度（４５度傾けて撮影する場合）程度までの角度であれば問題なくデータを入手できることがわかる。急激に変化する角度は、全画面中にデータが何ブロック格納されるか、或いは撮像する際にどの程度の距離で、全画面に対してどの程度の大きさに見える位置で撮像するかによって異なる。更に、垂直になると、理論的にもデータが取れなくなるため、受信装置を視聴者がどちら向き（縦向きか横向きか）に置くかによって、全く可視光通信信号の受信ができない状況が発生することが考えられる。これらの不具合を解決するために、可視光通信画像を縦方向や斜めに配置したり、縦部分と横部分で反転させるパターンに配置しても良い。
図８は、本実施の形態にかかる表示装置１００が、縞模様の角度が異なる複数の可視光通信画像を表示する動作を説明するための図である。
例えば、図８に示すように、縦方向の縞模様の可視光通信画像Ｃ１と、横方向の縞模様の可視光通信画像Ｃ２と、斜め方向の縞模様の可視光通信画像Ｃ３と、可視光通信画像Ｃ３と逆の斜め方向の縞模様の可視光通信画像Ｃ４とを表示してもよい。
つまり、本実施の形態における上述の第３の表示ステップでは、図８に示すように、前記第１の可視光通信画像（Ｃ１）の縞模様の向きと異なる向きの縞模様の前記第２の可視光通信画像（Ｃ２、Ｃ３、Ｃ４）を表示する。これにより、繰り返し表示される可視光通信画像（Ｃ１、Ｃ２、Ｃ３、Ｃ４）の縞模様の向きが異なるため、イメージセンサーに含まれる各露光ラインの向きによって可視光通信信号の受信確率が低下すること（撮像エラー発生確率が上昇すること）を抑えることができる。
本実施の形態では、可視光通信画像における符号化画像の配置例として、符号化画像を鉛直方向に延伸させた後、横方向に数回繰り返し配置した例を説明した。しかし、配置例は、これに限定されない。
図９は、可視光通信画像の他の生成例を示す図である。
図９の（ａ）に示される可視光通信画像は、図４の符号化画像Ｐを１つだけ全画面に引き伸ばして配置することによって生成された画像である。このような配置をすることで、撮影された可視光通信画像の画素の大きさによる制限が緩和され、表示部１１０に対して長い距離を隔てた場所からの受信が可能となる。
図９の（ｂ）に示される可視光通信画像は、図４の符号化画像Ｐを９０度回転させ、横方向に延伸することによって生成された符号化画像Ｐ２を、縦方向に４回繰り返し配置することによって生成された画像である。この場合は、受信装置２００の順次露光ラインがほぼ鉛直方向になる方向で受信できる。
図９の（ｃ）に示される可視光通信画像は、図４の符号化画像Ｐを左回りにほぼ４５度だけ回転し、画面全体に引き伸ばして配置することによって生成された画像である。図９の（ｄ）によって示される可視光通信画像は、図９の（ｃ）の可視光通信画像の例とは逆に、符号化画像Ｐを右回りに約４５度だけ回転し、画面全体に引き伸ばして配置することによって生成された画像である。
図９の（ａ）〜（ｄ）の配置を基本形とし、これらを組合せることで様々な配置が可能となる。例えば、図９の（ｅ）に示される可視光通信画像は、画面を８分割し、縦方向の縞模様の符号化画像と、横方向の縞模様の符号化画像とを、市松模様が形成されるように、縦方向および横方向に配置することによって生成された画像である。このような可視光通信画像では、受信装置２００は、画面のうちの少なくとも一つの符号化画像以上の画格にて撮像することで、受信装置２００における撮像部２１０の向き及び角度がどこを向いていても、撮像することが可能となる（可視光通信信号を受信することができる）。図９の（ｆ）によって示される可視光通信画像は、画面を斜めに分割し、図９の（ｃ）の符号化画像と、図９の（ｄ）の符号化画像とを組み合わせて配置することによって生成された画像である。
図９の（ｇ）に示される可視光通信画像は、画面上側では元の符号化画像を縦方向に延伸して生成された符号化画像Ｑ１を画面全体に横方向に４回繰り返し配置し、画面下側では、元の符号化画像を横方向に延伸して生成された符号化画像Ｑ２を画面全体で横方向に２回繰り返し配置することによって生成された画像である。このように配置することで、受信装置２００にて撮像される場所と、表示部１１０との距離が近ければ、受信装置２００側で撮像される画像が大きく、その解像度は高くなり、その距離が遠ければ、解像度が低くなる。すなわち、表示部１１０との距離が近いところで撮像する場合は、繰り返し表示される符号化画像の数を多い方が好ましく、距離が離れているところでは、繰り返し表示される符号化画像の数が少ない方が好ましい。従って、図９の（ｇ）の可視光通信画像では、そのどちらの場合にも対応できる。なお、可視光通信画像は、図９の（ｇ）に示すように、２回と４回の繰り返し配置の組み合わせによって生成されているが、これ以外の数の組合せで生成されてもよい。
図９の（ｈ）に示される可視光通信画像は、画面を上下方向に５分割し、分割によって生成されたそれぞれの領域に、縞の位相が異なる符号化画像を配置することによって生成された画像である。これによると、場所による明暗の局在化を避けることができるため、視線移動に伴うフリッカ防止の効果が期待できる。ここでは、縞模様が縦縞で、縦方向の分割を５つにし、一番上と一番下の位相が揃うように順次位相を変化させているが、分割数や位相変化はこれに限らず、ランダムでも良い。
また、図４或いは図９に示す画像は、それぞれ長所短所があるため、用途に応じて、これらの画像を任意に組み合わせた画像を可視光通信画像として使用してもよい。また、その際に、画像を任意の角度に回転して使用しても構わない。
さらに、可視光通信画像を時間的に繰り返し表示する場合に、用途に応じてフレーム毎に、表示する順番または画像の表示をランダムに変化させても良い。
なお、順次スキャンを行い、バックライトスキャンを行う液晶表示装置など、同時に全画面が表示されない期間が存在する表示装置においては、スキャン方向と垂直方向の縞模様を用いることで、通信確率の向上が期待できる。一般的な液晶表示装置においては、縦方向にスキャンが行われるため、図４の（ｂ）の符号化画像の縦縞を横縞に置き換えた画像を適応することが望ましい。また、本実施の形態１では、１／Ｆ秒間に４枚の画像を表示し、４枚目に可視光通信信号を符号化した画像を表示したが、これに限定するものではない。例えば、該当する期間のみ可視光通信画像を表示し、それ以外の期間については通常の映像信号による画像を表示しても良い。この際に、可視光通信画像を挿入する分だけ映像信号が変化してしまうが、１フレーム内の映像信号のほかの部分の信号を補正することで対応しても良い。
また、そのまま通常の映像処理部にて処理した信号をそのまま表示制御部に送って表示を行ってもよい。更には、該当する１フレームの可視光通信画像以外の映像信号は全て無視して、その前後の映像と合わせて黒表示或いは一定の階調の灰色表示を行って、その信号のみを受信側に対して強調する方法を取っても良い。
また、本実施の形態では、可視光通信画像の前に全黒画像をおいているが、これは、映像信号画像と混じって信号を受信することを避けるためであり、必ずしも必要ではない。しかし、受信装置２００側の性能の制約がこのような信号を入れることによって緩和されるため、一定の期間、全黒信号（全黒画像）を挿入しても良い。
また、本実施の形態では、可視光通信画像の前側にだけ全黒画像を挿入しているが、後側に挿入してもよい。更には、可視光通信画像の前後両方に挿入してもよい。この場合、前後の全黒画像の部分も合わせた時間を上記の可視光通信画像を挿入する時間に置き換えて考えるとよい。
また、全黒画像は、全面の輝度レベルが０％とした画像に限らない。全黒画像は、全面にわたり、あるいは、全面に占める割合が一定以上高い領域において、輝度が低いレベルであれば、その輝度レベルは０％でなくともよい。全面に占める割合が一定以上高い領域は、例えば、ディスプレイの性能に基づいて低輝度が一様に出力できない画面内の周辺部分よりも内側の領域である。周辺部分は、画面の周辺を囲む部分であり、その部分の幅は、例えば画面の縦幅または横幅の数％である。また、その輝度レベルは、可視光通信画像における黒の部分、すなわち、輝度の低い部分の輝度と一致する必要はない。但し、可視光通信信号を受信する感度を考慮すると、全面に渡る輝度が低いレベルの画像の輝度は、できるだけ輝度が低いことが望ましい。また、映像信号に含まれて表示される画像の平均輝度よりも一様に低い輝度の画像（識別用画像）であれば、上述の全黒画像の代わりにどのような画像を用いてもよい。例えば、全黒画像の代わりに、市松模様または縞模様などの画像を用いてもよいが、全画面に占める輝度の低い画素の割合が一定以上の画像であることが望ましい。
また、本実施の形態では、可視光通信画像を一定期間繰り返し表示したが、可視光通信画像と、その可視光通信画像の反転画像（白黒反転画像）を表示してもよい。
図１０Ａは、本実施の形態における反転画像の一例を示す図である。
表示装置１００は、図１０Ａの（ａ）に示す可視光通信画像と、その可視光通信画像において白黒を反転させた白黒反転画像、つまり図１０Ａの（ｂ）に示す可視光通信画像とを連続して表示してもよい。こうすることで、図１０Ａの（ｃ）のように、人の目には平均化した像しか残らないため、縞模様と言う認識は更に軽減され、コントラストが多少悪化するにとどまる。白黒の表現は、１００％レベルと０％レベルに限定するものではなく、比較的輝度の高いレベルと、輝度の低いレベルでも良い。また、輝度レベルの差は高い方が受信装置２００側の制約などが緩和される一方で、平均的な信号による輝度は上昇するため、コントラストの悪化や信号画像が見えやすくなるなどの弊害もある。そのため、総合的に勘案してよいレベルを選ぶことが望ましい。また、１フレームの中の可視光通信画像を表示するサブフレーム或いは時間領域を２分割して、上記の２枚１組の白黒反転画像を用いても良い。
図１０Ｂは、本実施の形態にかかる表示装置が、反転画像を含む複数の可視光通信画像を表示する動作を説明するための図である。
表示装置１００は、例えば図１０Ｂに示すように、縦方向の縞模様の可視光通信画像Ｃ１ａと、可視光通信画像Ｃ１ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ１ｂと、横方向の縞模様の可視光通信画像Ｃ２ａと、可視光通信画像Ｃ２ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ２ｂと、斜め方向の縞模様の可視光通信画像Ｃ３ａと、可視光通信画像Ｃ３ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ３ｂと、可視光通信画像Ｃ３ａと逆の斜め方向の縞模様の可視光通信画像Ｃ４ａと、可視光通信画像Ｃ４ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ４ｂとを、連続的にまたは断続的に表示してもよい。
また、白は、ＲＧＢ全てを表示させることによって表現される白であっても良い。特に、輝度を落とすための方法として、白以外の色を用いて、縞の輝度の高部分の輝度を落としても良い。また、縞を目立たなくするため、黒は、輝度が低いと言う意味であり、この黒も、ＲＧＢ全てを用いることによって表現される黒であってもよく、それら全てを非表示常態にしておくことによって表現される黒でなくとも良い。更には、輝度が高い部分と低い部分で縞模様を作成したが、色で分離できる組合せであれば、ＲとＧの縞などで縞模様を表現しても良い。更に、ＲとＣなどの互いに補色関係にある色の組合せを用いても良い。補色関係の２色による反転画像の組み合わせを、白黒の場合と同様に用いても良い。この際には、撮像時にＲＧＢ分離ができるイメージセンサーとソフトが搭載された受信装置２００を用いる必要がある。
このように、本実施の形態における上述の第３の表示ステップでは、図１０Ｂに示すように、前記第１の可視光通信画像（Ｃ１ａ、Ｃ２ａ、Ｃ３ａ、Ｃ４ａ）の縞模様を構成する互いに異なる２つの輝度値または色を入れ換えることによって示される反転画像（Ｃ１ｂ、Ｃ２ｂ、Ｃ３ｂ、Ｃ４ｂ）を、前記第２の可視光通信画像として表示する。また、前記第１および第２の可視光通信画像（例えば可視光通信画像Ｃ１ａと可視光通信画像Ｃ１ｂ）のそれぞれの縞模様は、補色の関係を有する２つの色を用いて構成されていてもよい。
これにより、繰り返し表示される可視光通信画像（Ｃ１ｂ、Ｃ２ｂ、Ｃ３ｂ、Ｃ４ｂ）が、例えばポジに対するネガなどの反転画像として表示されるため、可視光通信画像が表示されることによる画像のちらつきを抑えることができる。
また、縞模様に関しては、繰り返し表示させる際に、画面上を少しずつ移動させるスクロールを行うことで目立たなくしてよいし、可視光通信画像を２つ以上の領域に分割してスクロールしても良い。この際には、スクロールの方向、スピードなどそれぞれ異なる動き方をして良いし、各々が同期したスクロールを行っても良い。
また、本実施の形態では、可視光通信信号を符号化後に画像データとして出力していたが、データのブロックの境目を明示するために、通常の符号化信号ではありえない枠状の画像信号を前後に挿入してもよい。これにより、前記枠状の画像信号が２つ以上認識されれば、１ブロックの信号を得たと判断することができるとともに、１ブロックの信号の画像上での大きさを確定することができる。
また、本実施の形態によると、受信装置２００側のイメージセンサーにて一連の信号を一つの画像の中で完結する必要がある。しかし、情報量が多い際には、可視光通信信号のヘッダの部分に、当該可視光信号画像に含まれる情報が、可視光通信信号の先頭にあるのか、情報が多いために可視光通信信号が複数に分割され、その分割された中の何番目にあるか等の情報を、書き込んでも良い。具体的な例としては、ＪＥＩＴＡ−ＣＰ１２２２の規格のプリアンブルとタイプの部分を用いると、前記の情報をいくつかの画像に分割することも可能となる。もちろん分割のやり方、分割信号の出し方及びその分割情報の画像への収納法については、この例に限らない。また、確実に可視光通信信号を伝達する際に、繰り返し可視光通信画像を表示する方法がある。この際には、可視光通信信号を分割することにより得られる１つの信号に基づく画像を繰り返して表示し、次に、その信号の続きの信号に基づく画像を繰り返し表示させると言う方法もある。また、分割によって生成された一連の信号に基づく画像を順次表示し、これを一組として繰り返し表示させる方法もある。情報量の大きさや通常映像信号の種類などによって、どちらの表示方法を選択しても良い。
また、上述のように、ある可視光通信画像と、その反転画像とを比較的近い時間間隔で出力する場合、人の目の時間分解能の制約により、縞模様が消えて平均的な輝度の一様な画像が存在するのと同等になる。ここで、その二つの画像の表示間隔について説明する。
図１１は、可視光通信画像と反転画像との表示間隔と、縞模様が見える人の割合（縞模様認識率）との関係を示す図である。
人の目の時間分解能は、５０ｍｓｅｃ前後を閾値に急激に低下することが一般に知られている。図１１に示ように、可視光通信画像と、その反転画像との間隔に応じて、それらの画像の縞模様の認識率は変化する。図１１に示すグラフは、時間間隔と、縞模様が見える人の割合の関係を実験的に調べた結果であり、その実験では全面黒表示が行われている。また、縞は横縞であり、縞のピッチは３ｍｍであり、視認を行う人と、画像が表示される画面とは１ｍは離れている。この結果より、従来言われているように、５０ｍｓｅｃ付近から、縞模様が見える人の割合が急激に立ち上がるため、可視光通信画像と反転画像との間隔を５０ｍｓｅｃ以下にすることが望ましい。また、ほぼ視認できない限界として２０ｍｓｅｃ付近が挙げられるため、２０ｍｓｅｃ以下にすることが更に望ましい。この結果より、通常の１秒間に６０フレーム出力される映像においては、可視光通信画像とその反転画像とを４フレーム以上離すことは望ましくない。更には、それらの画像を１フレーム以内に留めることが望ましい。
このように、本実施の形態における上述の第３の表示ステップでは、前記第１の可視光通信画像と前記第２の可視光通信画像との表示間隔が２０ｍ秒以下となるように、前記第２の可視光通信画像を表示する。これにより、可視光通信画像が人の目に視認され難くすることができ、映像信号の画像に対する影響を抑えることができる。
図１２は、本実施の形態における可視光通信画像および全黒画像の表示方法の他の例を示す図である。
例えば、表示装置１００の表示部１１０は、図１２の（ａ）に示すように、ｍ番目のフレーム内において、映像信号に含まれる画像（映像）Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１、全黒画像Ｂ２の順に、これらの画像を表示してもよい。具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。
このように、可視光通信画像Ｃ１が時間的に全黒画像Ｂ１，Ｂ２の間に表示されるため、受信装置２００は、可視光通信画像Ｃ１による可視光通信信号を適切に受信することができる。
また、表示装置１００の表示部１１０は、図１２の（ｂ）に示すように、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１．可視光通信画像Ｃ１、可視光通信画像Ｃ１の反転画像である可視光通信画像Ｃ２、全黒画像Ｂ２の順に、これらの画像を表示してもよい。具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１を表示部１１０に表示させ、さらに次のサブフレームで、その可視光通信画像Ｃ１の白と黒とを反転させた反転画像である可視光通信画像Ｃ２を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、全黒画像Ｂ２を表示部１１０に表示させる。
これにより、互いに反転画像である可視光通信画像Ｃ１、Ｃ２が連続して表示されるため、これらの画像の縞模様を目立たなくすることができる。
また、表示装置１００の表示部１１０は、図１２の（ｃ）に示すように、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１、全黒画像Ｂ２、可視光通信画像Ｃ１の反転画像である可視光通信画像Ｃ２、全黒画像Ｂ３の順に、これらの画像を表示してもよい。具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１の白と黒とを反転させた反転画像である可視光通信画像Ｃ２を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ３を表示部１１０に表示させる。
これにより、可視光通信画像Ｃ１，Ｃ２のそれぞれが時間的に全黒画像の間に表示されるため、受信装置２００は、可視光通信画像Ｃ１，Ｃ２のそれぞれによる可視光通信信号を適切に受信することができる。さらに、互いに反転画像である可視光通信画像Ｃ１、Ｃ２が表示されるため、これらの画像の縞模様を目立たなくすることができる。
このように、本実施の形態における前記表示方法は、さらに、前記第１の可視光通信画像（Ｃ１）が表示された後、前記第２の可視光通信画像（Ｃ２）が表示されるまでの間に、前記識別用画像（Ｂ２）を再び表示する第１の再表示ステップを含む。これにより、第１の可視光通信画像（Ｃ１）と第２の可視光通信画像（Ｃ２）とが表示される間に識別用画像（Ｂ２）が表示されるため、受信装置２００は、第１の可視光通信画像（Ｃ１）による可視光通信信号と、第２の可視光通信画像（Ｃ２）による可視光通信信号とを適切に分離して受信することができる。
さらに、本実施の形態にける前記表示方法は、さらに、前記第２の可視光通信画像（Ｃ２）が表示された後に、前記識別用画像（Ｂ３）を再び表示する第２の再表示ステップを含む。これにより、上述の撮像画像において、第２の可視光通信画像（Ｃ２）による可視光通信信号の終了位置を明確にすることができ、その可視光通信信号を適切に送信することができる。
さらに、本実施の形態における上述の第１または第２の再表示ステップでは、前記所定のフレーム内で、当該所定のフレームよりも短い期間だけ前記識別用画像（Ｂ２、Ｂ３）を再び表示する。これにより、識別画像（Ｂ２、Ｂ３）を目立たなくすることができ、映像信号の画像に対する識別画像（Ｂ２、Ｂ３）の影響を抑えることができる。
図１３は、本実施の形態における可視光通信画像および全黒画像の表示方法の他の例を示す図である。
表示装置１００の表示部１１０は、図１３の（ａ）に示すように、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１’、全黒画像Ｂ２、可視光通信画像Ｃ２’、全黒画像Ｂ３、可視光通信画像Ｃ３’、全黒画像Ｂ４の順に、これらの画像を表示してもよい。ここで、可視光通信画像Ｃ１’、Ｃ２’およびＣ３’は、図１０Ａの（ａ）および（ｂ）によってそれぞれ示される可視光通信画像の関係と同様であって、これの画像が表示されると、これらの画像の縞が人に視認されずに、空間的に均一な像しか視認されない関係にある。つまり、可視光通信画像Ｃ１’、Ｃ２’およびＣ３’は、３つの画像の輝度の積算値が均一になる関係（以下、均一関係という）にある。
具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１’を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１’と上述の均一関係にある可視光通信画像Ｃ２’を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ３を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１’およびＣ２’と上述の均一関係にある可視光通信画像Ｃ３’を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ４を表示部１１０に表示させる。
これにより、可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’のそれぞれが時間的に全黒画像の間に表示されるため、受信装置２００は、可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’のそれぞれによる可視光通信信号を適切に受信することができる。さらに、均一関係にある可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’が表示されるため、これらの画像の縞模様を目立たなくすることができる。なお、可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’はそれぞれ白および黒によって表現されるが、白および黒の代わりに、互いに補色の関係にある２つの色によって表現されてもよい。
また、表示装置１００の表示部１１０は、図１３の（ｂ）に示すように、ｍ番目のフレームで可視光通信画像Ｃ１を表示し、（ｍ＋１）番目のフレームで、可視光通信画像Ｃ１に対応する可視光通信画像Ｃ２を表示してもよい。つまり。表示部１１０は、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１、全黒画像Ｂ２の順に、これらの画像を表示する。さらに、表示部１１０は、（ｍ＋１）番目のフレーム内において、上述の映像信号に含まれる映像Ａ２、全黒画像Ｂ３、可視光通信画像Ｃ２、全黒画像Ｂ４の順に、これらの画像を表示する。
具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームとは異なる（ｍ＋１）番目のフレームに含まれる先頭のサブフレームで、映像Ａ２を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ３を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述の（ｍ＋１）番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１の反転画像である可視光通信画像Ｃ２を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ４を表示部１１０に表示させる。
これにより、互いに反転画像である可視光通信画像Ｃ１，Ｃ２がそれぞれ互いに異なるフレームで表示されるため、各フレーム内のコントラストを改善することができる。
図１４は、本実施の形態における可視光通信画像および全黒画像の表示方法の他の例を示す図である。
表示装置１００の表示部１１０は、図１４に示すように、ｍ番目のフレームで可視光通信画像Ｃ１’を表示し、（ｍ＋１）番目のフレームで、可視光通信画像Ｃ１’と上述の均一関係にある可視光通信画像Ｃ２’を表示し、（ｍ＋２）番目のフレームで、可視光通信画像Ｃ１’およびＣ２’と上述の均一関係にある可視光通信画像Ｃ３’を表示してもよい。つまり、表示部１１０は、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１’、全黒画像Ｂ２の順に、これらの画像を表示し、（ｍ＋１）番目のフレーム内において、映像Ａ２、全黒画像Ｂ３、可視光通信画像Ｃ２’、全黒画像Ｂ４の順に、これらの画像を表示する。さらに、表示部１１０は、（ｍ＋１）番目のフレーム内において、上述の映像信号に含まれる映像Ａ３、全黒画像Ｂ５、可視光通信画像Ｃ３’、全黒画像Ｂ６の順に、これらの画像を表示する。
具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１’を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームとは異なる（ｍ＋１）番目のフレームに含まれる先頭のサブフレームで、映像Ａ２を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ３を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述の（ｍ＋１）番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１’と上述の均一関係にある可視光通信画像Ｃ２’を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ４を表示部１１０に表示させる。
その後、表示装置１００の表示制御部１４０は、上述の（ｍ＋１）番目のフレームとは異なる（ｍ＋２）番目のフレームに含まれる先頭のサブフレームで、映像Ａ３を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ５を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述の（ｍ＋２）番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１’およびＣ’と上述の均一関係にある可視光通信画像Ｃ３’を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ６を表示部１１０に表示させる。
これにより、受信装置２００は、全黒画像によって、可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’のそれぞれによる可視光通信信号を適切に受信することができる。さらに、均一関係にある可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’が表示されるため、これらの画像の縞模様を目立たなくすることができる。さらに、各フレームのコントラストを改善することができる。
また、受信装置２００は、周辺照明などの光源輝度の高周波ノイズを考慮して、露光時間を制御してもよい。
図１５は、本実施の形態で説明した可視光通信画像の表示に至る手順を表したフローチャートである。図１５に示すように、まず、表示装置１００の第２の信号処理部１６０は、第２の入力部１５０から可視光通信信号を取得する（ステップＳ１０１）。次に、第２の信号処理部１６０は、その可視光通信信号を符号化して二値化する（ステップＳ１０２）。さらに、第２の信号処理部１６０は、二値化によって得られたそれぞれの値に対応する各画素の情報を決定する（ステップＳ１０３）。なお、各画素の情報とは、色（色には白および黒が含まれる）および明るさのうちの少なくとも一方である。また、第２の信号処理部１６０は、各画素の情報を決定する代わりに、外部からそれらの情報を取得してもよい。第２の信号処理部１６０は、これらの情報に基づいて、基本となる符号化画像Ｐ１を作成する（ステップＳ１０４）。そして、第２の信号処理部１６０は、表示部１１０の表示面に配置される符号化画像Ｐ１の領域、つまり符号化画像Ｐ１の大きさ、位置、または回転方向などを決定する（ステップＳ１０５）。なお、第２の信号処理部１６０は、これらの大きさ、位置または回転方向などの情報を外部から取得してもよく、予め定められた大きさ、位置または回転方向を決定してもよい。
次に、第２の信号処理部１６０は、その決定された大きさ、位置または回転方向などに基づいて符号化画像Ｐ１を配置する（ステップＳ１０６）。例えば、第２の信号処理部１６０は、符号化画像Ｐ１にある縞状模様の平行方向および垂直方向の少なくとも一方に沿って符号化画像Ｐ１を拡大または縮小したり、その符号化画像Ｐ１を回転したりする。
次に、第２の信号処理部１６０は、ステップＳ１０６における符号化画像Ｐ１の配置によって、表示部１１０の表示面に表示される可視光通信画像の作成が終了したか否かを判定する（ステップＳ１０７）。ここで、終了していないと判定すると、第２の信号処理部１６０は、さらに、同じ符号化画像Ｐ１を繰り返し表示するか否かを判定する（ステップＳ１０８）。繰り返し表示しないと判定すると（ステップＳ１０８のＮｏ）、第２の信号処理部１６０は、ステップＳ１０１からの処理を繰り返し実行する。つまり、第２の信号処理部１６０は、別の可視光通信信号を取得して、その別の可視光通信信号に対して上述と同様の処理を行うことにより、別の符号化画像Ｐ１を生成して配置する。一方、繰り返し表示しないと判定すると（ステップＳ１０８のＹｅｓ）、第２の信号処理部１６０は、ステップＳ１０６からの処理を繰り返し実行する。このとき、第２の信号処理部１６０は、ステップＳ１０５で決定された大きさ、位置または回転方向などに基づいて、同じ符号化画像Ｐ１を拡大または縮小したり、回転したりする。
また、ステップＳ１０７において、可視光通信画像の作成が終了したと第２の信号処理部１６０によって判定されると（ステップＳ１０７のＹｅｓ）、作成された可視光通信画像が第１の可視光通信画像として決定される。つづいて、表示制御部１４０は、所定の明るさの全黒画像を表示部１１０に所定の時間表示させる（ステップＳ１０９ａ）。表示制御部１４０は、作成された可視光通信画像を第１の可視光通信画像として表示部１１０に表示させる（ステップＳ１１０）。このとき、表示部１１０は、この最終的な第１の可視光通信画像を所定の時間表示する。次に、表示制御部１４０は、所定の明るさの全黒画像を表示部１１０に所定の時間表示させる（ステップＳ１０９ｂ）。また、第２の信号処理部１６０は、第１の可視光通信画像の縞模様を構成する互いに異なる２つの輝度値または色を入れ換えることによって示される反転画像を、第２の可視光通信画像として作成する（ステップＳ１１１）。そして、表示制御部１４０は、その第２の信号処理部１６０によって作成された第２の可視光通信画像を表示部１１０に表示させる（ステップＳ１１２）。さらに、表示制御部１４０は、所定の明るさの全黒画像を表示部１１０に所定の時間表示させる（ステップＳ１０９ｃ）。全黒画像を表示させる各ステップ（Ｓ１０９ａ、Ｓ１０９ｂ、およびＳ１０９ｃ）において、全黒画像の明るさ、および、その全黒画像を表示させる時間は同じでもよく、異なっていてもよい。また、ステップＳ１１１は、ステップＳ１０９ｂとステップＳ１１２との間で行われるが、他のタイミングで行われてもよい。例えば、ステップＳ１１１のタイミング、つまり第２の可視光通信画像を作成する時期は、ステップＳ１０７において可視光通信画像の作成が終了したと判定されたとき（ステップＳ１０７のＹｅｓ）の後であってもよい。このように、ステップＳ１１１のタイミングは、ステップ１１２で第２の可視光通信画像が表示部１１０に表示されるまでの期間のうちのいずれの期間であってもよい。
次に、第２の信号処理部１６０は、次のフレームに対して可視光通信画像を作成するか否かを判定する（ステップＳ１１３）。ここで、生成すると判定すると（ステップＳ１１３のＹｅｓ）、第２の信号処理部１６０は、ステップＳ１０１からの処理を繰り返し実行する。
なお、ステップＳ１０９ａ、Ｓ１０９ｂ、Ｓ１０９ｃ、Ｓ１１１およびＳ１１２のそれぞれの処理は、行われても、行わなくても良い。また、第２の信号処理部１６０は、符号化画像Ｐ１の縞状模様と垂直方向にその符号化画像Ｐ１を拡大または縮小する際には、二値化データの最小単位が画素の整数倍に相当するように、符号化画像Ｐ１のサイズを調整することが望ましい。また、作成される第１および第２の可視光通信画像のそれぞれは、表示部１１０の表示面の全領域に配置される必要はない。つまり、表示部１１０の表示面には、可視光通信画像が配置されない領域、言いかえれば、信号が送信されない領域があってもよい。このとき、表示制御部１４０は、第１の可視光通信画像が表示されている場合であっても、第２の可視光通信画像が表示されている場合であっても、信号が送信されない領域の輝度を、できる限り低い輝度に調整する。
図１６は、高周波ノイズ周期が２０マイクロ秒である場合の周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示す。高周波ノイズ周期に比べて露光時間が大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。露光時間が高周波ノイズ周期の整数倍のときは高周波ノイズの影響がなくなり、可視光通信信号の受信が最も容易になる。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではその周期は２０マイクロ秒以下であるため、露光時間を２０μｓｅｃ以上とすることで、光源輝度の推定を容易に行うことができる。
また、通常の映像の一部に可視光通信画像をはめ込む形態で実施しても良い。この場合、表示部の限られた部分だけで可視光通信信号を受信するため、受信装置２００と、画面との関係に制約が発生する。その一方で、映像信号の中に画面のその限られた部分に、受信装置２００を向けるように誘導する画像を表示することで、解決することもできる。更に、本実施の形態では、可視光通信画像を目立たなく挿入する方法について説明したが、ここでは、領域が制限されているために、信号の縞模様を目立たなくする工夫を軽減しても良い。もちろん、できるだけ、目立たない方法を取っても良いし、取らなくともよい。また、非常に短い時間（例えば、１ｍｓｅｃ以下）でなく、連続的或いは比較的長い時間だけ、可視光通信画像を表示して、上述と同様の方法で可視光通信信号を受信してもよい。この際には、受信エラー（撮像エラー）の確率が大きく減少するために、繰り返し送信するなどの制約が緩和される。
なお、本実施の形態では、表示装置１００として映像を表示するディスプレイを例に挙げているが、表示装置１００は、プロジェクターのように映像を投影する機器であってもよい。
図１７は、本実施の形態における表示装置１００の３Ｄ映像への適用例を示す図である。
近年、種々の映像で取り入れられているメガネ式の３Ｄ映像に表示装置１００を適応しても良い。この場合、表示装置１００は、映像信号（左眼画像または右眼画像）が表示されるタイミングと少なくとも同じタイミングでは、可視光通信画像を左右の何れの眼にも出力しない。可視光通信画像を表示している期間にメガネの両眼のシャッターを閉じることにより、視聴者は違和感なく映像を視認することができる。
また、本実施の形態では、可視光通信画像が、連続的に、或いは比較的長い時間表示されることによって、人の目に認識される場合には、受信装置に具備される撮像部は、ＣＣＤなどのイメージセンサーであればよく、順次露光型のイメージセンサーでなくともよい。
また、本実施の形態では、表示装置１００を用いて可視光通信を行う方法を説明したが、看板などの照明装置においても、同様の方法で実現することができる。
図１８は、縦方向に複数のＬＥＤを配した照明装置と、その駆動信号の一例とを示す図である。
図１８の（ａ）に示すように、表示装置は、例えば縦方向に複数のＬＥＤを配した照明装置である。各ＬＥＤ素子が可視光通信信号を符号化した横縞の最小単位に相当し、符号化したＯＮまたはＯＦＦ信号に相当する。このような表示装置は、照明装置であるため、明るさが可視光通信信号によって変化しないように、図１８の（ｂ）で示す通常の可視光通信信号に加え、図１８の（ｃ）および（ｄ）に示す可視光通信信号を、可視光通信信号出力期間において送信してもよい。図１８の（ｃ）および（ｂ）に示す可視光通信信号は、縦方向に配列された各ＬＥＤの光の明暗によって表現され、さらに、それらの可視光信号では、各ＬＥＤの明と暗と（点灯と非点灯と）が反転している。
図１８の（ｅ）に、図１８の（ａ）におけるＬＥＤ１とＬＥＤ３の制御の状態を示す。図１８の（ｅ）において、横軸は時間を示す。図１８の（ｅ）に示すように、照明装置は、可視光通信信号出力期間内の時刻ｔ１に図１８の（ｃ）に示す可視光通信信号を出力し、時刻ｔ２に図１８の（ｄ）に示す可視光通信信号を出力する。すなわち、照明装置は、時刻ｔ１においては、ＬＥＤ３が非点灯、時刻ｔ２においては、ＬＥＤ１が非点灯となるように各ＬＥＤを制御する。この動作を一定周期で繰り返す。これにより、照明装置においても、映像を表示する表示装置と同様に、可視光通信信号の送信が可能となる。尚、照明におけるチラツキなどを考慮すると、時刻ｔ１およびｔ２で非点灯状態になる期間は、０．２ｍｓｅｃ以下であることが望ましい。
以上のように、図面および詳細な説明によって、出願人がベストモードと考える実施の形態と他の実施の形態とを提供した。これらは、特定の実施の形態を参照することにより、当業者に対して、請求の範囲に記載の主題を例証するために提供されるものである。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、それ以外の構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちにそれらの必須ではない構成要素が必須であるとの認定を受けるべきではない。また、請求の範囲またはその均等の範囲において、上述の実施の形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。
また、本開示には、以下の映像表示装置も含まれる。つまり、この映像表示装置は、入力される映像信号をフレーム単位で複数の画像に分解して出力する第１の信号処理部と、入力される可視光通信信号を符号化して符号化画像を生成し、前記符号化画像を所定の配置に配置して可視光通信画像を生成すると共に、前記可視光通信画像を表示する表示タイミングを決定する第２の信号処理部と、前記第１の信号処理部より出力される複数の画像に前記第２の信号処理部が決定した表示タイミングで前記可視光通信画像を挿入して表示するよう制御する表示制御部と、前記表示制御部の制御に従って前記第１の信号処理部より出力される複数の画像と前記可視光通信画像を表示する表示部とを備える。
また、映像表示装置は、可視光通信信号を出力可能な映像表示装置であって、映像を表示する表示面と、映像信号に基づいて前記表示パネルの表示面に可視光通信信号を符号化し、一定の規則で画像化した縞状画像を含む画像を作成する可視光通信信号制御部と、映像を表示するよう制御する表示制御部と、前記可視光通信信号を符号化して作成した画像を極短い時間映像に混入させて表示する一連の映像信号を編成し直す可視光通信信号符号化画像統合制御部と、これら映像信号を表示する表示面とを備える。
また、前記第２の信号処理部は、前記可視光通信画像を表示する極短い時間とは、１ｍｓｅｃ以内で、望ましくは０．２ｍｓｅｃ以内としてもよい。
また、前記可視光通信信号を符号化して作成した縞様画像を含む画像において、縞様画像は少なくとも１つのまとまりを持った可視光信号であって、表示面の縁辺に対して平行でない、或いは、複数の縞様画像を含み、互いに直交或いは鋭角を持って交わる状況を備えた映像を出力してもよい。
また、前記表示部の表示面に可視光通信信号を符号化し、所定の規則で画像化した縞状画像を表示する期間と連続して前記所定の縞状画像の各画素の補足を持ってなす縞状画像を表示面に表示することを特徴としてもよい。
また、本実施の形態では、液晶表示装置を表示装置１００の一例として説明を行ったが、表示装置１００をこれ以外の種類の表示装置に適応してもよい。
フラットタイプの表示装置のうち、プラズマディスプレイ（ＰＤＰ）や、有機ＥＬディスプレイ（ＯＬＥＤ）等の自発光型のディスプレイは、各映像信号に基づいて、各々の原色（一般的にはＲ，Ｇ，Ｂであることが多い）のそれぞれの成分に対して階調をつけてそれらの成分を発光させ、映像表示を行う。ＰＤＰは、階調を量子化して重みをつけたサブフィールドにフレームを分解し、各々のサブフィールドにおいて点灯する／しないの情報を書き込み、時分割で発光することで、ほとんどの階調表現を行う。更なる階調表示を行うために、誤差拡散などの手法を用いて、空間的に分解を行うことで表現の幅を広げる場合もある。この際には、前述した各サブフィールドのうちのひとつ以上のサブフィールドの期間において符号化画像を出力することによって、符号化画像を表示することが可能となる。また、通常のサブフレーム構成以外の期間を設けて、その期間において符号化画像を表示することも可能となる。符号化画像は、１か０か（白か黒か、あるいは、Ｒとシアンなど補色関係の組み合わせ）の１ビットの信号のみを表示する場合には、短い期間のサブフレームを少なくともひとつ以上、符号化画像を表示する期間に割り当てる。これにより、その１ビットの信号を表示することが可能となる。
ＯＬＥＤの場合には、ＰＤＰのように、重みをつけたサブフレームの組み合わせと、各画素の原色部分に相当する素子に流す電流とによって、単位時間当たりの発光エネルギーを制御することも可能である。そのため、サブフレームを割り当てる方法を適応することも可能であるが、別途、符号化画像を表示する期間を設けることのほうが望ましい。この際に、前述の１ビットの信号が構成される画像を作成する方法として、電流を流すか流さないかという観点で、画像を構成してもよい。しかし、別の電流量を流して輝度差をつけて符号化画像を構成することも可能であり、符号化画像を表示する期間も比較的高い自由度で選択することが可能となる。この際には、人の目で認識できないようにするために、できるだけ符号化画像による輝度を低くしたいという要求と、撮像する素子の感度によってその瞬間の輝度はできるだけ高くしたいという要求の両方を満たすため、たとえば非常に短い期間に高い輝度の符号化画像を表示することなどが可能である。
一方で、一般の液晶ディスプレイと同様に自発光型ではなく、バックライトなどの光源を必要とする表示装置には、例えば、ＭＥＭＳ（マイクロエレクトリックメカニカルシステム）を用いたフラットディスプレイと、プロジェクターなどがあげられる。さらに、プロジェクターには、ＤＭＤを用いた各画素に対応した反射素子を高速で駆動して映像を表示するタイプのプロジェクターと、液晶を用いたプロジェクターとがある。ＭＥＭＳを用いたディスプレイは、一般的にＭＥＭＳの素子を原色ごとに設けて映像表示するものと、ＭＥＭＳの素子を画素に対応する数だけ設けて、各原色は、光源を時分割して表示するものとがある。なお、後者のほうが一般的になると考えられている。
前者は、単純にＰＷＭ制御によって光源の光が透過する時間を制御することで階調表現するものと、ＰＤＰと同様に重みをつけたサブフレームにフレームを分割して量子化した階調データを用いて、各サブフレームの透過または不透過を制御することにより階調表現を行うものとがある。さらには、光源の輝度の変化との組み合わせでさらに広い範囲の階調表現をすることも可能となる。各々の表示装置において、ＯＬＥＤと同様に、各サブフレームを用いて符号化画像を送信することが可能であるため、サブフレームでひとつの符号化画像を構成することも可能である。また、ＰＷＭの場合には、符号化画像を表示する期間を特定してもよい。さらに、輝度の変化と、時分割、あるいはセブフレーム制御との組み合わせの場合には、光源の輝度の制御がＯＬＥＤにおける電流量の制御と同様に、時間以外のパラメータによって階調表現することも可能である。このため、透過させる光の強度によって、１ビットの信号を表す符号化画像を作成して送信してもよい。
プロジェクターでは、スクリーンに投影した映像が時分割されて、非常に短い期間において符号化画像を構成できる制御を行えばよい。具体的にその制御の方法を説明する。
ＤＭＤを用いたプロジェクターには、各原色を時分割するタイプと、原色ごとにＤＭＤを配置するタイプとがある。前者のタイプは、駆動形態としては、ＭＥＭＳの場合とほぼ同様の構成により実現できる。しかし、プロジェクターの場合には、光源の光を反射した光をスクリーンに投影した際の画像に符号化画像を表示しなければならない。このため、設備の構成は異なるが、制御方法としては、ＰＷＭを用いた場合、サブフレームを用いた場合、光源光の強度制御まで用いた場合、および、それらを組み合わせた場合のそれぞれに応じた機器に合わせて、符号化画像をスクリーンに投影する手段が考えられる。これらも、すべてＭＥＭＳにおいて、バックライトの光を前面に透過させる場合と読み替えて行えばよい。後者のタイプでは、原色ごとの点灯または非点灯により符号化画像の信号量（ビット数）をあげてもよいが、すべての原色を同時に制御する、あるいは、同時に逆相の駆動を用いる。これにより、白黒あるいはお互いに補色の関係にある二色によって、符号化画像をスクリーンに投影することが可能となる。液晶を用いたプロジェクターに関しては、液晶ディスプレイを用いた場合と同様の方法で、符号化画像をスクリーンに投影することが可能となる。
図１９Ａは、本開示の一態様に係る表示方法のフローチャートである。
本開示の一態様に係る表示方法は、映像信号に含まれる画像をフレームごとに表示する表示方法であって、ステップＳＬ１１〜ＳＬ１３を含む。つまり、この表示方法は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成ステップＳＬ１１と、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示ステップＳＬ１２と、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示ステップＳＬ１３とを含む。また、第２の表示ステップＳＬ１３では、前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。
図１９Ｂは、本開示の一態様に係る表示装置のブロック図である。
本開示の一態様に係る表示装置Ｌ１０は、映像信号に含まれる画像をフレームごとに表示する表示装置であって、構成要素Ｌ１１〜Ｌ１３を備える。つまり、この表示装置Ｌ１０は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成部Ｌ１１と、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示部Ｌ１２と、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示部Ｌ１３とを備える。また、第２の表示部Ｌ１３は、前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。なお、可視光通信画像生成部Ｌ１１は、例えば図２に示す第２の信号処理部１６０に相当し、第１および第２の表示部Ｌ１２，Ｌ１３は、例えば図２に示す表示制御部１４０および表示部１１０から構成される。
このような図１９Ａおよび図１９Ｂによって示される表示方法および表示装置Ｌ１０では、例えば、全黒画像または一様に灰色の画像が識別用画像として表示された後に第１の可視光通信画像が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始位置を示す一様に黒または灰色のラインが表れる。したがって、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。また、可視光通信信号の送信のためにバックライトを点滅させる必要がないため、画質を大きく劣化させることなく、可視光通信信号を映像に挿入して送信することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図１９Ａのフローチャートによって示される表示方法をコンピュータに実行させる。
なお、本開示における包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示にかかる表示方法および表示装置は、画像以外の情報を安全にしかも能動的に取得できる。したがって、家庭でのテレビ或いはＰＣ、タブレットなどの機器は勿論のこと、外出先でのサイネージや、情報端末、情報表示機器においても、その能動性ゆえに安全に必要な情報を必要なだけ送信することができ、あらゆる場面での画像付帯情報の転送、情報発信などのさまざまな用途に適用可能である。
１００ 表示装置
１１０ 表示部
１２０ 第１の入力部
１３０ 第１の信号処理部
１４０ 表示制御部
１５０ 第２の入力部
１６０ 第２の信号処理部
２００ 受信装置
２１０ 撮像部
２２０ 映像化部
２３０ 信号判定部
２４０ 信号復調部
本開示は、映像信号に含まれる画像を表示する表示方法などに関する。
可視光を用いた通信技術が提案されている。例えば特許文献１および２のように、ディスプレイ、プロジェクターなどを含めた映像表示装置において、通常の映像表示の中に可視光による通信情報を重畳して表示を行う提案がされている。
また、印刷物で試用されている電子透かし技術や、ＱＲコード（登録商標）、バーコードなどを画像中に表示して、それらの符号化された信号を介して情報を携帯電話やスマートフォン、デジタルカメラなどの撮像機器を通じて、インターネットの世界への展開をする技術がある。
特開２００７−４３７０６号公報 特開２００９−２１２７６８号公報
しかしながら、上記特許文献１および２の表示方法では、可視光通信用の信号を適切に送信することができないという問題がある。
そこで、本開示は、可視光通信信号を適切に送信することができる表示方法を提供する。
本開示の表示方法は、映像信号に含まれる画像をフレームごとに表示する表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成ステップと、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示ステップと、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示ステップとを含み、前記第２の表示ステップでは、前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。
本開示によれば、可視光通信の信号を適切に送信することができる。
図１は、実施の形態にかかる可視光通信のシステムの一例を示す概略図である。 図２は、実施の形態にかかる表示装置の概略構成を示すブロック図である。 図３は、実施の形態にかかる受信装置の概略構成を示すブロック図である。 図４は、実施の形態にかかる可視光通信画像および符号化画像の一例を示す図である。 図５は、実施の形態にかかる表示装置の動作を説明するための図である。 図６Ａは、実施の形態にかかる表示装置および受信装置の動作を説明するための図である。 図６Ｂは、実施の形態にかかる表示装置および受信装置の動作を説明するための図である。 図７は、実施の形態にかかる可視光通信画像と受信装置との角度と、撮像エラー発生確率との関係を示す図である。 図８は、実施の形態にかかる表示装置の動作を説明するための図である。 図９は、実施の形態にかかる可視光通信画像の他の例を示す図である。 図１０Ａは、実施の形態にかかる可視光通信画像の他の例を示す図である。 図１０Ｂは、実施の形態にかかる表示装置の動作を説明するための図である。 図１１は、可視光通信画像と反転画像との時間間隔と、縞模様認識率との関係を示す図である。 図１２は、実施の形態にかかる表示装置の動作を説明するための図である。 図１３は、実施の形態にかかる表示装置の動作を説明するための図である。 図１４は、実施の形態にかかる表示装置の動作を説明するための図である。 図１５は、実施の形態で説明した可視光通信画像の表示に至る手順を表したフローチャートである。 図１６は、周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示す図である。 図１７は、実施の形態にかかる表示方法を３Ｄ表示システムに適用した場合の一例を示す図である。 図１８は、実施の形態にかかる表示方法を照明装置に適用した一例を示す図である。 図１９Ａは、本開示の一態様に係る表示方法のフローチャートである。 図１９Ｂは、本開示の一態様に係る表示装置のブロック図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
（発明に至った経緯）
特許文献１および２の表示方法では、バックライトの点滅により可視光通信信号を映像に重畳する。そのため、バックライトの消灯時間中は可視光通信信号の送信ができない。可視光通信信号を送信ができない期間は、信号の伝達ミスの要因となるため、画質を低下させた状態で通信を行うしかない。なお、本開示において、画格とは画面サイズのことである。
また、これらの方法では、画格サイズ、および焦点合わせのレベルなどの制限があるため、画像認識に時間がかかるという課題がある。
そこで本開示は、画質を大きく劣化させることなく、通信に要する制限を緩和しながら、可視光通信信号を映像に挿入して送信することができる表示方法などを提供する。
本開示の一態様に係る表示方法は、映像信号に含まれる画像をフレームごとに表示する表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成ステップと、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示ステップと、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示ステップとを含み、前記第２の表示ステップでは、前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。
これにより、例えば全黒画像または一様に灰色の画像が識別用画像として表示された後に第１の可視光通信画像が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始位置を示す一様に黒または灰色のラインが表れる。したがって、そのイメージセンサーを備える受信装置は、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。また、可視光通信信号の送信のためにバックライトを点滅させる必要がないため、画質を大きく劣化させることなく、通信に要する制限を緩和しながら、可視光通信信号を映像に挿入して送信することができる。
また、前記表示方法は、さらに、前記第１の可視光通信画像が表示された後に、可視光通信用の縞模様の画像を第２の可視光通信画像として表示する第３の表示ステップを含んでもよい。
これにより、縞模様の可視光通信画像が繰り返し表示されるため、受信装置は、それらの可視光通信画像によって示される可視光通信信号を確実に受信することができる。
また、前記第３の表示ステップでは、前記第１の可視光通信画像の縞模様の向きと異なる向きの縞模様の前記第２の可視光通信画像を表示してもよい。
これにより、繰り返し表示される可視光通信画像の縞模様の向きが異なるため、イメージセンサーに含まれる各露光ラインの向きによって可視光通信信号の受信確率が低下すること（撮像エラー発生確率が上昇すること）を抑えることができる。
また、前記第３の表示ステップでは、前記第１の可視光通信画像の縞模様を構成する互いに異なる２つの輝度値または色を入れ換えることによって示される反転画像を、前記第２の可視光通信画像として表示してもよい。例えば、前記第１および第２の可視光通信画像のそれぞれの縞模様は、補色の関係を有する２つの色を用いて構成されている。
これにより、繰り返し表示される可視光通信画像が、例えばポジに対するネガなどの反転画像として表示されるため、可視光通信画像が表示されることによる画像のちらつきを抑えることができる。
また、前記第３の表示ステップでは、前記第１の可視光通信画像と前記第２の可視光通信画像との表示間隔が２０ｍ秒以下となるように、前記第２の可視光通信画像を表示してもよい。
これにより、可視光通信画像が人の目に視認され難くすることができ、映像信号の画像に対する可視光通信画像の影響を抑えることができる。
また、前記表示方法は、さらに、前記第１の可視光通信画像が表示された後、前記第２の可視光通信画像が表示されるまでの間に、前記識別用画像を再び表示する第１の再表示ステップを含んでもよい。
これにより、第１の可視光通信画像と第２の可視光通信画像とが表示される間に識別用画像が表示されるため、受信装置は、第１の可視光通信画像による可視光通信信号と、第２の可視光通信画像による可視光通信信号とを適切に分離して受信することができる。
また、前記表示方法は、さらに、前記第２の可視光通信画像が表示された後に、前記識別用画像を再び表示する第２の再表示ステップを含んでもよい。
これにより、上述の撮像画像において、第２の可視光通信画像による可視光通信信号の終了位置を明確にすることができ、その可視光通信信号を適切に送信することができる。
また、前記第１または第２の再表示ステップでは、前記所定のフレーム内で、当該所定のフレームよりも短い期間だけ前記識別用画像を再び表示してもよい。
これにより、識別画像を目立たなくすることができ、映像信号の画像に対する識別画像の影響を抑えることができる。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
図１は、本実施の形態にかかる可視光通信システムの一例を示す概略図である。
表示装置１００は、例えば液晶表示装置であり、表示部１１０に映像を表示することができる。また、この表示部１１０に表示されている映像には、表示されている映像に関する情報を示す可視光通信信号が挿入されている。表示装置１００の表示部１１０に表示されることによって送信された可視光通信信号を、受信装置２００は表示部１１０に表示された映像を撮像することで受信する。受信装置２００は、例えば、順次露光型のイメージセンサーが内蔵されているスマートフォンとして構成されている。これによりユーザーは、表示部１１０に表示されている画像に関連する情報などを受け取ることができる。
なお、本実施の形態では、表示装置１００として液晶表示装置を例にあげているが、表示装置１００は、有機ＥＬ表示装置、プラズマ表示装置などのディスプレイ機器、或いは、プロジェクション表示装置、プロジェクターなどの投影型の表示装置であっても良い。
また、受信装置２００としてスマートフォンを例に挙げているが、受信装置２００は、順次露光が可能なタイプのイメージセンサーを搭載した電子機器であればよい。例えばデジタルスチルカメラなどでもよい。
図２は、本実施の形態にかかる表示装置１００の概略構成の一例示すブロック図である。図２に示すように、表示装置１００は、表示部１１０、第１の入力部１２０、第１の信号処理部１３０、表示制御部１４０、第２の入力部１５０、および第２の信号処理部１６０を備えている。
第１の入力部１２０は、放送電波、映像録画機、映像再生機、ＰＣなどからアンテナケーブル、映像信号線、例えばコンポジットケーブルや、ＨＤＭＩ（登録商標）ケーブル、ＰＪＬｉｎｋケーブルなど、或いはＬＡＮケーブルなどを通じて、表示部１１０に表示される映像に関する映像信号を受信し、第１の信号処理部１３０に送信する。尚、映像録画機或いは映像再生機においては種々の記録媒体に保存した信号を用いても良い。
第１の信号処理部１３０は、入力された映像信号に復号処理などの一般的な画像処理を施した後、各フレームを複数のサブフレームに分解する。第１の信号処理部１３０は、サブフレームと映像信号の大きさ、表示タイミングや明るさなどを示す情報を表示制御部１４０と第２の信号処理部１６０に送信する。なお、フレームは、映像信号に含まれる１枚のピクチャを表示する時間であって、例えば１／６０秒である。また、サブフレームは、フレームを分割することによって得られる時間であって、例えば、フレームの１／４の時間である。
第２の入力部１５０では、ＰＣなどで作成された可視光通信信号を専用のケーブルなど、或いは、ＬＡＮケーブルなどを通じて受信する。尚、可視光通信信号は、放送電波の一部に重畳して、アンテナケーブルを通じて入力しても良いし、それを録画した映像録画機、或いは別途ＰＣなどで作成された可視光通信信号を映像信号と重畳したものを映像録画機或いは映像再生機からＨＤＭＩ（登録商標）ケーブルやＰＪＬｉｎｋケーブル等の一部のラインに載せて送受信しても良い。映像録画機或いは映像再生機においては種々の記録媒体に保存した信号を用いても良い。また、外部から受信する以外にも、表示装置１００のＩＤなど、表示装置に内蔵された情報を利用し、インターネットなどを通じてサーバー情報を読み込み取得する情報に代替する方法もある。第２の入力部１５０は、受信した信号を、第２の信号処理部１６０に送信する。以下、可視光通信信号の一連のデータの１まとまりを１ブロックとして標記することとする。
第２の信号処理部１６０は、第２の入力部１５０よりに入力された可視光通信信号の変調信号を作成し、変調信号を元に可視光通信画像を作成する。可視光通信信号の符号化では、ＪＥＩＴＡ−ＣＰ１２２２、或いは、１２２３に準拠した符号化を行っても良いし、ＩＥＥＥ−Ｐ８０２．１５．７などの規格を用いても良い。また、符号化だけであれば、それに対応した受信装置を用いて構成してもよい。これら以外の符号化方法、例えばマンチェスターコーディングなどを用いて変調しても良い。更には、ここでは、あくまで、二値での符号化を行っていたが、階調表現をそのまま使用できることをかんがみると、三値以上で符号化すること、すなわち、従来の２倍以上の情報量を伝達することも可能である。
また、第２の信号処理部１６０は、第１の信号処理部１３０から入力される映像信号に含まれる映像の明るさ等に関する情報に基づいて、１フレームを構成するサブフレームのうち、どのサブフレームに可視光通信画像を挿入させるかを決定する。例えば、比較的明るく表示されるフレームの中のサブフレームを選択して可視光通信画像を挿入する。また、第２の信号処理部１６０は、比較的明るく表示されるサブフレームを選択して可視光通信画像を挿入してもよい。
また、重みをつけたサブフレームを用いて階調表現している場合には、誤差拡散などにより階調表現の幅を広げている場合がある。この場合、重みの低いサブフレームを用いる際には、誤差拡散などでも輝度が変動しなく、点灯状態が継続される期間を選択して、可視光通信画像を表示しても良い。
さらに、通常の映像表示に関しては、可視光通信画像を表示することによる輝度の上昇低下を他のサブフィールドで補正を行い、連続した映像として違和感なく視聴できる表示方法を用いても良い。
なお、既存のサブフレームではなく、１フレーム内に、通常の映像を表示する時間領域と、可視光通信画像を表示する時間領域を設定または作成してもよい。この際も、可視光通信画像が挿入または表示されるフレームとして、第２の信号処理部１６０が比較的明るいフレームを選択しても良い。
また、可視光通信画像を挿入する位置また時間領域が予め決められている場合は、第２の信号処理部１６０によって行われる、可視光通信画像を挿入するサブフレーム又は時間領域の決定に関する処理を行わなくてもよい。この場合は、予め決められているサブフレーム又は時間領域に可視光通信画像を挿入して表示または出力すればよい。
また、可視光通信画像を表示する時間は、できる限り短時間にするほうが望ましいが、受信装置側の性能によるところも大きいので、本件は後に詳述する。
第２の信号処理部１６０は、生成した可視光通信画像と可視光通信画像を挿入するサブフレーム又は時間領域を示す表示タイミング情報とを表示制御部１４０に送信する。
表示制御部１４０は、第１の信号処理部１３０及び第２の信号処理部１６０よりそれぞれ入力される表示タイミング情報に応じて、第１の信号処理部１３０より入力される映像信号に、第２の信号処理部１６０より入力される可視光通信画像を挿入する。なお、表示制御部１４０は、後述するとおり、映像の応答速度などを考慮すると、固体半導体素子を用いたスイッチングを行える素子を用いて画像表示することが望ましい。表示部１１０は、表示制御部１４０より入力される映像信号を表示する。
図３は、本実施の形態にかかる受信装置２００の一構成例を示すブロック図である。
図３に示すように、受信装置２００は、撮像部２１０、映像化部２２０、信号判定部２３０、および信号復調部２４０を備えている。
撮像部２１０は、表示部１１０に表示されている画像を撮像する。撮像部２１０は、例えば、順次露光型のイメージセンサーで構成される。撮像を開始すると、イメージセンサーは、順次横列として順次露光を行い、撮像したデータをバッファ（図示せず）に格納する。イメージセンサーによっては、列（露光ライン）毎に順次露光をするものや、各露光素子毎、一定の素子の群として順次露光するものなど存在するが、取り扱いは同じで、あくまで画像の横方向に配列されたデータを取得することが目的である。
映像化部２２０は、撮像部２１０で撮像されバッファに格納されているデータに対して、各画素毎の輝度を、二次元表示したビットマップとして表現し、信号判定部２３０に映像として出力する。
信号判定部２３０は、映像化部２２０より入力された映像に可視光通信画像が含まれているかどうかを判定する。まず、信号判定部２３０は、１ブロックの大きさのデータごとに、データのヘッダ部分を探し、データが含まれているか否かを判断する。信号判定部２３０は、入力された映像に可視光通信画像が挿入されていると判定した場合は、入力された映像を信号復調部２４０に出力すると共に、撮像部２１０に撮像動作をやめるよう指示する。また、信号判定部２３０が、入力された信号に可視光通信画像が挿入されていないと判定した場合には、撮像部２１０は、バッファに格納したデータを、撮像して得られた画像データに上書を行いながら順次露光を更に繰り返す。ここで、信号判定部２３０は、一定期間撮像を行っても、可視光通信画像が挿入されている映像を判定できない場合は、撮像部２１０の撮像動作を停止させる。
信号復調部２４０は、信号判定部２３０より出力された映像から可視光通信画像を取り出して、元の可視光通信信号に復調する。
次に、可視光通信信号を画像化した可視光通信画像について説明する。
図４は、可視光通信画像の一例を示した図である。図４の（ａ）は、１ブロックの可視光通信信号を符号化した符号化画像Ｐを示し、水平方向に明暗の表示となって表現される。図４の（ａ）の符号化画像Ｐは、図４の（ｂ）に示すように、そのまま鉛直方向に、表示部１１０の両端付近、つまり画面の両端付近まで、延伸されることによって、符号化画像Ｐ１が生成される。その後、図４の（ｃ）に示すように、図４の（ｂ）の符号化画像Ｐ１を横方向に５回繰り返し表示し、最終的な可視光通信画像が生成される。ここで、横方向への繰り返し回数は、１ブロックの符号化画像の大きさと、映像（画面）の大きさに応じて決定する。
なお、１ブロックの符号化画像を延伸していることによって、後述するように、多くの露光ラインで捉えることができるため、受信確率を向上させることが期待できる。また、１ブロックの符号化画像を繰り返し表示しているのは、表示装置１００と受信装置２００間の距離、受信装置２００の撮像部２１０の性能によって画格が異なることに対応するためである。これは、受信装置２００が表示部１１０全体を撮影する性能がなくても、表示部１１０に表示されている可視光通信画像のいずれかの部分を撮影すれば、図４の（ａ）で示す符号化画像Ｐ１が取得できることを示す。可視光通信画像をこのように生成することで、受信装置２００の撮影状況の制約を緩和することが可能となる。符号化画像の繰り返し回数は多いほど近接した撮影が有効になる。また、受信装置２００が、画面全体を撮像できることを前提とするならば、符号化画像を繰り返す必要は必ずしもない。
以下、本実施の形態にかかる可視光通信システムの動作について具体的に説明する。まず、表示装置１００の動作を説明する。
図５は、本実施の形態にかかる表示装置１００の動作を説明する図である。図５において、横方向を時間軸とする。
図５の（ａ）は第１の信号処理部１３０から出力される画像、同図の（ｂ）は第２の信号処理部１６０から出力される画像、同図の（ｃ）は、表示制御部１４０から出力される画像を示す。
まず、図５の（ａ）に示すように、第１の信号処理部１３０からは、１／Ｆ秒間に４枚の画像が出力される。これは、第１の入力部１２０に入力された映像が、１／Ｆ秒間に４つの画像を表示することを示している。第１の信号処理部１３０は、表示制御部１４０に、１／Ｆ秒間に４つの画像を表示する表示タイミング情報を送信する。また、第１の信号処理部１３０は、画像Ａ１１、Ａ２１、Ａ３１、Ａ４１、…を１／Ｆ秒毎に表示制御部１４０に出力する。さらに、第１の信号処理部１３０は、表示制御部１４０に送信した表示タイミング情報と同じ表示タイミング情報を第２の信号処理部１６０に送信する。
次に、図５の（ｂ）に示すように、第２の信号処理部１６０は、予め保持している全黒画像Ｂ１と、第２の入力部１５０から入力された可視光通信信号より生成した可視光通信画像Ｃ１とを表示制御部１４０に出力する。この場合、第２の信号処理部１６０は、画像Ａ１ｘ、Ａ２ｘ、Ａ３ｘ、Ａ４ｘを、画像の明るさなどから、可視光通信画像を混入する画像と決定する（ｘは、画像がｘ番目のフレームにあることを表す）。また、第２の信号処理部１６０は、１／Ｆ秒間に４枚の画像を表示し、３枚目に全黒画像Ｂｘ、４枚目に可視光通信画像Ｃｘを混入させることを決定する。第２の信号処理部１６０は、決定した表示に関する情報を、表示タイミング情報として表示制御部１４０に出力する。例えば、ｘは１である。
次に、図５に示すように、表示制御部１４０は、第１の信号処理部１３０から入力された画像Ａと、第２の信号処理部１６０から入力された全黒画像Ｂｘおよび可視光通信画像Ｃｘとの表示タイミングを、入力された表示タイミング情報に応じて決定する。この場合、表示制御部１４０は、表示部１１０が１／Ｆ秒間に４枚の画像を表示するよう制御する。表示制御部１４０は、４枚の画像において、１枚目および２枚目には、第１の信号処理部１３０から送信された画像Ａ１１、Ａ２１を表示部１１０に表示するように制御し、３枚目には、第２の信号処理部１６０から送信された全黒画像Ｂ１を表示部１１０に表示するように制御し、４枚目に、第２の信号処理部１６０から送信された可視光通信画像Ｃ１を表示部１１０に表示するように制御する。
さらに、表示制御部１４０は、次の１／Ｆ秒間に４枚の画像を表示するよう制御する。この場合、表示制御部１４０は、４枚の画像において、１枚目および２枚目には、画像Ａ１（ｘ＋１）、Ａ２（ｘ＋１）を表示部１１０に表示するように制御し、３枚目には、全黒画像Ｂ（ｘ＋１）を表示部１１０に表示するように制御し、４枚目には、可視光通信画像Ｃ（ｘ＋１）を表示部１１０に表示するよう制御する。図５の例では、４枚目の可視光通信画像Ｃ１を９０度回転し、可視光通信画像Ｃ１と同じサイズに成型した可視光通信画像Ｃ２を混入させている。すなわち、可視光通信画像を複数回混入させるときは、同じ可視光通信画像を複数回混入させても良いし、元の可視光通信画像を反転したり、回転させて混入させても良い。これは、受信装置２００の撮像方向または角度などに対応するのに有効である。全黒画像Ｂ１とＢ２は同じであってもよく、可視光通信画像Ｃ１とＣ２は同じものであっても、前述したように異なるものでも良い。
また、各画像Ａ１ｘ、Ａ２ｘ、Ａ３ｘ、Ａ４ｘ、全黒画像Ｂｘ、および可視光通信画像Ｃｘはそれぞれ１／Ｆ秒間隔で表示される。
尚、映像によっては、可視光通信画像を連続したフレームで表示せず、いくつかのフレーム毎に表示、或いはランダムに表示しても良い。
なお、本実施の形態のサブフレームとは、階調表現のために作成されたサブフレームに限らず、液晶表示装置などの所謂４倍駆動など、画質向上のために作成されたサブフレームであってもよい。
次に、受信装置２００の動作を説明する。
図６Ａおよび図６Ｂは、本実施の形態にかかる受信装置の動作を説明する図である。図６Ａおよび図６Ｂにおいて、横方向を時間軸とする。
図６Ａの（ａ）は表示装置１００の表示部１１０に表示される画像、同図の（ｂ）は、撮像部２１０における各露光ラインの露光時間、同図の（ｃ）は受信装置が撮像した画像を示す。
図６Ａの（ａ）に示すように、表示部１１０には、１／Ｆ秒に４枚の画像が表示される。図６Ａの（ａ）の例では、４枚の画像において、３枚目に全黒画像Ｂ１、４枚目に可視光通信画像Ｃ１が表示される。
撮像部２１０は、表示部１１０に表示されている映像を撮像する。撮像部２１０が、順次露光型のイメージセンサーで構成されている場合、撮像を開始すると、イメージセンサーは、順次横列として順次露光を行い、撮像したデータをバッファ（図示せず）に格納する。各順次露光を行う単位を、特にここではライン状に順次行うことを想定しているため、露光ラインと呼ぶ。図６Ａの（ｂ）の場合は、露光ラインＬ１、Ｌ２，Ｌ３、…の順に露光が行われる。
なお、図６Ａの（ｂ）では、一例としてイメージセンサーは１０本の露光ラインに分割されているが、これ以外の分割数でも良いし、また、ライン状でなくともよい。各々の露光ラインの露光時間が他の露光ラインの露光時間と非常に短い時間だけオーバーラップするように、各露光ラインは順次露光する。
図６Ａの（ｃ）は、全露光ラインの撮像が終了した時点のバッファに格納されている画像を示す。この場合、フレーム内の画像の始まりと、撮像の１単位の始まりが偶然にも一致しているが、これがずれて撮像の単位が始まったとしてもよい。この場合、受信装置２００側での撮像した画像では、図６Ａの（ｃ）に示すように、上から３番目の横方向に信号が幅の短い横縞として撮像されている。これに対して、画像中の場所が上下するだけで、必ず横縞が観察されるため、特にタイミングを制御する必要もなく、トリガ信号をどこかから拾う必要もない。図６Ａの（ｃ）の場合、露光ラインＬ６に可視光通信画像が撮像されている。
映像化部２２０は、撮像部２１０で撮像されバッファに格納されているデータに対して、各画素毎の輝度を、二次元表示したビットマップとして表現し、信号判定部２３０に映像として出力する。
信号判定部２３０は、映像化部２２０より入力された映像に可視光通信画像が含まれているかどうかを判定する。図６Ａの場合、信号判定部２３０は、図６Ａの（ｃ）の映像が入力されると、露光ラインＬ１〜Ｌ１０において、露光ラインＬ６に可視光通信画像が挿入されていると判定し、入力された映像を信号復調部２４０に出力すると共に、撮像部２１０に撮像動作をやめるよう指示する。
信号復調部２４０は、信号判定部２３０より出力された映像から可視光通信画像を示す露光ラインＬ６の画像を取り出して、元の可視光通信信号に復号する。
なお、信号判定部２３０の判定は、入力される映像単位で行ったが、露光ライン毎に行ってもよい。その場合は、露光ラインＬ６に可視光通信画像が含まれると判定した時点で、露光ラインＬ７以降の判定を行わず、撮像部２１０の動作を止めても良い。
また、図６Ａに示すように１秒間にＦ個のフレームで映像が構成され、可視光通信画像が表示される期間は、１フレームのうちの一部の時間、本実施の形態では１フレームの１／４の場合を説明した。可視光通信画像が表示される期間は１／４フレーム以外でも良いが、信号をできる限り視認しにくいという面で、少なくとも１／４フレーム以下が望ましい。さらに、受信装置２００側の対応可能な範囲でできるだけ小さな値の方が望ましい。
以上のような構成により、短い期間に可視光通信画像を挿入し、露光時間が充分短かければ、つまり、図６Ａに基づくと、ｎＦ分の１秒（図６Ａの場合はｎ＝４）よりも充分早い露光時間（シャッタースピード）であれば、どこかの該当する露光ラインが可視光通信画像を表示している時間に該当する。露光ラインの露光時間中に、他の画像が挿入しないことが望ましいため、更には、図６Ａの例では、４Ｆ分の１秒の更に半分より小さい露光時間にすると、確実に他の画像が挿入されない画像を撮像することが可能となる。なお、図６Ｂに示すように、全黒画像Ｂｘの代わりに、全黒画像よりも一様に輝度が明るい全グレー画像Ｂｘを挿入してもよい。
このように、順次露光型の撮像部２１０で撮像する受信装置２００と表示装置１００との組合せにより、簡便に、タイミングに制約されないため、単純な構成にて可視光通信信号を送受信することが可能となる。
つまり、本実施の形態の表示方法は、図５、図６Ａおよび図６Ｂに示すように、映像信号に含まれる画像をフレーム（例えば１／Ｆ秒）ごとに表示する表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像（Ｃ１）として生成する可視光通信画像生成ステップと、所定のフレームにおいて、前記映像信号に含まれる画像（Ａ１１、Ａ２１）を表示する第１の表示ステップと、前記所定のフレームにおいて、表示される前記画像（Ａ１１、Ａ２１）の平均輝度よりも一様に低い輝度の画像を識別用画像（Ｂ１）として表示し、続けて前記第１の可視光通信画像（Ｃ１）を表示する第２の表示ステップとを含み、前記第２の表示ステップでは、前記映像信号に含まれる画像（Ａ１１、Ａ２１）が前記所定のフレーム内で表示された後、前記第１の識別用画像（Ｂ１）および前記第１の可視光通信画像（Ｃ１）をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。
これにより、例えば全黒画像または一様に灰色の画像が識別用画像（Ｂ１）として表示された後に第１の可視光通信画像（Ｃ１）が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始位置を示す一様に黒または灰色のライン（Ｌ４）が表れる。したがって、そのイメージセンサーを備える受信装置２００は、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。また、可視光通信信号の送信のためにバックライトを点滅させる必要がないため、画質を大きく劣化させることなく、可視光通信信号を映像に挿入して送信することができる。
また、本実施の形態における前記表示方法は、さらに、前記第１の可視光通信画像（Ｃ１）が表示された後に、可視光通信用の縞模様の画像を第２の可視光通信画像（Ｃ２）として表示する第３の表示ステップを含む。これにより、縞模様の可視光通信画像（Ｃ１、Ｃ２）が繰り返し表示されるため、受信装置２００は、それらの可視光通信画像（Ｃ１、Ｃ２）によって示される可視光通信信号を確実に受信することができる。
なお、可視光通信画像を挿入する時間と、順次露光型の撮像部２１０の走査速度及び露光時間に関しては（式１）の関係を満たすことが望ましい。これは、可視光通信画像の前後の映像信号と一緒に可視光通信画像に対して、露光ラインが露光されることにより、Ｓ／Ｎが極端に悪化するためである。
（式１） 露光ライン１ラインの露光時間＜１／（２×ｎＦ）
（式１）において、ｎは、映像の１フレームを均等に分割したサブフレームの数であり、Ｆは１秒間に表示されるフレーム数である。ｎは正の整数、Ｆは正の数である。
可視光通信画像または符号化画像が、人の目に残像として認識されにくい時間幅を考えると、可視光通信画像または符号化画像を表示する時間（１露光ラインの露光時間）は、１ｍｓｅｃ以内、さらに、０．２ｍｓｅｃ以内にすることが望ましい。現在の映像信号の一般的なフレーム数Ｆ＝６０で考えると、（式１）を満たすためには、ｎ＞８、望ましくは、ｎ＞４０であることが望ましい。
以下、可視光通信画像または符号化画像を表示する時間として望ましい範囲を設定した理由を説明する。これは、人の目の時間分解能は、一般に、５０ｍｓｅｃ程度であるとされ、それ以下は残像として前後の映像と交じり合った画像として認識されることによる。一方で、人の目が輝度の差として捉えられる限界は、個人差はあるものの、凡そ、隣接する領域の輝度差が２％つくと、ほとんどの人が、輝度差があることを認識するとされている。従って、挿入した可視光通信画像または符号化画像が前後の画像と交じり合って輝度差として認識されないためには、５０ｍｓｅｃの２％、すなわち、１ｍｓｅｃ以下の時間であることが望ましい。
なお、一般的な順次露光型イメージセンサーでは、汎用性を考えると、最低限１フレームを二分割しなければ完全に画像として残像が残る。１フレームをそのまま使用することになると、サブリミナル効果などの副作用も懸念されることから、ｎ＝２が最低限必要なフレーム分割数となる。これによると、１／４８０より小さい露光時間を選択することが望ましい。
また、映像機器から非常に短い期間、可視光通信画像または符号化画像を出す具体的手法としては、ＰＤＰ（Plasma Display Panel）やＥＬ（electro-luminescence）のように動作速度が速いものがある。つまり、ＰＤＰまたはＥＬは、駆動信号による制御によって本実施の形態に対応できる。しかし、ＬＣＤ（Liquid Crystal Display）などは、駆動だけ高速化しても液晶の反応速度が遅い場合には、本実施の形態に対応できない。このような際には、特にバックライトが、ＬＥＤ（Light Emitting Diode）などで点滅が高速にできるものであれば、ＬＥＤを消灯して短い時間だけ表示することが可能になる。プロジェクターについては、ＬＣＯＳ（Liquid crystal on silicon）など、液晶を使用しているものも同様に、光源側に制御を加えて、短時間の表示を実現できる。更に、デジタルミラーデバイス（ＤＭＤ）など、高速駆動できるミラーデバイスにて、投影側へ光を射出する方法を取るプロジェクターの場合には、ＤＭＤの制御によって短時間表示することも可能であり、また、光源側での制御で、時間を切ることもでき、さらに、これらを合わせて時間を短くすることも可能である。
なお、本実施の形態においては、可視光通信信号を横方向に配列した場合について説明したが、これに限定するものではない。可視光通信信号を横方向に配列した場合、符号化画像は縦縞になる。そのため、受信装置２００の撮像部２１０が横方向を単位とした縦方向への順次露光する方向にて画像を撮像しない場合、可視光通信信号の符号化画像を取得することができない。
また、一定以上の角度で受信装置２００を傾けて撮像すると、データの１ブロックが撮像範囲に全て入らない、或いは縞模様と受信装置２００の露光ラインとが平行になるため、データが取り得ないなどの課題も発生する。
図７は、可視光通信画像と受信装置２００との角度と、撮像エラー発生確率との関係の一例を示す図である。
図７に示すように、可視光通信画像の縞模様と受信装置２００との角度と、撮像エラー発生確率との関係は、ほぼコサイン則の形状を示すグラフに成る。これは、受信装置２００における１つの露光ラインで得られる画格については、角度が変化すると、コサイン則に従ってその撮像できるデータの範囲が小さくなり、１つの露光ラインで撮像できるデータが１ブロック分とほぼ同等の領域まで小さくなると、急激にその誤認識の確率が高くなる。図７によって示される関係は、全画面にデータが４ブロック分格納された可視光通信画像または符号化画像を用い、受信装置２００がほぼ全画面を撮像することができる位置から撮像した際の結果である。この関係から、１３５度（４５度傾けて撮影する場合）程度までの角度であれば問題なくデータを入手できることがわかる。急激に変化する角度は、全画面中にデータが何ブロック格納されるか、或いは撮像する際にどの程度の距離で、全画面に対してどの程度の大きさに見える位置で撮像するかによって異なる。更に、垂直になると、理論的にもデータが取れなくなるため、受信装置を視聴者がどちら向き（縦向きか横向きか）に置くかによって、全く可視光通信信号の受信ができない状況が発生することが考えられる。これらの不具合を解決するために、可視光通信画像を縦方向や斜めに配置したり、縦部分と横部分で反転させるパターンに配置しても良い。
図８は、本実施の形態にかかる表示装置１００が、縞模様の角度が異なる複数の可視光通信画像を表示する動作を説明するための図である。
例えば、図８に示すように、縦方向の縞模様の可視光通信画像Ｃ１と、横方向の縞模様の可視光通信画像Ｃ２と、斜め方向の縞模様の可視光通信画像Ｃ３と、可視光通信画像Ｃ３と逆の斜め方向の縞模様の可視光通信画像Ｃ４とを表示してもよい。
つまり、本実施の形態における上述の第３の表示ステップでは、図８に示すように、前記第１の可視光通信画像（Ｃ１）の縞模様の向きと異なる向きの縞模様の前記第２の可視光通信画像（Ｃ２、Ｃ３、Ｃ４）を表示する。これにより、繰り返し表示される可視光通信画像（Ｃ１、Ｃ２、Ｃ３、Ｃ４）の縞模様の向きが異なるため、イメージセンサーに含まれる各露光ラインの向きによって可視光通信信号の受信確率が低下すること（撮像エラー発生確率が上昇すること）を抑えることができる。
本実施の形態では、可視光通信画像における符号化画像の配置例として、符号化画像を鉛直方向に延伸させた後、横方向に数回繰り返し配置した例を説明した。しかし、配置例は、これに限定されない。
図９は、可視光通信画像の他の生成例を示す図である。
図９の（ａ）に示される可視光通信画像は、図４の符号化画像Ｐを１つだけ全画面に引き伸ばして配置することによって生成された画像である。このような配置をすることで、撮影された可視光通信画像の画素の大きさによる制限が緩和され、表示部１１０に対して長い距離を隔てた場所からの受信が可能となる。
図９の（ｂ）に示される可視光通信画像は、図４の符号化画像Ｐを９０度回転させ、横方向に延伸することによって生成された符号化画像Ｐ２を、縦方向に４回繰り返し配置することによって生成された画像である。この場合は、受信装置２００の順次露光ラインがほぼ鉛直方向になる方向で受信できる。
図９の（ｃ）に示される可視光通信画像は、図４の符号化画像Ｐを左回りにほぼ４５度だけ回転し、画面全体に引き伸ばして配置することによって生成された画像である。図９の（ｄ）によって示される可視光通信画像は、図９の（ｃ）の可視光通信画像の例とは逆に、符号化画像Ｐを右回りに約４５度だけ回転し、画面全体に引き伸ばして配置することによって生成された画像である。
図９の（ａ）〜（ｄ）の配置を基本形とし、これらを組合せることで様々な配置が可能となる。例えば、図９の（ｅ）に示される可視光通信画像は、画面を８分割し、縦方向の縞模様の符号化画像と、横方向の縞模様の符号化画像とを、市松模様が形成されるように、縦方向および横方向に配置することによって生成された画像である。このような可視光通信画像では、受信装置２００は、画面のうちの少なくとも一つの符号化画像以上の画格にて撮像することで、受信装置２００における撮像部２１０の向き及び角度がどこを向いていても、撮像することが可能となる（可視光通信信号を受信することができる）。図９の（ｆ）によって示される可視光通信画像は、画面を斜めに分割し、図９の（ｃ）の符号化画像と、図９の（ｄ）の符号化画像とを組み合わせて配置することによって生成された画像である。
図９の（ｇ）に示される可視光通信画像は、画面上側では元の符号化画像を縦方向に延伸して生成された符号化画像Ｑ１を画面全体に横方向に４回繰り返し配置し、画面下側では、元の符号化画像を横方向に延伸して生成された符号化画像Ｑ２を画面全体で横方向に２回繰り返し配置することによって生成された画像である。このように配置することで、受信装置２００にて撮像される場所と、表示部１１０との距離が近ければ、受信装置２００側で撮像される画像が大きく、その解像度は高くなり、その距離が遠ければ、解像度が低くなる。すなわち、表示部１１０との距離が近いところで撮像する場合は、繰り返し表示される符号化画像の数を多い方が好ましく、距離が離れているところでは、繰り返し表示される符号化画像の数が少ない方が好ましい。従って、図９の（ｇ）の可視光通信画像では、そのどちらの場合にも対応できる。なお、可視光通信画像は、図９の（ｇ）に示すように、２回と４回の繰り返し配置の組み合わせによって生成されているが、これ以外の数の組合せで生成されてもよい。
図９の（ｈ）に示される可視光通信画像は、画面を上下方向に５分割し、分割によって生成されたそれぞれの領域に、縞の位相が異なる符号化画像を配置することによって生成された画像である。これによると、場所による明暗の局在化を避けることができるため、視線移動に伴うフリッカ防止の効果が期待できる。ここでは、縞模様が縦縞で、縦方向の分割を５つにし、一番上と一番下の位相が揃うように順次位相を変化させているが、分割数や位相変化はこれに限らず、ランダムでも良い。
また、図４或いは図９に示す画像は、それぞれ長所短所があるため、用途に応じて、これらの画像を任意に組み合わせた画像を可視光通信画像として使用してもよい。また、その際に、画像を任意の角度に回転して使用しても構わない。
さらに、可視光通信画像を時間的に繰り返し表示する場合に、用途に応じてフレーム毎に、表示する順番または画像の表示をランダムに変化させても良い。
なお、順次スキャンを行い、バックライトスキャンを行う液晶表示装置など、同時に全画面が表示されない期間が存在する表示装置においては、スキャン方向と垂直方向の縞模様を用いることで、通信確率の向上が期待できる。一般的な液晶表示装置においては、縦方向にスキャンが行われるため、図４の（ｂ）の符号化画像の縦縞を横縞に置き換えた画像を適応することが望ましい。また、本実施の形態１では、１／Ｆ秒間に４枚の画像を表示し、４枚目に可視光通信信号を符号化した画像を表示したが、これに限定するものではない。例えば、該当する期間のみ可視光通信画像を表示し、それ以外の期間については通常の映像信号による画像を表示しても良い。この際に、可視光通信画像を挿入する分だけ映像信号が変化してしまうが、１フレーム内の映像信号のほかの部分の信号を補正することで対応しても良い。
また、そのまま通常の映像処理部にて処理した信号をそのまま表示制御部に送って表示を行ってもよい。更には、該当する１フレームの可視光通信画像以外の映像信号は全て無視して、その前後の映像と合わせて黒表示或いは一定の階調の灰色表示を行って、その信号のみを受信側に対して強調する方法を取っても良い。
また、本実施の形態では、可視光通信画像の前に全黒画像をおいているが、これは、映像信号画像と混じって信号を受信することを避けるためであり、必ずしも必要ではない。しかし、受信装置２００側の性能の制約がこのような信号を入れることによって緩和されるため、一定の期間、全黒信号（全黒画像）を挿入しても良い。
また、本実施の形態では、可視光通信画像の前側にだけ全黒画像を挿入しているが、後側に挿入してもよい。更には、可視光通信画像の前後両方に挿入してもよい。この場合、前後の全黒画像の部分も合わせた時間を上記の可視光通信画像を挿入する時間に置き換えて考えるとよい。
また、全黒画像は、全面の輝度レベルが０％とした画像に限らない。全黒画像は、全面にわたり、あるいは、全面に占める割合が一定以上高い領域において、輝度が低いレベルであれば、その輝度レベルは０％でなくともよい。全面に占める割合が一定以上高い領域は、例えば、ディスプレイの性能に基づいて低輝度が一様に出力できない画面内の周辺部分よりも内側の領域である。周辺部分は、画面の周辺を囲む部分であり、その部分の幅は、例えば画面の縦幅または横幅の数％である。また、その輝度レベルは、可視光通信画像における黒の部分、すなわち、輝度の低い部分の輝度と一致する必要はない。但し、可視光通信信号を受信する感度を考慮すると、全面に渡る輝度が低いレベルの画像の輝度は、できるだけ輝度が低いことが望ましい。また、映像信号に含まれて表示される画像の平均輝度よりも一様に低い輝度の画像（識別用画像）であれば、上述の全黒画像の代わりにどのような画像を用いてもよい。例えば、全黒画像の代わりに、市松模様または縞模様などの画像を用いてもよいが、全画面に占める輝度の低い画素の割合が一定以上の画像であることが望ましい。
また、本実施の形態では、可視光通信画像を一定期間繰り返し表示したが、可視光通信画像と、その可視光通信画像の反転画像（白黒反転画像）を表示してもよい。
図１０Ａは、本実施の形態における反転画像の一例を示す図である。
表示装置１００は、図１０Ａの（ａ）に示す可視光通信画像と、その可視光通信画像において白黒を反転させた白黒反転画像、つまり図１０Ａの（ｂ）に示す可視光通信画像とを連続して表示してもよい。こうすることで、図１０Ａの（ｃ）のように、人の目には平均化した像しか残らないため、縞模様と言う認識は更に軽減され、コントラストが多少悪化するにとどまる。白黒の表現は、１００％レベルと０％レベルに限定するものではなく、比較的輝度の高いレベルと、輝度の低いレベルでも良い。また、輝度レベルの差は高い方が受信装置２００側の制約などが緩和される一方で、平均的な信号による輝度は上昇するため、コントラストの悪化や信号画像が見えやすくなるなどの弊害もある。そのため、総合的に勘案してよいレベルを選ぶことが望ましい。また、１フレームの中の可視光通信画像を表示するサブフレーム或いは時間領域を２分割して、上記の２枚１組の白黒反転画像を用いても良い。
図１０Ｂは、本実施の形態にかかる表示装置が、反転画像を含む複数の可視光通信画像を表示する動作を説明するための図である。
表示装置１００は、例えば図１０Ｂに示すように、縦方向の縞模様の可視光通信画像Ｃ１ａと、可視光通信画像Ｃ１ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ１ｂと、横方向の縞模様の可視光通信画像Ｃ２ａと、可視光通信画像Ｃ２ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ２ｂと、斜め方向の縞模様の可視光通信画像Ｃ３ａと、可視光通信画像Ｃ３ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ３ｂと、可視光通信画像Ｃ３ａと逆の斜め方向の縞模様の可視光通信画像Ｃ４ａと、可視光通信画像Ｃ４ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ４ｂとを、連続的にまたは断続的に表示してもよい。
また、白は、ＲＧＢ全てを表示させることによって表現される白であっても良い。特に、輝度を落とすための方法として、白以外の色を用いて、縞の輝度の高部分の輝度を落としても良い。また、縞を目立たなくするため、黒は、輝度が低いと言う意味であり、この黒も、ＲＧＢ全てを用いることによって表現される黒であってもよく、それら全てを非表示常態にしておくことによって表現される黒でなくとも良い。更には、輝度が高い部分と低い部分で縞模様を作成したが、色で分離できる組合せであれば、ＲとＧの縞などで縞模様を表現しても良い。更に、ＲとＣなどの互いに補色関係にある色の組合せを用いても良い。補色関係の２色による反転画像の組み合わせを、白黒の場合と同様に用いても良い。この際には、撮像時にＲＧＢ分離ができるイメージセンサーとソフトが搭載された受信装置２００を用いる必要がある。
このように、本実施の形態における上述の第３の表示ステップでは、図１０Ｂに示すように、前記第１の可視光通信画像（Ｃ１ａ、Ｃ２ａ、Ｃ３ａ、Ｃ４ａ）の縞模様を構成する互いに異なる２つの輝度値または色を入れ換えることによって示される反転画像（Ｃ１ｂ、Ｃ２ｂ、Ｃ３ｂ、Ｃ４ｂ）を、前記第２の可視光通信画像として表示する。また、前記第１および第２の可視光通信画像（例えば可視光通信画像Ｃ１ａと可視光通信画像Ｃ１ｂ）のそれぞれの縞模様は、補色の関係を有する２つの色を用いて構成されていてもよい。
これにより、繰り返し表示される可視光通信画像（Ｃ１ｂ、Ｃ２ｂ、Ｃ３ｂ、Ｃ４ｂ）が、例えばポジに対するネガなどの反転画像として表示されるため、可視光通信画像が表示されることによる画像のちらつきを抑えることができる。
また、縞模様に関しては、繰り返し表示させる際に、画面上を少しずつ移動させるスクロールを行うことで目立たなくしてよいし、可視光通信画像を２つ以上の領域に分割してスクロールしても良い。この際には、スクロールの方向、スピードなどそれぞれ異なる動き方をして良いし、各々が同期したスクロールを行っても良い。
また、本実施の形態では、可視光通信信号を符号化後に画像データとして出力していたが、データのブロックの境目を明示するために、通常の符号化信号ではありえない枠状の画像信号を前後に挿入してもよい。これにより、前記枠状の画像信号が２つ以上認識されれば、１ブロックの信号を得たと判断することができるとともに、１ブロックの信号の画像上での大きさを確定することができる。
また、本実施の形態によると、受信装置２００側のイメージセンサーにて一連の信号を一つの画像の中で完結する必要がある。しかし、情報量が多い際には、可視光通信信号のヘッダの部分に、当該可視光信号画像に含まれる情報が、可視光通信信号の先頭にあるのか、情報が多いために可視光通信信号が複数に分割され、その分割された中の何番目にあるか等の情報を、書き込んでも良い。具体的な例としては、ＪＥＩＴＡ−ＣＰ１２２２の規格のプリアンブルとタイプの部分を用いると、前記の情報をいくつかの画像に分割することも可能となる。もちろん分割のやり方、分割信号の出し方及びその分割情報の画像への収納法については、この例に限らない。また、確実に可視光通信信号を伝達する際に、繰り返し可視光通信画像を表示する方法がある。この際には、可視光通信信号を分割することにより得られる１つの信号に基づく画像を繰り返して表示し、次に、その信号の続きの信号に基づく画像を繰り返し表示させると言う方法もある。また、分割によって生成された一連の信号に基づく画像を順次表示し、これを一組として繰り返し表示させる方法もある。情報量の大きさや通常映像信号の種類などによって、どちらの表示方法を選択しても良い。
また、上述のように、ある可視光通信画像と、その反転画像とを比較的近い時間間隔で出力する場合、人の目の時間分解能の制約により、縞模様が消えて平均的な輝度の一様な画像が存在するのと同等になる。ここで、その二つの画像の表示間隔について説明する。
図１１は、可視光通信画像と反転画像との表示間隔と、縞模様が見える人の割合（縞模様認識率）との関係を示す図である。
人の目の時間分解能は、５０ｍｓｅｃ前後を閾値に急激に低下することが一般に知られている。図１１に示ように、可視光通信画像と、その反転画像との間隔に応じて、それらの画像の縞模様の認識率は変化する。図１１に示すグラフは、時間間隔と、縞模様が見える人の割合の関係を実験的に調べた結果であり、その実験では全面黒表示が行われている。また、縞は横縞であり、縞のピッチは３ｍｍであり、視認を行う人と、画像が表示される画面とは１ｍは離れている。この結果より、従来言われているように、５０ｍｓｅｃ付近から、縞模様が見える人の割合が急激に立ち上がるため、可視光通信画像と反転画像との間隔を５０ｍｓｅｃ以下にすることが望ましい。また、ほぼ視認できない限界として２０ｍｓｅｃ付近が挙げられるため、２０ｍｓｅｃ以下にすることが更に望ましい。この結果より、通常の１秒間に６０フレーム出力される映像においては、可視光通信画像とその反転画像とを４フレーム以上離すことは望ましくない。更には、それらの画像を１フレーム以内に留めることが望ましい。
このように、本実施の形態における上述の第３の表示ステップでは、前記第１の可視光通信画像と前記第２の可視光通信画像との表示間隔が２０ｍ秒以下となるように、前記第２の可視光通信画像を表示する。これにより、可視光通信画像が人の目に視認され難くすることができ、映像信号の画像に対する影響を抑えることができる。
図１２は、本実施の形態における可視光通信画像および全黒画像の表示方法の他の例を示す図である。
例えば、表示装置１００の表示部１１０は、図１２の（ａ）に示すように、ｍ番目のフレーム内において、映像信号に含まれる画像（映像）Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１、全黒画像Ｂ２の順に、これらの画像を表示してもよい。具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。
このように、可視光通信画像Ｃ１が時間的に全黒画像Ｂ１，Ｂ２の間に表示されるため、受信装置２００は、可視光通信画像Ｃ１による可視光通信信号を適切に受信することができる。
また、表示装置１００の表示部１１０は、図１２の（ｂ）に示すように、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１．可視光通信画像Ｃ１、可視光通信画像Ｃ１の反転画像である可視光通信画像Ｃ２、全黒画像Ｂ２の順に、これらの画像を表示してもよい。具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１を表示部１１０に表示させ、さらに次のサブフレームで、その可視光通信画像Ｃ１の白と黒とを反転させた反転画像である可視光通信画像Ｃ２を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、全黒画像Ｂ２を表示部１１０に表示させる。
これにより、互いに反転画像である可視光通信画像Ｃ１、Ｃ２が連続して表示されるため、これらの画像の縞模様を目立たなくすることができる。
また、表示装置１００の表示部１１０は、図１２の（ｃ）に示すように、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１、全黒画像Ｂ２、可視光通信画像Ｃ１の反転画像である可視光通信画像Ｃ２、全黒画像Ｂ３の順に、これらの画像を表示してもよい。具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１の白と黒とを反転させた反転画像である可視光通信画像Ｃ２を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ３を表示部１１０に表示させる。
これにより、可視光通信画像Ｃ１，Ｃ２のそれぞれが時間的に全黒画像の間に表示されるため、受信装置２００は、可視光通信画像Ｃ１，Ｃ２のそれぞれによる可視光通信信号を適切に受信することができる。さらに、互いに反転画像である可視光通信画像Ｃ１、Ｃ２が表示されるため、これらの画像の縞模様を目立たなくすることができる。
このように、本実施の形態における前記表示方法は、さらに、前記第１の可視光通信画像（Ｃ１）が表示された後、前記第２の可視光通信画像（Ｃ２）が表示されるまでの間に、前記識別用画像（Ｂ２）を再び表示する第１の再表示ステップを含む。これにより、第１の可視光通信画像（Ｃ１）と第２の可視光通信画像（Ｃ２）とが表示される間に識別用画像（Ｂ２）が表示されるため、受信装置２００は、第１の可視光通信画像（Ｃ１）による可視光通信信号と、第２の可視光通信画像（Ｃ２）による可視光通信信号とを適切に分離して受信することができる。
さらに、本実施の形態にける前記表示方法は、さらに、前記第２の可視光通信画像（Ｃ２）が表示された後に、前記識別用画像（Ｂ３）を再び表示する第２の再表示ステップを含む。これにより、上述の撮像画像において、第２の可視光通信画像（Ｃ２）による可視光通信信号の終了位置を明確にすることができ、その可視光通信信号を適切に送信することができる。
さらに、本実施の形態における上述の第１または第２の再表示ステップでは、前記所定のフレーム内で、当該所定のフレームよりも短い期間だけ前記識別用画像（Ｂ２、Ｂ３）を再び表示する。これにより、識別画像（Ｂ２、Ｂ３）を目立たなくすることができ、映像信号の画像に対する識別画像（Ｂ２、Ｂ３）の影響を抑えることができる。
図１３は、本実施の形態における可視光通信画像および全黒画像の表示方法の他の例を示す図である。
表示装置１００の表示部１１０は、図１３の（ａ）に示すように、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１’、全黒画像Ｂ２、可視光通信画像Ｃ２’、全黒画像Ｂ３、可視光通信画像Ｃ３’、全黒画像Ｂ４の順に、これらの画像を表示してもよい。ここで、可視光通信画像Ｃ１’、Ｃ２’およびＣ３’は、図１０Ａの（ａ）および（ｂ）によってそれぞれ示される可視光通信画像の関係と同様であって、これの画像が表示されると、これらの画像の縞が人に視認されずに、空間的に均一な像しか視認されない関係にある。つまり、可視光通信画像Ｃ１’、Ｃ２’およびＣ３’は、３つの画像の輝度の積算値が均一になる関係（以下、均一関係という）にある。
具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１’を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１’と上述の均一関係にある可視光通信画像Ｃ２’を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ３を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１’およびＣ２’と上述の均一関係にある可視光通信画像Ｃ３’を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ４を表示部１１０に表示させる。
これにより、可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’のそれぞれが時間的に全黒画像の間に表示されるため、受信装置２００は、可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’のそれぞれによる可視光通信信号を適切に受信することができる。さらに、均一関係にある可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’が表示されるため、これらの画像の縞模様を目立たなくすることができる。なお、可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’はそれぞれ白および黒によって表現されるが、白および黒の代わりに、互いに補色の関係にある２つの色によって表現されてもよい。
また、表示装置１００の表示部１１０は、図１３の（ｂ）に示すように、ｍ番目のフレームで可視光通信画像Ｃ１を表示し、（ｍ＋１）番目のフレームで、可視光通信画像Ｃ１に対応する可視光通信画像Ｃ２を表示してもよい。つまり。表示部１１０は、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１、全黒画像Ｂ２の順に、これらの画像を表示する。さらに、表示部１１０は、（ｍ＋１）番目のフレーム内において、上述の映像信号に含まれる映像Ａ２、全黒画像Ｂ３、可視光通信画像Ｃ２、全黒画像Ｂ４の順に、これらの画像を表示する。
具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームとは異なる（ｍ＋１）番目のフレームに含まれる先頭のサブフレームで、映像Ａ２を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ３を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述の（ｍ＋１）番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１の反転画像である可視光通信画像Ｃ２を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ４を表示部１１０に表示させる。
これにより、互いに反転画像である可視光通信画像Ｃ１，Ｃ２がそれぞれ互いに異なるフレームで表示されるため、各フレーム内のコントラストを改善することができる。
図１４は、本実施の形態における可視光通信画像および全黒画像の表示方法の他の例を示す図である。
表示装置１００の表示部１１０は、図１４に示すように、ｍ番目のフレームで可視光通信画像Ｃ１’を表示し、（ｍ＋１）番目のフレームで、可視光通信画像Ｃ１’と上述の均一関係にある可視光通信画像Ｃ２’を表示し、（ｍ＋２）番目のフレームで、可視光通信画像Ｃ１’およびＣ２’と上述の均一関係にある可視光通信画像Ｃ３’を表示してもよい。つまり、表示部１１０は、ｍ番目のフレーム内において、映像Ａ１、全黒画像Ｂ１、可視光通信画像Ｃ１’、全黒画像Ｂ２の順に、これらの画像を表示し、（ｍ＋１）番目のフレーム内において、映像Ａ２、全黒画像Ｂ３、可視光通信画像Ｃ２’、全黒画像Ｂ４の順に、これらの画像を表示する。さらに、表示部１１０は、（ｍ＋１）番目のフレーム内において、上述の映像信号に含まれる映像Ａ３、全黒画像Ｂ５、可視光通信画像Ｃ３’、全黒画像Ｂ６の順に、これらの画像を表示する。
具体的には、表示装置１００の表示制御部１４０は、ｍ番目のフレームに含まれる最初のサブフレームで、映像Ａ１を表示部１１０に表示させ、次のサブフレームで、全黒画像Ｂ１を表示部１１０に表示させる。その後、表示制御部１４０は、上述のｍ番目のフレームに含まれる、さらに次のサブフレームで、可視光通信画像Ｃ１’を表示部１１０に表示させ、さらに次のサブフレームで全黒画像Ｂ２を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述のｍ番目のフレームとは異なる（ｍ＋１）番目のフレームに含まれる先頭のサブフレームで、映像Ａ２を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ３を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述の（ｍ＋１）番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１’と上述の均一関係にある可視光通信画像Ｃ２’を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ４を表示部１１０に表示させる。
その後、表示装置１００の表示制御部１４０は、上述の（ｍ＋１）番目のフレームとは異なる（ｍ＋２）番目のフレームに含まれる先頭のサブフレームで、映像Ａ３を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ５を表示部１１０に表示させる。その後、表示装置１００の表示制御部１４０は、上述の（ｍ＋２）番目のフレームに含まれる、さらに次のサブフレームで、既に表示された可視光通信画像Ｃ１’およびＣ’と上述の均一関係にある可視光通信画像Ｃ３’を表示部１１０に表示させ、さらに次のサブフレームで、全黒画像Ｂ６を表示部１１０に表示させる。
これにより、受信装置２００は、全黒画像によって、可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’のそれぞれによる可視光通信信号を適切に受信することができる。さらに、均一関係にある可視光通信画像Ｃ１’，Ｃ２’，Ｃ３’が表示されるため、これらの画像の縞模様を目立たなくすることができる。さらに、各フレームのコントラストを改善することができる。
また、受信装置２００は、周辺照明などの光源輝度の高周波ノイズを考慮して、露光時間を制御してもよい。
図１５は、本実施の形態で説明した可視光通信画像の表示に至る手順を表したフローチャートである。図１５に示すように、まず、表示装置１００の第２の信号処理部１６０は、第２の入力部１５０から可視光通信信号を取得する（ステップＳ１０１）。次に、第２の信号処理部１６０は、その可視光通信信号を符号化して二値化する（ステップＳ１０２）。さらに、第２の信号処理部１６０は、二値化によって得られたそれぞれの値に対応する各画素の情報を決定する（ステップＳ１０３）。なお、各画素の情報とは、色（色には白および黒が含まれる）および明るさのうちの少なくとも一方である。また、第２の信号処理部１６０は、各画素の情報を決定する代わりに、外部からそれらの情報を取得してもよい。第２の信号処理部１６０は、これらの情報に基づいて、基本となる符号化画像Ｐ１を作成する（ステップＳ１０４）。そして、第２の信号処理部１６０は、表示部１１０の表示面に配置される符号化画像Ｐ１の領域、つまり符号化画像Ｐ１の大きさ、位置、または回転方向などを決定する（ステップＳ１０５）。なお、第２の信号処理部１６０は、これらの大きさ、位置または回転方向などの情報を外部から取得してもよく、予め定められた大きさ、位置または回転方向を決定してもよい。
次に、第２の信号処理部１６０は、その決定された大きさ、位置または回転方向などに基づいて符号化画像Ｐ１を配置する（ステップＳ１０６）。例えば、第２の信号処理部１６０は、符号化画像Ｐ１にある縞状模様の平行方向および垂直方向の少なくとも一方に沿って符号化画像Ｐ１を拡大または縮小したり、その符号化画像Ｐ１を回転したりする。
次に、第２の信号処理部１６０は、ステップＳ１０６における符号化画像Ｐ１の配置によって、表示部１１０の表示面に表示される可視光通信画像の作成が終了したか否かを判定する（ステップＳ１０７）。ここで、終了していないと判定すると、第２の信号処理部１６０は、さらに、同じ符号化画像Ｐ１を繰り返し表示するか否かを判定する（ステップＳ１０８）。繰り返し表示しないと判定すると（ステップＳ１０８のＮｏ）、第２の信号処理部１６０は、ステップＳ１０１からの処理を繰り返し実行する。つまり、第２の信号処理部１６０は、別の可視光通信信号を取得して、その別の可視光通信信号に対して上述と同様の処理を行うことにより、別の符号化画像Ｐ１を生成して配置する。一方、繰り返し表示しないと判定すると（ステップＳ１０８のＹｅｓ）、第２の信号処理部１６０は、ステップＳ１０６からの処理を繰り返し実行する。このとき、第２の信号処理部１６０は、ステップＳ１０５で決定された大きさ、位置または回転方向などに基づいて、同じ符号化画像Ｐ１を拡大または縮小したり、回転したりする。
また、ステップＳ１０７において、可視光通信画像の作成が終了したと第２の信号処理部１６０によって判定されると（ステップＳ１０７のＹｅｓ）、作成された可視光通信画像が第１の可視光通信画像として決定される。つづいて、表示制御部１４０は、所定の明るさの全黒画像を表示部１１０に所定の時間表示させる（ステップＳ１０９ａ）。表示制御部１４０は、作成された可視光通信画像を第１の可視光通信画像として表示部１１０に表示させる（ステップＳ１１０）。このとき、表示部１１０は、この最終的な第１の可視光通信画像を所定の時間表示する。次に、表示制御部１４０は、所定の明るさの全黒画像を表示部１１０に所定の時間表示させる（ステップＳ１０９ｂ）。また、第２の信号処理部１６０は、第１の可視光通信画像の縞模様を構成する互いに異なる２つの輝度値または色を入れ換えることによって示される反転画像を、第２の可視光通信画像として作成する（ステップＳ１１１）。そして、表示制御部１４０は、その第２の信号処理部１６０によって作成された第２の可視光通信画像を表示部１１０に表示させる（ステップＳ１１２）。さらに、表示制御部１４０は、所定の明るさの全黒画像を表示部１１０に所定の時間表示させる（ステップＳ１０９ｃ）。全黒画像を表示させる各ステップ（Ｓ１０９ａ、Ｓ１０９ｂ、およびＳ１０９ｃ）において、全黒画像の明るさ、および、その全黒画像を表示させる時間は同じでもよく、異なっていてもよい。また、ステップＳ１１１は、ステップＳ１０９ｂとステップＳ１１２との間で行われるが、他のタイミングで行われてもよい。例えば、ステップＳ１１１のタイミング、つまり第２の可視光通信画像を作成する時期は、ステップＳ１０７において可視光通信画像の作成が終了したと判定されたとき（ステップＳ１０７のＹｅｓ）の後であってもよい。このように、ステップＳ１１１のタイミングは、ステップ１１２で第２の可視光通信画像が表示部１１０に表示されるまでの期間のうちのいずれの期間であってもよい。
次に、第２の信号処理部１６０は、次のフレームに対して可視光通信画像を作成するか否かを判定する（ステップＳ１１３）。ここで、生成すると判定すると（ステップＳ１１３のＹｅｓ）、第２の信号処理部１６０は、ステップＳ１０１からの処理を繰り返し実行する。
なお、ステップＳ１０９ａ、Ｓ１０９ｂ、Ｓ１０９ｃ、Ｓ１１１およびＳ１１２のそれぞれの処理は、行われても、行わなくても良い。また、第２の信号処理部１６０は、符号化画像Ｐ１の縞状模様と垂直方向にその符号化画像Ｐ１を拡大または縮小する際には、二値化データの最小単位が画素の整数倍に相当するように、符号化画像Ｐ１のサイズを調整することが望ましい。また、作成される第１および第２の可視光通信画像のそれぞれは、表示部１１０の表示面の全領域に配置される必要はない。つまり、表示部１１０の表示面には、可視光通信画像が配置されない領域、言いかえれば、信号が送信されない領域があってもよい。このとき、表示制御部１４０は、第１の可視光通信画像が表示されている場合であっても、第２の可視光通信画像が表示されている場合であっても、信号が送信されない領域の輝度を、できる限り低い輝度に調整する。
図１６は、高周波ノイズ周期が２０マイクロ秒である場合の周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示す。高周波ノイズ周期に比べて露光時間が大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。露光時間が高周波ノイズ周期の整数倍のときは高周波ノイズの影響がなくなり、可視光通信信号の受信が最も容易になる。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではその周期は２０マイクロ秒以下であるため、露光時間を２０μｓｅｃ以上とすることで、光源輝度の推定を容易に行うことができる。
また、通常の映像の一部に可視光通信画像をはめ込む形態で実施しても良い。この場合、表示部の限られた部分だけで可視光通信信号を受信するため、受信装置２００と、画面との関係に制約が発生する。その一方で、映像信号の中に画面のその限られた部分に、受信装置２００を向けるように誘導する画像を表示することで、解決することもできる。更に、本実施の形態では、可視光通信画像を目立たなく挿入する方法について説明したが、ここでは、領域が制限されているために、信号の縞模様を目立たなくする工夫を軽減しても良い。もちろん、できるだけ、目立たない方法を取っても良いし、取らなくともよい。また、非常に短い時間（例えば、１ｍｓｅｃ以下）でなく、連続的或いは比較的長い時間だけ、可視光通信画像を表示して、上述と同様の方法で可視光通信信号を受信してもよい。この際には、受信エラー（撮像エラー）の確率が大きく減少するために、繰り返し送信するなどの制約が緩和される。
なお、本実施の形態では、表示装置１００として映像を表示するディスプレイを例に挙げているが、表示装置１００は、プロジェクターのように映像を投影する機器であってもよい。
図１７は、本実施の形態における表示装置１００の３Ｄ映像への適用例を示す図である。
近年、種々の映像で取り入れられているメガネ式の３Ｄ映像に表示装置１００を適応しても良い。この場合、表示装置１００は、映像信号（左眼画像または右眼画像）が表示されるタイミングと少なくとも同じタイミングでは、可視光通信画像を左右の何れの眼にも出力しない。可視光通信画像を表示している期間にメガネの両眼のシャッターを閉じることにより、視聴者は違和感なく映像を視認することができる。
また、本実施の形態では、可視光通信画像が、連続的に、或いは比較的長い時間表示されることによって、人の目に認識される場合には、受信装置に具備される撮像部は、ＣＣＤなどのイメージセンサーであればよく、順次露光型のイメージセンサーでなくともよい。
また、本実施の形態では、表示装置１００を用いて可視光通信を行う方法を説明したが、看板などの照明装置においても、同様の方法で実現することができる。
図１８は、縦方向に複数のＬＥＤを配した照明装置と、その駆動信号の一例とを示す図である。
図１８の（ａ）に示すように、表示装置は、例えば縦方向に複数のＬＥＤを配した照明装置である。各ＬＥＤ素子が可視光通信信号を符号化した横縞の最小単位に相当し、符号化したＯＮまたはＯＦＦ信号に相当する。このような表示装置は、照明装置であるため、明るさが可視光通信信号によって変化しないように、図１８の（ｂ）で示す通常の可視光通信信号に加え、図１８の（ｃ）および（ｄ）に示す可視光通信信号を、可視光通信信号出力期間において送信してもよい。図１８の（ｃ）および（ｂ）に示す可視光通信信号は、縦方向に配列された各ＬＥＤの光の明暗によって表現され、さらに、それらの可視光信号では、各ＬＥＤの明と暗と（点灯と非点灯と）が反転している。
図１８の（ｅ）に、図１８の（ａ）におけるＬＥＤ１とＬＥＤ３の制御の状態を示す。図１８の（ｅ）において、横軸は時間を示す。図１８の（ｅ）に示すように、照明装置は、可視光通信信号出力期間内の時刻ｔ１に図１８の（ｃ）に示す可視光通信信号を出力し、時刻ｔ２に図１８の（ｄ）に示す可視光通信信号を出力する。すなわち、照明装置は、時刻ｔ１においては、ＬＥＤ３が非点灯、時刻ｔ２においては、ＬＥＤ１が非点灯となるように各ＬＥＤを制御する。この動作を一定周期で繰り返す。これにより、照明装置においても、映像を表示する表示装置と同様に、可視光通信信号の送信が可能となる。尚、照明におけるチラツキなどを考慮すると、時刻ｔ１およびｔ２で非点灯状態になる期間は、０．２ｍｓｅｃ以下であることが望ましい。
以上のように、図面および詳細な説明によって、出願人がベストモードと考える実施の形態と他の実施の形態とを提供した。これらは、特定の実施の形態を参照することにより、当業者に対して、請求の範囲に記載の主題を例証するために提供されるものである。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、それ以外の構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちにそれらの必須ではない構成要素が必須であるとの認定を受けるべきではない。また、請求の範囲またはその均等の範囲において、上述の実施の形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。
また、本開示には、以下の映像表示装置も含まれる。つまり、この映像表示装置は、入力される映像信号をフレーム単位で複数の画像に分解して出力する第１の信号処理部と、入力される可視光通信信号を符号化して符号化画像を生成し、前記符号化画像を所定の配置に配置して可視光通信画像を生成すると共に、前記可視光通信画像を表示する表示タイミングを決定する第２の信号処理部と、前記第１の信号処理部より出力される複数の画像に前記第２の信号処理部が決定した表示タイミングで前記可視光通信画像を挿入して表示するよう制御する表示制御部と、前記表示制御部の制御に従って前記第１の信号処理部より出力される複数の画像と前記可視光通信画像を表示する表示部とを備える。
また、映像表示装置は、可視光通信信号を出力可能な映像表示装置であって、映像を表示する表示面と、映像信号に基づいて前記表示パネルの表示面に可視光通信信号を符号化し、一定の規則で画像化した縞状画像を含む画像を作成する可視光通信信号制御部と、映像を表示するよう制御する表示制御部と、前記可視光通信信号を符号化して作成した画像を極短い時間映像に混入させて表示する一連の映像信号を編成し直す可視光通信信号符号化画像統合制御部と、これら映像信号を表示する表示面とを備える。
また、前記第２の信号処理部は、前記可視光通信画像を表示する極短い時間とは、１ｍｓｅｃ以内で、望ましくは０．２ｍｓｅｃ以内としてもよい。
また、前記可視光通信信号を符号化して作成した縞様画像を含む画像において、縞様画像は少なくとも１つのまとまりを持った可視光信号であって、表示面の縁辺に対して平行でない、或いは、複数の縞様画像を含み、互いに直交或いは鋭角を持って交わる状況を備えた映像を出力してもよい。
また、前記表示部の表示面に可視光通信信号を符号化し、所定の規則で画像化した縞状画像を表示する期間と連続して前記所定の縞状画像の各画素の補足を持ってなす縞状画像を表示面に表示することを特徴としてもよい。
また、本実施の形態では、液晶表示装置を表示装置１００の一例として説明を行ったが、表示装置１００をこれ以外の種類の表示装置に適応してもよい。
フラットタイプの表示装置のうち、プラズマディスプレイ（ＰＤＰ）や、有機ＥＬディスプレイ（ＯＬＥＤ）等の自発光型のディスプレイは、各映像信号に基づいて、各々の原色（一般的にはＲ，Ｇ，Ｂであることが多い）のそれぞれの成分に対して階調をつけてそれらの成分を発光させ、映像表示を行う。ＰＤＰは、階調を量子化して重みをつけたサブフィールドにフレームを分解し、各々のサブフィールドにおいて点灯する／しないの情報を書き込み、時分割で発光することで、ほとんどの階調表現を行う。更なる階調表示を行うために、誤差拡散などの手法を用いて、空間的に分解を行うことで表現の幅を広げる場合もある。この際には、前述した各サブフィールドのうちのひとつ以上のサブフィールドの期間において符号化画像を出力することによって、符号化画像を表示することが可能となる。また、通常のサブフレーム構成以外の期間を設けて、その期間において符号化画像を表示することも可能となる。符号化画像は、１か０か（白か黒か、あるいは、Ｒとシアンなど補色関係の組み合わせ）の１ビットの信号のみを表示する場合には、短い期間のサブフレームを少なくともひとつ以上、符号化画像を表示する期間に割り当てる。これにより、その１ビットの信号を表示することが可能となる。
ＯＬＥＤの場合には、ＰＤＰのように、重みをつけたサブフレームの組み合わせと、各画素の原色部分に相当する素子に流す電流とによって、単位時間当たりの発光エネルギーを制御することも可能である。そのため、サブフレームを割り当てる方法を適応することも可能であるが、別途、符号化画像を表示する期間を設けることのほうが望ましい。この際に、前述の１ビットの信号が構成される画像を作成する方法として、電流を流すか流さないかという観点で、画像を構成してもよい。しかし、別の電流量を流して輝度差をつけて符号化画像を構成することも可能であり、符号化画像を表示する期間も比較的高い自由度で選択することが可能となる。この際には、人の目で認識できないようにするために、できるだけ符号化画像による輝度を低くしたいという要求と、撮像する素子の感度によってその瞬間の輝度はできるだけ高くしたいという要求の両方を満たすため、たとえば非常に短い期間に高い輝度の符号化画像を表示することなどが可能である。
一方で、一般の液晶ディスプレイと同様に自発光型ではなく、バックライトなどの光源を必要とする表示装置には、例えば、ＭＥＭＳ（マイクロエレクトリックメカニカルシステム）を用いたフラットディスプレイと、プロジェクターなどがあげられる。さらに、プロジェクターには、ＤＭＤを用いた各画素に対応した反射素子を高速で駆動して映像を表示するタイプのプロジェクターと、液晶を用いたプロジェクターとがある。ＭＥＭＳを用いたディスプレイは、一般的にＭＥＭＳの素子を原色ごとに設けて映像表示するものと、ＭＥＭＳの素子を画素に対応する数だけ設けて、各原色は、光源を時分割して表示するものとがある。なお、後者のほうが一般的になると考えられている。
前者は、単純にＰＷＭ制御によって光源の光が透過する時間を制御することで階調表現するものと、ＰＤＰと同様に重みをつけたサブフレームにフレームを分割して量子化した階調データを用いて、各サブフレームの透過または不透過を制御することにより階調表現を行うものとがある。さらには、光源の輝度の変化との組み合わせでさらに広い範囲の階調表現をすることも可能となる。各々の表示装置において、ＯＬＥＤと同様に、各サブフレームを用いて符号化画像を送信することが可能であるため、サブフレームでひとつの符号化画像を構成することも可能である。また、ＰＷＭの場合には、符号化画像を表示する期間を特定してもよい。さらに、輝度の変化と、時分割、あるいはセブフレーム制御との組み合わせの場合には、光源の輝度の制御がＯＬＥＤにおける電流量の制御と同様に、時間以外のパラメータによって階調表現することも可能である。このため、透過させる光の強度によって、１ビットの信号を表す符号化画像を作成して送信してもよい。
プロジェクターでは、スクリーンに投影した映像が時分割されて、非常に短い期間において符号化画像を構成できる制御を行えばよい。具体的にその制御の方法を説明する。
ＤＭＤを用いたプロジェクターには、各原色を時分割するタイプと、原色ごとにＤＭＤを配置するタイプとがある。前者のタイプは、駆動形態としては、ＭＥＭＳの場合とほぼ同様の構成により実現できる。しかし、プロジェクターの場合には、光源の光を反射した光をスクリーンに投影した際の画像に符号化画像を表示しなければならない。このため、設備の構成は異なるが、制御方法としては、ＰＷＭを用いた場合、サブフレームを用いた場合、光源光の強度制御まで用いた場合、および、それらを組み合わせた場合のそれぞれに応じた機器に合わせて、符号化画像をスクリーンに投影する手段が考えられる。これらも、すべてＭＥＭＳにおいて、バックライトの光を前面に透過させる場合と読み替えて行えばよい。後者のタイプでは、原色ごとの点灯または非点灯により符号化画像の信号量（ビット数）をあげてもよいが、すべての原色を同時に制御する、あるいは、同時に逆相の駆動を用いる。これにより、白黒あるいはお互いに補色の関係にある二色によって、符号化画像をスクリーンに投影することが可能となる。液晶を用いたプロジェクターに関しては、液晶ディスプレイを用いた場合と同様の方法で、符号化画像をスクリーンに投影することが可能となる。
図１９Ａは、本開示の一態様に係る表示方法のフローチャートである。
本開示の一態様に係る表示方法は、映像信号に含まれる画像をフレームごとに表示する表示方法であって、ステップＳＬ１１〜ＳＬ１３を含む。つまり、この表示方法は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成ステップＳＬ１１と、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示ステップＳＬ１２と、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示ステップＳＬ１３とを含む。また、第２の表示ステップＳＬ１３では、前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。
図１９Ｂは、本開示の一態様に係る表示装置のブロック図である。
本開示の一態様に係る表示装置Ｌ１０は、映像信号に含まれる画像をフレームごとに表示する表示装置であって、構成要素Ｌ１１〜Ｌ１３を備える。つまり、この表示装置Ｌ１０は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成部Ｌ１１と、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示部Ｌ１２と、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示部Ｌ１３とを備える。また、第２の表示部Ｌ１３は、前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する。なお、可視光通信画像生成部Ｌ１１は、例えば図２に示す第２の信号処理部１６０に相当し、第１および第２の表示部Ｌ１２，Ｌ１３は、例えば図２に示す表示制御部１４０および表示部１１０から構成される。
このような図１９Ａおよび図１９Ｂによって示される表示方法および表示装置Ｌ１０では、例えば、全黒画像または一様に灰色の画像が識別用画像として表示された後に第１の可視光通信画像が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始位置を示す一様に黒または灰色のラインが表れる。したがって、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。また、可視光通信信号の送信のためにバックライトを点滅させる必要がないため、画質を大きく劣化させることなく、可視光通信信号を映像に挿入して送信することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図１９Ａのフローチャートによって示される表示方法をコンピュータに実行させる。
なお、本開示における包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示にかかる表示方法および表示装置は、画像以外の情報を安全にしかも能動的に取得できる。したがって、家庭でのテレビ或いはＰＣ、タブレットなどの機器は勿論のこと、外出先でのサイネージや、情報端末、情報表示機器においても、その能動性ゆえに安全に必要な情報を必要なだけ送信することができ、あらゆる場面での画像付帯情報の転送、情報発信などのさまざまな用途に適用可能である。
１００ 表示装置
１１０ 表示部
１２０ 第１の入力部
１３０ 第１の信号処理部
１４０ 表示制御部
１５０ 第２の入力部
１６０ 第２の信号処理部
２００ 受信装置
２１０ 撮像部
２２０ 映像化部
２３０ 信号判定部
２４０ 信号復調部

Claims (10)

  1. 映像信号に含まれる画像をフレームごとに表示する表示方法であって、
    可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成ステップと、
    所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示ステップと、
    前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示ステップとを含み、
    前記第２の表示ステップでは、
    前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する
    表示方法。
  2. 前記表示方法は、さらに、
    前記第１の可視光通信画像が表示された後に、可視光通信用の縞模様の画像を第２の可視光通信画像として表示する第３の表示ステップを含む
    請求項１に記載の表示方法。
  3. 前記第３の表示ステップでは、
    前記第１の可視光通信画像の縞模様の向きと異なる向きの縞模様の前記第２の可視光通信画像を表示する
    請求項２に記載の表示方法。
  4. 前記第３の表示ステップでは、
    前記第１の可視光通信画像の縞模様を構成する互いに異なる２つの輝度値または色を入れ換えることによって示される反転画像を、前記第２の可視光通信画像として表示する
    請求項２に記載の表示方法。
  5. 前記第１および第２の可視光通信画像のそれぞれの縞模様は、補色の関係を有する２つの色を用いて構成されている
    請求項４に記載の表示方法。
  6. 前記第３の表示ステップでは、
    前記第１の可視光通信画像と前記第２の可視光通信画像との表示間隔が２０ｍ秒以下となるように、前記第２の可視光通信画像を表示する
    請求項４または５に記載の表示方法。
  7. 前記表示方法は、さらに、
    前記第１の可視光通信画像が表示された後、前記第２の可視光通信画像が表示されるまでの間に、前記識別用画像を再び表示する第１の再表示ステップを含む
    請求項２〜６の何れか１項に記載の表示方法。
  8. 前記表示方法は、さらに、
    前記第２の可視光通信画像が表示された後に、前記識別用画像を再び表示する第２の再表示ステップを含む
    請求項２〜７の何れか１項に記載の表示方法。
  9. 前記第１または第２の再表示ステップでは、
    前記所定のフレーム内で、当該所定のフレームよりも短い期間だけ前記識別用画像を再び表示する
    請求項７または８に記載の表示方法。
  10. 映像信号に含まれる画像をフレームごとに表示する表示装置であって、
    可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第１の可視光通信画像として生成する可視光通信画像生成部と、
    所定のフレームにおいて、前記映像信号に含まれる画像を表示する第１の表示部と、
    前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第１の可視光通信画像を表示する第２の表示部とを備え、
    前記第２の表示部は、
    前記映像信号に含まれる画像が前記所定のフレーム内で表示された後、前記第１の識別用画像および前記第１の可視光通信画像をそれぞれ、前記所定のフレームと同じフレーム内で、当該所定のフレームよりも短い期間だけ表示する
    表示装置。
JP2015538918A 2013-09-30 2014-09-29 表示方法および表示装置 Active JP6362608B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013203349 2013-09-30
JP2013203349 2013-09-30
PCT/JP2014/004973 WO2015045416A1 (ja) 2013-09-30 2014-09-29 表示方法および表示装置

Publications (2)

Publication Number Publication Date
JPWO2015045416A1 true JPWO2015045416A1 (ja) 2017-03-09
JP6362608B2 JP6362608B2 (ja) 2018-07-25

Family

ID=52742584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015538918A Active JP6362608B2 (ja) 2013-09-30 2014-09-29 表示方法および表示装置

Country Status (4)

Country Link
US (1) US10152946B2 (ja)
EP (1) EP3054673B1 (ja)
JP (1) JP6362608B2 (ja)
WO (1) WO2015045416A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952821B2 (en) * 2015-09-01 2018-04-24 Electronics And Telecommunications Research Institute Screen position sensing method in multi display system, content configuring method, watermark image generating method for sensing screen position server, and display terminal
US10520359B2 (en) * 2015-09-28 2019-12-31 Huawei Technologies Co., Ltd. Terminal and method for detecting luminance of ambient light
CN107301835B (zh) * 2016-04-13 2019-09-17 群创光电股份有限公司 发光二极管显示器
CN107067392B (zh) * 2017-04-11 2020-11-10 北京小米移动软件有限公司 识别花屏图像的方法及装置
US10229302B2 (en) * 2017-08-11 2019-03-12 The Code Corporation Dynamically controlling brightness of targeting illumination
US10348404B1 (en) 2018-05-09 2019-07-09 Ford Global Technologies, Llc Visible light communication system with pixel alignment for high data rate

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651395A (ja) * 1992-07-28 1994-02-25 Canon Inc カメラ
JP2003115025A (ja) * 2001-10-02 2003-04-18 Egguai:Kk バーコードサービス提供システム
JP2007072099A (ja) * 2005-09-06 2007-03-22 Fuji Xerox Co Ltd 画像形成装置
WO2009113416A1 (ja) * 2008-03-10 2009-09-17 日本電気株式会社 通信システム、送信装置及び受信装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4207490B2 (ja) 2002-08-06 2009-01-14 ソニー株式会社 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP4200435B2 (ja) * 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2005354603A (ja) 2004-06-14 2005-12-22 Fujitsu Ltd 情報取得システム、コンピュータプログラム及び発注支援方法
JP2007036833A (ja) 2005-07-28 2007-02-08 Sharp Corp 電子透かし埋め込み方法及び埋め込み装置、電子透かし検出方法及び検出装置
US7570246B2 (en) 2005-08-01 2009-08-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for communication using pulse-width-modulated visible light
JP2007049584A (ja) 2005-08-12 2007-02-22 Casio Comput Co Ltd 宣伝支援システム及びプログラム
JP4739914B2 (ja) 2005-10-28 2011-08-03 京セラ株式会社 通信装置、通信システム及び通信方法
JP4980633B2 (ja) 2006-03-16 2012-07-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像表示装置、受信装置、画像表示制御方法およびデータ受信方法
JP5162850B2 (ja) 2006-07-10 2013-03-13 セイコーエプソン株式会社 プロジェクタ及び画像表示システム
US8599228B2 (en) * 2006-08-02 2013-12-03 Nec Corporation Image processing apparatus, display apparatus, and image displaying system
WO2008090851A1 (ja) * 2007-01-26 2008-07-31 Nec Corporation 画像処理装置、方法及びプログラム並びに表示装置
JP2008269486A (ja) 2007-04-24 2008-11-06 Olympus Corp 撮像機器及びその認証方法
JP4998232B2 (ja) 2007-11-27 2012-08-15 セイコーエプソン株式会社 撮像装置及び映像記録装置
JP2009204948A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 画像表示装置及びその方法
JP2009212768A (ja) 2008-03-04 2009-09-17 Victor Co Of Japan Ltd 可視光通信光送信装置、情報提供装置、及び情報提供システム
JP5488457B2 (ja) 2008-03-10 2014-05-14 日本電気株式会社 通信システム及び受信装置
US8668137B2 (en) * 2009-07-02 2014-03-11 Barcode Graphics Inc. Barcode systems having multiple viewing angles
US8553146B2 (en) * 2011-01-26 2013-10-08 Echostar Technologies L.L.C. Visually imperceptible matrix codes utilizing interlacing
JP2012205168A (ja) 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
CN105339950B (zh) * 2013-08-06 2017-12-26 英特尔公司 使用差分图像的光学通信

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651395A (ja) * 1992-07-28 1994-02-25 Canon Inc カメラ
JP2003115025A (ja) * 2001-10-02 2003-04-18 Egguai:Kk バーコードサービス提供システム
JP2007072099A (ja) * 2005-09-06 2007-03-22 Fuji Xerox Co Ltd 画像形成装置
WO2009113416A1 (ja) * 2008-03-10 2009-09-17 日本電気株式会社 通信システム、送信装置及び受信装置

Also Published As

Publication number Publication date
WO2015045416A1 (ja) 2015-04-02
JP6362608B2 (ja) 2018-07-25
EP3054673B1 (en) 2020-11-25
US10152946B2 (en) 2018-12-11
EP3054673A4 (en) 2016-10-12
US20160180810A1 (en) 2016-06-23
EP3054673A1 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
JP5715301B2 (ja) 表示方法および表示装置
JP6236356B2 (ja) 可視光通信信号表示方法及び表示装置
JP6362608B2 (ja) 表示方法および表示装置
CN104871452B (zh) 可视光通信方法及可视光通信装置
JP6053822B2 (ja) フリッカーフリーのカラー可視光通信システム
CN107210815A (zh) 用于提供光学编码信息的系统和方法
JP5915035B2 (ja) 投影装置及び投影制御方法
JP7209195B2 (ja) 表示装置および表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180626

R151 Written notification of patent or utility model registration

Ref document number: 6362608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151