JP5488457B2

JP5488457B2 - 通信システム及び受信装置

Info

Publication number: JP5488457B2
Application number: JP2010502768A
Authority: JP
Inventors: 藤男奥村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-03-10
Filing date: 2009-03-02
Publication date: 2014-05-14
Anticipated expiration: 2029-03-02
Also published as: US20110007160A1; WO2009113415A1; JPWO2009113415A1; US8648911B2

Description

本発明はディスプレイ等に表示する画像や動画像によって情報を伝達する通信システム、該通信システムで用いる受信装置に関する。

ディスプレイ等に表示する画像や動画像により情報を伝達する可視光通信技術としては、表示画像の一部に特定の二次元コード（ＱＲコード）等を表示し、携帯電話機等のカメラにより該二次元コードを撮像して情報を受信するシステムが知られている。

例えば特開２００７−１６３２３３号公報には、車両用ナビゲーションシステムで異常を検出した場合に、該異常を示す異常信号を含む故障診断データを生成し、故障診断データをシンボルコード（バーコードや二次元コード）に変換して表示装置に表示し、表示されたシンボルコードをユーザが携帯端末装置で読み取ることで故障診断データを視認できるようにした構成が記載されている。

また、特開２００６−０２０２０４号公報には、表示媒体に印刷された二次元コードを端末装置で読み取り、画像や音声等のコンテンツを提供する、読み取った二次元コードの情報で特定されるサーバ装置にアクセスして各種のコンテンツを取得する構成が記載されている。

しかしながら上記したような背景技術の可視光通信技術では、例えば街頭で用いられる大型の表示ディスプレイ等に二次元コードを表示すると、二次元コードが公衆に向けて表示された広告等の画像（公衆画像）の一部を占有するために美観を損なうという問題がある。

このような問題に対処するための手段として、公衆画像と特定のユーザにのみ提供する画像（秘密画像）とを時分割に表示する表示装置と、秘密画像の表示タイミングに同期して光を透過させる光シャッターとを組み合わせた、いわゆるセキュアディスプレイ技術がある。

セキュアディスプレイ技術では、表示装置により不特定者向けに提供する公衆画像と、特定のユーザにのみ提供する秘密画像と、該秘密画像の反転画像とを１フレーム内で時分割に表示すると共に、ユーザの目前に存在する光シャッターを秘密画像の表示タイミングに同期させて透過状態に切り替える。これにより光シャッターを用いるユーザには秘密画像のみが視認され、光シャッターを用いない周囲の不特定者（公衆）には、秘密画像がその反転画像と重畳されて中間調（灰色）の画像になるため、公衆画像のみが視認される。

セキュアディスプレイ技術を利用すれば、不特定者に向けて公衆画像を提供しつつ、光シャッターを用いるユーザに秘密画像を用いて各種の情報を提供できる。そのため、公衆画像の美観を損なうことはない。

しかしながら、セキュアディスプレイ技術では、上述したように秘密画像を視認するのに光シャッターが必要であるため、秘密画像を提供できるユーザが限定されてしまう。一般的な可視光通信では、より簡易に秘密画像で多数のユーザに各種の情報を提供できることが望ましい。

例えば、公衆画像により広告等を表示し、秘密画像により該公衆画像で表示された商品の詳細情報を提供するサーバ装置のＵＲＬ（Uniform Resource Locator）を二次元コード等で表示する場合、光シャッターを必要とするシステムでは利便性が低くなってしまう。

また、セキュアディスプレイ技術では、光シャッターによって表示装置に表示された秘密画像のみを透過させ、公衆画像や反転画像を遮断するように、秘密画像の表示に同期する同期信号を表示装置から光シャッターに送信する必要がある。

しかしながら、可視光通信では、例えば遠く離れて設置された大型のディスプレイ等に表示された画像から各種の情報を取得する場合、ユーザが必ずしも同期信号を受信できる環境下にいるとは限らないため、上記セキュアディスプレイ技術のように同期信号を用いることなく、ユーザに簡易に情報を提供できることが望まれる。

そこで、本発明は、公衆画像の美観を損なうことなく、かつ同期信号等を用いることなく簡易な手段で可視光通信が可能な通信システム、並びに該通信システムで用いる受信装置を提供することを目的とする。

上記目的を達成するため本発明の通信システムは、１フレームを複数のサブフレームに分割し、第１の画像の画像信号を、前記１フレーム内の信号レベルの総和がゼロとなるように前記複数のサブフレームに分散し、第２の画像の画像信号に重畳して出力する制御装置と、
前記制御装置から出力された画像信号に基づく画像を前記サブフレーム毎に表示する表示装置と、
前記サブフレームの周期と同一の周期毎に前記表示装置に表示された画像を撮影し、前記サブフレームの周期と同一の周期毎に得られる２つの画像信号の差を求めることで前記第１の画像の画像信号を取得して表示する受信装置と、
を有し、
前記１フレーム内のサブフレーム数をｎ（ｎは３以上の整数）とするとき、
前記受信装置は、
前記１フレーム内の、前記サブフレームの周期と同一の周期毎に得られる第１の画像信号から第ｎ−１の画像信号を加算した積分信号を格納するサブフレームメモリと、
前記１フレーム内の、第ｎの画像信号の信号レベルをｎ−１倍にする増幅部と、
前記サブフレームメモリに格納された前記積分信号と前記増幅部から出力される画像信号の差を求め、前記第１の画像の画像信号を出力する減算器と、
を有する。

本発明の受信装置は、１フレームを複数のサブフレームに分割して第１の画像及び第２の画像を表示する表示装置に表示された画像を撮影し、前記第１の画像または前記第２の画像を抽出して表示する受信装置であって、
前記サブフレームの周期と同一の周期毎に前記表示装置に表示された画像を撮影するカメラ部と、
前記サブフレームの周期と同一の周期毎に前記カメラ部から出力される画像信号を順次格納するサブフレームメモリと、
前記サブフレームメモリに格納された２つの画像信号の差を求め、前記第１の画像の画像信号を出力する減算器と、
を有し、
前記１フレーム内のサブフレーム数をｎ（ｎは３以上の整数）とするとき、
前記カメラ部は、前記サブフレームの周期と同一の周期毎に撮影した画像信号のうち、連続するｎ−１の周期で得られる画像信号を加算した積分信号を出力し、
前記カメラ部から前記積分信号に続いて出力される画像信号の信号レベルをｎ−１倍にする増幅部を備え、
前記サブフレームメモリは、前記積分信号を格納し、
前記減算器は、前記サブフレームメモリに格納された前記積分信号と前記増幅部から出力される画像信号との差を求め、前記第１の画像の画像信号を出力する構成である。

図１は、本発明の通信システムの一構成例を示す模式図である。図２は、図１に示した表示装置及び制御装置の一構成例を示すブロック図である。図３は、第１の実施の形態の受信装置の一構成例を示すブロック図である。図４は、第１の実施の形態の通信システムの動作例を示す模式図である。図５は、第１の実施の形態の通信システムの動作例を示す模式図である。図６は、第２の実施の形態の受信装置の他の構成例を示すブロック図である。図７は、第２の実施の形態の通信システムの動作例を示す模式図である。図８は、第２の実施の形態の通信システムの動作例を示す模式図である。図９は、第３の実施の形態の受信装置の一構成例を示すブロック図である。図１０は、第３の実施の形態の通信システムの動作例を示す模式図である。図１１は、第３の実施の形態の通信システムの動作例を示す模式図である。図１２は、第３の実施の形態の受信装置の他の構成例を示すブロック図である。図１３は、第４の実施の形態の通信システムの動作例を示す模式図である。図１４は、第４の実施の形態の通信システムの動作例を示す模式図である。

次に本発明について図面を用いて説明する。

（第１の実施の形態）
図１は本発明の通信システムの一構成例を示す模式図である。

図１に示すように、本発明の通信システムは、ユーザに向けて提供する広告等の画像である基本画像（上記セキュアディスプレイ技術の公衆画像に相当）及び特定のユーザにのみ提供する画像である埋め込み画像（上記セキュアディスプレイ技術の秘密画像に相当）を表示する表示装置１と、表示装置１に画像を表示させるための画像信号を出力する制御装置３と、ユーザが所有する、表示装置１に表示されている画像から基本画像または埋め込み画像を抽出して表示する受信装置２とを備えた構成である。なお、特許請求の範囲に記載した「第１の画像」は上記埋め込み画像に対応し、「第２の画像」は上記基本画像に対応している。

制御装置３は、１フレームを複数のサブフレームに分割し、各サブフレームにて表示装置１に基本画像を表示させると共に、埋め込み画像の画像信号を１フレーム内における信号レベルの総和がゼロとなるように各サブフレームに分散し、分散後の埋め込み画像の画像信号を基本画像の画像信号に重畳して表示装置１に表示させる。ここで、信号レベルの総和がゼロになるとは、各画像信号の対応する画素どうしの輝度値を加算した場合に、全ての画素で加算値が一定の輝度値（例えば中間の灰色）となることを指す。したがって、表示装置１に表示された画像を見ているユーザには、各サブフレームの埋め込み画像が時間積分されて視認されるため、埋め込み画像を見ることができない。

表示装置１は、制御装置３より出力された画像信号に基づく画像をサブフレーム毎に表示する。

受信装置２は、サブフレームの周期と同一の周期毎に表示装置１に表示された画像を撮影し、該周期毎に得られる２つの画像信号の差を求めることで埋め込み画像の画像信号を取得して表示し、該周期毎に得られる各画像信号を加算することで基本画像の画像信号を取得して表示する。

第１の実施の形態では、表示装置１で表示する画像の１フレームを、例えば３つのサブフレームに分割する。制御装置３は、第１のサブフレームにて基本画像を表示装置１に表示させ、第２のサブフレームにて基本画像の画像信号に埋め込み画像の画像信号を、例えば正方向に重畳して表示装置１に表示させ、第３のサブフレームにて基本画像の画像信号に埋め込み画像の画像信号を第２のサブフレームの埋め込み画像と同じ信号レベルで負方向に重畳して表示装置１に表示させる。この場合、表示装置１の表示画像を見ているユーザには、第２のサブフレームで表示される正方向の埋め込み画像と第３のサブフレームで表示される負方向の埋め込み画像とが相殺（いわゆる秘密画像に反転画像を合成することに相当）されて基本画像のみが知覚される。

各サブフレームにて基本画像に重畳する埋め込み画像の画像信号は、１フレーム内で信号レベルの総和がゼロとなるように分散できればよく、基本画像の画像信号に対して埋め込み画像の画像信号を正方向または負方向に重畳するサブフレームは、第1のサブフレーム〜第３のサブフレームのいずれであってもよい。

一方、第１の実施の形態の受信装置２は、上記サブフレームの周期と同一の周期毎に表示装置１に表示された画像を自機が備えるカメラで撮影する。このとき、カメラで撮影した最初のサブフレーム（第1のサブフレーム）に相当する画像信号、２番目のサブフレーム（第２のサブフレーム）に相当する画像信号及び３番目のサブフレーム（第３のサブフレーム）に相当する画像信号を加算すれば基本画像の画像信号が得られる。また、第１のサブフレームと第２のサブフレームに相当する画像信号の差、あるいは第１のサブフレームと第３のサブフレームに相当する画像信号の差を求めれば埋め込み画像の画像信号が得られる。

図２は図１に示した表示装置及び制御装置の一構成例を示すブロック図であり、図３は第１の実施の形態の受信装置の構成を示すブロック図である。

図２に示すように、制御装置３は、レベル変調部１１、信号合成部１２及びサブフレームメモリ部１３を備え、表示装置１は、サブフレームメモリ部１３及び表示部１４を備えている。なお、基本画像の画像信号（図２内の基本画像信号）及び埋め込み画像の画像信号（図２内の埋め込み画像信号）は、外部に設けられた不図示の電子機器から制御装置３に入力されてもよく、制御装置３の内部で生成されてもよい。

レベル変調部１１は、各サブフレームにて基本画像の画像信号に重畳する、サブフレーム毎の埋め込み画像の画像信号を生成する。本実施形態のレベル変調部１１では、例えば第２のサブフレームで重畳する埋め込み画像の正方向の画像信号及び第３のサブフレームで重畳する負方向の画像信号を生成する。

信号合成部１２は、サブフレーム毎に、基本画像の画像信号に埋め込み画像の画像信号を重畳してサブフレームメモリ部１３へ出力する。

サブフレームメモリ部１３は、信号合成部１２から出力される上記サブフレーム毎の画像信号を画像データとして格納する。サブフレームメモリ部１３は、表示装置１ではなく、制御装置３に備えていてもよい。

表示部１４は、サブフレームメモリ部１３に格納された画像信号にしたがって上記サブフレーム毎の画像を表示する。

制御装置３は、画像信号を処理するためのＡ／Ｄ変換器、プログラムにしたがって処理を実行するＣＰＵ、ＤＳＰあるいは論理演算回路等によって実現できる。表示装置１には、液晶ディスプレイ、ＬＥＤディスプレイ、ＤＬＰ型のプロジェクター装置、有機ＥＬディスプレイ、ＰＤＰ等を用いることができる。

図３に示すように、受信装置２は、カメラ部２１、スイッチ部２２、サブフレームメモリ（＃１〜＃３）２３_１〜２３_３、加算器２４、減算器２５、ビデオメモリ２６、埋め込み画像用メモリ２７、表示部２８及び信号解読処理部２９を備えている。

カメラ部２１は、表示装置１の表示部１４に表示された画像を上記サブフレームの表示周期と同一の周期毎に撮影する。カメラ部２１は、撮影周期が表示装置１のサブフレームの表示周期と同一となるように予め設定されている構成、あるいはユーザの操作により撮影周期が表示装置１のサブフレームの表示周期と同一となるように設定または選択可能な構成とする。

スイッチ部２２は、カメラ部２１から出力された画像信号を、上記サブフレームと同一の周期毎に３つのサブフレームメモリ２３_１〜２３_３に順次振り分ける。

サブフレームメモリ２３_１〜２３_３は、スイッチ部２２から出力された画像信号を画像データとして格納する。

加算器２４は、サブフレームメモリ２３_１〜２３_３に格納された画像信号を加算し、ビデオメモリ２６に出力する。

減算器２５は、サブフレームメモリ（＃１）２３_１に格納された画像信号から、例えばサブフレームメモリ（＃３）２３_３に格納された画像信号を減算し、埋め込み画像用メモリ２７に出力する。

ビデオメモリ２６は、加算器２４から出力された基本画像の画像データを格納する。

埋め込み画像用メモリ２７は、減算器２５から出力された埋め込み画像の画像データを格納する。

表示部２８は、ユーザの操作にしたがって、ビデオメモリ２６または埋め込み画像用メモリ２７に格納された画像データを用いて基本画像または埋め込み画像を表示する。

信号解読処理部２９は、減算器２５から出力された埋め込み画像の画像データに対して所要の信号処理を実行する。例えば埋め込み画像が二次元コードであった場合、信号解読処理部２９は該二次元コードをデコードする。

受信装置２には、上記表示装置１のサブフレームの表示周期と同一周期で画像を撮影するカメラ部２１を備えた、携帯電話機やＰＤＡ（Personal Digital Assistant）、あるいはノート型のパーソナルコンピュータ等の携帯端末装置が用いられる。

図４及び図５は第１の実施の形態の通信システムの動作例を示す模式図である。なお、図４及び図５は三角形状の基本画像３１及び円形状の埋め込み画像３２を表示する例を示している。

上述したように、制御装置３は、１フレームを３つのサブフレームに分割し、第１のサブフレームにて表示装置１に基本画像を表示させ、第２のサブフレームにて基本画像の画像信号に埋め込み画像の画像信号を正方向に重畳して表示装置１に表示させ、第３のサブフレームにて基本画像の画像信号に埋め込み画像の画像信号を負方向に重畳して表示装置１に表示させる。そのため、表示装置１の表示画像を見ているユーザには、第２のサブフレームで表示される正方向の埋め込み画像と第３のサブフレームで表示される負方向の埋め込み画像とが相殺されて基本画像のみが知覚される。この基本画像はフレーム毎に繰り返し表示されるため、光シャッターを用いずに表示装置１を見ているユーザは基本画像にフリッカを知覚することがない。

一方、第１の実施の形態の受信装置２は、ユーザの操作により、表示装置１のサブフレームの表示周期と同一の周期毎に表示装置１に表示された画像をカメラ部２１で撮影する。

一般に、受信装置２として用いる携帯端末装置が備えるカメラ部２１はＣＣＤ（Charge Coupled Devices）やＣＭＯＳ等の撮像素子が用いられる。これらの撮像素子を用いるカメラ部２１では、通常、ノイズの低減や受光感度を向上させるために、受光量に応じてＣＣＤやＣＭＯＳで発生する電荷を一定期間（例えば、１サブフレームの期間）だけ積分する蓄積モードで動作する。

本実施形態の受信装置２は、表示装置１からフレームやサブフレームと同期する同期信号を受信する構成ではないため、カメラ部２１の積分期間（１サブフレームに相当する期間）と表示装置１で表示しているサブフレームとが同期するとは限らない。しかしながら、本実施形態では、カメラ部２１の積分期間と表示装置１のサブフレームの表示周期が同一とされており、かつ表示装置１は同一のサブフレームで構成されたフレームを繰り返し表示する。したがって、カメラ部２１の積分期間と表示装置１で表示しているサブフレームとが同期していなくても、撮影周期毎に得られる各画像信号には基本画像及び埋め込み画像の情報が含まれている。そのため、カメラ部２１で撮影した第１のサブフレーム〜第３のサブフレームに相当する画像信号を加算すれば、第２のサブフレームと第３のサブフレームに含まれる埋め込み画像の画像信号が相殺され、残った基本画像の画像信号が得られる。また、第１のサブフレームと第３のサブフレームに相当する画像信号の差を求めれば、第１のサブフレームと第３のサブフレームに含まれる基本画像の画像信号が相殺され、残った埋め込み画像の画像信号が得られる。

図４（ａ）は、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているときの、表示装置１の表示画像とカメラ部２１から出力される画像信号（撮影信号）の一例を示している。図４（ｂ）は、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているときの、受信装置２の減算器２５から出力される埋め込み画像とその画像信号の一例を示している。また、図４（ｂ）では、図４（ａ）に示す画像ａ（期間ａの積分値）と画像ｃ（期間ｃの積分値）に対応する画像信号の差の画像（埋め込み画像）とその絶対値、画像ｂ（期間ｂの積分値）と画像ｄ（期間ｄの積分値）に対応する画像信号の差の画像（埋め込み画像）とその絶対値、及び画像ｃ（期間ｃの積分値）と画像ｅ（期間ｅの積分値）に対応する画像信号の差の画像（埋め込み画像）とその絶対値をそれぞれ示している。図４（ａ）に示す撮影信号は、図４（ａ）に示す表示画像のＡ−Ａ’線に対応する信号レベルを示し、図４（ｂ）に示す画像信号は図４（ａ）に示す表示画像のＡ−Ａ’線に対応する信号レベルを示している。

図５（ａ）は、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対して１／２周期だけ遅れているときの、表示装置１の表示画像とカメラ部２１から出力される画像信号（撮影信号）の一例を示している。図５（ｂ）は、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対して１／２周期だけ遅れているときの、受信装置２の減算器２５から出力される埋め込み画像とその画像信号の一例を示している。また、図５（ｂ）では、図５（ａ）に示す画像ｇ（期間ｇの積分値）と画像ｉ（期間ｉの積分値）に対応する画像信号の差の画像（埋め込み画像）とその絶対値、画像ｈ（期間ｈの積分値）と画像ｊ（期間ｊの積分値）に対応する画像信号の差の画像（埋め込み画像）とその絶対値、及び画像ｉ（期間ｉの積分値）と画像ｋ（期間ｋの積分値）に対応する画像信号の差の画像（埋め込み画像）とその絶対値をそれぞれ示している。図５（ａ）に示す撮影信号は、図５（ａ）に示す表示画像のＡ−Ａ’線に対応する信号レベルを示し、図５（ｂ）に示す画像信号は図５（ａ）に示す表示画像のＡ−Ａ’線に対応する信号レベルを示している。

図４（ａ）及び図５（ａ）を比べれば分かるように、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対してずれていると、表示装置１で表示しているサブフレーム毎の画像が同一であっても、カメラ部２１から撮影周期毎に出力される画像信号の波形は異なってしまう。しかしながら、サブフレームの周期と同一の周期毎に得られるこれらの画像信号は信号レベルが異なるだけであり、どちらの画像信号にも基本画像及び埋め込み画像の情報が含まれている。

したがって、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているか否かに関わらず、図４（ｂ）及び図５（ｂ）に示すように、第１のサブフレームと第３のサブフレームに相当する画像信号の差を求めれば、第１のサブフレームと第３のサブフレームに含まれる基本画像の画像信号が相殺されて、残った埋め込み画像の画像信号が得られる。また、第１のサブフレーム〜第３のサブフレームに相当する画像信号を加算すれば、第２のサブフレームと第３のサブフレームに含まれる埋め込み画像の画像信号が相殺されて、残った基本画像の画像信号が得られる。

よって、本実施形態の通信システムによれば、公衆画像の美観を損なうことなく、かつ同期信号等を用いることなく簡易な手段で可視光通信が可能になる。

（第２の実施の形態）
第２の実施の形態では、１フレームを、例えば３つのサブフレームに分割し、分割した全てのサブフレームに埋め込み画像の画像信号を分散して重畳する。すなわち、第２の実施の形態の制御装置３では、第１のサブフレームで基本画像に重畳する埋め込み画像の画像信号をＸ、第２のサブフレームで基本画像に重畳する埋め込み画像の画像信号をＹ、第３のサブフレームで基本画像に重畳する埋め込み画像の画像信号をＺとしたとき、以下の式（１）が成立するように各サブフレームの埋め込み画像の信号レベルを設定する。

Ｘ＋Ｙ＋Ｚ＝０ …（１）
但し、

とする。

このように、同一フレーム内の各サブフレームに重畳する埋め込み画像の信号レベルが互いに異なり、かつ同一フレーム内の各サブフレームに重畳する埋め込み画像の信号レベルの総和がゼロとなるように埋め込み画像の画像信号を各サブフレームに分散しても、第1の実施の形態と同様に、表示装置１を見ているユーザには各サブフレームで表示される埋め込み画像が相殺されて基本画像のみが知覚される。

一方、第２の実施の形態の受信装置２は、第１の実施の形態と同様に、上記サブフレームの周期と同一の周期毎に表示装置１に表示された画像をカメラ部２１で撮影する。このとき、第1の実施の形態と同様に、カメラ部２１で撮影した第１のサブフレーム〜第３のサブフレームに相当する各画像信号を加算すれば、各サブフレームに含まれる埋め込み画像の画像信号が相殺されて、残った基本画像の画像信号が得られる。また、第１のサブフレーム〜第３のサブフレームに相当する各画像信号のうち、２つの画像信号の差を求めれば、それらのサブフレームに含まれる基本画像の画像信号が相殺されて、残った埋め込み画像の画像信号が得られる。

本実施形態の制御装置３は、図２に示したレベル変調部１１により各サブフレームにて基本画像に重畳する、信号レベルがＸ、Ｙ、Ｚの埋め込み画像の画像信号を生成する。また、信号合成部１２は、サブフレーム毎に、基本画像の画像信号に信号レベルがＸ、Ｙ、Ｚの埋め込み画像の画像信号を重畳し、サブフレームメモリ部１３へ出力する。その他の構成及び動作は第１の実施の形態の制御装置３と同様であるため、その説明は省略する。表示装置１の構成及び動作も第１の実施の形態の表示装置１と同様であるため、その説明は省略する。

第２の実施の形態の受信装置２は、図３に示した減算器２５とサブフレームメモリ２３_１〜２３_３間の接続を変更することで実現できる。すなわち、サブフレームメモリ（＃１）２３_１とサブフレームメモリ（＃２）２３_２に格納された画像信号を減算器２５に出力し、減算器２５にて、例えばサブフレームメモリ（＃１）２３_１に格納された画像信号からサブフレームメモリ（＃２）２３_２に格納された画像信号を減算し、埋め込み画像用メモリ２７に出力すればよい。

なお、第２の実施の形態の受信装置２は、図６に示すようにスイッチ部２２から出力された第３のサブフレームに相当する画像信号をサブフレームメモリ２３に格納することなく、加算器２４に直接出力する構成でも実現できる。

図６に示す受信装置２は、図３に示した構成と比べてサブフレームメモリ２３の数を減らすことができるため、受信装置２のコストを低減できる。その他の構成及び動作は図３に示した受信装置２と同様であるため、その説明は省略する。

図７（ａ）は、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているときの、表示装置１の画像信号（表示信号）の一例を示している。図７（ｂ）は、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているときの、受信装置２の減算器２５から出力され画像信号の一例を示している。また、図７（ｂ）では、図７（ａ）に示す画像信号ａ（期間ａの積分値）と画像信号ｂ（期間ｂの積分値）の差の絶対値、画像信号ｂ（期間ｂの積分値）と画像信号ｃ（期間ｃの積分値）の差の絶対値、及び画像信号ｃ（期間ｃの積分値）と画像信号ｄ（期間ｄの積分値）の差の絶対値をそれぞれ示している。

図８（ａ）は、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対して１／２周期だけ遅れているときの、表示装置１の画像信号（表示信号）及び受信装置２のカメラ部２１から出力される画像信号（撮影信号）の一例を示している。図８（ｂ）は、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対して１／２周期だけ遅れているときの、受信装置２の減算器２５から出力される画像信号の一例を示している。また、図８（ｂ）では、図８（ａ）に示す画像信号ｇ（期間ｇの積分値）と画像信号ｈ（期間ｈの積分値）の差の絶対値、画像信号ｈ（期間ｈの積分値）と画像信号ｉ（期間ｉの積分値）の差の絶対値、及び画像信号ｉ（期間ｉの積分値）と画像信号ｊ（期間ｊの積分値）の差の絶対値をそれぞれ示している。

図７（ｂ）及び図８（ｂ）に示すように、第２の実施の形態の受信装置２でも、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているか否かに関わらず、第１のサブフレームと第３のサブフレームに相当する画像信号の差を求めれば埋め込み画像の画像信号が得られる。また、第１のサブフレーム〜第３のサブフレームに相当する画像信号を加算すれば基本画像が得られる。

したがって、第２の実施の形態によれば、第1の実施の形態と同様に、公衆画像の美観を損なうことなく、かつ同期信号等を用いることなく簡易な手段で可視光通信が可能になる。また、第２の実施の形態の受信装置２は、図６に示した構成を採用すれば、サブフレームメモリ２３の数を減らすことができるため、第1の実施の形態に比べて受信装置２のコストを低減できる。

（第３の実施の形態）
第３の実施の形態は、第２の実施の形態と同様に１フレームを３つのサブフレームに分割し、分割した全てのサブフレームに埋め込み画像の画像信号を分散して重畳した画像信号を出力する構成である。第３の実施の形態の制御装置３の構成及び動作は、第２の実施の形態の制御装置３と同様であるため、その説明は省略する。また、表示装置１の構成及び動作も第２の実施の形態の表示装置１と同様であるため、その説明は省略する。

第３の実施の形態の受信装置２は、上記サブフレームと同一の周期毎に表示装置１に表示された画像を自機が備えるカメラ部２１で撮影する。このとき、第３の実施の形態の受信装置２では、第１のサブフレーム及び第２のサブフレームを続けて積分し、これら２つのサブフレームの画像信号を加算する。埋め込み画像は、第１のサブフレーム及び第２のサブフレームの画像信号を加算した画像信号（積分信号）と第３のサブフレームの画像信号の信号レベルの差を求めることで取得する。基本画像は、第１のサブフレーム及び第２のサブフレームの積分信号と第３のサブフレームの画像信号とを加算することで取得する。

図９は第３の実施の形態の受信装置の一構成例を示すブロック図である。

図９に示すように、第３の実施の形態の受信装置２は、カメラ部２１、スイッチ部２２、サブフレームメモリ（＃１）２３_１、サブフレームメモリ（＃２）２３_２、増幅部３０、加算器２４、減算器２５、ビデオメモリ２６、埋め込み画像用メモリ２７、表示部２８及び信号解読処理部２９を備えている。

第３の実施の形態のカメラ部２１は、第１のサブフレーム及び第２のサブフレームを続けて積分し、第１のサブフレーム及び第２のサブフレームの画像信号を加算した画像信号（積分信号）と、第３のサブフレームの画像信号をそれぞれ取得する。

スイッチ部２２は、カメラ部２１から出力された第１のサブフレーム及び第２のサブフレームの積分信号をサブフレームメモリ（＃１）２３_１に振り分け、第３のサブフレームの画像信号をサブフレームメモリ（＃２）２３_２に振り分ける。

サブフレームメモリ（＃１）２３_１及びサブフレームメモリ（＃２）２３_２は、スイッチ部２２から出力された画像信号を画像データとして格納する。

加算器２４はサブフレームメモリ（＃１）２３_１に格納された画像信号とサブフレームメモリ（＃２）２３_２に格納された画像信号とを加算してビデオメモリ２６に出力する。

増幅部３０は、サブフレームメモリ（＃２）２３_２に格納された画像信号の信号レベルを２倍にして減算器２５に出力する。

減算器２５は、サブフレームメモリ（＃１）２３_１に格納された画像信号から増幅器３０の出力信号を減算し、埋め込み画像用メモリ２７へ出力する。その他の構成及び動作は第１の実施の形態の受信装置２と同様であるため、その説明は省略する。

図１０（ａ）は、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているときの、表示装置１の画像信号（表示信号）の一例を示している。図１０（ｂ）は、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているときの、受信装置２の減算器２５から出力され画像信号の一例を示している。また、図１０（ｂ）では、図１０（ａ）に示す画像信号ａ、ｂの積分値（期間ａ＋ｂの積分値）と画像信号ｃ（期間ｃの積分値）の２倍の値の差の絶対値、画像信号ｂ、ｃの積分値（期間ｂ＋ｃの積分値）と画像信号ｄ（期間ｄの積分値）の２倍の値の差の絶対値、及び画像信号ｃ、ｄの積分値（期間ｃ＋ｄの積分値）と画像信号ｅ（期間ｅの積分値）の２倍の値の差の絶対値をそれぞれ示している。

図１１（ａ）は、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対して１／２周期だけ遅れているときの、表示装置１の画像信号（表示信号）及び受信装置２のカメラ部２１から出力される画像信号（撮影信号）の一例を示している。図１１（ｂ）は、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対して１／２周期だけ遅れているときの、受信装置２の減算器２５から出力される画像信号の一例を示している。また、図１１（ｂ）では、図１１（ａ）に示す画像信号ｇ、ｈの積分値（期間ｇ＋ｈの積分値）と画像信号ｉ（期間ｉの積分値）の２倍の値の差の絶対値、画像信号ｈ、ｉの積分値（期間ｈ＋ｉの積分値）と画像信号ｊ（期間ｊの積分値）の２倍の値の差の絶対値、及び画像信号ｉ、ｊ（期間ｉ＋ｊの積分値）の積分値と画像信号ｋ（期間ｋの積分値）の２倍の値の差の絶対値をそれぞれ示している。

図１０（ｂ）及び図１１（ｂ）に示すように、第３の実施の形態の受信装置２でも、第２の実施の形態と同様にカメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているか否かに関わらず、第１のサブフレーム及び第２のサブフレームを積分した画像信号と第３のサブフレームの信号レベルを２倍にした画像信号の差を求めれば埋め込み画像の画像信号が得られる。また、第１のサブフレーム及び第２のサブフレームを積分した画像信号と第３のサブフレームに相当する画像信号を加算すれば基本画像が得られる。

なお、図９ではサブフレームメモリ（＃１）２３_１及びサブフレームメモリ（＃２）２３_２を備えた構成例を示しているが、図１２に示すように、第３の実施の形態の受信装置２は、図９に示した構成からサブフレームメモリ（＃２）２３_２を除いた構成でも実現できる。

図１２に示す受信装置２では、カメラ部２１から出力された第３のサブフレームに相当する画像信号が加算器２４及び増幅器３０に直接供給される。このような構成でも図９に示した構成と同様に動作する。図１２に示した受信装置２の構成を採用すれば、図９に示した受信装置２と比べてさらにサブフレームメモリ２３の数を減らすことができるため、第1の実施の形態及び第２の実施の形態に比べて、さらに受信装置２のコストを低減できる。

第３の実施の形態によれば、第１及び第２の実施の形態と同様に、公衆画像の美観を損なうことなく、かつ同期信号等を用いることなく簡易な手段で可視光通信が可能になる。また、第２の本実施の形態の受信装置２と同様にサブフレームメモリ２３の数を減らすことができるため、第1の実施の形態に比べて受信装置２のコストを低減できる。

さらに、第３の実施の形態では、第１のサブフレーム及び第２のサブフレームを積分した画像信号と第３のサブフレームの信号レベルを２倍にした画像信号の差を求めて埋め込み画像の画像信号を取得するため、埋め込み画像の信号レベルを大きくできる効果がある。

（第４の実施の形態）
第１の実施の形態〜第３の実施の形態では、１フレームを３つのサブフレームに分割する例を示したが、１フレーム内のサブフレーム数は３である必要はなく、任意の値に設定できる。但し、サブフレーム数を増やす場合はその数に応じて高速に動作する表示装置１、制御装置３及び受信装置（携帯端末装置）２が必要になる。

図１３及び図１４は1フレームを４つのサブフレームに分割したときの表示装置１及び受信装置２の動作例を示している。制御装置３は、第２の実施の形態と同様に、1フレームを構成する全てのサブフレームに埋め込み画像の画像信号を分散して重畳した画像を表示装置１に表示させるものとする。第４の実施の形態の制御装置３の構成及び動作は第２の実施の形態の制御装置３と同様であるため、その説明は省略する。また、表示装置１の構成及び動作も第２の実施の形態の表示装置１と同様であるため、その説明は省略する。なお、フレームは、第１の実施の形態と同様に基本画像のみ表示するサブフレームを備えた構成であってもよい。

本実施形態の受信装置２は、図３、図６、図９あるいは図１２に示した構成を用いることができる。但し、本実施形態では、1フレームが４つのサブフレームに分割されているため、図３に示した構成を採用する場合は、各サブフレームに対応する画像信号を格納する４つのサブフレームメモリ（サブフレームメモリ＃１〜＃４）２３が必要になる。その場合、基本画像の画像信号は４つのサブフレームメモリ２３に格納された画像信号を加算すれば得ることが可能であり、いずれか２つのサブフレームメモリ２３に格納された画像信号の差を求めれば埋め込み画像の画像信号を得ることが可能である。これは１フレーム内のサブフレーム数が４以上の任意の値の場合も同様である。

また、図６に示した構成を採用する場合は、例えば第３のサブフレーム及び第４のサブフレームに相当する画像信号をそれぞれサブフレームメモリ２３に格納することなく加算器２４に直接出力すればよい。その場合、第１のサブフレーム〜第４のサブフレームに相当する画像信号を加算すれば基本画像の画像信号を得ることが可能であり、２つのサブフレームメモリ２３に格納された画像信号の差を求めれば埋め込み画像の画像信号を得ることが可能である。これは１フレーム内のサブフレーム数が４以上の任意の値の場合も同様である。

また、図９に示した構成を採用する場合は、第１のサブフレーム〜第３のサブフレームの画像信号を加算した積分信号をサブフレームメモリ（＃１）２３_１に格納し、第４のサブフレームの画像信号をサブフレームメモリ（＃２）２３_２に格納すればよい。その場合、サブフレームメモリ２３_１、２３_２に格納された画像信号を加算すれば基本画像の画像信号を得ることが可能であり、
サブフレームメモリ（＃２）２３_２に格納された画像信号の信号レベルを増幅部３０により３倍にした後、サブフレームメモリ（＃１）２３_１に格納された画像信号と増幅部３０から出力された画像信号の差を求めれば埋め込み画像の画像信号を得ることが可能である。

さらに、図１２に示した構成を採用する場合は、第１のサブフレーム〜第３のサブフレームの積分信号をサブフレームメモリ２３に格納し、第４のサブフレームの画像信号を加算器２４及び増幅部３０に直接出力すればよい。その場合、サブフレームメモリ２３に格納された積分信号と第４のサブフレームの画像信号を加算すれば基本画像の画像信号を得ることが可能であり、第４のサブフレームの画像信号を増幅部３０により３倍にした後、サブフレームメモリ２３に格納された画像信号と増幅部３０から出力された画像信号の差を求めれば埋め込み画像の画像信号を得ることが可能である。

なお、受信装置２として図９及ぶ図１２に示した構成を採用する場合、１フレーム内のサブフレーム数を４以上の任意の値に設定するには、以下のような構成とすればよい。

すなわち、１フレーム内のサブフレーム数をｎ（ｎは正の整数）とすると、第１のサブフレーム〜第ｎ−１のサブフレームの画像信号を加算した積分信号をサブフレームメモリ（＃１）２３_１（図１２に示す構成ではサブフレームメモリ２３）に格納し、第ｎのサブフレームの画像信号をサブフレームメモリ（＃２）２３_２に格納すればよい（図１２に示す構成では積分信号及び第ｎのサブフレームの画像信号を加算器２４及び増幅部３０に直接出力すればよい）。

その場合もサブフレームメモリ２３に格納された積分信号と第ｎのサブフレームの画像信号を加算すれば基本画像の画像信号を得ることが可能である。また、第ｎのサブフレームの画像信号を増幅部３０によりｎ−１倍にした後、サブフレームメモリ２３に格納された積分信号と増幅部３０から出力された画像信号の差を求めれば埋め込み画像の画像信号を得ることが可能である。

図１３（ａ）は、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているときの、表示装置１の画像信号（表示信号）の一例を示している。図１３（ｂ）は、カメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているときの、受信装置２の減算器２５から出力され画像信号の一例を示している。また、図１３（ｂ）では、図１３（ａ）に示す画像信号ａ（期間ａの積分値）と画像信号ｂ（期間ｂの積分値）の差の絶対値、画像信号ｂ（期間ｂの積分値）と画像信号ｃ（期間ｃの積分値）の差の絶対値、画像信号ｃ（期間ｃの積分値）と画像信号ｄ（期間ｄの積分値）の差の絶対値、及び画像信号ｄ（期間ｄの積分値）と画像信号ｅ（期間ｅの積分値）の差の絶対値をそれぞれ示している。

図１４（ａ）は、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対して１／２周期だけ遅れているときの、表示装置１の画像信号（表示信号）及び受信装置２のカメラ部２１から出力される画像信号（撮影信号）の一例を示している。図１４（ｂ）は、カメラ部２１の積分期間が表示装置１で表示しているサブフレームに対して１／２周期だけ遅れているときの、受信装置２の減算器２５から出力される画像信号の一例を示している。また、図１４（ｂ）では、図１４（ａ）に示す画像信号ｉ（期間ｉの積分値）と画像信号ｊ（期間ｊの積分値）の差の絶対値、画像信号ｊ（期間ｊの積分値）と画像信号ｋ（期間ｋの積分値）の差の絶対値、画像信号ｋ（期間ｋの積分値）と画像信号ｌ（期間ｌの積分値）の差の絶対値、及び画像信号ｌ（期間ｌの積分値）と画像信号ｍ（期間ｍの積分値）の差の絶対値をそれぞれ示している。

図１３（ｂ）及び図１４（ｂ）に示すように、第４の実施の形態も、第１の実施の形態〜第３の実施の形態と同様にカメラ部２１の積分期間と表示装置１で表示しているサブフレームが同期しているか否かに関わらず、第１のサブフレームに対応する画像信号と第２のサブフレームに対応する画像信号の差を求めれば埋め込み画像の画像信号が得られる。

第４の実施の形態によれば、第１〜第３の実施の形態と同様に、公衆画像の美観を損なうことなく、かつ同期信号等を用いることなく簡易な手段で可視光通信が可能になる。また、第１〜第３の実施の形態に比べてサブフレーム数が多くなるため、光シャッターを用いずに表示装置１を見ているユーザにとって基本画像のフリッカがより低減する。

なお、例えば、表示装置１にて１フレームを６つのサブフレームに分割して３種類のサブフレームを２回繰り返して表示する場合、受信装置２は1フレームを３つのサブフレームに分割したときと同一の周期毎に表示装置１に表示された画像を撮影すれば、第２の実施の形態のように全ての埋め込み画像の信号レベルが異なるという条件を満たしていなくても、各サブフレームの画像信号間の差を求めることで埋め込み画像が得られる。但し、この場合でも同一フレーム内の埋め込み画像の信号レベルの総和はゼロにする必要がある。

また、表示装置１にて１フレームを２つのサブフレームに分割して表示する場合、制御装置３は、一方のサブフレームにて基本画像の画像信号に埋め込み画像の画像信号を正方向に重畳して表示装置１に表示させ、他方のサブフレームにて基本画像の画像信号に埋め込み画像の画像信号を一方のサブフレームの埋め込み画像と同じ信号レベルで負方向に重畳して表示装置１に表示させる。このとき、受信装置２の撮影周期が表示装置１のサブフレームの表示周期に対して１／２周期ずれていると、カメラ部２１から出力される各画像信号に含まれる埋め込み画像の画像信号が相殺されてしまう。そのため、１フレームを２つのサブフレームに分割して表示する場合は、受信装置２の撮影周期をずらすか、カメラ部２１から出力される一方のサブフレームに対応する画像信号を増幅する必要がある。

また、第２の実施の形態〜第４の実施の形態では、カメラ部２１から連続して出力される２つの画像信号の差、あるいは積分信号とそれに続いて出力される画像信号との差を求めることで埋め込み画像を取得する例を示しているが、サブフレーム毎の埋め込み画像の信号レベルが異なっていれば、１フレーム内の任意の２つのサブフレームの画像信号の差を求めても埋め込み画像を得ることができる。但し、埋め込み画像が相殺する関係にある２つのサブフレームの画像信号、例えば図４（ａ）に示した画像信号ｂと画像信号ｃのように、埋め込み画像の信号レベルが同一であり、かつ埋め込み画像が基本画像の画像信号に対して正方向と負方向に重畳されている２つのサブフレームの画像信号は、埋め込み画像の取得処理に用いることはできない。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細は本願発明のスコープ内で当業者が理解し得る様々な変更が可能である。

この出願は、２００８年３月１０日に出願された特願２００８−０５９９８４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

１フレームを複数のサブフレームに分割し、第１の画像の画像信号を、前記１フレーム内の信号レベルの総和がゼロとなるように前記複数のサブフレームに分散し、第２の画像の画像信号に重畳して出力する制御装置と、
前記制御装置から出力された画像信号に基づく画像を前記サブフレーム毎に表示する表示装置と、
前記サブフレームの周期と同一の周期毎に前記表示装置に表示された画像を撮影し、前記サブフレームの周期と同一の周期毎に得られる２つの画像信号の差を求めることで前記第１の画像の画像信号を取得して表示する受信装置と、
を有し、
前記１フレーム内のサブフレーム数をｎ（ｎは３以上の整数）とするとき、
前記受信装置は、
前記１フレーム内の、前記サブフレームの周期と同一の周期毎に得られる第１の画像信号から第ｎ−１の画像信号を加算した積分信号を格納するサブフレームメモリと、
前記１フレーム内の、第ｎの画像信号の信号レベルをｎ−１倍にする増幅部と、
前記サブフレームメモリに格納された前記積分信号と前記増幅部から出力される画像信号の差を求め、前記第１の画像の画像信号を出力する減算器と、
を有する通信システム。
前記受信装置は、
前記サブフレームの周期と同一の周期毎に得られる画像信号を加算することで前記第２の画像の画像信号を取得して表示する請求項１記載の通信システム。
前記第１の画像の画像信号は、
１フレーム内の各サブフレームで表示する該画像信号の信号レベルの総和がゼロであり、かつ該フレーム内の各サブフレームで表示する該画像信号の信号レベルが互いに異なる請求項１記載の通信システム。
１フレームを複数のサブフレームに分割して第１の画像及び第２の画像を表示する表示装置に表示された画像を撮影し、前記第１の画像または前記第２の画像を抽出して表示する受信装置であって、
前記サブフレームの周期と同一の周期毎に前記表示装置に表示された画像を撮影するカメラ部と、
前記サブフレームの周期と同一の周期毎に前記カメラ部から出力される画像信号を順次格納するサブフレームメモリと、
前記サブフレームメモリに格納された２つの画像信号の差を求め、前記第１の画像の画像信号を出力する減算器と、
を有し、
前記１フレーム内のサブフレーム数をｎ（ｎは３以上の整数）とするとき、
前記カメラ部は、前記サブフレームの周期と同一の周期毎に撮影した画像信号のうち、連続するｎ−１の周期で得られる画像信号を加算した積分信号を出力し、
前記カメラ部から前記積分信号に続いて出力される画像信号の信号レベルをｎ−１倍にする増幅部を備え、
前記サブフレームメモリは、前記積分信号を格納し、
前記減算器は、前記サブフレームメモリに格納された前記積分信号と前記増幅部から出力される画像信号との差を求め、前記第１の画像の画像信号を出力する受信装置。
前記カメラ部から順次出力される、前記サブフレームの周期と同一の周期毎に得られる画像信号を加算し、前記第２の画像の画像信号を出力する加算器をさらに有する請求項４記載の受信装置。
前記カメラ部は、
前記サブフレームの周期と同一の周期毎に撮影した画像信号のうち、前記第１の画像の画像信号の取得に用いない画像信号を前記加算器に供給する請求項５記載の受信装置。
１フレーム内の各サブフレームで表示する該画像信号の信号レベルの総和がゼロであり、かつ該フレーム内の各サブフレームで表示する該画像信号の信号レベルが互いに異なる請求項４から６のいずれか１項記載の受信装置。