JP7084967B2 - 光通信によるデジタルサイネージ及びｌｅｄ照明を利用したサプリメンタルダウンリンク装置と方法 - Google Patents

光通信によるデジタルサイネージ及びｌｅｄ照明を利用したサプリメンタルダウンリンク装置と方法 Download PDF

Info

Publication number
JP7084967B2
JP7084967B2 JP2020141107A JP2020141107A JP7084967B2 JP 7084967 B2 JP7084967 B2 JP 7084967B2 JP 2020141107 A JP2020141107 A JP 2020141107A JP 2020141107 A JP2020141107 A JP 2020141107A JP 7084967 B2 JP7084967 B2 JP 7084967B2
Authority
JP
Japan
Prior art keywords
communication
segment
data
display unit
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020141107A
Other languages
English (en)
Other versions
JP2022036740A (ja
Inventor
多圭志 筒井
一彦 郷右近
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2020141107A priority Critical patent/JP7084967B2/ja
Priority to PCT/JP2021/030864 priority patent/WO2022045080A1/ja
Publication of JP2022036740A publication Critical patent/JP2022036740A/ja
Application granted granted Critical
Publication of JP7084967B2 publication Critical patent/JP7084967B2/ja
Priority to US18/173,777 priority patent/US11974078B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Optical Communication System (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、通信システム、表示制御装置、通信端末及びプログラムに関する。
出願済み特許（出願番号：ＰＣＴ／ＪＰ２０１８／００３２２０）における、光通信を利用したサプリメンタルダウンリンク通信システムにおいて、屋外に設置されたプロジェクタあるいは、ビルの壁面等に画像情報を表示して通信する通信システムが記載されている。本出願では、出願済み特許を実現する詳細なプロトコル及び高速な処理を実現するための２次元画像パターンの利用について提案する。
［先行技術文献］
［特許文献］
［特許文献１］ＰＣＴ／ＪＰ２０１８／００３２２０
本実施形態は出願済み特許（出願番号：ＰＣＴ／ＪＰ２０１８／００３２２０）において明確に記述されていない通信の迅速な確立を実現するために、前記出願済み特許に対して、さらに表示部に空間を利用した２次元バーコードもしくは電子透かしを用いた２次元パイロットシンボルを利用し、さらに試験パターンも２次元パターンとし空間上に拡散し、またピクセルを通信路として束ねたセグメントの導入、そのフレームの構成、２次元パイロットシンボル、ピクセルのアダプテーション方式、周囲に人等の移動する障害物がある場合どのようにセグメントを使用するかを明確にし、移動する端末でも迅速に通信を開始出来るようにするとともに、表示部内及び複数の表示部によるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）処理の実現を図っている。
前回の特許の説明
本発明の第１の態様によれば、前回特許（出願番号：ＰＣＴ／ＪＰ２０１８／００３２２０）の請求項１記載の通信システム（表示部に映像を表示させる表示制御装置と、前記表示部によって表示された映像を撮像する撮像部を有する通信端末とを備える通信システムであり、前記表示制御装置は、表示対象の映像を取得する映像取得部と、前記映像取得部が取得した前記映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部と、前記領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部と、前記符号化映像を前記表示部に表示させる表示制御部とを有し、前記通信端末は、前記撮像部によって撮像された映像のうち、前記送信データが符号化された領域を識別する領域識別部と、前記領域識別部によって識別された前記領域から前記送信データを復号化する復号化部とを有し、光通信以外の他の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を用いて、前記光通信の通信制御信号をやり取りする仕組みを持った、光通信によるサプリメンタルダウンリンクを提供する通信システム）に対して、上記課題を解決する手段を追加した通信システムが提供される。
本特許の概要
本発明の請求項１では映像を表示する表示部として、前回特許（出願番号：ＰＣＴ／ＪＰ２０１８／００３２２０）と同じく、デジタル画像を構成する可視光及びもしくは遠赤外線領域を含む非可視光を使用する複数のピクセルからなるディスプレイ及びもしくはデジタル画像を投影する複数のピクセルからなる表示部を有し、その表示を制御する表示制御装置と、表示部によって表示された映像を撮像する撮像部と表示制御部との通信手段を有する通信端末に加え、撮像した画像データを通信端末より受け画像処理を行う画像処理機能を有する画像処理サーバーを備えるシステムであり、また請求項４の２次元画像を利用したトレーニング処理により処理時間を短縮するとともに、画像処理を通信端末に加え請求項９記載の画像処理サーバーを使用し複雑な処理を実行できる特徴がある。また請求項１２の単一光源照明を使用することも可能であり、また請求項１３の複数の単一光源照明及び複数の表示部を１つの表示制御装置で制御可能であり、複数の光通信リンクを使用してサプリメンタルダウンリンクの通信を行うことが出来る。非可視光を使用する場合、可視光と異なり映像情報を考慮する必要がなく、また波長の特性からさらに100万倍の効率を実現することが出来る。
セグメントの利用
表示部の利用にあたっては通信環境によって通信端末で解像できる解像度が異なる。例えば１ピクセル単位では情報の送受信が出来ない可能性がある。そのため本発明ではピクセルをまとめたセグメント単位で処理を行っている。すなわちセグメント単位で情報を通信端末に送ることとする。このセグメントの形状はセグメント内のピクセル全てが、通信時に同一の色相及び輝度であれば、矩形でも円形で他の形状でも良い。このセグメントの利用により通信環境の悪い、すなわち解像度の低い状態でも多くのピクセルをまとめたセグメントを使用して通信が可能である。単一光源照明は１つのピクセルを持つ表示部と考えることが出来、セグメントは１つしかなくまたセグメントは１つのピクセルからなるものと考える。
処理ステート
通信の確立のために、表示部と通信端末の通信に使用可能な表示部のセグメントの選択及びアダプテーションを通信状況に応じて実行するトレーニング処理ステート、トレーニング処理ステートのトレーニング結果に基づき通信を行う通信処理ステート、通信処理ステートの通信データの誤りを検出する誤り検出処理ステートを有する。誤り検出処理ステートにて通信の誤りを検出した場合にはトレーニング処理ステートに再度戻り、最適な解像度と使用する最適なセグメントの選択をサイクリックに行う。このトレーニング処理ステート、通信処理ステート、誤り検出処理ステートの３つのステートからなる通信サイクルにおいて、トレーニング処理ステートにより常に最適なセグメントの選択及び最適な解像度の決定に基づく請求項１１の再アダプテーションを可能としている。
各ステートで利用する手段の説明
前記の３つのステートの実現のために、表示制御装置は映像情報に加え通信端末が表示部を認識しかつ必要な解像度を決定するための識別情報を表示部に表示するための第１の手段と、表示部において表示部から前記通信端末への通信に使用する最適なセグメントの選択及び解像度を決定するための制御情報を映像情報に加え前記表示部に表示する第２の手段と、表示部から通信端末への通信に使用するデータ情報を映像情報に加え表示部に表示する第３の手段とを有している。
第１の手段
第１の手段は、どの事業者、どの基地局、どの表示部を使用しているかを通信端末が識別するためのものであり、事業者を識別する事業者ＩＤ、基地局を識別する基地局ＩＤ、表示部を識別するスクリーンＩＤを有している。この第１の手段の情報を識別した通信端末はこれらの情報に基づき第一のトレーニングに入る。この第一の手段として２つのオプションがある。第一のオプションでは情報を空間に２次元的に拡散したＱＲコード（登録商標）のような請求項２の２次元コードの使用するが、処理時間を短縮するにはこれが効果的である。この２次元コードを２次元パイロットシンボルと名付ける。第２のオプションでは２次元コードを用いずに各情報をビット列として単数もしくは複数のピクセルからなるセグメントに送る請求項３で示す時間軸を利用したビットストリームを使用している。このビットストリームを映像情報に重畳しても良い。２次元パイロットシンボルを利用した場合は、情報を空間上に拡散しているため処理時間の短縮が図れ、特に移動体通信に効果がある。時間軸を利用した方式ではビットストリームのフレーム長、フレーム間隔によって処理時間が長くなるが、各セグメント毎に情報を持つためより正確なセグメントの選択及び解像度の検出が可能である。単一光源照明は１つのピクセルしか持たない表示部と考えることでき、第１の２次元コードの利用は出来ず、第１のオプションのみとなる。
第１の手段 ２次元パイロットシンボルを使用
２次元コードを使用した２次元パイロットシンボルの使用時には、通信端末は既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を用いて撮像結果を画像処理サーバーに送り、画像処理サーバーはその画像から２次元パイロットシンボルを読み出し、事業者を識別する事業者ＩＤ、基地局を識別する基地局ＩＤ、表示部を識別するスクリーンＩＤを読み出す。また複数の２次元パイロットシンボルを使用する場合には各２次元パイロットシンボルを識別するための２次元パイロットシンボルＩＤも２次元コードに含め、この情報も通信端末で読み出し画像処理サーバーに送る。この２次元パイロットシンボルとしてあらかじめ定められた位置の複数の２次元パイロットシンボルの配置を使用し、この配置を２次元パイロットシンボルマップとする。複数の異なる配置の２次元パイロットシンボルマップを使用する場合には、使用している２次元パイロットマップＩＤも２次元パイロットシンボルに加え、この２次元パイロットマップＩＤと２次元パイロットシンボルＩＤより読み出された２次元パイロットシンボルの位置を決定する。この処理は画像処理サーバーで基本的に実行するが、画像処理サーバーを用いずに通信端末内で行い、その結果を既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）により表示制御装置又はＢＢＵに送っても良い。この２次元パイロットシンボルは常時表示するケースのほか。特定の時間のみに送っても良く、この場合２次元パイロットシンボルを時間の同期のための基準時刻として使用できる。その目的のため２次元パイロットシンボルに時刻を埋め込んでも良い。また２次元コードとして白黒のみを最大の輝度と最小の輝度で使用する２値のコードを利用するケースのほか、ＲＧＢを利用して色相及び輝度により多値のコードを使用することもできる。画像処理サーバーを使用する際の、読み出された２次元パイロットシンボルの情報の表示処理装置への報告は、基本的に通信端末を介して行うが、通信処理サーバーから直接に表示処理装置に送っても良い。
第１の手段 ２次元パイロットシンボル使用したトレーニング
この第１の手段によるトレーニングで２次元コードを使用する請求項９の第１のオプションの一例では、表示制御装置は最適な２次元パイロットシンボルのセグメントサイズの決定のため、大きなセグメントサイズから始め、通信端末が認識できた場合にはよりサイズの小さな２次元パイロットシンボルを使用したトレーニング処理を行い、最適な２次元パイロットシンボルのサイズを決定する。通信端末は既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を用いて撮像結果を画像処理サーバーに送り、画像処理サーバーはその画像から２次元パイロットシンボルを読み出し、最適な解像度を決定し、表示制御装置に報告し、表示制御装置はその報告に基づき、セグメントサイズを変更し、再度トレーニングを行う。この報告にあたっては画像処理サーバーを用いずに全ての処理を通信端末内で行い、報告を既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）で行っても良い。このトレーニングを行う場合、最初に使用するセグメントサイズは通信に成功したケースにおけるセグメントサイズから経験的に決定しても良く、またＡＩの利用も可能である。
通信端末での処理 第１の手段の第１のオプション
この第１の手段の第１のオプションでは、通信端末は撮像した表示部の画像の自動ＡＦ－ピント処理を行い、処理のために他の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して画像処理サーバーに送る。画像処理サーバーでは通信端末から送られてきた画像のズーム処理、歪み補正機能、正像・鏡像検出機能を行う。これらの処理は通信端末で行っても良い。画像処理サーバーはその後２次元パイロットシンボルの復号処理を行い、この２次元パイロットシンボルが特定の時間のみ検出されるならば同期処理及び復号処理を行い、その結果２次元パイロットシンボルを受信できたかを通信制御装置又はＢＢＵへ報告する。もし正常に受信出来ていないことが報告された場合、表示処理装置は通信端末が正常に復号出来るまでセグメントのサイズを大きくし再度処理を行う。正常に受信出来たことが報告された場合、表示制御装置は第２の手段に移行する。この場合空間に拡散された２次元コードを使用するため処理時間は非常に短い。またこの２次元コードにより歪みの補正も行うことが出来る。例えば画像の読み出しの基準となる軸を変えて複数回読み出しを行えば、画像の歪みを認識でき補正を行うことが出来る。その結果を基にアフィン変換等の処理を行えば良い。
第１の手段 ２次元パイロットシンボル未使用時のトレーニング
第１の手段の時間軸を用いた請求項１０の第２のオプションの一例では、表示部のセグメント内の全てのピクセルに、事業者ＩＤ、基地局ＩＤ、スクリーンＩＤを同期及び識別のために、プリアンブル及び第1の手段であることを識別するためのフレーム種別、ビットストリームの長さを示すフレーム長、セグメントの位置を示すセグメントＩＤ、セグメントのサイズを示すレゾリューションインデックス及び制御情報の誤り検出のための誤り検出符号を、シリアルなビット列からなる制御フレームとして表示部に送る。表示制御装置はこの制御フレームを映像情報に重畳しても、特定の時間のみに表示し、他の時間には映像情報を送っても良い。通信端末は既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を用いて撮像結果を画像処理サーバーに送り、画像処理サーバーはその画像から事業者を識別する事業者ＩＤ、基地局を識別する基地局ＩＤ、表示部を識別するスクリーンＩＤ及びゾリューションインデックスを読み出し、誤りが検出されない場合でかつ複数の同一セグメントＩＤが検出できた場合、より小さなセグメントサイズの利用が可能であるかを決定し、表示制御装置又はＢＢＵに報告し、表示制御装置はその報告に基づき、セグメントサイズを変更し、再度トレーニングを行う。この報告にあたっては画像処理サーバーを用いずに全ての処理を通信端末内で行い、報告を既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）で行っても良い。このトレーニングを行う場合、最初に使用するセグメントサイズは通信に成功したケースにおけるセグメントサイズから経験的に決定しても良い。この場合制御フレームのプリアンブルにより同期を行うことが出来、フレームの始まりを同期の基準時刻として使用することが出来る。またセグメントサイズの決定にあたってＡＩを利用しても良い。
通信端末での処理 第１の手段の第２のオプション
この第１の手段の第2のオプションでは、通信端末は撮像した表示部の画像の自動ＡＦ－ピント処理を行い、制御フレームの復号処理を行い、その結果を他の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）により表示制御装置又はＢＢＵに送る。復号が正常に行われていない場合、表示処理装置では通信端末が正常に復号出来るまでセグメントのサイズを大きくし再度処理を行う。常に受信出来たことが報告された場合、表示制御装置は第２の手段に移行する。単一光源照明は１つのピクセルしか持たない表示部と考えることでき、第１のオプションの２次元コードの利用は出来ず、この第２のオプションは使用出来ない。またセグメントサイズの決定にあたってＡＩを利用しても良い。
第２の手段
第２の手段は、第１の手段のトレーニングの結果を踏まえ、通信のために表示部のセグメントサイズ及びセグメントをどのように最適に選択するかを決定するための試験情報を通信端末に送り、この結果より適切な通信のための解像度を決定する。このセグメントの形状は矩形でも円形でもまた他の形状でも良い。この第２の手段には３つのオプションがある。
第２の手段 第１のオプション
請求項１４で示す第２の手段の第１のオプションの一例では、前記の第１の手段を用いたトレーニング結果より解像度及びセグメントサイズが自明的に決定できた場合には第２の手段を簡略化し、次の第３の手段による通信ステートに移行しても良い。例えば２次元パイロットマップ内の２次元パイロットシンボルを全て検出出来た場合であり、この場合には全てのセグメントが使用可能と仮定し、通信では第１の手段で決定されたセグメントサイズを利用しても良い。あるいは例えば２次元パイロットシンボルが１つだけ検出できた場合であり、その場合はその２次元パイロットシンボルの近傍のみに、２次元パイロットシンボルが検出できたセグメントサイズを利用しても良い。すなわち第１の手段で決定された解像度を第３の手段で使用する。このケースでは完全に空間に拡散した情報のみを使用しているため最短の時間でトレーニング処理を終了することが出来る。本オプションでは最小の時間でトレーニング処理を行う目的のために、ビット誤りの測定は通信ステートのみで行う。そのため多値信号の利用は通信ステートで決定する。この場合、表示制御装置と通信端末で通信に使用するセグメント情報を持っている必要があり、通信に使用可能な２次元パイロットシンボルの近傍の定義が必要となる。この一例としてはあらかじめ定められた近傍の形状／サイズに関する情報も制御情報に含めれば良い。この近傍のサイズは通信に成功したケースにおけるセグメントサイズから経験的に決定しても良い。またＡＩの利用も可能である。
通信端末での処理 第2の手段の第1のオプション
この第2の手段の第1のオプションでは、通信端末は第１の手段の第１のオプションで検出された２次元パイロットシンボルのリストを他の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）により表示制御装置に送り、その結果を表示制御装置が判断し、使用可能なセグメントを決定し、第３の手段に移行する。通信端末は引き続き表示装置の画像の復号を続け、試験パターンが受信できるか、あるいはデータフレームが受信できるかにより第２の手段の他のオプションに行くか、第３の手段であるかを認識する。このオプションであるかどうかの判断のため、通信端末は検出された２次元パイロットシンボルのリストを送出後、撮像した結果を第３の手段に入るまで画像処理サーバーに送り続け、もし画像処理サーバーが撮像した画像が試験パターンであると報告してくれば第２のオプションと認識する。従ってもし第１のオプションであれば自動的に第３の手段に入れ、迅速にサプリメンタルダウンリンクの受信に入れる。単一光源照明は１つのピクセルしか持たない表示部と考えることでき、第１のオプションの２次元コードの利用は出来ない。
第２の手段 第２のオプション
請求項４の第２の手段の第2のオプションの一例では、試験情報を複数のセグメントからなるブロックに送る。この試験情報には各セグメント毎のピクセルの色相、輝度を変えたドットからなる空間上のデジタル２次元画像からなる試験パターンを特定の時間間隔で表示することにより実現する。この時間間隔はあらかじめ定められた時間とし、前記の第1の手段による基準時刻を利用して検出する。この試験パターンにより表示部と通信端末間で使用可能な解像度とセグメントを決定する。この試験パターンは第一の手段で使用していないセグメントや使用していない時間に試験情報として映像信号に重畳して送られる。この第２のオプションでは、第１の手段で決定された解像度に基づき隣り合ったセグメントには異なる色相及び、もしくは輝度を与えることによってセグメントの識別を行う。この場合隣り合うセグメントを識別するためには４色定理により少なくとも４つの異なる情報を隣り合うセグメントに与える必要がある。この４つの異なる情報としては直交しているか、少なくとも準直交している必要がある。請求項５を利用することにより、ＲＧＢによる色相及び輝度による多値信号を複数のフレームを利用せずに、１つのフレームで試験を行うことが出来る。直交符号として例えばＷａｌｓｈ符号の利用が可能であり、例えば
W(0,4) = 1, 1, 1, 1
W(1,4) = 1, 0, 1, 0
W(2,4) = 1, 1, 0,-1
W(3,4) = 1, 0, 0, 1
を使用し、各セグメントにW（０、４）からW（３、４）を割り当てる。ここでこのW（０、４）からW（３、４）は直交しているため４つのセグメントのうちどれであるかは容易に識別できる。実際はR、G、Bは諧調が２５６であれば輝度に伴い０から２５５の値をとるが、説明のため、G、Ｂは０か１かとし、別に輝度としては検出が可能な最小値を０とし、最大値を１とすれば、最初の３ビットをR、G、Bに割り当て、最後のビットを輝度に割り当て１つのフレームで４つの情報を送ることが出来、4ビットのＷａｌｓｈ符号を割り当てることが可能となり、最小の時間、すなわち画像の1フレームで、隣り合うセグメントの識別が可能となる。また色相を確実に検出するために、正しい色調を認識するためのホワイトバランス用に最初の３ビットを使用すれば、通信ステートにおいて正しい色調を検出することが出来、色相を利用した多値信号の利用も可能となる。例えばR、G、Ｂを0から２５５とすれば最大で２４ビットの直交符号の利用が可能である。前記の例では４ビットのＷａｌｓｈ符号を利用したが他の直交符号あるいは通信環境が比較的に良い場合は準直交符号を利用しても良い。またここでは４色定理に従い、隣り合う４つのセグメントの識別を行うために４ビットのＷａｌｓｈ符号を使用して説明するが、さらに多いセグメントの識別が出来るよう前記のように多値信号を利用した長い符号の利用も可能である。また試験情報を送る画像フレーム数を増やすことによってもより多いセグメントの識別が可能となるが、試験情報を送るフレーム数が増大するため処理時間がかかるため移動体通信では注意する必要がある。またこの多値信号では複数のセグメントから構成されるブロックに、ブロック全体が多値信号からなる擬似ランダム符号となるような信号を表示部に送ることによりビット誤り率の測定が可能となる。このブロックサイズの決定は第１の手段の結果としての解像度情報をベースには画像処理サーバーで決定する。例えば表示部の多くのセグメントが使用可能であるならば短い擬似ランダム符号で良く、従って少ない数のセグメントからなるブロックで良い。このブロックのサイズは検出すべきビット誤り率を踏まえ、固定のブロック数で良い。
多値の利用
ここで例えば一つのセグメントに１２８諧調が使用できるとすると、８ビット割り付けが可能であり、１６個のセグメントを１ブロックとすることにより１２８ビットのデータを送ることが出来る。このためにこの情報を重畳する画像信号の画像フレームをこの第２の手段のために使用することとなる。人間の目の時間残像は５０ｍｓから１００ｍｓであるため、例えば６０ｆｐｓの映像情報であれば１画像フレームは１６．７ｍｓであるため問題なく画像フレームを第２の手段として利用できる。また第２の手段として１秒間の間に複数の画像フレームを使うことも目の残像時間を利用すれば可能である。この方法であれば時間軸上のストリームを利用する方式よりも単に画像の１フレームを使用するため、処理の１サイクルの時間を短縮するとともに、さらに誤り検出符号の代わりに前方誤り訂正符号（ＦＥＣ）を使うことにより性能を上げられ、既存のディスプレイやプロジェクタとの親和性も良い。誤り検出符号または前方誤り訂正符号により誤り率の測定も可能である。
通信端末での処理 第２の手段の第２のオプション
この第２の手段の第２のオプションでは、通信端末は第１の手段の第１のオプションで検出された２次元パイロットシンボルのリストを他の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）により表示制御装置に送り、表示制御装置はその結果から試験パターンのサイズ、すなわち使用可能なセグメントからなるブロックを決定し、試験パターンと誤り検出もしくは誤り訂正符号をブロックにマッピングし、そのパターンを表示部に送る。通信端末は撮像した画像を画像処理サーバーに送り、画像処理サーバーはその結果から誤り率を測定し、その結果を通信端末経由で表示制御装置に送る。誤り率は通信端末経由ではなく直接に表示制御装置に送っても良い。この誤り率を基に表示制御装置はセグメントのサイズが適切かを判断し、適切なら第３の手段に移行する。適切でない場合はセグメントサイズを変え再度実行する。通信端末は引き続き表示装置の画像の復号を続け、試験パターンが受信できるか、あるいはデータフレームが受信できるかにより第２の手段の他のオプションに行くか、第３の手段であるかを認識する。単一光源照明は１つのピクセルしか持たない表示部と考えることでき、第２のオプションの２次元試験パターンの利用は出来ない。
第２の手段 第３のオプション
請求項６記載の第２の手段の第３のオプションの一例では、セグメント内の全てのピクセルに、第２の手段であることを示すフレーム種別、ビットストリームの長さを示すフレーム長、セグメントの位置を示すセグメントＩＤ、セグメントのサイズを示すレゾリューションインデックス及び制御情報の誤り検出のための誤り検出符号を、シリアルなビット列からなる制御フレームとして表示部に送る。第１の手段において２次元パイロットシンボルを使用している場合で基準となる時刻が明確に認識できない場合には同期のためのプリアンブルをフレームの最初に入れフレーム同期をとる。このオプションでは隣り合うセグメントの認識はセグメントＩＤで行うため、試験情報は隣り合うセグメントで直交なり準直交している必要はない。ここではさらに擬似ランダム符号をフレームに加えることによりビット誤り率の測定が可能である。もし第１の手段の第２のオプションを使用する場合には、それをこの第２の手段の第３のオプションとして使用することが出来る。
通信端末での処理 第２の手段の第３のオプション
この第２の手段の第３のオプションでは、通信端末は第１の手段の第１のオプションで検出された２次元パイロットシンボルのリストまたは第１の手段の第２のオプションで検出されたセグメントのリストを表示制御装置に送り、その結果を表示制御装置が判断し、使用可能なセグメントを決定し制御フレームを送信する。通信端末はこの制御フレームにより誤り率を決定し、表示制御装置に送る。もし誤り率が定められた値より大きければ使用セグメントを変更し再度制御フレームを送る。もし誤り率が定められた値より低ければ第３の手段に移行する。単一光源照明は１つのピクセルしか持たない表示部と考えることでき、この第３のオプションのみとなる。
第３の手段
請求項８記載の第３の手段では、セグメント内の全てのピクセルに、第３の手段であることを識別するためのフレーム種別、ビットストリームの長さを示すフレーム長、データの順序を示すシーケンスＩＤ、サプリメンタルデータリンクで送るデータ情報及びデータ情報の誤り検出のための誤り検出符号を、シリアルなビット列からなるデータフレームとして表示部に送る。第１の手段において２次元パイロットシンボルを使用している場合で基準となる時刻が明確に認識できない場合、請求項７が利用できる。この場合同期のためのプリアンブルをフレームの最初に入れフレーム同期をとる。このデータ情報によりサプリメンタルデータ通信を表示部と表示制御部で行う。この時フレーム誤り率からビット誤り率を測定でき、その結果からビット誤り率を推定し、ビット誤り率が悪化した場合にはトレーニング処理に戻る。
通信端末での処理 第３の手段
この第３の手段では、通信端末は表示部に表示された画像を撮像し、データフレームの復号を行う。同時に各セグメントの誤り率を測定し、その結果を表示制御装置に報告する。もし誤り率が定められた閾値より高ければ再度第１の手段に戻りトレーニングを再度実行する。
スーパーフレームによる前方誤り訂正
また上記通信システムでは、サプリメンタルデータの通信時の誤り率を低減すると共に処理時間を短くすることが重要である。このためには通信端末からの応答を削減する必要がある。この誤り訂正では応答を必要としない前方誤り訂正の最大限の利用が不可欠である。このために表示制御装置は、通信端末から光通信以外の他の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を用いて報告された誤り率を元に符号化方式を決定する請求項１７記載の符号化方式選択部と、その選択の結果サプリメンタルダウンリンクデータとその前方誤り訂正符号を含む複数の論理チャネルベアラを多重化したスーパーフレームを作成する請求項１７記載の符号化部を備え、符号化方式からハッシュ関数を元に生成されたハッシュテーブルによりスーパーフレームから上記表示部の各セグメントにて送信するトランスポートブロックを生成し、各セグメント毎のデータフレームを作成することが出来る。この結果単一のセグメントの前方誤り訂正に加え、複数のセグメントを１スーパーフレームとして考えた前方誤り訂正を実行し、通信端末からの応答を必要としない効率の良い誤り訂正を実現できる。
単一光源照明
また上記通信システムでは、さらに表示部として請求項１２の単一光源照明を使用しても良い。この単一光源とデジタル画像を構成する複数のピクセルからなるディスプレイ及びもしくはデジタル画像を投影する複数のピクセルからなる投影部の両者を利用することによって、さらに大量のデータをサプリメンタルダウンリンクとして通信端末に送ることが可能となる。この単一光源では２次元コードや２次元の試験パターンの利用は出来ないため、第１の手段では第２のオプションのみに、第２の手段では第３のオプションのみとなる。
複数の単一光源照明及び複数の表示部
上記通信システムではまた単一の単一光源照明や単一の表示部のみでなく、複数の単一光源照明及び複数の表示部へのインタフェースを表示制御装置は持つことが可能であり、複数の単一光源照明や複数の表示部に対してサプリメンタルダウンリンクデータをマッピングし、映像信号に重畳して送出する機能を有し、通信端末は表示制御装置から送られるスクリーンＩＤを認識する機能を有し、複数の表示部からのデータを認識し復号することが出来、さらに大量のデータをサプリメンタルダウンリンクとして通信端末に送ることが可能となる。
映像データの減算処理
また上記通信システムでは、雑音の存在する通信路においてより正確に正しくサプリメンタルデータリンクによるデータを映像信号から抽出することが重要である。このため通信端末は予め他の手段により送られた表示部に表示されている映像のソースの圧縮技術を含むメタデータ及び映像のソースデータを記憶し、表示部で表示されている映像を撮像したデータから記憶している映像のソース情報を請求項１６記載の映像データの減算処理をすることにより表示部の映像情報に重畳したサプリメンタルダウンリンクデータのみを高い精度で抽出することが出来る。
データの重畳方式（符号化ゲインの利用）
上記通信システムでは、画像データにサプリメンタルダウンリンクのデータを重畳するために、どのように画像データによる映像信号に影響を与えずにサプリメンタルダウンリンクのデータを重畳するかが重要である。すなわち映像信号に人間が視覚に影響を与えるような大きな振幅のデータを映像信号に重畳することは出来ない。このため請求項１５ではデータの重畳／抽出にあたって、符号化ゲインを利用している。すなわちサプリメンタルダウンリンクデータの通信においては、通信端末と表示制御装置は、サプリメンタルダウンリンクデータのデータレートより高いレートの制御フレーム及びデータフレームに同期した符号の生成手段と復号手段を持つ。表示制御部では制御フレーム及びデータフレームのデータストリームをその符号生成手段により生成した符号により拡散する手段を有し、その拡散されたデータを映像信号に重畳し、通信端末では符号の生成手段により生成した符号を元に逆拡散することによって通信データの処理利得を符号化ゲインとして得ることが出来る。
利用シーンのイメージの一例を表した図である。 利用シーンのイメージの他の一例を表した図である。 通信システム構成の一例を示す図である。 システム構成図の一例を示す図である。 セグメントの構成の一例を示す図である。 処理ステートのフローの一例を示す図である。 第１の手段の第１のオプションの一例を示す図である。 ２次元パイロットシンボル検出処理フローの一例を示す図である。 ２次元パイロットシンボルの一例を示す図である。 第１の手段の第２のオプションの一例を示す図である。 第１の手段の第２のオプションの制御フレームの一例を示す図である。 第２の手段の第１のオプションの一例を示す図である。 セグメントの決定の一例を示す図である。 セグメントの決定の他の一例を示す図である。 第２の手段の第２のオプションの一例を示す図である。 第２の手段の第２のオプションにおけるセグメント作成の一例を示す図である。 第２の手段の第３のオプションの一例を示す図である。 第３の手段の処理フローの一例を示す図である。 セグメントフレームの一例を示す図である。 フレーム生成フローの一例を示す図である。 光リンクコントロールフレーム（Ｏｐｔｉｃａｌ Ｌｉｎｋ Ｃｏｎｔｒｏｌ Ｆｒａｍｅ）の一例を示す図である。 映像データの減算処理の一例を示す図である。 映像・通信重畳の手法の一例を示す図である。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１を参照して利用シーンの一例を説明する。
図１は本実施形態を利用したサービスイメージの一例である。このサービスイメージでは屋内の歩道や地下街を想定している。歩道の両側には広告やニュース等の動画もしくは静止画像を表示する複数のデジタルサイネージスクリーン２０があり、天井には複数の単一光源のＬＥＤ照明１０がある。本実施形態ではこのような環境において歩行者の携帯端末の性能を大幅に拡張するため、無線技術、例えばＷｉＦｉ、４Ｇ、５Ｇ等に加えて複数のデジタルサイネージスクリーン２０や複数の単一光源照明１０を利用し、携帯端末２００のスループットを上げるための新たな光サプリメンタルダウンリンク３１２を構成する方法と装置を提供する。この方式では無線電波が弱い場所でも高いスループットのサービスを提供できる。
図２を参照して別の利用シーンの一例を説明する。
図２は本実施形態を利用したサービスイメージの他の一例である。このサービスイメージでは屋外の環境を示している。ビルの窓には広告、ニュース等の動画もしくは静止画像を表示する複数のデジタルサイネージスクリーン２０があり、さらにプロジェクションマッピング２１やビルの窓による鏡像デジタルサイネージ２２を利用し、広告、ニュース等の動画もしくは静止画像をビルの壁面に投影している。本実施形態ではこのような環境において歩行者の携帯端末もしくは自動車、バス等で移動中の携帯端末等の移動端末２２０の性能を大幅に拡張するため、無線技術、例えばＷｉＦｉ、４Ｇ、５Ｇ等に加えてデジタルサイネージや投影された画像を利用し、携帯端末のスループットを上げるため新たな光サプリメンタルダウンリンク３１２を構成する方法と装置を提供する。この方式では無線電波が弱い場所でも高いスループットのサービスを提供できる。
図３を参照して通信システム構成の一例を説明する。
図３は本実施形態の実現例を示す。ここでは既存の通信サービスとして携帯電話サービスを考えており、通信端末は無線によるＬＴＥ、５Ｇ等のモバイルサービス用であるが、同時にデジタルサイネージの表示部もしくは投影された画像を撮像する光サプリメンタルダウンリンク３１２通信用の撮像部２０１を持つ。表示部１００は、表示制御装置１０１において、サイネージコンテンツサーバー１５０からのコンテンツデータ（映像信号）に携帯端末で使用する光サプリメンタルダウンリンクデータを重畳した画像を表示する。デジタルサイネージのコンテンツデータを格納するサイネージコンテンツサーバー１５０はブロードバンドインターネット４００経由で表示制御装置１０１へ接続されており、光サプリメンタルダウンリンクデータを生成・送出するＢＢＵ（Ｂａｓｅｂａｎｄ Ｕｎｉｔ）３００もブロードバンドインターネット４００経由あるいは光ファイバ等で表示制御装置１０１へ接続されている。画像処理サーバー１１９はブロードバンドインターネットに接続されるか、あるいは、ＬＴＥ、５Ｇ等のモバイル網内に接続されていてもよい。表示部１００は壁掛け型のディスプレイでもあるいは投影用のプロジェクタでもよい。通信端末２００はこの表示制御装置１０１との通信、特にアップリンク信号のためのＲＦモバイル通信３１１等の通信手段を有する。このアップリンクの通信手段は無線でも有線でもなんらかの通信手段であれば良い。この図ではアップリンクもＲＲＨ（Ｒｅｍｏｔｅ Ｒａｄｉｏ Ｈｅａｄ）３０１を用いたＬＴＥ、５Ｇ等の携帯電話網３１０のインタフェースを利用しているが、例えばイーサネット（登録商標）経由でもＷｉＦｉ経由でも良い。
図４を参照してシステム構成の一例を説明する。
図４に、図３のシステム構成における各装置の詳細なブロック図の例を示す。この例では携帯サービス用の通信システム、ＢＢＵ（Ｂａｓｅｂａｎｄ Ｕｎｉｔ）３００は携帯サービス用のＲＲＨ（Ｒｅｍｏｔｅ Ｒａｄｉｏ Ｈｅａｄ）３０１への通常のプロトコルスタックに加え、本実施形態で使用する表示制御装置１０１への光サプリメンタルダウンリンク３１２用のプロトコルスタックとして、携帯サービスの論理チャンネルの再送機能（ＡＲＱ）を持つＯＬＣ（光リンクコントロールレイヤ）、さらにＯ－ＭＡＣ（光サプリメンタルダウンリンク３１２用ＭＡＣレイヤ）及びＯ－ＰＨＹ（光サプリメンタルダウンリンク３１２用ＰＨＹレイヤ）に変換する。Ｏ－ＰＨＹは表示制御装置へのインタフェースによるため表示していないが、例えば前図のような構成ではイーサネットとなる。またこのＯＬＣ、Ｏ－ＭＡＣは本図のようにＢＢＵ３００内ではなくＢＢＵ３００に接続する外部装置でも、あるいは表示制御装置１０１内に置いても良い。表示制御装置１０１はサイネージコンテンツサーバー１５０とのネットワークインタフェース１０５とＢＢＵ３００とのインタフェースを持ち、さらに表示部１００へのインタフェースを持つ。また通信端末２００は通常の携帯電話網３１０のインタフェース（ＲＦ受信機２０６）に加え光サプリメンタルダウンリンク３１２用の撮像部２０１を含むインタフェースを持つ。この図において表示部１００は表示映像のサイネージ表示を行う、あるいはビル壁面へのプロジェクションを行う。表示制御装置１０１は通信端末２００へ光サプリメンタルダウンリンク３１２を提供する。ブレンド処理部１０２はベースバンド処理部１０７で送信符号化処理あるいは変調処理された送信データとサイネージの映像データのブレンド処理を行う。再生処理部１０３はサイネージ映像の再生制御を行う。データストレージ１０４はサイネージデータの記憶保存をする。再生処理部１０３はデータストレージ１０４より、再生処理を行う。ネットワークＩ／Ｆ１１０５は表示制御装置１０１上にあり、ブロードバンドインターネットを介したサイネージサーバー１５０向けのインタフェース。アロケーション処理部１０６は送信データの表示部１００上のピクセルへのアロケーションを行う。ベースバンド処理部１０７は送信データの符号化および変調などのＬ1の処理を行う。通信プロトコル処理部１０８は送信データのチャネル処理や再送処理などのＬ2の処理を行う。ネットワークＩ／Ｆ２１０９は表示制御装置１０１上にあり、ブロードバンドインターネット４００あるいはＣＰＲＩなどを介したＢＢＵ３００向けインタフェース。サイネージコンテンツサーバー１５０は静止画または動画の広告コンテンツ等のサイネージコンテンツをブロードバンドネットワーク４００を介し表示制御装置１０１へ提供する。通信端末２００は表示制御装置１０１より提供される光サプリメンタルダウンリンク３１２の受信および復号処理を行う。撮像部２０１は通信端末２００上にあり、受光した映像のズーム処理、ピント処理、及び分光等の光学的な処理行い、センサーを用いたO/E変換も行う。映像処理部２０２は撮像部２０１で受信した映像データから、あらかじめ別途用意していたサイネージデータを減算処理することにより、干渉の低減を行う。端末カメラアプリ２０３はサイネージデータの映像を利用するアプリケーションプログラム。サブストラクションデータ管理部２０４は映像処理部２０２で利用する減算処理のためのサイネージデータの管理および記憶保存を行う。物理レイヤ２０５はＬＴＥ、５Ｇ等のＲＦ向け、および光通信向けＬ１の機能を提供する。画像処理サーバー１１９は通信端末が撮像した画像データから２次元コード及び試験パターンの読み出しを行う画像処理機能を持つ。
図５を参照してセグメントの構造の一例を説明する。表示部１００は複数のセグメント１２１からなり、各セグメント１２１は複数のピクセル１２０からなっている。このデジタル画像を利用してサプリメンタルダウンリンクを送る構成単位として、ピクセルより大きな単位セグメント１２１を使用することにより悪い通信環境でも通信を実現できる。
図６を参照して通信サイクルの一例を説明する。図６では通信サイクルのフローを示す。使用するピクセルのアダプテーションを通信状況に応じて実行するトレーニング処理ステート４２０、光サプリメンタルダウンリンク３１２の通信を行う通信ステート４２１、通信の誤りを検出する誤り検出処理ステート４２２を有し、誤りを検出した場合にはトレーニング処理ステート４２０に戻り再度使用するピクセルのアダプテーションそして通信処理をサイクリックに行い、通信の終了まで本サイクルを実行する。
図７を参照して第１の手段の第１のオプションの一例を説明する。第１の手段の第１のオプションでは表示制御装置は２次元コードを使用した２次元パイロットシンボルの送出４２４を表示部により行う。通信端末はＡＦピント調整４２８を行なったのち撮像結果を既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して画像処理サーバーに画像送信４４４し、画像処理サーバーは画像受信４４５を行ない、その結果から２次元パイロットシンボル検出４３３を行う。この２次元パイロットシンボル検出結果報告４２３を通信端末に対して同じく既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）により行う。通信端末はこの検出報告により時刻の同期処理４３１を行う。表示制御装置は２次元パイロットシンボル検出結果報告４２３を受信し、２次元パイロットシンボル４０１が受信出来ていない場合にはセグメントサイズ調整４２７によりセグメントサイズを大きくし再度トレーニング処理を行う。もし２次元パイロットシンボル４０１が受信出来ている場合には第２の手段に移行する。
図８を参照して第１の手段の第１のオプションの２次元パイロットシンボル４０１の検出処理の一例を説明する。２次元パイロットシンボル４０１としてＱＲコード（登録商標）を利用する場合、通信端末２００はまず切り出しシンボル検出４６３を行う。切り出しシンボル４６２が検出出来なかった場合はズーム補正４２９によりズーミングを行なったのち再度検出を行う。ＱＲコードには切り出しシンボル４６２が最低3個含まれており、またこのＱＲコードの切り出しシンボル４６２はＡ、Ｂのどの位置でも必ず黒セルと白セルの比率は同一であるため、撮像した画像が回転していても切り出しシンボルの位置より回転角度を認識することが出来る。またＱＲコードのアライメントパターンにより歪みによるドットの位置ズレを検出でき、最低３点検出される切り出しシンボルの位置関係からアフィン変換等で歪み補正４３０を行う。さらに反射された画像に対応するためこの正像鏡像検出機能４３２によりこの３点の切り出しシンボルを使用して正像か鏡像かの検出を行い、２次元パイロットシンボルデータ読み出し４６６を行う。
図９を参照して第１の手段の第１のオプションの２次元パイロットシンボル４０１としてＱＲコードを使用した場合の一例を説明する。２次元パイロットシンボル４０１は事業者を識別する事業者ＩＤ、基地局を識別する基地局ＩＤ、表示部を識別するスクリーンＩＤ、また複数の２次元パイロットシンボル４０１を使用する場合には各２次元パイロットシンボル４０１を識別するための２次元パイロットシンボルマップＩＤから構成されている。また２次元パイロットシンボルフレーム４０２を特定の時間に表示することにより時刻の同期を可能とする。
図１０を参照して第１の手段の第２のオプションの処理フローの一例を説明する。
表示制御装置１０１は画像データに重畳した制御フレームを制御フレーム表示４４１により表示部１００にて表示する。通信端末２００は撮像した表示部１００の画像のコントラストを最大にするＡＦ（自動フォーカス）・ピント調整４２８、ズーム調整／歪み補正等の信号処理４４７を行ったのち、制御フレームが受信出来ているかを信号結果送信により既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して表示制御装置１０１に送る。表示制御装置１０１は定められた数のセグメント数を正常に復号出来ていない場合はセグメントサイズ調整４２７によりセグメントサイズを変更し、再度トレーニング処理を行う。通信端末はさらに制御フレームのプリアンブル４８１を利用してフレームの同期処理を行う。通信端末２００は撮像を続け再度トレーニング処理に入るか第２の手段に移行するかを決定する。
図１１を参照して第１の手段の第２のオプション、第２の手段の第３のオプション及び第３の手段で使用する時間軸上のフレームの一例を説明する。このフレームには同期のためのプリアンブル４８１があり、その後ろに制御もしくはデータフレームが入る。第１の手段の第２のオプション及び第２の手段の第３のオプションではプリアンブル付き制御フレーム４１２およびデータフレーム４１３を用い、第１の手段の第１のオプション、第２の手段の第２のオプション及び第３の手段ではプリアンブルの無い、制御フレーム４１４およびデータフレーム４１５を用いる。このフレームをセグメント毎に使用する。
図１２を参照して第２の手段の第１のオプションの処理の一例を説明する。このオプションでは通信端末は検出パイロットリスト送信４５３により検出した第１の手段の第１のオプションで検出した２次元パイロットシンボル４０１のリストを既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して表示制御装置に送る。通信端末は検出パイロットＩＤリストを送出後、撮像した結果を第３の手段に入るまで画像処理サーバーに送り続け、もし画像処理サーバーから撮像した画像が試験パターンであるとの報告を受けた場合、第２の手段の第２のオプションと認識する。試験パターンであるとの報告がない場合は表示部の撮像を続け自動的に第３の手段に入り、迅速にサプリメンタルダウンリンクの受信に入れる。この場合第３の手段では検出された２次元パイロットシンボル４０１の近傍を使用してサプリメンタルデータ通信を行う。
図１３を参照して第２の手段の第１のオプションにおけるサプリメンタルダウンリンク通信のためのセグメントの決定の一例を説明する。通信端末２００は表示部１２０の撮像を行う。この一例では通信端末の撮像範囲４８２は表示部１２０より大きい。表示部１２０には１８個の２次元パイロットシンボル４０１が表示されている。通信端末が全ての２次元パイロットシンボル４０１を受信出来たことを既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して表示制御装置に送った場合、表示制御装置は撮像範囲４８４内の２次元パイロットシンボル４０１の位置より確定される表示部４８３の全てのセグメントが使用可能として第３の手順に入る。
図１４を参照して第２の手段の第１のオプションにおけるサプリメンタルダウンリンク通信のためのセグメントの決定の他の一例を説明する。通信端末２００は表示部の撮像を行う。この一例では通信端末の撮像範囲４８２は表示部１２０より小さい。この撮像範囲４８２には１個の２次元パイロットシンボル４０１が表示されており、検出された２次元パイロットシンボル４０１としてこの１つの２次元パイロットシンボルＩＤが表示制御装置に既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して送られる。表示制御装置はこの撮像範囲４８４内の２次元パイロットシンボル４０１の近傍４８３が使用可能として第３の手順に入る。この近傍の形状は矩形でも円形でもまた他の形状でも良く、近傍のサイズは撮像範囲４８４内のあらかじめ定めたものとする。また以前に通信に成功した結果を利用しても良く、ＡＩの活用も可能である。
図１５を参照して第２の手段の第２のオプションの処理の一例を説明する。表示制御装置は第１の手段の結果を通信端末の検出２次元パイロットシンボルＩＤリスト送信４３８により検出された２次元パイロットシンボルＩＤのリストを既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して受け取る。その結果によりセグメントサイズを決定し、誤り率測定のためのブロックサイズの決定を、セグメントサイズ決定ブロックへのマッピング４３４により行う。ブロックには２次元試験パターンに加え誤り検出または誤り訂正符号が含まれる。ここで表示制御装置は試験パターン表示４３６により２次元試験パターンを表示部に表示する。この試験パターンを通信端末は撮像４４９により撮像し、その結果を画像送信４５１により既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して画像処理サーバーに送る。画像処理サーバーが画像受信４５４により通信端末の撮像した画像を受信し、認識したブロックによりブロック毎の誤り率をブロック毎の誤り率の測定４５０により行い、その結果として誤り率を誤り率報告４５５により既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して通信端末に送る。通信端末はこの受信により、誤り率報告４５５により既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して表示制御装置に送る。通信端末は画像の撮像を続け、その結果を画像処理制御サーバー１１９に送り、もし高い誤り率の報告を受信するならば再度トレーニングが必要と判断し、そうでなければ第３の手段に移行する。表示制御装置は誤り率判定４３７により誤り率が適正であるかを判断し、あらかじめ定められた閾値以下ならば第３の手段に移行する。もし誤り率が閾値以上ならばセグメントサイズ決定ブロックへのマッピング４３４に戻りセグメントサイズ、ブロックサイズを変更し、再度トレーニングを行う。この閾値としては前回に通信に成功した時の値を使用しても、またＡＩにより学習しても良い。また画像処理サーバー１１９の機能を通信端末２００で行っても良い。
図１６を参照して第２の手段の第２のオプションで使用する２次元試験パターンの構造の一例を説明する。この試験情報は各セグメント毎のピクセルの色相、輝度を変えたドットからなる空間上のデジタル２次元画像からなり、これを特定の時間間隔で表示することにより実現する。この時間間隔はあらかじめ定められた時間とし、前記の第1の手段による基準時刻を利用して検出する。この試験パターンにより表示部と通信端末間で使用可能な解像度とセグメントを決定する。この試験パターンは第一の手段で使用していないセグメントや使用していない時間に試験情報として映像信号に重畳して送られる。この第２のオプションでは、第１の手段で決定された解像度に基づき隣り合ったセグメントに異なる色相及び、もしくは輝度を与えることによってセグメントの識別を行う。この場合隣り合うセグメントを識別するためには４色定理により少なくとも４つの異なる情報を隣り合うセグメントに与える必要がある。この４つの異なる情報としては直交しているか、少なくとも準直交している必要がある。ここでＲＧＢによる色相及び輝度による多値信号の利用が可能であり、複数のフレームを利用せずに１つのフレームで試験を行うことが出来る。この直交符号として例えばＷａｌｓｈ符号の利用が可能である。図１６ではＳＦ＝４のＷａｌｓｈ符号を用いた例を説明している。ＳＦ＝４のためセグメントの識別の単位は２ｘ２のセグメント１２１からなる。この２ｘ２のセグメント１２１からなる９個のセグメントからなる構造１００を例にとり説明する。
ＳＦ＝４のＷａｌｓｈ符号は
W(0,4) = 1, 1, 1, 1
W(1,4) = 1, 0 , 1, 0
W(2,4) = 1, 1, 0,-1
W(3,4) = 1, 0, 0, 1
であり、S０、S１、S２、S３を下記とする。ここでS０、S１、S２、S３内の各要素は２ｘ２のセグメント１２１の各セグメントに対応する。例えば２ｘ２のセグメント１２１の左上はS０ではＷ１とする。ここで９個のセグメントからなる構造１００ではW１の隣り合う周囲にはW１は存在せず、W２の隣り合う周囲にはW２は存在せず、W３の隣り合う周囲にはW３は存在せず、W４の隣り合う周囲にはW４は存在せず。W１、W２、W３、W４は直交しているため各セグメントの識別が可能である。
Figure 0007084967000001
 ここで最初の３ビットをＲ、Ｇ、Ｂに割り当て、最後を輝度Ｌとすれば１つのフレームで最小４つの情報を送ることが出来、最小の時間で隣り合うセグメントの識別が可能である。また色相を確実に検出するために、正しい色調を認識するためのホワイトバランス用に最初の３ビットを使用すれば、通信ステートにおいて正しい色調を検出することが出来、色相を利用した多値信号の利用も可能となる。前記の例では４ビットのＷａｌｓｈ符号を利用したが他の直交符号あるいは環境によっては準直交符号の使用でも良い。またここでは４色定理に従い、隣り合う４つのセグメントの識別を行うために４ビットのＷａｌｓｈ符号を使用したがさらに多いセグメントの識別ができるよう多値信号を利用し長い符号を利用することも可能である。また複数の映像フレームを利用することも可能である。但し試験情報を送るフレーム数が増大し処理時間がかかるため移動体通信ではフレーム数の増加に注意する必要がある。このオプションではＲＧＢ値も多値とすることにより、複数のセグメントから構成されるブロックに、セグメント全体が多値信号からなる擬似ランダム符号となるような信号を表示部に送ることによりビット誤り率の測定が可能となる。このブロックサイズの決定は第１の手段の結果としての解像度情報をベースには画像処理サーバーで決定する。例えば表示部の多くのセグメントが使用可能であるならば短い擬似ランダム符号で良く、従って少ない数のセグメントからなるブロックで良い。このブロックのサイズは検出すべきビット誤り率を踏まえ、固定のブロック数で良い。ここで例えば一つのセグメントに１２８諧調が使用できるとすると８ビット割り付けが可能であり、１６個のセグメントを１ブロックとすることにより１２８ビットのデータを送ることが出来る。このためにこの情報を重畳する画像信号のフレームをこの第２の手段のために使用することとなる。人間の目の時間残像は５０ｍｓから１００ｍｓであるため、例えば６０ｆｐｓの映像情報であれば１画像フレームは１６．７ｍｓであるため問題なくある画像フレームを第２の手段として利用できる。また第２の手段として１秒間の間に複数の画像フレームを使うことも目の残像時間を利用すれば可能である。この方法であれば時間軸上のストリームを利用する方式よりも単に画像の１フレームを使用するため、処理の１サイクルの時間を短縮するとともに、さらに誤り検出符号の代わりに前方誤り訂正符号（ＦＥＣ）を使うことにより性能を上げられ、既存のディスプレイ、プロジェクターとの親和性も良い。誤り検出符号または前方誤り訂正符号により誤り率の測定も可能である。
図１７を参照して第２の手段の第３のオプションの処理の一例を説明する。この例では第１の手段として第２のオプションを使用している。表示制御装置は第１の手段の結果を使用可能セグメントＩＤ送信４２６により第１の手段の第２のオプションに結果得られた使用可能なセグメント情報を既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して受け取る。その結果に使用セグメント決定４４２により使用するセグメントを決定し、誤り検出または誤り訂正符号を加えた試験ストリームを試験ストリーム表示４３６によりデータフレームとして表示部に送る。通信端末はストリーム受信４３９によりデータフレームを受信し、誤り率測定４４０の結果を誤り率報告４５５により既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して表示制御装置に送る。通信端末は画像の撮像を続け、その結果もし再度試験ストリーム受信したならばトレーニング処理を続け、そうでなければ第３の手段に移行する。表示制御装置は誤り率判定４３７により誤り率が適正であるかを判断し、あらかじめ定められた閾値以下ならば第３の手段に移行する。もし誤り率が閾値以上ならば使用セグメント決定４４２に戻り、再度トレーニングを行う。この閾値としては前回に通信に成功した時の値を使用しても、またＡＩにより学習しても良い。また画像処理サーバーの機能を通信端末で行っても良い。
図１８を参照して第３の手段の処理の一例を説明する。表示制御装置はサプリメンタルダウンリンクのデータをサイネージデータに重畳したユーザデータの送信処理４５６によりデータフレーム４０３として画像データに重畳して表示部に送る。通信端末は表示部に表示された画像を撮像し，受信信号処理４５９によりデータフレームからサプリメンタルダウンリンクデータを抽出する。ここであらかじめ他の手段で送られたサイネージの画像データを符号化したデータが通信端末にあれば、画像データ（ノイズ）サブストラクション４６０によりその画像データを使用して精度の高いサプリメンタルダウンリンクデータの抽出が可能である。このデータフレームには誤り検出または誤り訂正符号を含むため、通信端末は誤り率報告４５５によりデータフレームの誤り率を既存の無線通信手段（ＷｉＦｉ，３Ｇ，４Ｇ，５Ｇ等）を使用して表示制御装置に送る。表示制御装置は誤り率判定４５７により誤り率が適正であるかを判断し、あらかじめ定められた閾値以下ならばそのまま通信を続行し、もし閾値以上なら再度トレーニング処理を行う。この閾値としては前回に通信に成功した時の値を使用しても、またＡＩにより学習しても良い。また通信端末の機能を画像処理サーバーで行っても良い。
図１９を参照してセグメントフレームの一例を説明する。
セグメントフレームには制御フレームとデータフレームがあり、これらはデータ領域で時間軸方向に流れる。
２次元パイロットシンボル４０１を使用しない場合は、同期および、参照信号の目的でプリアンブルを伴ったフレーム構成となる。ＬＥＤ等の単一光源照明の場合はこの方式である。
他方、２次元パイロットシンボル４０１がある場合、同期のための基準時間および参照信号を存在するので、プリアンブルを伴わず、かついくつかの情報、例えば基地局ＩＤ、事業者ＩＤ、スクリーンＩＤなどは２次元パイロットシンボル４０１内にエンコード内包されているので、フレーム内になくともよい。サイネージ、プロジェクションマッピング等のスクリーンの場合はこの方式である。
図２０を参照してデータフローの一例を説明する。
図２０では光サプリメンタルダウンリンク３１２のデータフローの一例と請求項１６に記載した前方誤り訂正の実現の一例を示す。詳細なブロック図で説明した再送機能を持つパケット化されたＯＬＣ（光リンクコントロールレイヤ）のＰＤＵ（プロトコルデータユニット）４０４をＬａｙｅｒ２の制御信号により冗長化及びスクランブルのために多重かつ結合し、符号化レート制御部４０７は通信端末２００から報告された誤り率を元に必要な冗長性を決定し、前方誤り訂正符号を生成し、誤り訂正可能なスーパーフレーム４０６を生成する。このスーパーフレーム４０６は全ての使用可能なピクセル向けのトランスポートブロック４１０を含み、符号化方式によりハッシュ関数により生成したハッシュテーブルにより表示部の各ピクセル向けのトランスポートブロック４１０を生成し、このトランスポートブロック４１０を表示部１００に送る。これにより通信端末２００において一部のセグメントからのデータが復号できなくともスーパーフレームを前方誤り訂正により復元できる。
図２１を参照して光リンクコントロールフレーム（Ｏｐｔｉｃａｌ Ｌｉｎｋ Ｃｏｎｔｒｏｌ Ｆｒａｍｅ）の一例を説明する。
図２１はＯＬＣ(光リンクコントロール)のＰＤＵ(プロトコルデータユニット)４０４の一例を示す。このＯＬＣ ＰＤＵ４０４は携帯サービスのＰＤＣＰから来る無線ベアラ毎に生成し、シーケンス番号を備えており、ベアラ毎の再送制御が可能である。またベアラのタイプにより、再送制御の必要不必要の設定ができる、この制御はレポートフラグにて行う。その後ＯＬＣ ＰＤＵはスーパーフレーム４０６としてＭＵＸされ、トランスポートチャンネルに図２０のごとくマッピングされる。
図２２（映像データの減算処理）を参照して通信端末にサイネージの表示映像のソースデータのコピーを持つ場合の構成の一例を説明する。
図２２は通信端末２００にサイネージの表示映像のソースデータのコピーを持つ場合の構成の一例を示す。通信端末２００には表示制御装置１０１において使用するデコード前の映像のソースデータを他の手段、例えばＵＳＢディスクあるいはＷｉＦｉ、ＬＴＥ、５Ｇ等により通信端末内部のサブストラクションデータ管理部２０４に記憶しておく。表示制御装置１０１ではデコード前の映像のソースデータは符号器１１１でデコードされ、光サプリメンタルダウンリンクデータを重畳したのちに表示部１００に表示する。この表示データを通信端末２００は復号するが、通信端末２００のサブストラクションデータ管理部２０４に記憶されているデコード前の映像のソースデータをファイルコンテナ内のメタデータに基づき、使用されているコーデック種別（例えばＨ．２６５／ＶＰ９／ＶＶＣ等）でデコードし、これを受信したサプリ面あるダウンリンクのデータから混合器１１２で減算すれば残りのデータは光サプリメンタルダウンリンク３１２の制御及びデータフレームとなる。これにより飛躍的なＳＮＲの改善が図れる。
データの重畳方式
図２３（映像・通信重畳手法例）を参照して映像・通信重畳手法の一例を説明する。
図２３は前記映像情報に光サプリメンタルダウンリンクデータ３１２を重畳するブロック図の一例を示す。ここでは１例として１００Ｈｚのリフレッシュレートをもつ８Ｋの解像度のＬＥＤスクリーンにM =５１２の多値ＰＡＭ変調した光ダウンリンクデータ３１２を重畳するケースで説明する。ここでデジタルサイネージもしくはプロジェクションマッピングで使用する映像情報データは例えばＨ．２６５に符号化されている映像のソースデータをデコードし得られた輝度信号（Ｙ）、青色成分の差分信号（Ｕ）、赤色信号の差分信号（Ｖ）のＹＵＶカラーモデルから３原色ＲＧＢカラーモデルに変換し、各色信号毎のＲ／Ｇ／Ｂに分離する。この映像信号のリフレッシュレートは１００Ｈｚとする。光サプリメンタルダウンリンクデータ３１２はシリアル信号をＲＧＢ多重の為に３つの信号にＳ／Ｐ変換１１５を使用して分離し、ＰＡＭ変調器１１４にて５１２値のパルス振幅変調を行う。変調された信号はＲＧＢに分離した映像信号に混合器１１２にて重畳する。この映像信号を表示部１００に送る。通信端末２００では受像部２１１を構成するレンズ２１５とセンサ２１４で撮像したデータからＲＧＢ信号を作成し、そのＲＧＢ信号にサイネージデータをノイズデータとして受信ＲＧＢ信号から減算処理し、信号対雑音比を改善する。減算処理後の信号をＰＡＭ復調器にて光サプリメンタルダウンリンク信号に復調する。それでも信号対雑音比が不足している場合、請求項１６のように通信データに前方誤り訂正符号化を行い、符号化による冗長による処理利得を稼ぐことも出来る。ここではＲＧＢカラーモデルを使用したが、他のカラーモデルでも良い。また変調方式も他の方式、例えばＰＰＭ等を利用してもよく、そのレートも必要な信号対雑音比によって決定する。映像圧縮方式に関してもＨ．２６５以外のＶＰ８やＶＶＣを使用してもよい。
１０ 単一光源照明（ＬＥＤ照明）
２０ デジタルサイネージスクリーン
２１ プロジェクションマッピング
２２ ビルの窓による鏡像デジタルサイネージ
１００ 表示部
１０１ 表示制御装置
１０２ ブレンド処理部
１０３ 再生処理部
１０４ データストレージ
１０５ ネットワークＩ／Ｆ１
１０６ アロケーション処理部
１０７ ベースバンド処理部
１０８ 通信プロトコル処理部
１０９ ネットワークＩ／Ｆ２
１１１ 符号器
１１２ 混合器
１１３ 記憶装置
１１４ ＰＡＭ変調器
１１５ シリアル／パラレル変換
１１６ 発振器
１１７ ＹＵＶ／ＲＧＢ変換器
１１８ 減算器
１１９ 画像処理サーバー
１２０ ピクセル
１２１ セグメント
１５０ サイネージコンテンツサーバー
２００ 通信端末
２０１ 撮像部
２０２ 映像処理部
２０３ 端末カメラアプリ
２０４ サブストラクションデータ管理部
２０５ 物理レイヤ
２０６ ＲＦ受信機
２０７ プロトコルスタック２
２０８ ユーザアプリケーション
２０９ 復号器
２１０ サブストラクション同期制御部
２１１ 受光部
２１２ 映像アプリケーション
２１３ パラレル／シリアル変換
２１４ 光センサ
２１５ レンズ
２１６ 偏光器
２１７ ＰＡＭ復調器
２２０ 移動端末
３００ ＢＢＵ
３０１ ＲＲＨ
３０２ プロトコルスタック１
３０３ ネットワークＩ／Ｆ３
３１０ 携帯電話網
３１１ ＲＦモバイル通信
３１２ 光サプリメンタルダウンリンク
４００ ブロードバンドインターネット
４０１ ２次元パイロットシンボル
４０２ ２次元パイロットシンボル表示画像フレーム
４０３ データフレーム
４０４ ＯＬＣ ＰＤＵ
４０５ ＭＵＸ／コンカチネーション
４０６ スーパーフレーム
４０７ 符号化レート制御部
４０８ クロック
４０９ ハッシュ生成部
４１０ トランスポートブロック
４１１ SＦ－ＰＤＵ
４１２ セグメントフレーム（２次元パイロットシンボルを使用しない場合の制御フレーム）
４１３ セグメントフレーム（２次元パイロットシンボルを使用しない場合のデータフレーム）
４１４ セグメントフレーム（２次元パイロットシンボルを使用する場合の制御フレーム）
４１５ セグメントフレーム（２次元パイロットシンボルを使用しない場合のデータフレーム）
４２０ トレーニング処理ステート
４２１ 通信処理ステート
４２２ 誤り検出処理ステート
４２３ ２次元パイロットシンボル検出結果報告
４２４ ２次元パイロットシンボル表示
４２５ 最適セグメントサイズ判定
４２６ セグメントＩＤ及びオプション選択情報送信
４２７ セグメントサイズ調整
４２８ ＡＦ・ピント調整
４２９ ピント補正及びズーム補正
４３０ 歪み補正
４３１ 同期処理
４３２ 正像・鏡像検出機能
４３３ ２次元パイロットシンボル検出
４３４ セグメント決定及びブロックへのマッピング
４３５ ブロックへの試験パターンマッピング
４３６ 試験パターンの表示
４３７ 誤り率の閾値判定
４３８ 検出２次元パイロットシンボルＩＤリスト送信
４３９ ストリーム及びオプション選択情報送信
４４０ 誤り率測定
４４１ 制御フレーム表示
４４２ 使用セグメント決定
４４４ 画像送信
４４５ 画像受信
４４７ 復号処理
４４８ 制御情報読み出し
４４９ 撮像
４５０ ブロック毎の誤り率測定
４５１ 画像送信
４５２ 近傍セグメント決定
４５３ 検出２次元パイロットシンボルＩＤリスト送信
４５４ 画像受信
４５５ 誤り率報告
４５６ 重畳ユーザデータの送信処理
４５７ 誤り率判定
４５８ 通信終了判定（表示制御装置）
４５９ 受信復号処理
４６０ 映像データの減算処理
４６１ 通信終了判定（通信端末）
４６２ 切り出しシンボル
４６３ 切り出しシンボル検出
４６４ 切り出しシンボル検出判定
４６５ 最低３点の切り出しシンボル検出
４６６ ２次元パイロットシンボルデータ読み出し
４６７ 切り出しシンボル一例その１
４６８ 切り出しシンボル一例その２
４７５ 信号パターン１
４７６ 信号パターン２
４７７ 信号パターン３
４７８ 信号パターン４
４８０ 制御信号およびデータフレーム
４８１ プリアンブル
４８２ 撮像エリア
４８３ 通信領域
４８４ 利用対象外エリア

Claims (17)

  1. 映像を表示する表示部として、デジタル画像を構成する可視光及びもしくは遠赤外線領域の可視光を使用する複数のピクセルからなるディスプレイ及びもしくはデジタル画像を投影する複数のピクセルからなる投影部を有し、単一もしくは複数の前記ピクセルを１セグメントとして取り扱う前記表示部を制御する表示制御装置と、前記表示部によって表示された映像を撮像する撮像部と前記表示制御装置との通信手段を有する通信端末と、撮像した画像データを前記通信端末より受け画像処理を行う画像処理機能を有する画像処理サーバーを備える通信システムであって、前記表示制御装置に、前記表示部と前記通信端末の通信に使用可能な前記表示部の解像度の決定及び前記セグメントの選択を通信状況に応じて実行するトレーニング処理ステート、前記トレーニング処理ステートのトレーニング結果に基づき前記解像度に応じて同一の色相及び輝度を各ピクセルに、前記セグメント毎に設定し通信を行う通信処理ステート、前記通信処理ステートの通信誤りを検出する誤り検出処理ステートを有し、前記通信誤りが閾値を超えた場合には前記トレーニング処理ステートに再度移行し、通信に使用する前記セグメントの選択をサイクリックに行う前記トレーニング処理ステート、前記通信処理ステート、前記誤り検出処理ステートからなる通信サイクルを有し、前記表示制御装置は、映像情報に加え前記通信端末が前記表示部を認識するための識別情報を前記表示部に表示するため第１の手段と、前記表示部において前記表示部から前記通信端末への通信に使用する前記セグメントを選択するための制御情報を前記映像情報に加え前記表示部に表示する第２の手段と、前記表示部から前記通信端末への通信に使用するデータ情報を前記映像情報に加え前記表示部に表示する第３の手段を有し、前記第１の手段は前記表示部を前記通信端末が識別するための事業者を識別する事業者ＩＤ、基地局を識別する基地局ＩＤ、前記表示部を識別するスクリーンＩＤを有し、前記第２の手段は前記表示部の前記セグメントを最適に選択するための試験情報、前記試験情報の作成のための前記制御情報及び前記制御情報の誤り検出のための誤り検出符号を有し、前記第３の手段はフレームが前記制御情報か前記データ情報かを識別するためのフレーム種別、情報の長さを示すフレーム長、情報の順序を示すシーケンス番号、前記表示部から前記通信端末への前記データ情報及び前記データ情報の前記誤り検出のための前記誤り検出符号を有し、前記表示部と前記通信端末間の通信を行う前記通信手段として既存の通信用のダウンリンク及びアップリンクインタフェースを持ち、その通信のための通信制御を行う制御チャンネルを持つ、通信システムの前記通信端末への通信量を、前記表示部の前記色相及び前記輝度の情報をデータの伝送に利用して補完する通信システム。
  2. 前記第１の手段として、前記通信端末が前記表示部を識別するための前記事業者ＩＤ、前記基地局ＩＤ、前記スクリーンＩＤを埋め込んだ単数または複数の空間上の２次元コードもしくは電子透かしを特定の場所の前記セグメントの特定の時間に前記表示部に表示するか、または前記映像情報に重畳して前記表示部に表示し、通信の確立のための２次元パイロットシンボルとして用いる請求項１の通信システム。
  3. 前記第１の手段として、前記通信端末が前記表示部を識別するための前記事業者ＩＤ、前記基地局ＩＤ、前記スクリーンＩＤを同期及び識別のためにプリアンブルと共にシリアルなビット列からなる制御フレームとして、通信の確立のため前記映像情報に重畳して送る請求項１又は請求項２のいずれか一項の通信システム。
  4. 前記第２の手段として前記表示部から前記通信端末への通信に使用する前記セグメントの選択を行うため各前記セグメントの前記色相及びもしくは前記輝度を変えた単一もしくは複数の空間上の２次元画像からなる試験パターンを前記試験情報として特定の時間間隔で前記映像情報に重畳して前記表示部に送り、前記第１の手段として前記２次元コードもしくは前記電子透かしによる前記２次元パイロットシンボルを使用する場合には、前記２次元パイロットシンボルを表示する特定の前記セグメントの場所の前記２次元パイロットシンボルを送る特定の時間以外の時間に、前記試験パターンを前記試験情報として前記映像情報に重畳して送る請求項２の通信システム。
  5. 前記第２の手段として前記表示部から前記通信端末への通信に使用する前記セグメントの選択を行うため各前記セグメントの前記色相及びもしくは前記輝度を変えた単一もしくは複数の空間上の２次元画像からなる試験パターンを前記試験情報として特定の時間間隔で前記映像情報に重畳して前記表示部に送るシステムにおいて２次元画像の前記試験パターンを各セグメント毎に直交もしくは準直交するように表示部に送る請求項１、請求項２、及び請求項３のいずれか一項の通信システム。
  6. 前記第２の手段として、前記表示部から前記通信端末への通信に使用する前記セグメントの選択を行うため各前記セグメントの前記色相及びもしくは前記輝度を変えた単一もしくは複数の空間上の２次元画像からなる試験パターンのセグメントの前記試験情報をデータストリームとして時間軸上のフレームとして送るため、前記フレームが前記制御情報か前記データ情報を含むかを識別するための前記フレーム種別、情報の長さを示す前記フレーム長、前記セグメントの位置を示すセグメントＩＤ、解像が可能な解像度レゾリューションインデックス及び制御フレームの誤り検出のための前記誤り検出符号を、特定の時間間隔で前記試験情報として前記映像情報に重畳して前記表示部に送り、前記第１の手段として前記２次元コードもしくは前記電子透かしによる前記２次元パイロットシンボルを使用する場合には、前記２次元パイロットシンボルを表示する特定の前記セグメントの場所の前記２次元パイロットシンボルを送る特定の時間以外の時間に、ビット列からなるフレームとして前記表示部の前記セグメントに送る請求項２の通信システム。
  7. 前記第３の手段の前記データ情報として、前記第１の手段として前記２次元コードもしくは前記電子透かしによる前記２次元パイロットシンボルを使用しない場合には、前記セグメントの前記映像情報に加え、同期及び識別のためのプリアンブル、前記フレームが前記制御情報か前記データ情報かを識別するための前記フレーム種別、情報の長さを示す前記フレーム長、情報の順序を示す前記シーケンス番号、前記表示部から前記通信端末への前記データ情報及びフレーム誤りを検出するための前記誤り検出符号を含むビット列を前記表示部の１セグメントもしくは１セグメント以上に空間的に拡散して前記表示部に送る請求項２、及び請求項４のいずれか一項の通信システム。
  8. 前記第３の手段の前記データ情報として、前記第１の手段として前記２次元コードもしくは前記電子透かしによる前記２次元パイロットシンボルを使用する場合には、前記２次元パイロットシンボルを表示する特定の前記セグメントの場所の前記２次元パイロットシンボルを送る特定の時間以外の時間に、もしくは前記第１の手段で使用する特定の場所以外の前記セグメントの前記映像情報に前記フレームが前記制御情報か前記データ情報かを識別するための前記フレーム種別、情報の長さを示す前記フレーム長、情報の順序を示す前記シーケンス番号、前記表示部から前記通信端末への前記データ情報及び前記フレーム誤りを検出するための前記誤り検出符号を含むビット列を前記表示部の１セグメントもしくは１セグメント以上に空間的に拡散して前記表示部に送る、請求項７の通信システム。
  9. 前記表示部において表示している前記映像をＡＦ（自動フォーカス）－ピント処理、ズーム処理を行なった上で、撮像した前記画像データを前記画像処理サーバーへ送信し、前記画像処理サーバーにおいて行われる前記２次元パイロットシンボルの検出処理の結果報告を受け取り、前記２次元パイロットシンボルを撮像した時間を時間軸の基準点とする時間軸の同期処理を行った後、それを前記表示制御装置への前記通信手段を用いて報告する前記通信端末と、その報告の結果より前記２次元パイロットシンボルのサイズを変更するアダプテーション処理を行う前記表示制御装置を有し、前記２次元パイロットシンボルが受信できた場合、前記通信端末よりアタッチ要求を送出し、その結果前記通信端末にアタッチ成功、検出パイロットリストの送信を要求する前記表示制御装置による第１のトレーニング処理と、前記２次元パイロットシンボルが受信できた場合に前記通信端末より復号できた前記２次元パイロットシンボルのリストを送り、そのリストをもとに送信ストリームのレートの決定及びセグメントのアロケーションの決定、データの誤り訂正符号の符号化レートを決定し、試験ストリームを生成し送信し、前記通信端末はこれを撮像し、その画像データを前記画像処理サーバーへ送信し、前記画像処理サーバーにてデータの復号を行い、受信可能な前記セグメントの位置を示すセグメントＩＤの特定と前記誤り訂正符号を含むビット列のビット誤り率の計算を行い、その結果を前記通信端末へ送信し、その受信結果を前記通信端末から前記表示制御装置に報告し、これを元に再度前記送信ストリームのレートの決定及び使用する前記セグメントのアロケーションの決定、サプリメンタルダウンリンクのデータの前記誤り訂正符号の前記符号化レートの決定を行い、再度前記試験ストリームの生成／送信を行う第２のトレーニング処理を有する請求項２、請求項４、請求項７及び請求項８のいずれか一項の通信システム。
  10. 前記通信端末は撮像した前記表示部の画像の前記ＡＦ－ピント処理、前記ズーム処理、歪み補正機能を有し、その撮像した前記画像データより制御フレームを検出し、そのフレームを時間軸の基準点とする時間軸の前記同期処理を行い、その結果を前記表示制御装置との前記通信手段を用いて報告する機能を持ち、その報告の結果より同一フレームを使用する前記セグメントのサイズを変更する前記アダプテーション処理を行う前記表示制御装置を有し、前記制御フレームが受信できた場合、前記通信端末より前記アタッチ要求を送出し、その結果、前記通信端末にアタッチ成功、検出セグメントリストの送信を要求する前記表示制御装置による前記第１のトレーニング処理と、前記制御フレームが受信できた場合に前記通信端末より復号できた前記セグメントのリストを送り、そのリストをもとに前記送信ストリームのレートの決定及び前記セグメントのアロケーションの決定、データの前記誤り検出符号レートを決定し、前記表示部から前記通信端末への通信に使用する前記セグメントの選択を行うため各前記セグメントの前記色相及びもしくは前記輝度を変えた単一もしくは複数の空間上の２次元画像からなる試験パターンを生成し送信する機能を有し、この前記試験パターンの受信結果を前記通信端末から報告し、これを元に再度前記レートの決定及び前記セグメントのアロケーションの決定、データの前記誤り訂正符号の前記符号化レートの決定を行い、再度前記試験パターンの生成／送信を行う前記第２のトレーニング処理を有する請求項９の通信システム。
  11. 前記表示制御装置は同一データを持つ前記フレームを単一もしくは複数のピクセルをまとめた前記セグメントに送出する機能を有し、前記通信端末が撮像した領域内の前記セグメントからの制御フレームもしくはデータフレームに誤りを検出した場合、前記通信端末は前記表示制御装置との前記通信手段により誤り検出結果を元に検出セグメントリストを送信する機能を持ち、前記表示制御装置はその前記検出セグメントリストにより通信可能セグメントを特定し、また設定した前記検出セグメントリストを元に閾値により使用するセグメント数を変更する再アロケーション機能により通信処理を実行する請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９及び請求項１０のいずれか一項の通信システム。
  12. 前記表示部として単一光源照明を使用する請求項１、請求項３、請求項４、請求項６、請求項７、及び請求項８のいずれか一項の通信システム。
  13. 前記表示制御装置は複数の前記表示部へのインタフェースを有し、複数の前記表示部に対して光サプリメンタルダウンリンクデータをマッピングし、前記映像情報に重畳して送出する機能を有し、前記通信端末には前記スクリーンＩＤを認識する機能を有し、複数の前記表示部からのデータを復号する請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１及び請求項１２のいずれか一項の通信システム。
  14. 前記表示制御装置には前記２次元パイロットシンボルの位置を示す２次元パイロットシンボルＩＤを前記２次元パイロットシンボルに埋め込む機能を有し、前記通信端末には前記２次元パイロットシンボルＩＤより復号化した前記２次元パイロットシンボルの位置を特定する手段を有し、復号化できた前記２次元パイロットシンボルＩＤの近傍の特定の領域のみを制御フレームとデータフレームの送信に使用する請求項２、請求項４、請求項７、及び請求項８のいずれか一項の通信システム。
  15. 前記通信端末と前記表示制御装置に光サプリメンタルダウンリンクデータのデータレートより高いレートの制御フレーム及びデータフレームに同期した符号の生成手段を有し、前記表示制御装置には前記制御フレーム及び前記データフレームのデータストリームをその前記符号の生成手段により生成した符号により拡散する手段を有し、その拡散されたデータを前記映像情報に重畳し、前記通信端末では前記通信端末内の符号器の前記符号の生成手段により生成した符号を元に逆拡散することによって通信データの処理利得を得る請求項１、請求項２、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１３及び請求項１４のいずれか一項の通信システム。
  16. 予め他の手段により送られた前記表示部に表示されている映像のソースの圧縮技術を含むメタデータ及び映像のソースデータを記憶する前記通信端末であり、前記表示部で表示されている映像を撮像したデータから記憶している映像の前記メタデータ及び前記映像のソースデータから映像ソースを復元し、そのソース情報を前記通信端末にて受信したデータより減算処理することにより前記表示部の前記映像情報に重畳した光サプリメンタルダウンリンクデータのみを抽出する請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１３、請求項１４、及び請求項１５のいずれか一項の通信システム。
  17. 前記通信端末から他の手段により報告された前記誤り率を元に符号化方式を決定する符号化方式選択部と、それにより光サプリメンタルダウンリンクデータから前方誤り訂正符号を含む各セグメント毎の前記フレームを結合したスーパーフレームを作成する符号化部と、符号化方式からハッシュ関数を元に生成されたハッシュテーブルにより前記スーパーフレームから前記表示部の各前記セグメントにて送信するトランスポートブロックを生成し、各前記セグメント毎のデータフレームを作成する請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１２、請求項１３、請求項１４、請求項１５及び請求項１６のいずれか一項の通信システム。
JP2020141107A 2020-08-24 2020-08-24 光通信によるデジタルサイネージ及びｌｅｄ照明を利用したサプリメンタルダウンリンク装置と方法 Active JP7084967B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020141107A JP7084967B2 (ja) 2020-08-24 2020-08-24 光通信によるデジタルサイネージ及びｌｅｄ照明を利用したサプリメンタルダウンリンク装置と方法
PCT/JP2021/030864 WO2022045080A1 (ja) 2020-08-24 2021-08-23 光通信によるデジタルサイネージ及びｌｅｄ照明を利用したサプリメンタルダウンリンク装置と方法
US18/173,777 US11974078B2 (en) 2020-08-24 2023-02-23 Digital signage by optical communication and supplemental downlink device and method using LED illumination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020141107A JP7084967B2 (ja) 2020-08-24 2020-08-24 光通信によるデジタルサイネージ及びｌｅｄ照明を利用したサプリメンタルダウンリンク装置と方法

Publications (2)

Publication Number Publication Date
JP2022036740A JP2022036740A (ja) 2022-03-08
JP7084967B2 true JP7084967B2 (ja) 2022-06-15

Family

ID=80353288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020141107A Active JP7084967B2 (ja) 2020-08-24 2020-08-24 光通信によるデジタルサイネージ及びｌｅｄ照明を利用したサプリメンタルダウンリンク装置と方法

Country Status (3)

Country Link
US (1) US11974078B2 (ja)
JP (1) JP7084967B2 (ja)
WO (1) WO2022045080A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11374683B1 (en) * 2018-12-04 2022-06-28 Marvell Asia Pte Ltd Physical layer preamble for wireless local area networks
US11469856B2 (en) * 2021-02-19 2022-10-11 Ultralogic 6G, Llc Retransmission of selected message portions in 5G/6G
US12093124B2 (en) * 2022-09-29 2024-09-17 Advanced Micro Devices, Inc. Multi-level signal reception

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117304A1 (ja) 2004-05-31 2005-12-08 Casio Computer Co., Ltd. 情報受信装置、情報伝送システム及び情報受信方法
JP2013009072A (ja) 2011-06-23 2013-01-10 Casio Comput Co Ltd 情報伝送システム、受光装置、情報伝送方法、及び、プログラム
JP2013236363A (ja) 2012-04-13 2013-11-21 Casio Comput Co Ltd 表示装置及びプログラム
JP2019220966A (ja) 2012-12-27 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信機、プログラム、制御方法、および情報通信装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7082994B2 (ja) 2018-01-31 2022-06-09 ソフトバンク株式会社 光通信を利用した大容量のサプリメンタルダウンリンクを可能とする通信システム、表示制御装置、通信端末及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117304A1 (ja) 2004-05-31 2005-12-08 Casio Computer Co., Ltd. 情報受信装置、情報伝送システム及び情報受信方法
JP2013009072A (ja) 2011-06-23 2013-01-10 Casio Comput Co Ltd 情報伝送システム、受光装置、情報伝送方法、及び、プログラム
JP2013236363A (ja) 2012-04-13 2013-11-21 Casio Comput Co Ltd 表示装置及びプログラム
JP2019220966A (ja) 2012-12-27 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信機、プログラム、制御方法、および情報通信装置

Also Published As

Publication number Publication date
JP2022036740A (ja) 2022-03-08
US11974078B2 (en) 2024-04-30
WO2022045080A1 (ja) 2022-03-03
US20230199158A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
WO2022045080A1 (ja) 光通信によるデジタルサイネージ及びｌｅｄ照明を利用したサプリメンタルダウンリンク装置と方法
Le et al. A survey of design and implementation for optical camera communication
US10389446B2 (en) Reproduction method for reproducing contents
US10455006B2 (en) Signal generating method, signal generating unit, and non-transitory recording medium storing computer program
US10187147B2 (en) Signal decoding method, signal decoding device, and non-transitory computer-readable recording medium storing program
US9998220B2 (en) Transmitting method, transmitting apparatus, and program
US9871587B2 (en) Information processing method for generating encoded signal for visible light communication
EP2805439B1 (en) Shared secret arrangements and optical data transfer
Aoyama et al. Visible light communication using a conventional image sensor
US9847976B2 (en) Shared secret arrangements and optical data transfer
JP4610511B2 (ja) 可視光受信装置および可視光受信方法
Yang et al. Reflexcode: Coding with superposed reflection light for led-camera communication
CN111670548B (zh) 提供补充下行链路的通信系统、显示控制装置及通信终端
Izz et al. Uber-in-light: Unobtrusive visible light communication leveraging complementary color channel
KR20170084709A (ko) 다중 위상편이변조(ｍ-ｐｓｋ) 및 다중 주파수편이변조(ｍ-ｆｓｋ)의 복합통신 기반의 이미지 센서 통신 시스템
Damodaran et al. Using mobile phone based camera to read information from a Li-Fi source
WO2023149165A1 (ja) 通信システム及び通信方法
CN113728564B (zh) 采用可见光摄像机的不可见光通信的方法和系统
CN210246757U (zh) Mimo成像可见光通信发射端、接收端及系统
Sung-Yoon et al. Complementary Color Barcode-Based Optical Camera Communications
Sewaiwar et al. Visible light communication-based high-speed high-performance multimedia transmission

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220603

R150 Certificate of patent or registration of utility model

Ref document number: 7084967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150