JPWO2012023253A1 - 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 - Google Patents
受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 Download PDFInfo
- Publication number
- JPWO2012023253A1 JPWO2012023253A1 JP2012507532A JP2012507532A JPWO2012023253A1 JP WO2012023253 A1 JPWO2012023253 A1 JP WO2012023253A1 JP 2012507532 A JP2012507532 A JP 2012507532A JP 2012507532 A JP2012507532 A JP 2012507532A JP WO2012023253 A1 JPWO2012023253 A1 JP WO2012023253A1
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- transmission
- relative position
- transmission device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 1173
- 238000004891 communication Methods 0.000 title claims description 160
- 230000003287 optical effect Effects 0.000 title claims description 90
- 238000000034 method Methods 0.000 title claims description 43
- 238000012546 transfer Methods 0.000 claims abstract description 226
- 238000005259 measurement Methods 0.000 claims abstract description 153
- 230000009365 direct transmission Effects 0.000 claims abstract description 125
- 230000010365 information processing Effects 0.000 claims abstract description 121
- 239000013598 vector Substances 0.000 claims description 25
- 230000010354 integration Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 46
- 230000006870 function Effects 0.000 description 34
- 238000009434 installation Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 239000004065 semiconductor Substances 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000004397 blinking Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/112—Line-of-sight transmission over an extended range
- H04B10/1121—One-way transmission
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Optical Communication System (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Abstract
Description
光無線通信を利用した通信技術は、設置した位置からそのまま情報発信することができ、発信源の相対的な位置を比較的容易に特定できるため、前述した新たな形態のナビゲーションシステムを実現させる際に有用な技術である。
ここで、光無線通信を利用した新たな形態のナビゲーションシステムが特許文献1に開示されている。特許文献1では、携帯電話等の情報処理装置がGPSなどにより位置測定を行い、位置情報および検索条件をサーバに送信し、サーバが受信した位置情報および検索条件に合致した発光装置に対してデータを重畳した発光を指示し、情報処理装置が被写体の画像の中から所定の点滅パターンで発光する発光装置を検出しデータを復号して取得し、取得したデータを発光装置の位置に対応付けて、被写体の画像上に表示する。
特許文献1では、位置情報および検索条件に合致する発光装置が遮蔽されて情報処理装置がデータを取得できない場合に、遮蔽されていない他の発光装置にサーバを経由してデータを送信し、情報処理装置が遮蔽された発光装置のデータを他の発光装置から取得することにより上記問題を解決している。
例えばビルAの5階にある喫茶店Bに設置された情報発信装置から送信された情報が「喫茶店Bでランチサービス実施中」であり、受信表示装置と情報発信装置との間に遮蔽物がある等で直接情報を受信できない場合に、上記特許文献1では、その情報の内容自体を受信表示装置側で受信して表示することができても、情報発信装置の位置または情報発信装置の発信方向が特定できないため、受信表示装置を使用している使用者はこの情報がどこから発せられたものなのかを直感的に把握することができない。
尚、上記特許文献1は、光無線通信を利用するものではあるが、情報処理装置とサーバとの間、及び、サーバと発光装置との間の通信に、公衆網などの他の公共通信手段を用いなければならず、別途通信料が発生してしまうという問題や、公共通信手段が使えない圏外などの環境下においては利用できないという問題等もある。
さらに、上記特許文献1では、個々の情報処理装置の位置情報及び検索条件に合わせて、合致する発光装置が個別にデータを重畳した発光を行う構成を開示しているが、多くの情報処理装置が同時に利用される状況において、多くの情報処理装置の全てに対してそれぞれに適した情報を流すように個々の発光装置を制御するのは、トラフィックが混雑する上処理が複雑になり、光無線通信の帯域から考えて通信に時間が掛かりすぎるので甚だ現実的ではないという問題もある。
本発明は、「受信表示装置において、情報発信装置と受信表示装置とを結ぶ直線上に遮蔽物があって情報発信装置を直接視認できない場合に、情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができない」という上記課題を解決するものであり、カメラで撮像した映像を表示している画像上に、建造物などの障害物に遮られた情報発信装置に関する表示用の情報を、当該情報発信装置の位置に対応付けて表示することができる受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法を提供することを目的とする。
そして上記課題を解決するために、本発明の受信表示装置は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、受信部と、測定部と、情報処理部とを備える。受信部は、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
このような構成によれば、受信表示装置において、送信側と受信側とを結ぶ直線上に小さな遮蔽物があったり、ビルなどの建造物の裏側に設置されて直接には視認できない情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができる。
<概要>
第1の実施形態は、光空間伝送による情報伝送を利用して、撮像した画像に情報を重畳して表示するシステムにおいて、一の情報発信装置が、前記撮像した画像における二の情報発信装置の位置に対応付けて表示すべき表示用情報を、情報発信装置間の相対的な位置を示す相対位置情報と共に発信し、受信表示装置が、二の情報発信装置から表示用情報を輝度の変化から捉えることができない場合に、一の情報発信装置から受信した二の情報発信装置の伝送情報と相対位置情報とを用いて、二の情報発信装置の画像の位置に伝送情報を重畳して表示するものである。
図1は、本発明に係る第1の実施形態の光無線通信システム1の概要を示す図である。
図1に示す光無線通信システム1は、情報発信装置100a〜c、入力装置160a〜c、受信表示装置200、及び表示装置240から構成されている。
情報発信装置100a〜cは、例えば店頭に並べられた商品の陳列棚や市中の広告看板などに併設された据え置き型の電子機器であり、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する機能を有する。ここで情報発信装置100a〜cは、自装置に関する表示用の情報を発信するだけでなく、互いに他の装置から表示用の情報を受信し、他の装置に関する表示用の情報を発信する機能を有する。
入力装置160a〜cは、例えばキーボードや外部インタフェース等の入力デバイスを含み、操作者からの入力を受け付けたり、外部デバイスや外部メモリからデータを取得して、情報発信装置100a〜cに渡す機能を有する。また入力装置160a〜cは、常時設置されてもよいし、初期設定時やメンテナンス時等の必要なときにだけ設置されてもよい。
表示装置240は、例えば液晶ディスプレイ等の出力デバイスを含み、受信表示装置200により生成された映像信号を画面上に出力する。
ここで情報発信装置100a〜cのうちの情報発信装置100aのみが受信表示装置200の撮像領域内に含まれ、情報発信装置100bのみが情報発信装置100aの撮像領域内に含まれ、情報発信装置100cのみが情報発信装置100bの撮像領域内に含まれる場合を想定して、以下の説明を行なう。
図2は、本発明の実施形態に係る情報発信装置100aの概略的な機能構成を示す図である。ここで情報発信装置100b〜cの機能構成は情報発信装置100aと同じなので説明を省略する。
情報発信装置100aは、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する装置であって、図2に示すように、記憶部110、受信部120、測定部130、情報処理部140、及び発信部150を備える。
記憶部110は、予め自装置設定情報を記憶している。
ここで自装置設定情報とは、下記の(1)〜(3)のうちの少なくともいずれか1つを含む情報である。
(2)情報発信装置100aが光無線を発信している方位を示す情報であり、発信する光を一定の範囲に拡散させる場合には、その中心位置における方位を示すものであっても良い。
(3)情報発信装置100aが設置されている場所の高さを示す情報であり、例えば標高のように、すべての情報発信装置100a〜cを同一の基準で表現することができる情報が望ましい。
受信部120は、映像信号をフレーム単位で取得して画像情報を生成し、画像情報から光の発光パターンを利用して発信される必要な情報を抽出する。詳細には受信部120は、自装置とは異なる情報発信装置100bから、情報発信装置100bに関する表示用の情報を含む直送情報を受信する。さらに、受信部120は、情報発信装置100bから、光の発光パターンを利用して発信される、情報発信装置100bとは異なる情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す相対位置情報とを含む転送情報を受信する。
受光素子121は、例えばイメージセンサやカメラ等を含み、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として取得する。
発信源検出部122は、受光素子121により取得された画像情報を解析し、撮像した領域内に含まれる他の情報発信装置100bの発光位置を検出する。
なお、発信源検出部122において、画像情報の解析には、処理に時間を要し、装置として必要なスペックを満たすためにそれなりのコストを要するため、画像情報を2値画像にフィルタ変換した後に比較する等、低コストで同様の効果を得るための前処理を行なっても良い。
測定部130は、発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する。
測定部130は、距離測定部131、方位測定部132、及び高度測定部133を含み、各構成要素による詳細な機能の説明を以下に示す。
なお、距離測定部131において、距離測定センサの代わりに、第2の受信部を備えて、三角測量法により距離を求めてもよい。また、受信部がオートフォーカスレンズを持つ構造であれば、焦点距離により距離を測定してもよい。このような場合には、オートフォーカス機能自体が距離測定部に相当するため、受信部120と距離測定部131とは同一の構成とみなすことができる。
方位測定部132は、発信源の方角を検出するためのセンサを含み、例えば電子コンパス等により北方向を感知して、北方向と発信源の方向とが為す角度を検出する。なお方位測定部132で検出する角度を、北の方角を0度とし、時計周りに正の値、反時計回りに負の値をとる数値で表してもよい。
高度測定部133は、発信源との高度差を測定するためのセンサを含み、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出し、距離測定部131により測定された直線距離を用いて、高度差を算出する。なお高度測定部133で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
また、連鎖的な転送が際限なく続くことにより、処理の遅延や過剰な負荷が発生すること等を防止するために、代替送信におけるデータ量に上限を設けておき、上限を超える分の転送情報は生成しないようにしてもよい。例えば、代替送信用のデータを受信した順番に所定のデータ領域に一次保存し、データ領域に空きがなくなった際には、以後に受信した代替送信用のデータは破棄してもよい。また例えば、代替送信用のデータに重要度に応じて優先度を付けておき、データ量が上限に達した際には優先度の低いものから破棄してもよい。あるいはデータ量に上限を設けるのではなく、何台の情報発信装置を経由したかを示す代替経由数に上限を設けてもよい。詳しくは、各転送情報に代替経由数を添付しておき、情報処理部140が、連鎖的な転送情報を生成して転送回数が増える度に代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された連鎖的な転送情報を破棄する。また、転送情報の数に上限を設け、上限を超える分の転送情報を生成しないようにしてもよい。
また、利用される可能性が少ない等の代替送信するに値しない情報を送信することを防止するために、所定の条件を満たさない転送情報を生成しないようにしてもよい。例えば、あまり遠い情報発信装置の情報は利用される可能性が少ないので、相対距離が規定値(例えば100m)よりも遠いものは削除する。また例えば、エラーが発生すると受信に要した時間が無駄になってしまうので、受光した際の光強度が規定値以下のものは削除する。また例えば、撮影している方向(例えば35mm広角程度の範囲)と異なる方向に存在する情報発信装置に関する表示用の情報は削除する。
情報処理部140は、相対位置情報生成部141、及び発信情報生成部142を含み、各構成要素による詳細な機能の説明を以下に示す。
相対位置情報生成部141は、受信部120により取得された直送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す相対位置情報を生成する。
さらに相対位置情報生成部141は、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す連鎖的な相対位置情報を生成する。
発信部150は、例えば赤外光やレーザ光、可視光の点滅によって信号を送信する発光ダイオード(LED)や赤外レーザ発光素子などの発光素子を含み、発信情報生成部142により生成された発信情報を光無線信号に変調して発信する。
なお、情報発信装置100aにおける各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部120における受光素子121や測定部130における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部120、及び測定部130の構成と、情報処理部140の構成とをまとめて集積回路化してもよい。例えば図2においては、点線で囲った発信源検出部122、通信情報復調部123、相対位置情報生成部141、及び発信情報生成部142を集積回路にすることができる。
図3は、本実施形態に係る受信表示装置200の機能的な構成を示す図である。
受信表示装置200は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、図3に示すように、受信部210、測定部220、及び情報処理部230を備える。
受信部210は、受光素子211、発信源検出部212、及び通信情報復調部213を含み、各構成要素による詳細な機能の説明を以下に示す。
発信源検出部212は、受光素子211により取得された画像情報を解析し、撮像した領域内に含まれる情報発信装置100aの発光位置を検出する。
通信情報復調部213は、発信源検出部212により検出された発光位置と、受信部210により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得し、表示情報生成部232において利用可能な形式のデータに復調する。ここで発信源が複数個存在する場合には、それぞれの発信源の位置における光無線通信の変調パルス信号を抽出して、各発信源と復調したデータとを対応付けておく。
測定部220は、距離測定部221、方位測定部222、高度測定部223、及び撮影状態検出部224を含み、各構成要素による詳細な機能の説明を以下に示す。
距離測定部221は、光波測距儀などの距離測定センサを含み、発信源検出部212により検出された発光位置に基づいて発信源の方向を特定し、その方向における発信源までの直線距離を測定する。ここで発信源が複数個検出された場合には、それぞれの発信源までの直線距離を測定し、各発信源と測定した直線距離とを対応付けておく。
高度測定部223は、発信源との高度差を測定するためのセンサであり、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出して、距離測定部221により測定された直線距離を用いて、高度差を算出する。なお高度測定部223で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
詳細には測定部220は、検出された水平面と発信源の方向とが為す角度と、発信源までの直線距離とを用いて、発信源までの水平方向成分の距離と、垂直方向成分の距離(標高差)とを算出し、さらに、検出された発信源の水平方向成分の距離と、北方向と発信源の方向とが為す角度とを用いて、南北方向の距離と、東西方向の距離とを算出する。具体的な算出方法は、情報発信装置100aの測定部130と同様である。
情報処理部230は、発信源表示位置算出部231、及び表示情報生成部232を含み、各構成要素による詳細な機能の説明を以下に示す。
なお、転送情報に含まれる相対位置情報と、測定部220により検出される相対位置とが、共にベクトルにより表される場合には、これらをベクトル加算することにより、自装置に対する発信源の相対的な位置を、1個のベクトルとして算出することができる。
表示情報生成部232により変換された映像信号が表示装置240へ出力される。
なお、受信表示装置200における各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部210における受光素子211や測定部220における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部210及び測定部220の構成と、情報処理部230の構成とをまとめて集積回路化してもよい。例えば図3においては、点線で囲った発信源検出部212、通信情報復調部213、発信源表示位置算出部231、及び表示情報生成部232を集積回路にすることができる。
図4は、本発明の実施形態に係る情報発信装置100a〜cが発信及び受信する送信情報のデータ構造の一例を示す図である。以下に、図4を用いて、発信情報生成部142により生成される送信情報について説明する。
送信情報300は、データの開始位置を識別するためのプリアンブル信号301と、その後に続くデータ302とからなる。情報発信装置100aの通信情報復調部123がプリアンブル信号301を検出すると、送信情報の開始位置と識別して以降に続くデータ302を復調する。
開始識別子303は、データ302の開始位置を識別するための情報である。情報発信装置100aの通信情報復調部123が開始識別子303を検出すると、以降にデータサイズ304、自装置情報305、他装置代替送信情報306のデータ構造が続くと識別して、その後の処理を続行する。
データサイズ304は、以降に続く自装置情報305のデータサイズと、他装置代替送信情報306のデータサイズの合計値を示すパラメータである。
他装置代替送信情報306は、自装置とは異なる別の場所に設置されている他の情報発信装置に関する転送情報を代替送信するための情報であり、他の情報発信装置を検出した位置情報、または他の情報発信装置から送信された送信情報に基づいて生成される。
より詳細には、自装置情報305は、ヘッダ307aと表示用データ308aとからなる。
代替送信装置数309の領域には、代替送信の対象となる、自装置とは異なる別の場所に設置された情報発信装置の数が入る。より詳細には、代替送信を示す情報の開始を示し、また代替送信装置数の値が続くことを示す情報識別子317が入り、続いて代替送信装置数318が入る。
ヘッダ307bの構成は、ヘッダ307aと同様である。代替送信の場合には、情報発信装置と代替送信の対象となる情報発信装置との相対位置を示す相対位置情報311や、いくつの情報発信装置を介して代替送信されたのかを示す代替経由数313も、ヘッダ307bに入る情報の対象となる。
このような送信情報300を利用することによって、自装置とは異なる別の場所に設置された情報発信装置との相対位置と送信された送信情報とを、代替送信することが可能となる。
図5は、本実施形態に係る情報発信装置100aにおける情報発信方法の手順を示す図である。
(1)受信部120が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS1)。
(2)受信部120により次のフレームの画像情報が格納された時点において、発信源検出部122が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS2)。
(4)一致する場合は(ステップS3:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部122が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS4)。
(5)測定部130が、ステップS4において検出した発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する(ステップS5)。
(7)代替送信すべきものでないと判断された場合には(ステップS6:NO)、対応する発信源に関する表示用の情報を破棄し、該当する発信源に対する以後の代替送信の処理を禁止する(ステップS7)。
(8)代替送信すべきものであると判断された場合には(ステップS6:YES)、相対位置情報生成部141が、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、発信源の相対的な位置を示す相対位置情報を生成する(ステップS8)。
(9)通信情報復調部123が、発信源検出部122により検出された発光位置と、受光素子121により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS9)。
具体的には、まず発信情報生成部142は、記憶部110に記憶された自装置設定情報の内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データとを取り出し、図4に示した送信情報300の中の自装置情報305の構造に納まるよう直送情報を生成する。
さらに、通信情報復調部123により復調された発信源の通信データの内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データを取り出し、図4に示した送信情報300の他装置代替送信情報306の構造に納まるよう転送情報を生成する。
また検出した発信源が複数ある場合には、それぞれの発信源の送信情報を生成して連結し、代替送信装置数318の値を、代替送信する情報発信装置の数に置き換える。
また、発信源Aから受信した通信データに含まれる発信源自体の装置ID(B)と、別の位置に設置された発信源Cから受信した通信データに含まれる代替送信された発信源の第二の装置ID(D)が同じである場合は、送信源Cから代替送信された装置ID(D)に対応する代替送信情報は使用しないこととする。これにより、同一発信源の代替送信情報を重複して送信することを防止することができる。
以上の処理を繰り返すことにより、情報発信装置100aは、自装置の送信情報とともに、他の場所に設置されている情報発信装置(図1における情報発信装置100b、情報発信装置100c)の通信データを代替送信することができる。
図6は、本実施形態に係る受信表示装置200における受信表示方法の手順を示す図である。
(1)受信部210が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS11)。
(2)受信部210により次のフレームの画像情報が格納された時点において、発信源検出部212が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS12)。
(4)発信源検出部212が、送信源を検出しないまま予定時間を経過したか否かを判断する(ステップS14)。予定時間内に送信源を1つも検出しなかった場合には(ステップS13:NO、ステップS14:YES)、以降のステップS15〜ステップS20までの処理をスキップする。
(5)一致する場合は(ステップS13:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部212が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS15)。
(7)通信情報復調部213が、発信源検出部212により検出された発光位置と、受光素子211により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS17)。
(8)発信源表示位置算出部231が、表示装置240に表示する画面領域における各発信源の表示位置を算出する(ステップS18)。
(10)発信源表示位置算出部231が、代替送信された情報発信装置の表示用の情報を、表示装置240へ表示する際の表示位置を算出する(ステップS20)。
(12)表示情報生成部232により変換された映像信号が表示装置240へ出力され表示される(ステップS22)。
図7の(a)〜(c)は、本実施形態に係る光無線通信システムの利用例を示す図である。ここで図7の(a)は、対象物を真上から見た図であり、ここでは図の上方向を北とする。また図7の(b)は、対象物を南側の上空から見た図である。また図7の(c)は、対象物を南東方向から見た図である。
図7の(a)〜(c)に示すように、表示装置240が接続された受信表示装置200を保持するユーザ10、及びビルなどを想定した建造物11〜14が、それぞれ図のような配置で、図のような方向を向いて建っているものとする。
ここで、図7の(a)〜(c)中の全ての情報発信装置は、180度未満の半球状の送受信可能範囲を持つように設定され、代替経由数の上限は2に設定されているものとする。
情報発信装置100aは、情報発信装置100bから、(1)情報発信装置100bに関する表示用の情報を含む直送情報A、(2)情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す1つの相対位置情報とを含む転送情報B、(3)情報発信装置100dに関する表示用の情報と、情報発信装置100bに対する情報発信装置100dの相対的な位置を示す2つの相対位置情報とを含む転送情報C、(4)情報発信装置100aに関する表示用の情報と、情報発信装置100bに対する情報発信装置100aの相対的な位置を示す1つの相対位置情報とを含む転送情報D、(5)情報発信装置100b’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100b’の相対的な位置を示す2つの相対位置情報とを含む転送情報E、及び(6)情報発信装置100a’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Fを受信する。
またここで、上記転送情報Lは、情報発信装置100cにおいて、情報発信装置100dから受信した、情報発信装置100dに関する表示用の情報を含む直送情報Mに基づいて生成されたものである。
またここで、上記転送情報Oは、情報発信装置100a又はa’において、情報発信装置100b’から受信した、情報発信装置100b’に関する表示用の情報を含む直送情報Pに基づいて生成されたものである。
ここで、上記転送情報Fは、情報発信装置100bにおいて、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Qに基づいて生成されたものである。
またここで、上記転送情報Sは、情報発信装置100a又はa’において、情報発信装置100bから受信した、情報発信装置100bに関する表示用の情報を含む直送情報Tに基づいて生成されたものである。
ここで、上記転送情報Jは、情報発信装置100b’において、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Uに基づいて生成されたものである。
また、全ての情報発信装置において、装置IDが一致する情報発信装置に関する表示用の情報が複数ある場合には、代替経由数が少ないものの1つを残して他を削除している。
図8に示すように、情報発信装置100aから発信する送信情報は、開始識別子とデータサイズに始まり、続いて情報発信装置100a本体に関する情報を含む。続いて、代替送信する他の情報発信装置100b、100c、100b’、100a’に関する情報を含む。図7の(a)〜(c)で示した利用例においては、代替送信する装置の数は4であるため、代替送信装置数の値は4となる。
ここで図9の(a)は、代替送信をせずに、受信表示装置200が情報発信装置100a、100a’から直接取得したデータのみを、カメラで撮像した映像を表示している画像上の各装置の発信源の位置に対応付けて表示している(図中13、14)例であり、従来の装置による画像と同様のものである。
これに対して図9の(b)は、受信表示装置200が直接取得した情報発信装置100a、100a’のデータの表示に加えて、受信表示装置200では直接受信できない情報発信装置100b、100b’、100cのデータを、代替送信により受信し、各装置の発信源の位置に対応付けて表示している例である。
本実施形態の光無線通信システムによれば、直接検出することのできない隠れた情報発信装置の位置および送信情報を、無線LAN等の他の無線通信媒体を利用することなく受信し、利用することが可能となる。また、相対位置により表示位置の特定を行なうため、情報発信装置自体にGPSなどの絶対位置を測定する機能を備える必要がない。また、ユーザから見た視野に対する高さを含めた立体的な位置表示にも対応することができる。
なお、本発明の実施形態で説明した光無線通信送信装置および光無線通信受信装置を構成する全て又は一部の機能ブロックは、典型的には集積回路であるLSI(集積度の違いにより、IC、システムLSI、スーパーLSI、又はウルトラLSI等と称される)として実現される。これらは、個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。
さらには、半導体技術の進歩又は派生する別の技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
また、本実施形態においては、ビル等の建造物に情報発信装置を設置する例を用いているが、同様の構成を用いて、例えば家電機器への応用が可能である。例えば、本実施形態のような情報発信装置と同様の機能を備える音楽プレイヤーを想定すると、音楽プレイヤーが保有している音楽ファイルの情報を送信情報に含めて発信すれば、直接受信できないような位置に置かれた音楽プレイヤーからの音楽ファイルの情報を、例えばテレビやレコーダ等の据置き機器から代替受信することが可能である。
100a〜c、100a’〜b’ 情報発信装置
110 記憶部
120 受信部
121 受光素子
122 発信源検出部
123 通信情報復調部
130 測定部
131 距離測定部
132 方位測定部
133 高度測定部
140 情報処理部
141 発信情報生成部
142 発信情報生成部
150 発信部
160a〜c 入力装置
200 受信表示装置
210 受信部
211 受光素子
212 発信源検出部
213 通信情報復調部
220 測定部
221 距離測定部
222 方位測定部
223 高度測定部
224 撮影状態検出部
230 情報処理部
231 発信源表示位置算出部
232 表示情報生成部
240 表示装置
光無線通信を利用した通信技術は、設置した位置からそのまま情報発信することができ、発信源の相対的な位置を比較的容易に特定できるため、前述した新たな形態のナビゲーションシステムを実現させる際に有用な技術である。
ここで、光無線通信を利用した新たな形態のナビゲーションシステムが特許文献1に開示されている。特許文献1では、携帯電話等の情報処理装置がGPSなどにより位置測定を行い、位置情報および検索条件をサーバに送信し、サーバが受信した位置情報および検索条件に合致した発光装置に対してデータを重畳した発光を指示し、情報処理装置が被写体の画像の中から所定の点滅パターンで発光する発光装置を検出しデータを復号して取得し、取得したデータを発光装置の位置に対応付けて、被写体の画像上に表示する。
特許文献1では、位置情報および検索条件に合致する発光装置が遮蔽されて情報処理装置がデータを取得できない場合に、遮蔽されていない他の発光装置にサーバを経由してデータを送信し、情報処理装置が遮蔽された発光装置のデータを他の発光装置から取得することにより上記問題を解決している。
例えばビルAの5階にある喫茶店Bに設置された情報発信装置から送信された情報が「喫茶店Bでランチサービス実施中」であり、受信表示装置と情報発信装置との間に遮蔽物がある等で直接情報を受信できない場合に、上記特許文献1では、その情報の内容自体を受信表示装置側で受信して表示することができても、情報発信装置の位置または情報発信装置の発信方向が特定できないため、受信表示装置を使用している使用者はこの情報がどこから発せられたものなのかを直感的に把握することができない。
尚、上記特許文献1は、光無線通信を利用するものではあるが、情報処理装置とサーバとの間、及び、サーバと発光装置との間の通信に、公衆網などの他の公共通信手段を用いなければならず、別途通信料が発生してしまうという問題や、公共通信手段が使えない圏外などの環境下においては利用できないという問題等もある。
さらに、上記特許文献1では、個々の情報処理装置の位置情報及び検索条件に合わせて、合致する発光装置が個別にデータを重畳した発光を行う構成を開示しているが、多くの情報処理装置が同時に利用される状況において、多くの情報処理装置の全てに対してそれぞれに適した情報を流すように個々の発光装置を制御するのは、トラフィックが混雑する上処理が複雑になり、光無線通信の帯域から考えて通信に時間が掛かりすぎるので甚だ現実的ではないという問題もある。
本発明は、「受信表示装置において、情報発信装置と受信表示装置とを結ぶ直線上に遮蔽物があって情報発信装置を直接視認できない場合に、情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができない」という上記課題を解決するものであり、カメラで撮像した映像を表示している画像上に、建造物などの障害物に遮られた情報発信装置に関する表示用の情報を、当該情報発信装置の位置に対応付けて表示することができる受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法を提供することを目的とする。
そして上記課題を解決するために、本発明の受信表示装置は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、受信部と、測定部と、情報処理部とを備える。受信部は、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
このような構成によれば、受信表示装置において、送信側と受信側とを結ぶ直線上に小さな遮蔽物があったり、ビルなどの建造物の裏側に設置されて直接には視認できない情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができる。
<概要>
第1の実施形態は、光空間伝送による情報伝送を利用して、撮像した画像に情報を重畳して表示するシステムにおいて、一の情報発信装置が、前記撮像した画像における二の情報発信装置の位置に対応付けて表示すべき表示用情報を、情報発信装置間の相対的な位置を示す相対位置情報と共に発信し、受信表示装置が、二の情報発信装置から表示用情報を輝度の変化から捉えることができない場合に、一の情報発信装置から受信した二の情報発信装置の伝送情報と相対位置情報とを用いて、二の情報発信装置の画像の位置に伝送情報を重畳して表示するものである。
図1は、本発明に係る第1の実施形態の光無線通信システム1の概要を示す図である。
図1に示す光無線通信システム1は、情報発信装置100a〜c、入力装置160a〜c、受信表示装置200、及び表示装置240から構成されている。
情報発信装置100a〜cは、例えば店頭に並べられた商品の陳列棚や市中の広告看板などに併設された据え置き型の電子機器であり、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する機能を有する。ここで情報発信装置100a〜cは、自装置に関する表示用の情報を発信するだけでなく、互いに他の装置から表示用の情報を受信し、他の装置に関する表示用の情報を発信する機能を有する。
入力装置160a〜cは、例えばキーボードや外部インタフェース等の入力デバイスを含み、操作者からの入力を受け付けたり、外部デバイスや外部メモリからデータを取得して、情報発信装置100a〜cに渡す機能を有する。また入力装置160a〜cは、常時設置されてもよいし、初期設定時やメンテナンス時等の必要なときにだけ設置されてもよい。
表示装置240は、例えば液晶ディスプレイ等の出力デバイスを含み、受信表示装置200により生成された映像信号を画面上に出力する。
ここで情報発信装置100a〜cのうちの情報発信装置100aのみが受信表示装置200の撮像領域内に含まれ、情報発信装置100bのみが情報発信装置100aの撮像領域内に含まれ、情報発信装置100cのみが情報発信装置100bの撮像領域内に含まれる場合を想定して、以下の説明を行なう。
図2は、本発明の実施形態に係る情報発信装置100aの概略的な機能構成を示す図である。ここで情報発信装置100b〜cの機能構成は情報発信装置100aと同じなので説明を省略する。
情報発信装置100aは、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する装置であって、図2に示すように、記憶部110、受信部120、測定部130、情報処理部140、及び発信部150を備える。
記憶部110は、予め自装置設定情報を記憶している。
ここで自装置設定情報とは、下記の(1)〜(3)のうちの少なくともいずれか1つを含む情報である。
(2)情報発信装置100aが光無線を発信している方位を示す情報であり、発信する光を一定の範囲に拡散させる場合には、その中心位置における方位を示すものであっても良い。
(3)情報発信装置100aが設置されている場所の高さを示す情報であり、例えば標高のように、すべての情報発信装置100a〜cを同一の基準で表現することができる情報が望ましい。
受信部120は、映像信号をフレーム単位で取得して画像情報を生成し、画像情報から光の発光パターンを利用して発信される必要な情報を抽出する。詳細には受信部120は、自装置とは異なる情報発信装置100bから、情報発信装置100bに関する表示用の情報を含む直送情報を受信する。さらに、受信部120は、情報発信装置100bから、光の発光パターンを利用して発信される、情報発信装置100bとは異なる情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す相対位置情報とを含む転送情報を受信する。
受光素子121は、例えばイメージセンサやカメラ等を含み、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として取得する。
発信源検出部122は、受光素子121により取得された画像情報を解析し、撮像した領域内に含まれる他の情報発信装置100bの発光位置を検出する。
なお、発信源検出部122において、画像情報の解析には、処理に時間を要し、装置として必要なスペックを満たすためにそれなりのコストを要するため、画像情報を2値画像にフィルタ変換した後に比較する等、低コストで同様の効果を得るための前処理を行なっても良い。
測定部130は、発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する。
測定部130は、距離測定部131、方位測定部132、及び高度測定部133を含み、各構成要素による詳細な機能の説明を以下に示す。
なお、距離測定部131において、距離測定センサの代わりに、第2の受信部を備えて、三角測量法により距離を求めてもよい。また、受信部がオートフォーカスレンズを持つ構造であれば、焦点距離により距離を測定してもよい。このような場合には、オートフォーカス機能自体が距離測定部に相当するため、受信部120と距離測定部131とは同一の構成とみなすことができる。
方位測定部132は、発信源の方角を検出するためのセンサを含み、例えば電子コンパス等により北方向を感知して、北方向と発信源の方向とが為す角度を検出する。なお方位測定部132で検出する角度を、北の方角を0度とし、時計周りに正の値、反時計回りに負の値をとる数値で表してもよい。
高度測定部133は、発信源との高度差を測定するためのセンサを含み、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出し、距離測定部131により測定された直線距離を用いて、高度差を算出する。なお高度測定部133で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
また、連鎖的な転送が際限なく続くことにより、処理の遅延や過剰な負荷が発生すること等を防止するために、代替送信におけるデータ量に上限を設けておき、上限を超える分の転送情報は生成しないようにしてもよい。例えば、代替送信用のデータを受信した順番に所定のデータ領域に一次保存し、データ領域に空きがなくなった際には、以後に受信した代替送信用のデータは破棄してもよい。また例えば、代替送信用のデータに重要度に応じて優先度を付けておき、データ量が上限に達した際には優先度の低いものから破棄してもよい。あるいはデータ量に上限を設けるのではなく、何台の情報発信装置を経由したかを示す代替経由数に上限を設けてもよい。詳しくは、各転送情報に代替経由数を添付しておき、情報処理部140が、連鎖的な転送情報を生成して転送回数が増える度に代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された連鎖的な転送情報を破棄する。また、転送情報の数に上限を設け、上限を超える分の転送情報を生成しないようにしてもよい。
また、利用される可能性が少ない等の代替送信するに値しない情報を送信することを防止するために、所定の条件を満たさない転送情報を生成しないようにしてもよい。例えば、あまり遠い情報発信装置の情報は利用される可能性が少ないので、相対距離が規定値(例えば100m)よりも遠いものは削除する。また例えば、エラーが発生すると受信に要した時間が無駄になってしまうので、受光した際の光強度が規定値以下のものは削除する。また例えば、撮影している方向(例えば35mm広角程度の範囲)と異なる方向に存在する情報発信装置に関する表示用の情報は削除する。
情報処理部140は、相対位置情報生成部141、及び発信情報生成部142を含み、各構成要素による詳細な機能の説明を以下に示す。
相対位置情報生成部141は、受信部120により取得された直送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す相対位置情報を生成する。
さらに相対位置情報生成部141は、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す連鎖的な相対位置情報を生成する。
発信部150は、例えば赤外光やレーザ光、可視光の点滅によって信号を送信する発光ダイオード(LED)や赤外レーザ発光素子などの発光素子を含み、発信情報生成部142により生成された発信情報を光無線信号に変調して発信する。
なお、情報発信装置100aにおける各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部120における受光素子121や測定部130における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部120、及び測定部130の構成と、情報処理部140の構成とをまとめて集積回路化してもよい。例えば図2においては、点線で囲った発信源検出部122、通信情報復調部123、相対位置情報生成部141、及び発信情報生成部142を集積回路にすることができる。
図3は、本実施形態に係る受信表示装置200の機能的な構成を示す図である。
受信表示装置200は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、図3に示すように、受信部210、測定部220、及び情報処理部230を備える。
受信部210は、受光素子211、発信源検出部212、及び通信情報復調部213を含み、各構成要素による詳細な機能の説明を以下に示す。
発信源検出部212は、受光素子211により取得された画像情報を解析し、撮像した領域内に含まれる情報発信装置100aの発光位置を検出する。
通信情報復調部213は、発信源検出部212により検出された発光位置と、受信部210により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得し、表示情報生成部232において利用可能な形式のデータに復調する。ここで発信源が複数個存在する場合には、それぞれの発信源の位置における光無線通信の変調パルス信号を抽出して、各発信源と復調したデータとを対応付けておく。
測定部220は、距離測定部221、方位測定部222、高度測定部223、及び撮影状態検出部224を含み、各構成要素による詳細な機能の説明を以下に示す。
距離測定部221は、光波測距儀などの距離測定センサを含み、発信源検出部212により検出された発光位置に基づいて発信源の方向を特定し、その方向における発信源までの直線距離を測定する。ここで発信源が複数個検出された場合には、それぞれの発信源までの直線距離を測定し、各発信源と測定した直線距離とを対応付けておく。
高度測定部223は、発信源との高度差を測定するためのセンサであり、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出して、距離測定部221により測定された直線距離を用いて、高度差を算出する。なお高度測定部223で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
詳細には測定部220は、検出された水平面と発信源の方向とが為す角度と、発信源までの直線距離とを用いて、発信源までの水平方向成分の距離と、垂直方向成分の距離(標高差)とを算出し、さらに、検出された発信源の水平方向成分の距離と、北方向と発信源の方向とが為す角度とを用いて、南北方向の距離と、東西方向の距離とを算出する。具体的な算出方法は、情報発信装置100aの測定部130と同様である。
情報処理部230は、発信源表示位置算出部231、及び表示情報生成部232を含み、各構成要素による詳細な機能の説明を以下に示す。
なお、転送情報に含まれる相対位置情報と、測定部220により検出される相対位置とが、共にベクトルにより表される場合には、これらをベクトル加算することにより、自装置に対する発信源の相対的な位置を、1個のベクトルとして算出することができる。
表示情報生成部232により変換された映像信号が表示装置240へ出力される。
なお、受信表示装置200における各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部210における受光素子211や測定部220における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部210及び測定部220の構成と、情報処理部230の構成とをまとめて集積回路化してもよい。例えば図3においては、点線で囲った発信源検出部212、通信情報復調部213、発信源表示位置算出部231、及び表示情報生成部232を集積回路にすることができる。
図4は、本発明の実施形態に係る情報発信装置100a〜cが発信及び受信する送信情報のデータ構造の一例を示す図である。以下に、図4を用いて、発信情報生成部142により生成される送信情報について説明する。
送信情報300は、データの開始位置を識別するためのプリアンブル信号301と、その後に続くデータ302とからなる。情報発信装置100aの通信情報復調部123がプリアンブル信号301を検出すると、送信情報の開始位置と識別して以降に続くデータ302を復調する。
開始識別子303は、データ302の開始位置を識別するための情報である。情報発信装置100aの通信情報復調部123が開始識別子303を検出すると、以降にデータサイズ304、自装置情報305、他装置代替送信情報306のデータ構造が続くと識別して、その後の処理を続行する。
データサイズ304は、以降に続く自装置情報305のデータサイズと、他装置代替送信情報306のデータサイズの合計値を示すパラメータである。
他装置代替送信情報306は、自装置とは異なる別の場所に設置されている他の情報発信装置に関する転送情報を代替送信するための情報であり、他の情報発信装置を検出した位置情報、または他の情報発信装置から送信された送信情報に基づいて生成される。
より詳細には、自装置情報305は、ヘッダ307aと表示用データ308aとからなる。
代替送信装置数309の領域には、代替送信の対象となる、自装置とは異なる別の場所に設置された情報発信装置の数が入る。より詳細には、代替送信を示す情報の開始を示し、また代替送信装置数の値が続くことを示す情報識別子317が入り、続いて代替送信装置数318が入る。
ヘッダ307bの構成は、ヘッダ307aと同様である。代替送信の場合には、情報発信装置と代替送信の対象となる情報発信装置との相対位置を示す相対位置情報311や、いくつの情報発信装置を介して代替送信されたのかを示す代替経由数313も、ヘッダ307bに入る情報の対象となる。
このような送信情報300を利用することによって、自装置とは異なる別の場所に設置された情報発信装置との相対位置と送信された送信情報とを、代替送信することが可能となる。
図5は、本実施形態に係る情報発信装置100aにおける情報発信方法の手順を示す図である。
(1)受信部120が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS1)。
(2)受信部120により次のフレームの画像情報が格納された時点において、発信源検出部122が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS2)。
(4)一致する場合は(ステップS3:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部122が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS4)。
(5)測定部130が、ステップS4において検出した発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する(ステップS5)。
(7)代替送信すべきものでないと判断された場合には(ステップS6:NO)、対応する発信源に関する表示用の情報を破棄し、該当する発信源に対する以後の代替送信の処理を禁止する(ステップS7)。
(8)代替送信すべきものであると判断された場合には(ステップS6:YES)、相対位置情報生成部141が、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、発信源の相対的な位置を示す相対位置情報を生成する(ステップS8)。
(9)通信情報復調部123が、発信源検出部122により検出された発光位置と、受光素子121により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS9)。
具体的には、まず発信情報生成部142は、記憶部110に記憶された自装置設定情報の内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データとを取り出し、図4に示した送信情報300の中の自装置情報305の構造に納まるよう直送情報を生成する。
さらに、通信情報復調部123により復調された発信源の通信データの内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データを取り出し、図4に示した送信情報300の他装置代替送信情報306の構造に納まるよう転送情報を生成する。
また検出した発信源が複数ある場合には、それぞれの発信源の送信情報を生成して連結し、代替送信装置数318の値を、代替送信する情報発信装置の数に置き換える。
また、発信源Aから受信した通信データに含まれる発信源自体の装置ID(B)と、別の位置に設置された発信源Cから受信した通信データに含まれる代替送信された発信源の第二の装置ID(D)が同じである場合は、送信源Cから代替送信された装置ID(D)に対応する代替送信情報は使用しないこととする。これにより、同一発信源の代替送信情報を重複して送信することを防止することができる。
以上の処理を繰り返すことにより、情報発信装置100aは、自装置の送信情報とともに、他の場所に設置されている情報発信装置(図1における情報発信装置100b、情報発信装置100c)の通信データを代替送信することができる。
図6は、本実施形態に係る受信表示装置200における受信表示方法の手順を示す図である。
(1)受信部210が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS11)。
(2)受信部210により次のフレームの画像情報が格納された時点において、発信源検出部212が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS12)。
(4)発信源検出部212が、送信源を検出しないまま予定時間を経過したか否かを判断する(ステップS14)。予定時間内に送信源を1つも検出しなかった場合には(ステップS13:NO、ステップS14:YES)、以降のステップS15〜ステップS20までの処理をスキップする。
(5)一致する場合は(ステップS13:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部212が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS15)。
(7)通信情報復調部213が、発信源検出部212により検出された発光位置と、受光素子211により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS17)。
(8)発信源表示位置算出部231が、表示装置240に表示する画面領域における各発信源の表示位置を算出する(ステップS18)。
(10)発信源表示位置算出部231が、代替送信された情報発信装置の表示用の情報を、表示装置240へ表示する際の表示位置を算出する(ステップS20)。
(12)表示情報生成部232により変換された映像信号が表示装置240へ出力され表示される(ステップS22)。
図7の(a)〜(c)は、本実施形態に係る光無線通信システムの利用例を示す図である。ここで図7の(a)は、対象物を真上から見た図であり、ここでは図の上方向を北とする。また図7の(b)は、対象物を南側の上空から見た図である。また図7の(c)は、対象物を南東方向から見た図である。
図7の(a)〜(c)に示すように、表示装置240が接続された受信表示装置200を保持するユーザ10、及びビルなどを想定した建造物11〜14が、それぞれ図のような配置で、図のような方向を向いて建っているものとする。
ここで、図7の(a)〜(c)中の全ての情報発信装置は、180度未満の半球状の送受信可能範囲を持つように設定され、代替経由数の上限は2に設定されているものとする。
情報発信装置100aは、情報発信装置100bから、(1)情報発信装置100bに関する表示用の情報を含む直送情報A、(2)情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す1つの相対位置情報とを含む転送情報B、(3)情報発信装置100dに関する表示用の情報と、情報発信装置100bに対する情報発信装置100dの相対的な位置を示す2つの相対位置情報とを含む転送情報C、(4)情報発信装置100aに関する表示用の情報と、情報発信装置100bに対する情報発信装置100aの相対的な位置を示す1つの相対位置情報とを含む転送情報D、(5)情報発信装置100b’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100b’の相対的な位置を示す2つの相対位置情報とを含む転送情報E、及び(6)情報発信装置100a’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Fを受信する。
またここで、上記転送情報Lは、情報発信装置100cにおいて、情報発信装置100dから受信した、情報発信装置100dに関する表示用の情報を含む直送情報Mに基づいて生成されたものである。
またここで、上記転送情報Oは、情報発信装置100a又はa’において、情報発信装置100b’から受信した、情報発信装置100b’に関する表示用の情報を含む直送情報Pに基づいて生成されたものである。
ここで、上記転送情報Fは、情報発信装置100bにおいて、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Qに基づいて生成されたものである。
またここで、上記転送情報Sは、情報発信装置100a又はa’において、情報発信装置100bから受信した、情報発信装置100bに関する表示用の情報を含む直送情報Tに基づいて生成されたものである。
ここで、上記転送情報Jは、情報発信装置100b’において、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Uに基づいて生成されたものである。
また、全ての情報発信装置において、装置IDが一致する情報発信装置に関する表示用の情報が複数ある場合には、代替経由数が少ないものの1つを残して他を削除している。
図8に示すように、情報発信装置100aから発信する送信情報は、開始識別子とデータサイズに始まり、続いて情報発信装置100a本体に関する情報を含む。続いて、代替送信する他の情報発信装置100b、100c、100b’、100a’に関する情報を含む。図7の(a)〜(c)で示した利用例においては、代替送信する装置の数は4であるため、代替送信装置数の値は4となる。
ここで図9の(a)は、代替送信をせずに、受信表示装置200が情報発信装置100a、100a’から直接取得したデータのみを、カメラで撮像した映像を表示している画像上の各装置の発信源の位置に対応付けて表示している(図中13、14)例であり、従来の装置による画像と同様のものである。
これに対して図9の(b)は、受信表示装置200が直接取得した情報発信装置100a、100a’のデータの表示に加えて、受信表示装置200では直接受信できない情報発信装置100b、100b’、100cのデータを、代替送信により受信し、各装置の発信源の位置に対応付けて表示している例である。
本実施形態の光無線通信システムによれば、直接検出することのできない隠れた情報発信装置の位置および送信情報を、無線LAN等の他の無線通信媒体を利用することなく受信し、利用することが可能となる。また、相対位置により表示位置の特定を行なうため、情報発信装置自体にGPSなどの絶対位置を測定する機能を備える必要がない。また、ユーザから見た視野に対する高さを含めた立体的な位置表示にも対応することができる。
なお、本発明の実施形態で説明した光無線通信送信装置および光無線通信受信装置を構成する全て又は一部の機能ブロックは、典型的には集積回路であるLSI(集積度の違いにより、IC、システムLSI、スーパーLSI、又はウルトラLSI等と称される)として実現される。これらは、個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。
さらには、半導体技術の進歩又は派生する別の技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
また、本実施形態においては、ビル等の建造物に情報発信装置を設置する例を用いているが、同様の構成を用いて、例えば家電機器への応用が可能である。例えば、本実施形態のような情報発信装置と同様の機能を備える音楽プレイヤーを想定すると、音楽プレイヤーが保有している音楽ファイルの情報を送信情報に含めて発信すれば、直接受信できないような位置に置かれた音楽プレイヤーからの音楽ファイルの情報を、例えばテレビやレコーダ等の据置き機器から代替受信することが可能である。
100a〜c、100a’〜b’ 情報発信装置
110 記憶部
120 受信部
121 受光素子
122 発信源検出部
123 通信情報復調部
130 測定部
131 距離測定部
132 方位測定部
133 高度測定部
140 情報処理部
141 発信情報生成部
142 発信情報生成部
150 発信部
160a〜c 入力装置
200 受信表示装置
210 受信部
211 受光素子
212 発信源検出部
213 通信情報復調部
220 測定部
221 距離測定部
222 方位測定部
223 高度測定部
224 撮影状態検出部
230 情報処理部
231 発信源表示位置算出部
232 表示情報生成部
240 表示装置
Claims (15)
- 光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置であって、
画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信部と、
自装置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理部とを備えることを特徴とする受信表示装置。 - 前記受信部により受信される転送情報に含まれる1又は複数の相対位置情報は、ベクトルにより表され、
前記測定部により測定される前記一の情報発信装置の相対的な位置は、ベクトルにより表され、
前記情報処理部は、
前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報を表すベクトルと、前記測定部により測定された前記一の情報発信装置の相対的な位置を表すベクトルとを、ベクトル加算することにより、自装置に対する前記二の情報発信装置の相対的な位置を、1個のベクトルとして算出することを特徴とする請求項1に記載の受信表示装置。 - 前記測定部は、
自装置に対する前記一の情報発信装置の相対的な距離と角度とを実測することを特徴とする請求項1に記載の受信表示装置。 - 受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置であって、
予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信部と、
自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理部と、
前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とを備えることを特徴とする情報発信装置。 - 前記受信部は、さらに、
前記一の情報発信装置から、光の発光パターンを利用して発信される、前記一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す相対位置情報とを含む転送情報を受信し、
前記情報処理部は、さらに、
前記測定部により測定された相対的な位置を示す相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する相対位置情報とに基づいて、自装置に対する前記二の情報発信装置の相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む階層的な転送情報を生成し、
前記送信部は、さらに、
前記情報生成部により生成された階層的な転送情報を、光の発光パターンを利用して送信することを特徴とする請求項4に記載の情報発信装置。 - 前記直送情報に含まれる前記一の情報発信装置に関する表示用の情報、及び、前記転送情報に含まれる前記二の情報発信装置に関する表示用の情報には、それぞれ、情報発信装置毎に固有の識別情報が添付されており、
前記情報処理部は、
前記直送情報、及び前記転送情報に含まれる表示用の情報に添付された識別情報の中に、重複する識別情報が有るか否かを判断し、重複する識別情報が有る場合には、重複する識別情報が添付された表示用の情報を含む転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。 - 前記転送情報には、それぞれ、何台の情報発信装置を経由したかを示す代替経由数が添付されており、
前記情報処理部は、
前記階層的な転送情報を生成して階層が増える度に、前記代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された階層的な転送情報を破棄することを特徴とする請求項5に記載の情報発信装置。 - 前記情報処理部は、
代替送信におけるデータ量に上限を設けるか、又は、転送情報の数に上限を設け、所定の上限を超える分の転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。 - 前記情報処理部は、
所定の条件を満たさない転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。 - 光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置と、当該表示用の情報を、光の発光パターンを利用して送信する複数の情報発信装置とから構成される光無線通信システムであって、
前記複数の情報発信装置の中の一の情報発信装置は、
予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する第1受信部と、
自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する第1測定部と、
前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定部により測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信部により受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する第1情報処理部と、
前記第1情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とを備え、
前記受信表示装置は、
画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する第2受信部と、
自装置に対する前記一の情報発信装置の相対的な位置を測定する第2測定部と、
前記第2受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる第2情報処理部とを備えることを特徴とする光無線通信システム。 - 光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置における受信表示プログラムであって、
前記受信表示装置に、
画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信ステップと、
自装置に対する前記一の情報発信装置の相対的な位置を測定する測定ステップと、
前記受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理ステップとを実行させることを特徴とする受信表示プログラム。 - 受信表示装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置における情報発信プログラムであって、
前記情報発信装置は、
予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備え、
前記情報発信装置に、
自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信ステップと、
自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定ステップと、
前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信ステップにより受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理ステップと、
前記情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信ステップとを実行させることを特徴とする情報発信プログラム。 - 光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置に用いられる受信表示用集積回路であって、
画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信部と、
自装置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理部とのうちの、全部又は一部を集積する受信表示用集積回路。 - 受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置に用いられる情報発信用集積回路であって、
予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信部と、
自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理部と、
前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とのうちの、全部又は一部を集積する情報発信用集積回路。 - 受信表示装置において、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させ、複数の情報発信装置において、当該表示用の情報を、光の発光パターンを利用して送信する光無線通信方法であって、
前記複数の情報発信装置の中の一の情報発信装置は、
予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備え、
前記一の情報発信装置において、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する第1受信ステップと、
前記一の情報発信装置において、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する第1測定ステップと、
前記一の情報発信装置において、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定ステップにより測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信ステップにより受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する第1情報処理ステップと、
前記一の情報発信装置において、前記第1情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信ステップと、
前記受信表示装置において、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する第2受信ステップと、
前記受信表示装置において、自装置に対する前記一の情報発信装置の相対的な位置を測定する第2測定ステップと、
前記受信表示装置において、前記第2受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる第2情報処理ステップとを含むことを特徴とする光無線通信方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010185008 | 2010-08-20 | ||
JP2010185008 | 2010-08-20 | ||
PCT/JP2011/004444 WO2012023253A1 (ja) | 2010-08-20 | 2011-08-04 | 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012023253A1 true JPWO2012023253A1 (ja) | 2013-10-28 |
JP5619140B2 JP5619140B2 (ja) | 2014-11-05 |
Family
ID=45604924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012507532A Expired - Fee Related JP5619140B2 (ja) | 2010-08-20 | 2011-08-04 | 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9374159B2 (ja) |
JP (1) | JP5619140B2 (ja) |
CN (1) | CN102484678B (ja) |
WO (1) | WO2012023253A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5891843B2 (ja) * | 2012-02-24 | 2016-03-23 | ソニー株式会社 | クライアント端末、サーバ、およびプログラム |
US9166810B2 (en) * | 2012-05-24 | 2015-10-20 | Panasonic Intellectual Property Corporation Of America | Information communication device of obtaining information by demodulating a bright line pattern included in an image |
US9395875B2 (en) * | 2012-06-27 | 2016-07-19 | Ebay, Inc. | Systems, methods, and computer program products for navigating through a virtual/augmented reality |
CN107395977B (zh) * | 2012-12-27 | 2019-12-17 | 松下电器(美国)知识产权公司 | 信息通信方法 |
US9987184B2 (en) * | 2013-02-05 | 2018-06-05 | Valentin Borovinov | Systems, methods, and media for providing video of a burial memorial |
JP6425173B2 (ja) | 2015-03-06 | 2018-11-21 | パナソニックIpマネジメント株式会社 | 照明装置及び照明システム |
WO2016207983A1 (ja) | 2015-06-23 | 2016-12-29 | 富士通株式会社 | 位置測定装置、位置測定方法および位置測定プログラム |
CN105407141B (zh) * | 2015-10-23 | 2019-06-18 | 北京邮电大学 | 一种内容分发方法和系统以及一种FiWi节点设备 |
CN105406986B (zh) * | 2015-10-23 | 2018-11-02 | 北京邮电大学 | 一种内容分发控制方法和一种中心控制器 |
CN105890597B (zh) * | 2016-04-07 | 2019-01-01 | 浙江漫思网络科技有限公司 | 一种基于图像分析的辅助定位方法 |
WO2022208882A1 (ja) * | 2021-04-02 | 2022-10-06 | 日本電信電話株式会社 | 光空間通信装置及び光空間通信方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0340616A (ja) * | 1989-07-07 | 1991-02-21 | Matsushita Electric Ind Co Ltd | 光空間伝送装置 |
JP2003323239A (ja) * | 2002-05-08 | 2003-11-14 | Sony Corp | 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム |
JP2005080116A (ja) * | 2003-09-02 | 2005-03-24 | Fuji Photo Film Co Ltd | 撮像装置および情報伝達システム |
JP2007228512A (ja) * | 2006-02-27 | 2007-09-06 | Kyocera Corp | 可視光通信システムおよび情報処理装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5673252A (en) * | 1990-02-15 | 1997-09-30 | Itron, Inc. | Communications protocol for remote data generating stations |
US6631018B1 (en) * | 1997-08-27 | 2003-10-07 | Nortel Networks Limited | WDM optical network with passive pass-through at each node |
JP2004275412A (ja) * | 2003-03-14 | 2004-10-07 | Mitsumi Electric Co Ltd | 通信ゲームシステム及び通信システム及び通信装置並びに通信状態表示方法 |
KR100818228B1 (ko) * | 2006-03-28 | 2008-04-01 | 삼성전자주식회사 | 무선 애드 혹 네트워크에서 파워 및 전송지연을 고려한경로 설정 방법 및 이를 적용한 단말장치 |
EP1884798B1 (en) * | 2006-08-03 | 2012-01-18 | Casio Computer Co., Ltd. | Method for measuring distance to object |
DE102006056338A1 (de) | 2006-11-29 | 2008-06-05 | Rohde & Schwarz Gmbh & Co. Kg | Verfahren und Vorrichtung zur Bestimmung der Position eines Endgeräts in einem Mobilfunknetz |
WO2010073616A1 (ja) * | 2008-12-25 | 2010-07-01 | パナソニック株式会社 | 情報表示装置および情報表示方法 |
US8958291B2 (en) * | 2009-10-09 | 2015-02-17 | At&T Intellectual Property I, L.P. | Data routing in hybrid wireless communication networks |
CN102714691B (zh) * | 2009-12-18 | 2016-04-27 | 松下电器(美国)知识产权公司 | 信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法 |
-
2011
- 2011-08-04 WO PCT/JP2011/004444 patent/WO2012023253A1/ja active Application Filing
- 2011-08-04 JP JP2012507532A patent/JP5619140B2/ja not_active Expired - Fee Related
- 2011-08-04 US US13/391,680 patent/US9374159B2/en not_active Expired - Fee Related
- 2011-08-04 CN CN201180003457.2A patent/CN102484678B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0340616A (ja) * | 1989-07-07 | 1991-02-21 | Matsushita Electric Ind Co Ltd | 光空間伝送装置 |
JP2003323239A (ja) * | 2002-05-08 | 2003-11-14 | Sony Corp | 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム |
JP2005080116A (ja) * | 2003-09-02 | 2005-03-24 | Fuji Photo Film Co Ltd | 撮像装置および情報伝達システム |
JP2007228512A (ja) * | 2006-02-27 | 2007-09-06 | Kyocera Corp | 可視光通信システムおよび情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5619140B2 (ja) | 2014-11-05 |
CN102484678A (zh) | 2012-05-30 |
US20120154443A1 (en) | 2012-06-21 |
CN102484678B (zh) | 2017-03-01 |
WO2012023253A1 (ja) | 2012-02-23 |
US9374159B2 (en) | 2016-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5619140B2 (ja) | 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 | |
CN102737227B (zh) | 终端装置、信息处理装置、对象识别方法以及系统 | |
JPWO2003036829A1 (ja) | データ通信システム、データ送信装置、並びにデータ受信装置 | |
JPWO2008087974A1 (ja) | データ処理装置、方法、記録媒体 | |
US10425243B2 (en) | Commissioning device for commissioning installed building technology devices | |
US9621747B2 (en) | Information processing apparatus and imaging region sharing determination method | |
US9083891B2 (en) | Video monitoring apparatus | |
CN105723631A (zh) | 通信方法 | |
CN107710736A (zh) | 辅助用户捕获图像或视频的方法和系统 | |
CN105917329B (zh) | 信息显示装置和信息显示程序 | |
CN112991439B (zh) | 定位目标物体的方法、装置、电子设备及介质 | |
JP6699518B2 (ja) | 画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供システム、データ提供プログラム、記録媒体、プロセッサ及び電子機器 | |
CN108012141A (zh) | 显示装置、显示系统和显示装置的控制方法 | |
CN111754564A (zh) | 视频展示方法、装置、设备及存储介质 | |
WO2018079043A1 (ja) | 情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム | |
JP2019075126A (ja) | 情報処理装置及びプログラム | |
JP2011180021A (ja) | サーバ装置、プログラム及び位置特定システム | |
CN112087719B (zh) | 地图区域确定方法、装置、设备及存储介质 | |
JP2019109174A (ja) | 位置算出システム、位置算出装置、位置算出方法及びプログラム | |
JP2012064071A (ja) | 情報システム、端末装置、広告出力方法、およびプログラム | |
KR102272757B1 (ko) | 파노라믹 영상 컨텐츠 제작 시스템 및 방법 | |
CN108225259A (zh) | 测距群机器人及系统 | |
WO2024038895A1 (ja) | 方法、サーバー、端末、および、基地局 | |
JP2019009623A (ja) | 携帯端末、制御プログラム及び制御方法 | |
CN110276837A (zh) | 一种信息处理方法、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140115 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5619140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |