JPWO2012023253A1 - 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 - Google Patents

受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 Download PDF

Info

Publication number
JPWO2012023253A1
JPWO2012023253A1 JP2012507532A JP2012507532A JPWO2012023253A1 JP WO2012023253 A1 JPWO2012023253 A1 JP WO2012023253A1 JP 2012507532 A JP2012507532 A JP 2012507532A JP 2012507532 A JP2012507532 A JP 2012507532A JP WO2012023253 A1 JPWO2012023253 A1 JP WO2012023253A1
Authority
JP
Japan
Prior art keywords
information
display
transmission
relative position
transmission device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012507532A
Other languages
English (en)
Other versions
JP5619140B2 (ja
Inventor
松井 典弘
典弘 松井
山田 和範
山田  和範
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2012023253A1 publication Critical patent/JPWO2012023253A1/ja
Application granted granted Critical
Publication of JP5619140B2 publication Critical patent/JP5619140B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/112Line-of-sight transmission over an extended range
    • H04B10/1121One-way transmission
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optical Communication System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

撮像した映像を表示している画像上に、障害物に遮られた情報発信装置に関する表示用の情報を、情報発信装置の位置に対応付けて表示する受信表示装置等を提供する。受信部は、画像を時系列的に撮像し、装置(100a)から装置(100a)に関する情報を含む直送情報、及び、装置(100b)に関する情報と装置(100a)に対する装置(100b)の相対的な位置を示す相対位置情報とを含む転送情報を受信する。測定部は、自装置(200)に対する装置(100a)の相対的な位置を測定する。情報処理部は、撮像された画像上における、装置(100a)の位置に関連付けて、直送情報に含まれる装置(100a)の情報を重畳するとともに、発光位置と、転送情報に含まれる相対位置情報と、装置(100a)の相対的な位置とに基づいて、撮像された画像上における、装置(100b)の座標位置を算出して、座標位置に関連付けて、転送情報に含まれる装置(100b)の情報を表示させる。

Description

本発明は、可視光、赤外光、及びレーザ等の光を利用してデータを送受信する光無線通信装置に関し、より特定的には、カメラで撮像した映像を表示している画像上に、光源装置から取得したデータを、光源装置に対応付けて表示する技術に関する。
近年、携帯電話などのモバイル端末において、精度の高いカメラを搭載した機種が一般的になり、当該カメラを利用するアプリケーションやサービスが増加している。例えば、カメラで撮像した映像をリアルタイムで表示している画面上に、そこに映っている建造物の名称や詳細情報、及び、そこに映っている看板の広告に関する詳細情報やキャンペーン情報等を、個々の対象物の映像に重畳する形で表示する新たな形態のナビゲーションシステムが注目されている。このような新たな形態のナビゲーションシステムを実現する技術は、強化現実(AR:Augumented Reality)と呼ばれる。
一方、安全性の向上や高速化の観点から、光無線通信を利用した通信技術が注目されている。
光無線通信を利用した通信技術は、設置した位置からそのまま情報発信することができ、発信源の相対的な位置を比較的容易に特定できるため、前述した新たな形態のナビゲーションシステムを実現させる際に有用な技術である。
ここで、光無線通信を利用した新たな形態のナビゲーションシステムが特許文献1に開示されている。特許文献1では、携帯電話等の情報処理装置がGPSなどにより位置測定を行い、位置情報および検索条件をサーバに送信し、サーバが受信した位置情報および検索条件に合致した発光装置に対してデータを重畳した発光を指示し、情報処理装置が被写体の画像の中から所定の点滅パターンで発光する発光装置を検出しデータを復号して取得し、取得したデータを発光装置の位置に対応付けて、被写体の画像上に表示する。
また光無線通信には、送信側と受信側とを結ぶ直線上に小さな遮蔽物があるだけで、全く通信ができなくなるという問題がある。
特許文献1では、位置情報および検索条件に合致する発光装置が遮蔽されて情報処理装置がデータを取得できない場合に、遮蔽されていない他の発光装置にサーバを経由してデータを送信し、情報処理装置が遮蔽された発光装置のデータを他の発光装置から取得することにより上記問題を解決している。
日本国公開特許公報「特開2007−228512号公報」
しかしながら、上記特許文献1では、受信表示装置において、情報発信装置と受信表示装置とを結ぶ直線上に遮蔽物があって情報発信装置を直接視認できない場合に、情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができない。
例えばビルAの5階にある喫茶店Bに設置された情報発信装置から送信された情報が「喫茶店Bでランチサービス実施中」であり、受信表示装置と情報発信装置との間に遮蔽物がある等で直接情報を受信できない場合に、上記特許文献1では、その情報の内容自体を受信表示装置側で受信して表示することができても、情報発信装置の位置または情報発信装置の発信方向が特定できないため、受信表示装置を使用している使用者はこの情報がどこから発せられたものなのかを直感的に把握することができない。
尚、上記特許文献1は、光無線通信を利用するものではあるが、情報処理装置とサーバとの間、及び、サーバと発光装置との間の通信に、公衆網などの他の公共通信手段を用いなければならず、別途通信料が発生してしまうという問題や、公共通信手段が使えない圏外などの環境下においては利用できないという問題等もある。
さらに、上記特許文献1では、個々の情報処理装置の位置情報及び検索条件に合わせて、合致する発光装置が個別にデータを重畳した発光を行う構成を開示しているが、多くの情報処理装置が同時に利用される状況において、多くの情報処理装置の全てに対してそれぞれに適した情報を流すように個々の発光装置を制御するのは、トラフィックが混雑する上処理が複雑になり、光無線通信の帯域から考えて通信に時間が掛かりすぎるので甚だ現実的ではないという問題もある。
また、上記特許文献1では、発光装置が遮蔽されている場合に、遮蔽されていない他の発光装置にサーバを経由してデータを送信し、他の発光装置が、遮蔽された発光装置のデータを重畳した発光を行う構成を開示しているが、このような構成は上記と同様に、トラフィックの混雑を招き、通信に時間が掛かりすぎるため現実的ではないという問題もある。
本発明は、「受信表示装置において、情報発信装置と受信表示装置とを結ぶ直線上に遮蔽物があって情報発信装置を直接視認できない場合に、情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができない」という上記課題を解決するものであり、カメラで撮像した映像を表示している画像上に、建造物などの障害物に遮られた情報発信装置に関する表示用の情報を、当該情報発信装置の位置に対応付けて表示することができる受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法を提供することを目的とする。
本発明は、受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法に向けられている。
そして上記課題を解決するために、本発明の受信表示装置は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、受信部と、測定部と、情報処理部とを備える。受信部は、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
また、受信表示装置において、前記受信部により受信される転送情報に含まれる1又は複数の相対位置情報は、ベクトルにより表され、前記測定部により測定される前記一の情報発信装置の相対的な位置は、ベクトルにより表され、前記情報処理部は、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報を表すベクトルと、前記測定部により測定された前記一の情報発信装置の相対的な位置を表すベクトルとを、ベクトル加算することにより、自装置に対する前記二の情報発信装置の相対的な位置を、1個のベクトルとして算出するとよい。
また、受信表示装置において、前記測定部は、自装置に対する前記一の情報発信装置の相対的な距離と角度とを実測するとよい。
また、上記課題を解決するために、本発明の情報発信装置は、受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する装置であって、記憶部と、受信部と、測定部と、情報処理部と、送信部とを備える。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。受信部は、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定部は、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
また、情報発信装置において、前記受信部は、さらに、前記一の情報発信装置から、光の発光パターンを利用して発信される、前記一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す相対位置情報とを含む転送情報を受信し、前記情報処理部は、さらに、前記測定部により測定された相対的な位置を示す相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する相対位置情報とに基づいて、自装置に対する前記二の情報発信装置の相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む階層的な転送情報を生成し、前記送信部は、さらに、前記情報生成部により生成された階層的な転送情報を、光の発光パターンを利用して送信するとよい。
また、情報発信装置において、前記直送情報に含まれる前記一の情報発信装置に関する表示用の情報、及び、前記転送情報に含まれる前記二の情報発信装置に関する表示用の情報には、それぞれ、情報発信装置毎に固有の識別情報が添付されており、前記情報処理部は、前記直送情報、及び前記転送情報に含まれる表示用の情報に添付された識別情報の中に、重複する識別情報が有るか否かを判断し、重複する識別情報が有る場合には、重複する識別情報が添付された表示用の情報を含む転送情報を生成しないとよい。
また、情報発信装置において、前記転送情報には、それぞれ、何台の情報発信装置を経由したかを示す代替経由数が添付されており、前記情報処理部は、前記階層的な転送情報を生成して階層が増える度に、前記代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された階層的な転送情報を破棄するとよい。
また、情報発信装置において、前記情報処理部は、代替送信におけるデータ量に上限を設けるか、又は、転送情報の数に上限を設け、所定の上限を超える分の転送情報を生成しないとよい。
また、情報発信装置において、前記情報処理部は、所定の条件を満たさない転送情報を生成しないとよい。
上記課題を解決するために、本発明の光無線通信システムは、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置と、当該表示用の情報を、光の発光パターンを利用して送信する複数の情報発信装置とから構成される。前記複数の情報発信装置の中の一の情報発信装置は、記憶部と、第1受信部と、第1測定部と、第1情報処理部と、送信部とを備える。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。第1受信部は、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する。第1測定部は、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する。第1情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定部により測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信部により受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記第1情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。前記受信表示装置は、第2受信部と、第2測定部と、第2情報処理部とを備える。第2受信部は、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。第2測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。第2情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
また上記課題を解決するために、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置における本発明の受信表示プログラムは、前記受信表示装置に、受信ステップと、測定ステップと、情報処理ステップとを実行させる。受信ステップは、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定ステップは、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理ステップは、前記受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
また上記課題を解決するために、受信表示装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置における本発明の情報発信プログラムは、前記情報発信装置に、受信ステップと、測定ステップと、情報処理ステップと、送信ステップとを実行させる。前記情報発信装置は、予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備える。受信ステップは、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定ステップは、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理ステップは、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信ステップにより受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信ステップは、前記情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
また上記課題を解決するために、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置に用いられる本発明の受信表示用集積回路は、受信部と、測定部と、情報処理部とのうちの、電気回路により構築が可能な部分の全部又は一部を集積する。受信部は、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
また上記課題を解決するために、受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置に用いられる本発明の情報発信用集積回路は、記憶部と、受信部と、測定部と、情報処理部と、送信部とのうちの、電気回路により構築が可能な部分の全部又は一部を集積する。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。受信部は、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定部は、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
また上記課題を解決するために、本発明の光無線通信方法は、受信表示装置において、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させ、複数の情報発信装置において、当該表示用の情報を、光の発光パターンを利用して送信する方法であって、第1受信ステップと、第1測定ステップと、第1情報処理ステップと、送信ステップと、第2受信ステップと、第2測定ステップと、第2情報処理ステップとを含む。前記複数の情報発信装置の中の一の情報発信装置は、予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備える。第1受信ステップは、前記一の情報発信装置において、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する。第1測定ステップは、前記一の情報発信装置において、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する。第1情報処理ステップは、前記一の情報発信装置において、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定ステップにより測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信ステップにより受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信ステップは、前記一の情報発信装置において、前記第1情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。第2受信ステップは、前記受信表示装置において、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。第2測定ステップは、前記受信表示装置において、自装置に対する前記一の情報発信装置の相対的な位置を測定する。第2情報処理ステップは、前記受信表示装置において、前記第2受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
本発明の構成によれば、受信表示装置が、直接には視認できない情報発信装置の設置位置と表示用の情報とを、直接視認できる他の情報発信装置から光無線通信を用いて取得することができる。
このような構成によれば、受信表示装置において、送信側と受信側とを結ぶ直線上に小さな遮蔽物があったり、ビルなどの建造物の裏側に設置されて直接には視認できない情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができる。
本発明に係る第1の実施形態の光無線通信システム1の概要を示す図である。 本発明の実施形態に係る情報発信装置100aの概略的な機能構成を示す図である。 本実施形態に係る受信表示装置200の機能的な構成を示す図である。 本発明の実施形態に係る情報発信装置100a〜cが発信及び受信する送信情報のデータ構造の一例を示す図である。 本実施形態に係る情報発信装置100aにおける情報発信方法の手順を示す図である。 本実施形態に係る受信表示装置200における受信表示方法の手順を示す図である。 本実施形態に係る光無線通信システムの利用例を示す図であり、(a)は対象物を真上から見た図、(b)は対象物を南側の上空から見た図、(c)は対象物を南東方向から見た図をそれぞれ示す。 情報発信装置100aが発信する送信情報の内容の一例を示す図である。 図7の(a)〜(c)で示した利用例における、ユーザ10が保持する表示装置240に表示される画像の一例を示す図であり、(a)は代替送信の無い場合、(b)は代替送信のある場合をそれぞれ示す。
[第1の実施形態]
<概要>
第1の実施形態は、光空間伝送による情報伝送を利用して、撮像した画像に情報を重畳して表示するシステムにおいて、一の情報発信装置が、前記撮像した画像における二の情報発信装置の位置に対応付けて表示すべき表示用情報を、情報発信装置間の相対的な位置を示す相対位置情報と共に発信し、受信表示装置が、二の情報発信装置から表示用情報を輝度の変化から捉えることができない場合に、一の情報発信装置から受信した二の情報発信装置の伝送情報と相対位置情報とを用いて、二の情報発信装置の画像の位置に伝送情報を重畳して表示するものである。
<全体構成>
図1は、本発明に係る第1の実施形態の光無線通信システム1の概要を示す図である。
図1に示す光無線通信システム1は、情報発信装置100a〜c、入力装置160a〜c、受信表示装置200、及び表示装置240から構成されている。
情報発信装置100a〜cは、例えば店頭に並べられた商品の陳列棚や市中の広告看板などに併設された据え置き型の電子機器であり、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する機能を有する。ここで情報発信装置100a〜cは、自装置に関する表示用の情報を発信するだけでなく、互いに他の装置から表示用の情報を受信し、他の装置に関する表示用の情報を発信する機能を有する。
図1には、3台の情報発信装置100a〜cを記載しているが、実際には多くの台数が広い範囲に分散して設置される。
入力装置160a〜cは、例えばキーボードや外部インタフェース等の入力デバイスを含み、操作者からの入力を受け付けたり、外部デバイスや外部メモリからデータを取得して、情報発信装置100a〜cに渡す機能を有する。また入力装置160a〜cは、常時設置されてもよいし、初期設定時やメンテナンス時等の必要なときにだけ設置されてもよい。
受信表示装置200は、表示装置240が接続された状態において、個人が主に野外で使用する、例えば携帯電話やカーナビ等と一体となった移動端末であり、光の発光パターンを利用して情報発信装置100a〜cから表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示装置240に表示させる。なお、受信表示装置200は、通常複数台が同時に使用されるものである。
表示装置240は、例えば液晶ディスプレイ等の出力デバイスを含み、受信表示装置200により生成された映像信号を画面上に出力する。
ここで情報発信装置100a〜cのうちの情報発信装置100aのみが受信表示装置200の撮像領域内に含まれ、情報発信装置100bのみが情報発信装置100aの撮像領域内に含まれ、情報発信装置100cのみが情報発信装置100bの撮像領域内に含まれる場合を想定して、以下の説明を行なう。
<情報発信装置の構成>
図2は、本発明の実施形態に係る情報発信装置100aの概略的な機能構成を示す図である。ここで情報発信装置100b〜cの機能構成は情報発信装置100aと同じなので説明を省略する。
情報発信装置100aは、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する装置であって、図2に示すように、記憶部110、受信部120、測定部130、情報処理部140、及び発信部150を備える。
記憶部110は、予め自装置設定情報を記憶している。
ここで自装置設定情報とは、下記の(1)〜(3)のうちの少なくともいずれか1つを含む情報である。
(1)受信表示装置200に表示させるための自装置に関する表示用の情報であり、例えば情報発信装置100aが設置されている場所を示す地名や施設の名称等である。
(2)情報発信装置100aが光無線を発信している方位を示す情報であり、発信する光を一定の範囲に拡散させる場合には、その中心位置における方位を示すものであっても良い。
(3)情報発信装置100aが設置されている場所の高さを示す情報であり、例えば標高のように、すべての情報発信装置100a〜cを同一の基準で表現することができる情報が望ましい。
ここで操作者は入力装置160aを用いて、記憶部110に自装置設定情報を新たに設定したり、記憶部110に記憶された自装置設定情報を更新してもよい。
受信部120は、映像信号をフレーム単位で取得して画像情報を生成し、画像情報から光の発光パターンを利用して発信される必要な情報を抽出する。詳細には受信部120は、自装置とは異なる情報発信装置100bから、情報発信装置100bに関する表示用の情報を含む直送情報を受信する。さらに、受信部120は、情報発信装置100bから、光の発光パターンを利用して発信される、情報発信装置100bとは異なる情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す相対位置情報とを含む転送情報を受信する。
受信部120は、受光素子121、発信源検出部122、及び通信情報復調部123を含み、各構成要素による詳細な機能の説明を以下に示す。
受光素子121は、例えばイメージセンサやカメラ等を含み、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として取得する。
発信源検出部122は、受光素子121により取得された画像情報を解析し、撮像した領域内に含まれる他の情報発信装置100bの発光位置を検出する。
なお、発信源検出部122において、画像情報の解析には、処理に時間を要し、装置として必要なスペックを満たすためにそれなりのコストを要するため、画像情報を2値画像にフィルタ変換した後に比較する等、低コストで同様の効果を得るための前処理を行なっても良い。
通信情報復調部123は、発信源検出部122により検出された発光位置と、受光素子121により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得し、発信情報生成部142において利用可能な形式のデータである通信データに復調する。ここで発信源が複数個存在する場合には、それぞれの発信源の位置における光無線信号を抽出し、通信データに復調して、各発信源と復調した通信データとを対応付けておく。
測定部130は、発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する。
測定部130は、距離測定部131、方位測定部132、及び高度測定部133を含み、各構成要素による詳細な機能の説明を以下に示す。
距離測定部131は、光波測距儀などの距離測定センサを含み、発信源検出部122により検出された発光位置に基づいて発信源の方向を特定し、その方向における発信源までの直線距離を測定する。ここで発信源が複数個検出された場合には、それぞれの発信源までの直線距離を測定し、各発信源と測定した直線距離とを対応付けておく。
なお、距離測定部131において、距離測定センサの代わりに、第2の受信部を備えて、三角測量法により距離を求めてもよい。また、受信部がオートフォーカスレンズを持つ構造であれば、焦点距離により距離を測定してもよい。このような場合には、オートフォーカス機能自体が距離測定部に相当するため、受信部120と距離測定部131とは同一の構成とみなすことができる。
方位測定部132は、発信源の方角を検出するためのセンサを含み、例えば電子コンパス等により北方向を感知して、北方向と発信源の方向とが為す角度を検出する。なお方位測定部132で検出する角度を、北の方角を0度とし、時計周りに正の値、反時計回りに負の値をとる数値で表してもよい。
高度測定部133は、発信源との高度差を測定するためのセンサを含み、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出し、距離測定部131により測定された直線距離を用いて、高度差を算出する。なお高度測定部133で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
詳細には測定部130は、検出された水平面と発信源の方向とが為す角度と、発信源までの直線距離とを用いて、発信源までの水平方向成分の距離と、垂直方向成分の距離(標高差)とを算出し、さらに、北方向と発信源の方向とが為す角度と、検出された発信源の水平方向成分の距離とを用いて、南北方向成分の距離と、東西方向成分の距離とを算出する。具体的には、水平面と発信源の方向との間の角度を“φ”とし、自装置から発信源までの直線距離を“D”とすると、自装置から発信源までの水平方向成分の距離は“Dcosφ”であり、自装置と発信源との標高差は“Dsinφ”である。さらに北方向と発信源の方向との間の角度を“θ”とすると、南北方向成分の距離は“(Dcosφ)cosθ”であり、と東西方向成分の距離は“(Dcosφ)sinθ” である。ここで、測定部130は、自装置と発信源との相対位置を検出するにあたり、垂直方向成分の距離、南北方向成分の距離、及び東西方向成分の距離の組み合わせを出力してもよいし、直線距離、水平面と発信源の方向との間の角度“φ”、及び北方向と発信源の方向との間の角度“θ”の組み合わせたベクトル表記により出力してもよい。
情報処理部140は、記憶部110に予め記憶されている自装置に関する表示用の情報を含む、直送情報を生成するとともに、測定部130により測定された情報発信装置100bの相対的な位置を示す相対位置情報と、受信部120により受信された直送情報に含まれる情報発信装置100bに関する表示用の情報とを含む転送情報を生成する。さらに情報処理部140は、測定部130により測定された情報発信装置100bの相対的な位置を示す相対位置情報と、受信部120により受信された転送情報に含まれる情報発信装置100cに関する相対位置情報とに基づいて、自装置に対する情報発信装置100bの相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、受信部120により受信された転送情報に含まれる情報発信装置100cに関する表示用の情報とを含む連鎖的な転送情報を生成する。
ここで、同一の情報発信装置に関する表示用の情報を重複して無駄に代替送信することを防止するために、情報発信装置毎に固有の装置IDを付与しておき、装置IDが同一の情報発信装置に関する表示用の情報が複数見付かった場合には、例えば代替送信する際の経由する情報発信装置の数(代替経由数)が最も少ないものの1つを残す等して他を削除してもよい。
また、連鎖的な転送が際限なく続くことにより、処理の遅延や過剰な負荷が発生すること等を防止するために、代替送信におけるデータ量に上限を設けておき、上限を超える分の転送情報は生成しないようにしてもよい。例えば、代替送信用のデータを受信した順番に所定のデータ領域に一次保存し、データ領域に空きがなくなった際には、以後に受信した代替送信用のデータは破棄してもよい。また例えば、代替送信用のデータに重要度に応じて優先度を付けておき、データ量が上限に達した際には優先度の低いものから破棄してもよい。あるいはデータ量に上限を設けるのではなく、何台の情報発信装置を経由したかを示す代替経由数に上限を設けてもよい。詳しくは、各転送情報に代替経由数を添付しておき、情報処理部140が、連鎖的な転送情報を生成して転送回数が増える度に代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された連鎖的な転送情報を破棄する。また、転送情報の数に上限を設け、上限を超える分の転送情報を生成しないようにしてもよい。
ここでデータ量の上限値の設定方法の一例を挙げると、光無線通信において通信可能な有効ビットレートを受信表示装置200における描画のリフレッシュレートで除算した値を、情報の更新レートとして設定することができる。例えば光無線通信の有効ビットレートを300Mbpsとし、受信表示装置200における描画のリフレッシュレートを30fpsとすると、1フレームあたり10Mbit(≒1280KByte)となる。
また、利用される可能性が少ない等の代替送信するに値しない情報を送信することを防止するために、所定の条件を満たさない転送情報を生成しないようにしてもよい。例えば、あまり遠い情報発信装置の情報は利用される可能性が少ないので、相対距離が規定値(例えば100m)よりも遠いものは削除する。また例えば、エラーが発生すると受信に要した時間が無駄になってしまうので、受光した際の光強度が規定値以下のものは削除する。また例えば、撮影している方向(例えば35mm広角程度の範囲)と異なる方向に存在する情報発信装置に関する表示用の情報は削除する。
また、特定の目的に合致するもののみを選択的に代替送信してもよい。例えば、地域限定のイベントを識別するイベントIDを表示用の情報に付与しておき、指定された地域内の情報発信装置にのみ、特定のイベントIDが付与された表示用の情報の代替送信を許可することもできる
情報処理部140は、相対位置情報生成部141、及び発信情報生成部142を含み、各構成要素による詳細な機能の説明を以下に示す。
相対位置情報生成部141は、受信部120により取得された直送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す相対位置情報を生成する。
さらに相対位置情報生成部141は、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す連鎖的な相対位置情報を生成する。
発信情報生成部142は、相対位置情報生成部141により生成された相対位置情報、及び連鎖的な相対位置情報を用いて、発信すべき発信情報を生成する。発信情報のデータ構造については、以下に詳細に記す。
発信部150は、例えば赤外光やレーザ光、可視光の点滅によって信号を送信する発光ダイオード(LED)や赤外レーザ発光素子などの発光素子を含み、発信情報生成部142により生成された発信情報を光無線信号に変調して発信する。
なお、情報発信装置100aにおける各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部120における受光素子121や測定部130における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部120、及び測定部130の構成と、情報処理部140の構成とをまとめて集積回路化してもよい。例えば図2においては、点線で囲った発信源検出部122、通信情報復調部123、相対位置情報生成部141、及び発信情報生成部142を集積回路にすることができる。
<受信表示装置の構成>
図3は、本実施形態に係る受信表示装置200の機能的な構成を示す図である。
受信表示装置200は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、図3に示すように、受信部210、測定部220、及び情報処理部230を備える。
受信部210は、映像信号をフレーム単位で取得して画像情報を生成し、画像情報から光の発光パターンを利用して発信される必要な情報を抽出する。詳細には受信部210は、情報発信装置100aから、情報発信装置100aに関する表示用の情報を含む直送情報を受信する。さらに、受信部210は、情報発信装置100aから、情報発信装置100bに関する表示用の情報と、情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報を受信する。さらに、受信部210は、情報発信装置100aから、情報発信装置100cに関する表示用の情報と、情報発信装置100aに対する情報発信装置100cの相対的な位置を示す複数の相対位置情報とを含む転送情報を受信する。
受信部210は、受光素子211、発信源検出部212、及び通信情報復調部213を含み、各構成要素による詳細な機能の説明を以下に示す。
受光素子211は、例えばイメージセンサやカメラ等を含み、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として取得する。
発信源検出部212は、受光素子211により取得された画像情報を解析し、撮像した領域内に含まれる情報発信装置100aの発光位置を検出する。
通信情報復調部213は、発信源検出部212により検出された発光位置と、受信部210により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得し、表示情報生成部232において利用可能な形式のデータに復調する。ここで発信源が複数個存在する場合には、それぞれの発信源の位置における光無線通信の変調パルス信号を抽出して、各発信源と復調したデータとを対応付けておく。
測定部220は、発信源までの直線距離、発信源の方位、発信源との高度差を測定して、自装置と発信源との相対位置を検出し、さらに、撮影状態を検出する。
測定部220は、距離測定部221、方位測定部222、高度測定部223、及び撮影状態検出部224を含み、各構成要素による詳細な機能の説明を以下に示す。
距離測定部221は、光波測距儀などの距離測定センサを含み、発信源検出部212により検出された発光位置に基づいて発信源の方向を特定し、その方向における発信源までの直線距離を測定する。ここで発信源が複数個検出された場合には、それぞれの発信源までの直線距離を測定し、各発信源と測定した直線距離とを対応付けておく。
方位測定部222は、発信源の方角を検出するためのセンサを含み、例えば電子コンパス等により北方向を感知して、北方向と発信源の方向とが為す角度を検出する。なお方位測定部222で検出する角度は、北の方角を0度とし、これを基準に時計周りに正の値、反時計回りに負の値をとる数値で表してもよい。
高度測定部223は、発信源との高度差を測定するためのセンサであり、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出して、距離測定部221により測定された直線距離を用いて、高度差を算出する。なお高度測定部223で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
撮影状態検出部224は、撮影している方角、上下方向の傾き、左右方向の傾き、及び撮影の倍率等の撮影状態を検出し、受光素子211により取得された画像情報における各画素の位置が、それぞれどの方向に相当するかを決定する。
詳細には測定部220は、検出された水平面と発信源の方向とが為す角度と、発信源までの直線距離とを用いて、発信源までの水平方向成分の距離と、垂直方向成分の距離(標高差)とを算出し、さらに、検出された発信源の水平方向成分の距離と、北方向と発信源の方向とが為す角度とを用いて、南北方向の距離と、東西方向の距離とを算出する。具体的な算出方法は、情報発信装置100aの測定部130と同様である。
情報処理部230は、受信部210により撮像された画像上における、情報発信装置100aの位置に相当する発光位置に関連付けて、受信部210により受信された直送情報に含まれる情報発信装置100aの表示用の情報を重畳するとともに、発光位置と、受信部210により受信された転送情報に含まれる1又は複数の相対位置情報と、測定部220により測定された情報発信装置100aの相対的な位置とに基づいて、受信部210により撮像された画像上における、情報発信装置100bの座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる情報発信装置100bの表示用の情報を重畳して、表示装置240に表示させる。
情報処理部230は、発信源表示位置算出部231、及び表示情報生成部232を含み、各構成要素による詳細な機能の説明を以下に示す。
発信源表示位置算出部231は、表示装置240に表示する画面領域における各発信源の表示位置を算出する。詳細には、発信源ごとに、必要に応じて各発信源までの垂直方向成分の距離の合計と、南北方向の距離の合計と、東西方向の距離の合計とをそれぞれ算出し、これらの組み合わせから、測定部130や測定部220において行なった計算と逆の計算を施すことにより、直線距離、水平面と発信源の方向との間の角度“φ”、及び北方向と発信源の方向との間の角度“θ”の組み合わせを算出し、続いて、撮影状態検出部224により決定された各画素の位置と方向との対応関係に基づいて、角度“φ”、及び角度“θ”に相当する画素の位置を決定する。
なお、転送情報に含まれる相対位置情報と、測定部220により検出される相対位置とが、共にベクトルにより表される場合には、これらをベクトル加算することにより、自装置に対する発信源の相対的な位置を、1個のベクトルとして算出することができる。
表示情報生成部232は、受信部210により取得された画像情報により表示される画像の、発信源表示位置算出部231により算出された表示位置に対応付けて、通信情報復調部213により復調されたデータを重畳して表示情報を生成し、映像信号に変換する。
表示情報生成部232により変換された映像信号が表示装置240へ出力される。
なお、受信表示装置200における各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部210における受光素子211や測定部220における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部210及び測定部220の構成と、情報処理部230の構成とをまとめて集積回路化してもよい。例えば図3においては、点線で囲った発信源検出部212、通信情報復調部213、発信源表示位置算出部231、及び表示情報生成部232を集積回路にすることができる。
<発信情報のデータ構造>
図4は、本発明の実施形態に係る情報発信装置100a〜cが発信及び受信する送信情報のデータ構造の一例を示す図である。以下に、図4を用いて、発信情報生成部142により生成される送信情報について説明する。
送信情報300は、データの開始位置を識別するためのプリアンブル信号301と、その後に続くデータ302とからなる。情報発信装置100aの通信情報復調部123がプリアンブル信号301を検出すると、送信情報の開始位置と識別して以降に続くデータ302を復調する。
データ302は、開始識別子303、データサイズ304、自装置情報305、及び他装置代替送信情報306からなる。
開始識別子303は、データ302の開始位置を識別するための情報である。情報発信装置100aの通信情報復調部123が開始識別子303を検出すると、以降にデータサイズ304、自装置情報305、他装置代替送信情報306のデータ構造が続くと識別して、その後の処理を続行する。
データサイズ304は、以降に続く自装置情報305のデータサイズと、他装置代替送信情報306のデータサイズの合計値を示すパラメータである。
自装置情報305は、自装置である情報発信装置本体に関する直送情報を送信するための情報である。
他装置代替送信情報306は、自装置とは異なる別の場所に設置されている他の情報発信装置に関する転送情報を代替送信するための情報であり、他の情報発信装置を検出した位置情報、または他の情報発信装置から送信された送信情報に基づいて生成される。
より詳細には、自装置情報305は、ヘッダ307aと表示用データ308aとからなる。
ヘッダ307aは、情報発信装置の装置IDや、設置方向など、情報発信装置に共通する属性情報である。ヘッダ307aの領域に入る属性情報は、何の属性情報を示すのかを判別するための情報識別子と、属性情報の値そのものを示すパラメータとで構成される。例えば、ヘッダ307aが情報発信装置の装置IDを示す場合(図4における310の場合)には、装置IDを示す情報識別子と装置IDとがヘッダ307aの領域に入る。また例えば、ヘッダ307aが相対位置を示す場合(図4における311の場合)には、相対位置を示す情報識別子と相対位置情報とがヘッダ307aの領域に入る。また例えば、ヘッダ307aが設置方向を示す場合(図4における312の場合)には、設置方向を示す情報識別子と設置方向情報とがヘッダ307aの領域に入る。また例えば、ヘッダ307aが代替経由数を示す場合(図4における313の場合)には、代替経由数を示す情報識別子と代替経由数とがヘッダ307aの領域に入る。
表示用データ308aは、受信表示装置200の表示画面において、情報発信装置が設置される位置に関連付けて表示するためのデータである。情報発信装置が設置されている場所の住所やお店の名称、キャンペーンの情報等のあらゆる表示のための情報を発信することができる。より詳細には、表示用データ308aは、表示用データであることを示す情報識別子314、表示用データの内容そのもののデータサイズを示す値であるデータサイズ315、及び表示用のデータの内容そのものであるペイロード316からなる。
他装置代替送信情報306は、より詳細には、代替送信装置数309、代替送信される情報発信装置に対応するヘッダ307b、及び表示用データ308bからなる。
代替送信装置数309の領域には、代替送信の対象となる、自装置とは異なる別の場所に設置された情報発信装置の数が入る。より詳細には、代替送信を示す情報の開始を示し、また代替送信装置数の値が続くことを示す情報識別子317が入り、続いて代替送信装置数318が入る。
ヘッダ307b、及び表示用データ308bは、それぞれ代替送信の対象となる、自装置とは異なる別の場所に設置された情報発信装置に対応する属性情報、及び表示用データである。代替送信装置数309で示す値の数だけ、後続するヘッダ307bと表示用データ308bが繰り返されたデータ構造となる。
ヘッダ307bの構成は、ヘッダ307aと同様である。代替送信の場合には、情報発信装置と代替送信の対象となる情報発信装置との相対位置を示す相対位置情報311や、いくつの情報発信装置を介して代替送信されたのかを示す代替経由数313も、ヘッダ307bに入る情報の対象となる。
このような送信情報300を利用することによって、自装置とは異なる別の場所に設置された情報発信装置との相対位置と送信された送信情報とを、代替送信することが可能となる。
<情報発信装置の動作>
図5は、本実施形態に係る情報発信装置100aにおける情報発信方法の手順を示す図である。
(1)受信部120が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS1)。
(2)受信部120により次のフレームの画像情報が格納された時点において、発信源検出部122が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS2)。
(3)発信源検出部122が、ステップS2において抽出した位置における輝度の変化が、光無線通信に利用する変調パルス信号のプリアンブル信号と一致するか否かを判断する(ステップS3)。一致しない場合は(ステップS3:NO)、一致するまでステップS1〜S3を繰り返す。
(4)一致する場合は(ステップS3:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部122が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS4)。
(5)測定部130が、ステップS4において検出した発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する(ステップS5)。
(6)検出された発信源に関する表示用の情報が、代替送信すべきものであるか否かを判断する(ステップS6)。ここで、代替送信すべきものであるか否の判断は、例えば他の発信源を経由して転送された表示用の情報の中に、装置IDが重複している同一のものがないか、代替経由数が予め許可された所定数を越えていないか、データ量や転送情報の数が所定の上限を超えていないか、及び予め定めた所定の条件を満たしているか等により行なう。
(7)代替送信すべきものでないと判断された場合には(ステップS6:NO)、対応する発信源に関する表示用の情報を破棄し、該当する発信源に対する以後の代替送信の処理を禁止する(ステップS7)。
(8)代替送信すべきものであると判断された場合には(ステップS6:YES)、相対位置情報生成部141が、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、発信源の相対的な位置を示す相対位置情報を生成する(ステップS8)。
(9)通信情報復調部123が、発信源検出部122により検出された発光位置と、受光素子121により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS9)。
(10)発信情報生成部142が、情報発信装置100aから発信すべき送信情報を生成する(ステップS10)。
具体的には、まず発信情報生成部142は、記憶部110に記憶された自装置設定情報の内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データとを取り出し、図4に示した送信情報300の中の自装置情報305の構造に納まるよう直送情報を生成する。
さらに、通信情報復調部123により復調された発信源の通信データの内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データを取り出し、図4に示した送信情報300の他装置代替送信情報306の構造に納まるよう転送情報を生成する。
さらに、相対位置情報生成部141により生成された、発信源に対応する相対位置情報に基づいて、同じく他装置代替送信情報306の構造に納まるよう連鎖的な転送情報を生成する。
また検出した発信源が複数ある場合には、それぞれの発信源の送信情報を生成して連結し、代替送信装置数318の値を、代替送信する情報発信装置の数に置き換える。
なお、このとき、取得した装置IDが自装置を示す装置IDと同一である場合には、その装置IDに対応する代替送信情報は使用しないこととする。このようにすることにより、自装置の情報を重複して送信することを防止することができる。
また、発信源Aから受信した通信データに含まれる発信源自体の装置ID(B)と、別の位置に設置された発信源Cから受信した通信データに含まれる代替送信された発信源の第二の装置ID(D)が同じである場合は、送信源Cから代替送信された装置ID(D)に対応する代替送信情報は使用しないこととする。これにより、同一発信源の代替送信情報を重複して送信することを防止することができる。
(11)発信部150が、ステップS10において生成された送信情報を、光無線通信を用いて発信するための変調パルス信号に変調して、発光素子を用いて発信する(ステップS11)。
以上の処理を繰り返すことにより、情報発信装置100aは、自装置の送信情報とともに、他の場所に設置されている情報発信装置(図1における情報発信装置100b、情報発信装置100c)の通信データを代替送信することができる。
<受信表示装置の動作>
図6は、本実施形態に係る受信表示装置200における受信表示方法の手順を示す図である。
(1)受信部210が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS11)。
(2)受信部210により次のフレームの画像情報が格納された時点において、発信源検出部212が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS12)。
(3)発信源検出部212が、ステップS12において抽出した位置における輝度の変化が、光無線通信に利用する変調パルス信号のプリアンブル信号と一致するか否かを判断する(ステップS13)。一致しない場合は(ステップS13:NO)、タイムアウトするまでステップS11〜S13を繰り返す。
(4)発信源検出部212が、送信源を検出しないまま予定時間を経過したか否かを判断する(ステップS14)。予定時間内に送信源を1つも検出しなかった場合には(ステップS13:NO、ステップS14:YES)、以降のステップS15〜ステップS20までの処理をスキップする。
(5)一致する場合は(ステップS13:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部212が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS15)。
(6)測定部220が、ステップS15において検出した発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する(ステップS16)。
(7)通信情報復調部213が、発信源検出部212により検出された発光位置と、受光素子211により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS17)。
(8)発信源表示位置算出部231が、表示装置240に表示する画面領域における各発信源の表示位置を算出する(ステップS18)。
(9)発信源表示位置算出部231が、通信情報復調部213により復調された通信データを参照して、代替送信された情報が含まれているか否かを判断する(ステップS19)。代替送信された情報が含まれていない場合には、ステップS20の処理をスキップする。
(10)発信源表示位置算出部231が、代替送信された情報発信装置の表示用の情報を、表示装置240へ表示する際の表示位置を算出する(ステップS20)。
(11)表示情報生成部232が、受信部210により取得された画像情報により表示される画像の、発信源表示位置算出部231により算出された表示位置に対応付けて、通信情報復調部213により復調されたデータを重畳して表示情報を生成し、映像信号に変換する(ステップS21)。例えば、表示情報生成部232は、取得した画像情報上に、検出した発信源、及び代替送信された情報発信装置を示すマーカーや吹き出しなどの表示オブジェクトを重畳し、これらに関連付けて対応する表示用のデータを、吹き出しの内容として表示したり、マーカーをユーザが選択した場合に詳細表示される内容として対応づけたりすることにより、適宜表示情報を生成する。
(12)表示情報生成部232により変換された映像信号が表示装置240へ出力され表示される(ステップS22)。
<光無線通信システムの利用例>
図7の(a)〜(c)は、本実施形態に係る光無線通信システムの利用例を示す図である。ここで図7の(a)は、対象物を真上から見た図であり、ここでは図の上方向を北とする。また図7の(b)は、対象物を南側の上空から見た図である。また図7の(c)は、対象物を南東方向から見た図である。
図7の(a)〜(c)に示すように、表示装置240が接続された受信表示装置200を保持するユーザ10、及びビルなどを想定した建造物11〜14が、それぞれ図のような配置で、図のような方向を向いて建っているものとする。
また建造物11には、情報発信装置100a及び情報発信装置100a’が図のように、受信表示装置200から受信可能な位置に設置されているものとし、また建造物12には、情報発信装置100b及び情報発信装置100b’が図のように、情報発信装置100a及び情報発信装置100a’から送受信可能な位置、かつ受信表示装置200から受信不可能な位置に設置されているものとする。また建造物13には、図のように情報発信装置100cが、情報発信装置100bからのみ送受信可能な位置に設置されているものとする。また建造物14には、図のように情報発信装置100dが、情報発信装置100cからのみ送受信可能な位置に設置されているものとする。
ここで、図7の(a)〜(c)中の全ての情報発信装置は、180度未満の半球状の送受信可能範囲を持つように設定され、代替経由数の上限は2に設定されているものとする。
以下に、情報発信装置100aに着目して、光無線通信システムによる光無線通信方法の利用例を示す。
情報発信装置100aは、情報発信装置100bから、(1)情報発信装置100bに関する表示用の情報を含む直送情報A、(2)情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す1つの相対位置情報とを含む転送情報B、(3)情報発信装置100dに関する表示用の情報と、情報発信装置100bに対する情報発信装置100dの相対的な位置を示す2つの相対位置情報とを含む転送情報C、(4)情報発信装置100aに関する表示用の情報と、情報発信装置100bに対する情報発信装置100aの相対的な位置を示す1つの相対位置情報とを含む転送情報D、(5)情報発信装置100b’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100b’の相対的な位置を示す2つの相対位置情報とを含む転送情報E、及び(6)情報発信装置100a’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Fを受信する。
さらに情報発信装置100aは、情報発信装置100b’から、(7)情報発信装置100b’に関する表示用の情報を含む直送情報G、(8)情報発信装置100aに関する表示用の情報と、情報発信装置100b’に対する情報発信装置100aの相対的な位置を示す1つの相対位置情報とを含む転送情報H、(9)情報発信装置100bに関する表示用の情報と、情報発信装置100b’に対する情報発信装置100bの相対的な位置を示す2つの相対位置情報とを含む転送情報I、及び(10)情報発信装置100a’に関する表示用の情報と、情報発信装置100b’に対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Jを受信する。
ここで、上記転送情報Bは、情報発信装置100bにおいて、情報発信装置100cから受信した、情報発信装置100cに関する表示用の情報を含む直送情報Kに基づいて生成されたものであり、上記転送情報Cは、情報発信装置100bにおいて、情報発信装置100cから受信した、情報発信装置100dに関する表示用の情報と、情報発信装置100cに対する情報発信装置100dの相対的な位置を示す1つの相対位置情報とを含む転送情報Lに基づいて生成されたものである。
またここで、上記転送情報Lは、情報発信装置100cにおいて、情報発信装置100dから受信した、情報発信装置100dに関する表示用の情報を含む直送情報Mに基づいて生成されたものである。
ここで、上記転送情報Dは、情報発信装置100bにおいて、情報発信装置100aから受信した、情報発信装置100aに関する表示用の情報を含む直送情報Nに基づいて生成されたものであり、上記転送情報Eは、情報発信装置100bにおいて、情報発信装置100a又はa’から受信した、情報発信装置100b’に関する表示用の情報と、情報発信装置100aに対する情報発信装置100b’の相対的な位置を示す1つの相対位置情報とを含む転送情報Oに基づいて生成されたものである。
またここで、上記転送情報Oは、情報発信装置100a又はa’において、情報発信装置100b’から受信した、情報発信装置100b’に関する表示用の情報を含む直送情報Pに基づいて生成されたものである。
ここで、上記転送情報Fは、情報発信装置100bにおいて、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Qに基づいて生成されたものである。
ここで、上記転送情報Hは、情報発信装置100b’において、情報発信装置100aから受信した、情報発信装置100aに関する表示用の情報を含む直送情報Rに基づいて生成されたものであり、上記転送情報Iは、情報発信装置100b’において、情報発信装置100a又はa’から受信した、情報発信装置100bに関する表示用の情報と、情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報Sに基づいて生成されたものである。
またここで、上記転送情報Sは、情報発信装置100a又はa’において、情報発信装置100bから受信した、情報発信装置100bに関する表示用の情報を含む直送情報Tに基づいて生成されたものである。
ここで、上記転送情報Jは、情報発信装置100b’において、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Uに基づいて生成されたものである。
続いて、情報発信装置100aは、自装置と情報発信装置100bとの相対位置Hと、自装置と情報発信装置100b’との相対位置H’とを検出し、(1)情報発信装置100aに関する表示用の情報を含む直送情報V、(2)相対位置Hと上記直送情報Aとに基づいて生成した、情報発信装置100bに関する表示用の情報と情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報W、(3)相対位置Hと上記転送情報Bとに基づいて生成した、情報発信装置100cに関する表示用の情報と、情報発信装置100aに対する情報発信装置100cの相対的な位置を示す2つの相対位置情報とを含む転送情報X、及び(4)相対位置H’と上記直送情報Gとに基づいて生成した、情報発信装置100b’に関する表示用の情報と情報発信装置100aに対する情報発信装置100b’の相対的な位置を示す1つの相対位置情報とを含む転送情報Y、及び(5)相対位置Hと転送情報F、又は相対位置H’と転送情報Jとに基づいて生成した、情報発信装置100a’に関する表示用の情報と、情報発信装置100aに対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Zを発信する。
ここで、情報発信装置100aは、相対位置Hと上記転送情報Cとに基づいて、情報発信装置100dに関する表示用の情報と、情報発信装置100aに対する情報発信装置100dの相対的な位置を示す3つの相対位置情報とを含む転送情報を生成することは可能であるが、代替経由数の上限が2に設定されているので、この転送情報は破棄されて発信されることはない。なお、代替経由数の上限が3以上に設定されている場合には、この転送情報は破棄されることなく発信される。
また、全ての情報発信装置において、装置IDが一致する情報発信装置に関する表示用の情報が複数ある場合には、代替経由数が少ないものの1つを残して他を削除している。
図8は、情報発信装置100aが発信する送信情報の内容の一例を示す図である。なお、図8の送信情報は、図4のデータ302の部分に相当する。
図8に示すように、情報発信装置100aから発信する送信情報は、開始識別子とデータサイズに始まり、続いて情報発信装置100a本体に関する情報を含む。続いて、代替送信する他の情報発信装置100b、100c、100b’、100a’に関する情報を含む。図7の(a)〜(c)で示した利用例においては、代替送信する装置の数は4であるため、代替送信装置数の値は4となる。
図9の(a)、(b)は、図7の(a)〜(c)で示した利用例における、ユーザ10が保持する表示装置240に表示される画像の一例を示す図である。
ここで図9の(a)は、代替送信をせずに、受信表示装置200が情報発信装置100a、100a’から直接取得したデータのみを、カメラで撮像した映像を表示している画像上の各装置の発信源の位置に対応付けて表示している(図中13、14)例であり、従来の装置による画像と同様のものである。
これに対して図9の(b)は、受信表示装置200が直接取得した情報発信装置100a、100a’のデータの表示に加えて、受信表示装置200では直接受信できない情報発信装置100b、100b’、100cのデータを、代替送信により受信し、各装置の発信源の位置に対応付けて表示している例である。
<まとめ>
本実施形態の光無線通信システムによれば、直接検出することのできない隠れた情報発信装置の位置および送信情報を、無線LAN等の他の無線通信媒体を利用することなく受信し、利用することが可能となる。また、相対位置により表示位置の特定を行なうため、情報発信装置自体にGPSなどの絶対位置を測定する機能を備える必要がない。また、ユーザから見た視野に対する高さを含めた立体的な位置表示にも対応することができる。
なお、本発明の実施形態で説明した光無線通信送信装置および光無線通信受信装置を構成する全て又は一部の機能ブロックは、典型的には集積回路であるLSI(集積度の違いにより、IC、システムLSI、スーパーLSI、又はウルトラLSI等と称される)として実現される。これらは、個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。
また、集積回路化の手法は、LSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別の技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
また、本発明の実施形態で説明した光無線通信送信装置および光無線通信受信装置の各機能は、記憶装置(ROM、RAM、ハードディスク等)に格納された上述した処理手順を実行可能な所定のプログラムデータが、CPUによって解釈実行されることで実現してもよい。この場合、プログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。ここで、記録媒体とは、ROM、RAM、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、CD−ROMやDVD、BD等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。
本発明の光無線通信システムは、受信装置が直接受信できない発信源に関する情報と設置位置とを、光無線通信以外の通信手段を用いることなく、代替送信によって受信装置に送信し、カメラで撮像した映像を表示している画像上の発信源の位置に関連付けて、発信源に関する情報を表示することができるので、GPS等の絶対位置を検出する機能を備える必要がなく、公共通信手段等が使えない圏外などの環境下においても利用できるので、その産業的利用価値は極めて高い。
また、本実施形態においては、ビル等の建造物に情報発信装置を設置する例を用いているが、同様の構成を用いて、例えば家電機器への応用が可能である。例えば、本実施形態のような情報発信装置と同様の機能を備える音楽プレイヤーを想定すると、音楽プレイヤーが保有している音楽ファイルの情報を送信情報に含めて発信すれば、直接受信できないような位置に置かれた音楽プレイヤーからの音楽ファイルの情報を、例えばテレビやレコーダ等の据置き機器から代替受信することが可能である。
1 光無線通信システム
100a〜c、100a’〜b’ 情報発信装置
110 記憶部
120 受信部
121 受光素子
122 発信源検出部
123 通信情報復調部
130 測定部
131 距離測定部
132 方位測定部
133 高度測定部
140 情報処理部
141 発信情報生成部
142 発信情報生成部
150 発信部
160a〜c 入力装置
200 受信表示装置
210 受信部
211 受光素子
212 発信源検出部
213 通信情報復調部
220 測定部
221 距離測定部
222 方位測定部
223 高度測定部
224 撮影状態検出部
230 情報処理部
231 発信源表示位置算出部
232 表示情報生成部
240 表示装置
本発明は、可視光、赤外光、及びレーザ等の光を利用してデータを送受信する光無線通信装置に関し、より特定的には、カメラで撮像した映像を表示している画像上に、光源装置から取得したデータを、光源装置に対応付けて表示する技術に関する。
近年、携帯電話などのモバイル端末において、精度の高いカメラを搭載した機種が一般的になり、当該カメラを利用するアプリケーションやサービスが増加している。例えば、カメラで撮像した映像をリアルタイムで表示している画面上に、そこに映っている建造物の名称や詳細情報、及び、そこに映っている看板の広告に関する詳細情報やキャンペーン情報等を、個々の対象物の映像に重畳する形で表示する新たな形態のナビゲーションシステムが注目されている。このような新たな形態のナビゲーションシステムを実現する技術は、強化現実(AR:Augumented Reality)と呼ばれる。
一方、安全性の向上や高速化の観点から、光無線通信を利用した通信技術が注目されている。
光無線通信を利用した通信技術は、設置した位置からそのまま情報発信することができ、発信源の相対的な位置を比較的容易に特定できるため、前述した新たな形態のナビゲーションシステムを実現させる際に有用な技術である。
ここで、光無線通信を利用した新たな形態のナビゲーションシステムが特許文献1に開示されている。特許文献1では、携帯電話等の情報処理装置がGPSなどにより位置測定を行い、位置情報および検索条件をサーバに送信し、サーバが受信した位置情報および検索条件に合致した発光装置に対してデータを重畳した発光を指示し、情報処理装置が被写体の画像の中から所定の点滅パターンで発光する発光装置を検出しデータを復号して取得し、取得したデータを発光装置の位置に対応付けて、被写体の画像上に表示する。
また光無線通信には、送信側と受信側とを結ぶ直線上に小さな遮蔽物があるだけで、全く通信ができなくなるという問題がある。
特許文献1では、位置情報および検索条件に合致する発光装置が遮蔽されて情報処理装置がデータを取得できない場合に、遮蔽されていない他の発光装置にサーバを経由してデータを送信し、情報処理装置が遮蔽された発光装置のデータを他の発光装置から取得することにより上記問題を解決している。
日本国公開特許公報「特開2007−228512号公報」
しかしながら、上記特許文献1では、受信表示装置において、情報発信装置と受信表示装置とを結ぶ直線上に遮蔽物があって情報発信装置を直接視認できない場合に、情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができない。
例えばビルAの5階にある喫茶店Bに設置された情報発信装置から送信された情報が「喫茶店Bでランチサービス実施中」であり、受信表示装置と情報発信装置との間に遮蔽物がある等で直接情報を受信できない場合に、上記特許文献1では、その情報の内容自体を受信表示装置側で受信して表示することができても、情報発信装置の位置または情報発信装置の発信方向が特定できないため、受信表示装置を使用している使用者はこの情報がどこから発せられたものなのかを直感的に把握することができない。
尚、上記特許文献1は、光無線通信を利用するものではあるが、情報処理装置とサーバとの間、及び、サーバと発光装置との間の通信に、公衆網などの他の公共通信手段を用いなければならず、別途通信料が発生してしまうという問題や、公共通信手段が使えない圏外などの環境下においては利用できないという問題等もある。
さらに、上記特許文献1では、個々の情報処理装置の位置情報及び検索条件に合わせて、合致する発光装置が個別にデータを重畳した発光を行う構成を開示しているが、多くの情報処理装置が同時に利用される状況において、多くの情報処理装置の全てに対してそれぞれに適した情報を流すように個々の発光装置を制御するのは、トラフィックが混雑する上処理が複雑になり、光無線通信の帯域から考えて通信に時間が掛かりすぎるので甚だ現実的ではないという問題もある。
また、上記特許文献1では、発光装置が遮蔽されている場合に、遮蔽されていない他の発光装置にサーバを経由してデータを送信し、他の発光装置が、遮蔽された発光装置のデータを重畳した発光を行う構成を開示しているが、このような構成は上記と同様に、トラフィックの混雑を招き、通信に時間が掛かりすぎるため現実的ではないという問題もある。
本発明は、「受信表示装置において、情報発信装置と受信表示装置とを結ぶ直線上に遮蔽物があって情報発信装置を直接視認できない場合に、情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができない」という上記課題を解決するものであり、カメラで撮像した映像を表示している画像上に、建造物などの障害物に遮られた情報発信装置に関する表示用の情報を、当該情報発信装置の位置に対応付けて表示することができる受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法を提供することを目的とする。
本発明は、受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法に向けられている。
そして上記課題を解決するために、本発明の受信表示装置は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、受信部と、測定部と、情報処理部とを備える。受信部は、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
また、受信表示装置において、前記受信部により受信される転送情報に含まれる1又は複数の相対位置情報は、ベクトルにより表され、前記測定部により測定される前記一の情報発信装置の相対的な位置は、ベクトルにより表され、前記情報処理部は、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報を表すベクトルと、前記測定部により測定された前記一の情報発信装置の相対的な位置を表すベクトルとを、ベクトル加算することにより、自装置に対する前記二の情報発信装置の相対的な位置を、1個のベクトルとして算出するとよい。
また、受信表示装置において、前記測定部は、自装置に対する前記一の情報発信装置の相対的な距離と角度とを実測するとよい。
また、上記課題を解決するために、本発明の情報発信装置は、受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する装置であって、記憶部と、受信部と、測定部と、情報処理部と、送信部とを備える。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。受信部は、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定部は、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
また、情報発信装置において、前記受信部は、さらに、前記一の情報発信装置から、光の発光パターンを利用して発信される、前記一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す相対位置情報とを含む転送情報を受信し、前記情報処理部は、さらに、前記測定部により測定された相対的な位置を示す相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する相対位置情報とに基づいて、自装置に対する前記二の情報発信装置の相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む階層的な転送情報を生成し、前記送信部は、さらに、前記情報処理部により生成された階層的な転送情報を、光の発光パターンを利用して送信するとよい。
また、情報発信装置において、前記直送情報に含まれる前記一の情報発信装置に関する表示用の情報、及び、前記転送情報に含まれる前記二の情報発信装置に関する表示用の情報には、それぞれ、情報発信装置毎に固有の識別情報が添付されており、前記情報処理部は、前記直送情報、及び前記転送情報に含まれる表示用の情報に添付された識別情報の中に、重複する識別情報が有るか否かを判断し、重複する識別情報が有る場合には、重複する識別情報が添付された表示用の情報を含む転送情報を生成しないとよい。
また、情報発信装置において、前記転送情報には、それぞれ、何台の情報発信装置を経由したかを示す代替経由数が添付されており、前記情報処理部は、前記階層的な転送情報を生成して階層が増える度に、前記代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された階層的な転送情報を破棄するとよい。
また、情報発信装置において、前記情報処理部は、代替送信におけるデータ量に上限を設けるか、又は、転送情報の数に上限を設け、所定の上限を超える分の転送情報を生成しないとよい。
また、情報発信装置において、前記情報処理部は、所定の条件を満たさない転送情報を生成しないとよい。
上記課題を解決するために、本発明の光無線通信システムは、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置と、当該表示用の情報を、光の発光パターンを利用して送信する複数の情報発信装置とから構成される。前記複数の情報発信装置の中の一の情報発信装置は、記憶部と、第1受信部と、第1測定部と、第1情報処理部と、送信部とを備える。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。第1受信部は、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する。第1測定部は、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する。第1情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定部により測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信部により受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記第1情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。前記受信表示装置は、第2受信部と、第2測定部と、第2情報処理部とを備える。第2受信部は、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。第2測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。第2情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
また上記課題を解決するために、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置における本発明の受信表示プログラムは、前記受信表示装置に、受信ステップと、測定ステップと、情報処理ステップとを実行させる。受信ステップは、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定ステップは、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理ステップは、前記受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
また上記課題を解決するために、受信表示装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置における本発明の情報発信プログラムは、前記情報発信装置に、受信ステップと、測定ステップと、情報処理ステップと、送信ステップとを実行させる。前記情報発信装置は、予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備える。受信ステップは、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定ステップは、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理ステップは、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信ステップにより受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信ステップは、前記情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
また上記課題を解決するために、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置に用いられる本発明の受信表示用集積回路は、受信部と、測定部と、情報処理部とのうちの、電気回路により構築が可能な部分の全部又は一部を集積する。受信部は、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
また上記課題を解決するために、受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置に用いられる本発明の情報発信用集積回路は、記憶部と、受信部と、測定部と、情報処理部と、送信部とのうちの、電気回路により構築が可能な部分の全部又は一部を集積する。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。受信部は、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定部は、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
また上記課題を解決するために、本発明の光無線通信方法は、受信表示装置において、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させ、複数の情報発信装置において、当該表示用の情報を、光の発光パターンを利用して送信する方法であって、第1受信ステップと、第1測定ステップと、第1情報処理ステップと、送信ステップと、第2受信ステップと、第2測定ステップと、第2情報処理ステップとを含む。前記複数の情報発信装置の中の一の情報発信装置は、予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備える。第1受信ステップは、前記一の情報発信装置において、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する。第1測定ステップは、前記一の情報発信装置において、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する。第1情報処理ステップは、前記一の情報発信装置において、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定ステップにより測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信ステップにより受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信ステップは、前記一の情報発信装置において、前記第1情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。第2受信ステップは、前記受信表示装置において、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。第2測定ステップは、前記受信表示装置において、自装置に対する前記一の情報発信装置の相対的な位置を測定する。第2情報処理ステップは、前記受信表示装置において、前記第2受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
本発明の構成によれば、受信表示装置が、直接には視認できない情報発信装置の設置位置と表示用の情報とを、直接視認できる他の情報発信装置から光無線通信を用いて取得することができる。
このような構成によれば、受信表示装置において、送信側と受信側とを結ぶ直線上に小さな遮蔽物があったり、ビルなどの建造物の裏側に設置されて直接には視認できない情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができる。
本発明に係る第1の実施形態の光無線通信システム1の概要を示す図である。 本発明の実施形態に係る情報発信装置100aの概略的な機能構成を示す図である。 本実施形態に係る受信表示装置200の機能的な構成を示す図である。 本発明の実施形態に係る情報発信装置100a〜cが発信及び受信する送信情報のデータ構造の一例を示す図である。 本実施形態に係る情報発信装置100aにおける情報発信方法の手順を示す図である。 本実施形態に係る受信表示装置200における受信表示方法の手順を示す図である。 本実施形態に係る光無線通信システムの利用例を示す図であり、(a)は対象物を真上から見た図、(b)は対象物を南側の上空から見た図、(c)は対象物を南東方向から見た図をそれぞれ示す。 情報発信装置100aが発信する送信情報の内容の一例を示す図である。 図7の(a)〜(c)で示した利用例における、ユーザ10が保持する表示装置240に表示される画像の一例を示す図であり、(a)は代替送信の無い場合、(b)は代替送信のある場合をそれぞれ示す。
[第1の実施形態]
<概要>
第1の実施形態は、光空間伝送による情報伝送を利用して、撮像した画像に情報を重畳して表示するシステムにおいて、一の情報発信装置が、前記撮像した画像における二の情報発信装置の位置に対応付けて表示すべき表示用情報を、情報発信装置間の相対的な位置を示す相対位置情報と共に発信し、受信表示装置が、二の情報発信装置から表示用情報を輝度の変化から捉えることができない場合に、一の情報発信装置から受信した二の情報発信装置の伝送情報と相対位置情報とを用いて、二の情報発信装置の画像の位置に伝送情報を重畳して表示するものである。
<全体構成>
図1は、本発明に係る第1の実施形態の光無線通信システム1の概要を示す図である。
図1に示す光無線通信システム1は、情報発信装置100a〜c、入力装置160a〜c、受信表示装置200、及び表示装置240から構成されている。
情報発信装置100a〜cは、例えば店頭に並べられた商品の陳列棚や市中の広告看板などに併設された据え置き型の電子機器であり、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する機能を有する。ここで情報発信装置100a〜cは、自装置に関する表示用の情報を発信するだけでなく、互いに他の装置から表示用の情報を受信し、他の装置に関する表示用の情報を発信する機能を有する。
図1には、3台の情報発信装置100a〜cを記載しているが、実際には多くの台数が広い範囲に分散して設置される。
入力装置160a〜cは、例えばキーボードや外部インタフェース等の入力デバイスを含み、操作者からの入力を受け付けたり、外部デバイスや外部メモリからデータを取得して、情報発信装置100a〜cに渡す機能を有する。また入力装置160a〜cは、常時設置されてもよいし、初期設定時やメンテナンス時等の必要なときにだけ設置されてもよい。
受信表示装置200は、表示装置240が接続された状態において、個人が主に野外で使用する、例えば携帯電話やカーナビ等と一体となった移動端末であり、光の発光パターンを利用して情報発信装置100a〜cから表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示装置240に表示させる。なお、受信表示装置200は、通常複数台が同時に使用されるものである。
表示装置240は、例えば液晶ディスプレイ等の出力デバイスを含み、受信表示装置200により生成された映像信号を画面上に出力する。
ここで情報発信装置100a〜cのうちの情報発信装置100aのみが受信表示装置200の撮像領域内に含まれ、情報発信装置100bのみが情報発信装置100aの撮像領域内に含まれ、情報発信装置100cのみが情報発信装置100bの撮像領域内に含まれる場合を想定して、以下の説明を行なう。
<情報発信装置の構成>
図2は、本発明の実施形態に係る情報発信装置100aの概略的な機能構成を示す図である。ここで情報発信装置100b〜cの機能構成は情報発信装置100aと同じなので説明を省略する。
情報発信装置100aは、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する装置であって、図2に示すように、記憶部110、受信部120、測定部130、情報処理部140、及び発信部150を備える。
記憶部110は、予め自装置設定情報を記憶している。
ここで自装置設定情報とは、下記の(1)〜(3)のうちの少なくともいずれか1つを含む情報である。
(1)受信表示装置200に表示させるための自装置に関する表示用の情報であり、例えば情報発信装置100aが設置されている場所を示す地名や施設の名称等である。
(2)情報発信装置100aが光無線を発信している方位を示す情報であり、発信する光を一定の範囲に拡散させる場合には、その中心位置における方位を示すものであっても良い。
(3)情報発信装置100aが設置されている場所の高さを示す情報であり、例えば標高のように、すべての情報発信装置100a〜cを同一の基準で表現することができる情報が望ましい。
ここで操作者は入力装置160aを用いて、記憶部110に自装置設定情報を新たに設定したり、記憶部110に記憶された自装置設定情報を更新してもよい。
受信部120は、映像信号をフレーム単位で取得して画像情報を生成し、画像情報から光の発光パターンを利用して発信される必要な情報を抽出する。詳細には受信部120は、自装置とは異なる情報発信装置100bから、情報発信装置100bに関する表示用の情報を含む直送情報を受信する。さらに、受信部120は、情報発信装置100bから、光の発光パターンを利用して発信される、情報発信装置100bとは異なる情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す相対位置情報とを含む転送情報を受信する。
受信部120は、受光素子121、発信源検出部122、及び通信情報復調部123を含み、各構成要素による詳細な機能の説明を以下に示す。
受光素子121は、例えばイメージセンサやカメラ等を含み、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として取得する。
発信源検出部122は、受光素子121により取得された画像情報を解析し、撮像した領域内に含まれる他の情報発信装置100bの発光位置を検出する。
なお、発信源検出部122において、画像情報の解析には、処理に時間を要し、装置として必要なスペックを満たすためにそれなりのコストを要するため、画像情報を2値画像にフィルタ変換した後に比較する等、低コストで同様の効果を得るための前処理を行なっても良い。
通信情報復調部123は、発信源検出部122により検出された発光位置と、受光素子121により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得し、発信情報生成部142において利用可能な形式のデータである通信データに復調する。ここで発信源が複数個存在する場合には、それぞれの発信源の位置における光無線信号を抽出し、通信データに復調して、各発信源と復調した通信データとを対応付けておく。
測定部130は、発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する。
測定部130は、距離測定部131、方位測定部132、及び高度測定部133を含み、各構成要素による詳細な機能の説明を以下に示す。
距離測定部131は、光波測距儀などの距離測定センサを含み、発信源検出部122により検出された発光位置に基づいて発信源の方向を特定し、その方向における発信源までの直線距離を測定する。ここで発信源が複数個検出された場合には、それぞれの発信源までの直線距離を測定し、各発信源と測定した直線距離とを対応付けておく。
なお、距離測定部131において、距離測定センサの代わりに、第2の受信部を備えて、三角測量法により距離を求めてもよい。また、受信部がオートフォーカスレンズを持つ構造であれば、焦点距離により距離を測定してもよい。このような場合には、オートフォーカス機能自体が距離測定部に相当するため、受信部120と距離測定部131とは同一の構成とみなすことができる。
方位測定部132は、発信源の方角を検出するためのセンサを含み、例えば電子コンパス等により北方向を感知して、北方向と発信源の方向とが為す角度を検出する。なお方位測定部132で検出する角度を、北の方角を0度とし、時計周りに正の値、反時計回りに負の値をとる数値で表してもよい。
高度測定部133は、発信源との高度差を測定するためのセンサを含み、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出し、距離測定部131により測定された直線距離を用いて、高度差を算出する。なお高度測定部133で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
詳細には測定部130は、検出された水平面と発信源の方向とが為す角度と、発信源までの直線距離とを用いて、発信源までの水平方向成分の距離と、垂直方向成分の距離(標高差)とを算出し、さらに、北方向と発信源の方向とが為す角度と、検出された発信源の水平方向成分の距離とを用いて、南北方向成分の距離と、東西方向成分の距離とを算出する。具体的には、水平面と発信源の方向との間の角度を“φ”とし、自装置から発信源までの直線距離を“D”とすると、自装置から発信源までの水平方向成分の距離は“Dcosφ”であり、自装置と発信源との標高差は“Dsinφ”である。さらに北方向と発信源の方向との間の角度を“θ”とすると、南北方向成分の距離は“(Dcosφ)cosθ”であり、と東西方向成分の距離は“(Dcosφ)sinθ” である。ここで、測定部130は、自装置と発信源との相対位置を検出するにあたり、垂直方向成分の距離、南北方向成分の距離、及び東西方向成分の距離の組み合わせを出力してもよいし、直線距離、水平面と発信源の方向との間の角度“φ”、及び北方向と発信源の方向との間の角度“θ”の組み合わせたベクトル表記により出力してもよい。
情報処理部140は、記憶部110に予め記憶されている自装置に関する表示用の情報を含む、直送情報を生成するとともに、測定部130により測定された情報発信装置100bの相対的な位置を示す相対位置情報と、受信部120により受信された直送情報に含まれる情報発信装置100bに関する表示用の情報とを含む転送情報を生成する。さらに情報処理部140は、測定部130により測定された情報発信装置100bの相対的な位置を示す相対位置情報と、受信部120により受信された転送情報に含まれる情報発信装置100cに関する相対位置情報とに基づいて、自装置に対する情報発信装置100cの相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、受信部120により受信された転送情報に含まれる情報発信装置100cに関する表示用の情報とを含む連鎖的な転送情報を生成する。
ここで、同一の情報発信装置に関する表示用の情報を重複して無駄に代替送信することを防止するために、情報発信装置毎に固有の装置IDを付与しておき、装置IDが同一の情報発信装置に関する表示用の情報が複数見付かった場合には、例えば代替送信する際の経由する情報発信装置の数(代替経由数)が最も少ないものの1つを残す等して他を削除してもよい。
また、連鎖的な転送が際限なく続くことにより、処理の遅延や過剰な負荷が発生すること等を防止するために、代替送信におけるデータ量に上限を設けておき、上限を超える分の転送情報は生成しないようにしてもよい。例えば、代替送信用のデータを受信した順番に所定のデータ領域に一次保存し、データ領域に空きがなくなった際には、以後に受信した代替送信用のデータは破棄してもよい。また例えば、代替送信用のデータに重要度に応じて優先度を付けておき、データ量が上限に達した際には優先度の低いものから破棄してもよい。あるいはデータ量に上限を設けるのではなく、何台の情報発信装置を経由したかを示す代替経由数に上限を設けてもよい。詳しくは、各転送情報に代替経由数を添付しておき、情報処理部140が、連鎖的な転送情報を生成して転送回数が増える度に代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された連鎖的な転送情報を破棄する。また、転送情報の数に上限を設け、上限を超える分の転送情報を生成しないようにしてもよい。
ここでデータ量の上限値の設定方法の一例を挙げると、光無線通信において通信可能な有効ビットレートを受信表示装置200における描画のリフレッシュレートで除算した値を、情報の更新レートとして設定することができる。例えば光無線通信の有効ビットレートを300Mbpsとし、受信表示装置200における描画のリフレッシュレートを30fpsとすると、1フレームあたり10Mbit(≒1280KByte)となる。
また、利用される可能性が少ない等の代替送信するに値しない情報を送信することを防止するために、所定の条件を満たさない転送情報を生成しないようにしてもよい。例えば、あまり遠い情報発信装置の情報は利用される可能性が少ないので、相対距離が規定値(例えば100m)よりも遠いものは削除する。また例えば、エラーが発生すると受信に要した時間が無駄になってしまうので、受光した際の光強度が規定値以下のものは削除する。また例えば、撮影している方向(例えば35mm広角程度の範囲)と異なる方向に存在する情報発信装置に関する表示用の情報は削除する。
また、特定の目的に合致するもののみを選択的に代替送信してもよい。例えば、地域限定のイベントを識別するイベントIDを表示用の情報に付与しておき、指定された地域内の情報発信装置にのみ、特定のイベントIDが付与された表示用の情報の代替送信を許可することもできる
情報処理部140は、相対位置情報生成部141、及び発信情報生成部142を含み、各構成要素による詳細な機能の説明を以下に示す。
相対位置情報生成部141は、受信部120により取得された直送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す相対位置情報を生成する。
さらに相対位置情報生成部141は、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す連鎖的な相対位置情報を生成する。
発信情報生成部142は、相対位置情報生成部141により生成された相対位置情報、及び連鎖的な相対位置情報を用いて、発信すべき発信情報を生成する。発信情報のデータ構造については、以下に詳細に記す。
発信部150は、例えば赤外光やレーザ光、可視光の点滅によって信号を送信する発光ダイオード(LED)や赤外レーザ発光素子などの発光素子を含み、発信情報生成部142により生成された発信情報を光無線信号に変調して発信する。
なお、情報発信装置100aにおける各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部120における受光素子121や測定部130における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部120、及び測定部130の構成と、情報処理部140の構成とをまとめて集積回路化してもよい。例えば図2においては、点線で囲った発信源検出部122、通信情報復調部123、相対位置情報生成部141、及び発信情報生成部142を集積回路にすることができる。
<受信表示装置の構成>
図3は、本実施形態に係る受信表示装置200の機能的な構成を示す図である。
受信表示装置200は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、図3に示すように、受信部210、測定部220、及び情報処理部230を備える。
受信部210は、映像信号をフレーム単位で取得して画像情報を生成し、画像情報から光の発光パターンを利用して発信される必要な情報を抽出する。詳細には受信部210は、情報発信装置100aから、情報発信装置100aに関する表示用の情報を含む直送情報を受信する。さらに、受信部210は、情報発信装置100aから、情報発信装置100bに関する表示用の情報と、情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報を受信する。さらに、受信部210は、情報発信装置100aから、情報発信装置100cに関する表示用の情報と、情報発信装置100aに対する情報発信装置100cの相対的な位置を示す複数の相対位置情報とを含む転送情報を受信する。
受信部210は、受光素子211、発信源検出部212、及び通信情報復調部213を含み、各構成要素による詳細な機能の説明を以下に示す。
受光素子211は、例えばイメージセンサやカメラ等を含み、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として取得する。
発信源検出部212は、受光素子211により取得された画像情報を解析し、撮像した領域内に含まれる情報発信装置100aの発光位置を検出する。
通信情報復調部213は、発信源検出部212により検出された発光位置と、受信部210により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得し、表示情報生成部232において利用可能な形式のデータに復調する。ここで発信源が複数個存在する場合には、それぞれの発信源の位置における光無線通信の変調パルス信号を抽出して、各発信源と復調したデータとを対応付けておく。
測定部220は、発信源までの直線距離、発信源の方位、発信源との高度差を測定して、自装置と発信源との相対位置を検出し、さらに、撮影状態を検出する。
測定部220は、距離測定部221、方位測定部222、高度測定部223、及び撮影状態検出部224を含み、各構成要素による詳細な機能の説明を以下に示す。
距離測定部221は、光波測距儀などの距離測定センサを含み、発信源検出部212により検出された発光位置に基づいて発信源の方向を特定し、その方向における発信源までの直線距離を測定する。ここで発信源が複数個検出された場合には、それぞれの発信源までの直線距離を測定し、各発信源と測定した直線距離とを対応付けておく。
方位測定部222は、発信源の方角を検出するためのセンサを含み、例えば電子コンパス等により北方向を感知して、北方向と発信源の方向とが為す角度を検出する。なお方位測定部222で検出する角度は、北の方角を0度とし、これを基準に時計周りに正の値、反時計回りに負の値をとる数値で表してもよい。
高度測定部223は、発信源との高度差を測定するためのセンサであり、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出して、距離測定部221により測定された直線距離を用いて、高度差を算出する。なお高度測定部223で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
撮影状態検出部224は、撮影している方角、上下方向の傾き、左右方向の傾き、及び撮影の倍率等の撮影状態を検出し、受光素子211により取得された画像情報における各画素の位置が、それぞれどの方向に相当するかを決定する。
詳細には測定部220は、検出された水平面と発信源の方向とが為す角度と、発信源までの直線距離とを用いて、発信源までの水平方向成分の距離と、垂直方向成分の距離(標高差)とを算出し、さらに、検出された発信源の水平方向成分の距離と、北方向と発信源の方向とが為す角度とを用いて、南北方向の距離と、東西方向の距離とを算出する。具体的な算出方法は、情報発信装置100aの測定部130と同様である。
情報処理部230は、受信部210により撮像された画像上における、情報発信装置100aの位置に相当する発光位置に関連付けて、受信部210により受信された直送情報に含まれる情報発信装置100aの表示用の情報を重畳するとともに、発光位置と、受信部210により受信された転送情報に含まれる1又は複数の相対位置情報と、測定部220により測定された情報発信装置100aの相対的な位置とに基づいて、受信部210により撮像された画像上における、情報発信装置100bの座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる情報発信装置100bの表示用の情報を重畳して、表示装置240に表示させる。
情報処理部230は、発信源表示位置算出部231、及び表示情報生成部232を含み、各構成要素による詳細な機能の説明を以下に示す。
発信源表示位置算出部231は、表示装置240に表示する画面領域における各発信源の表示位置を算出する。詳細には、発信源ごとに、必要に応じて各発信源までの垂直方向成分の距離の合計と、南北方向の距離の合計と、東西方向の距離の合計とをそれぞれ算出し、これらの組み合わせから、測定部130や測定部220において行なった計算と逆の計算を施すことにより、直線距離、水平面と発信源の方向との間の角度“φ”、及び北方向と発信源の方向との間の角度“θ”の組み合わせを算出し、続いて、撮影状態検出部224により決定された各画素の位置と方向との対応関係に基づいて、角度“φ”、及び角度“θ”に相当する画素の位置を決定する。
なお、転送情報に含まれる相対位置情報と、測定部220により検出される相対位置とが、共にベクトルにより表される場合には、これらをベクトル加算することにより、自装置に対する発信源の相対的な位置を、1個のベクトルとして算出することができる。
表示情報生成部232は、受信部210により取得された画像情報により表示される画像の、発信源表示位置算出部231により算出された表示位置に対応付けて、通信情報復調部213により復調されたデータを重畳して表示情報を生成し、映像信号に変換する。
表示情報生成部232により変換された映像信号が表示装置240へ出力される。
なお、受信表示装置200における各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部210における受光素子211や測定部220における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部210及び測定部220の構成と、情報処理部230の構成とをまとめて集積回路化してもよい。例えば図3においては、点線で囲った発信源検出部212、通信情報復調部213、発信源表示位置算出部231、及び表示情報生成部232を集積回路にすることができる。
<発信情報のデータ構造>
図4は、本発明の実施形態に係る情報発信装置100a〜cが発信及び受信する送信情報のデータ構造の一例を示す図である。以下に、図4を用いて、発信情報生成部142により生成される送信情報について説明する。
送信情報300は、データの開始位置を識別するためのプリアンブル信号301と、その後に続くデータ302とからなる。情報発信装置100aの通信情報復調部123がプリアンブル信号301を検出すると、送信情報の開始位置と識別して以降に続くデータ302を復調する。
データ302は、開始識別子303、データサイズ304、自装置情報305、及び他装置代替送信情報306からなる。
開始識別子303は、データ302の開始位置を識別するための情報である。情報発信装置100aの通信情報復調部123が開始識別子303を検出すると、以降にデータサイズ304、自装置情報305、他装置代替送信情報306のデータ構造が続くと識別して、その後の処理を続行する。
データサイズ304は、以降に続く自装置情報305のデータサイズと、他装置代替送信情報306のデータサイズの合計値を示すパラメータである。
自装置情報305は、自装置である情報発信装置本体に関する直送情報を送信するための情報である。
他装置代替送信情報306は、自装置とは異なる別の場所に設置されている他の情報発信装置に関する転送情報を代替送信するための情報であり、他の情報発信装置を検出した位置情報、または他の情報発信装置から送信された送信情報に基づいて生成される。
より詳細には、自装置情報305は、ヘッダ307aと表示用データ308aとからなる。
ヘッダ307aは、情報発信装置の装置IDや、設置方向など、情報発信装置に共通する属性情報である。ヘッダ307aの領域に入る属性情報は、何の属性情報を示すのかを判別するための情報識別子と、属性情報の値そのものを示すパラメータとで構成される。例えば、ヘッダ307aが情報発信装置の装置IDを示す場合(図4における310の場合)には、装置IDを示す情報識別子と装置IDとがヘッダ307aの領域に入る。また例えば、ヘッダ307aが相対位置を示す場合(図4における311の場合)には、相対位置を示す情報識別子と相対位置情報とがヘッダ307aの領域に入る。また例えば、ヘッダ307aが設置方向を示す場合(図4における312の場合)には、設置方向を示す情報識別子と設置方向情報とがヘッダ307aの領域に入る。また例えば、ヘッダ307aが代替経由数を示す場合(図4における313の場合)には、代替経由数を示す情報識別子と代替経由数とがヘッダ307aの領域に入る。
表示用データ308aは、受信表示装置200の表示画面において、情報発信装置が設置される位置に関連付けて表示するためのデータである。情報発信装置が設置されている場所の住所やお店の名称、キャンペーンの情報等のあらゆる表示のための情報を発信することができる。より詳細には、表示用データ308aは、表示用データであることを示す情報識別子314、表示用データの内容そのもののデータサイズを示す値であるデータサイズ315、及び表示用のデータの内容そのものであるペイロード316からなる。
他装置代替送信情報306は、より詳細には、代替送信装置数309、代替送信される情報発信装置に対応するヘッダ307b、及び表示用データ308bからなる。
代替送信装置数309の領域には、代替送信の対象となる、自装置とは異なる別の場所に設置された情報発信装置の数が入る。より詳細には、代替送信を示す情報の開始を示し、また代替送信装置数の値が続くことを示す情報識別子317が入り、続いて代替送信装置数318が入る。
ヘッダ307b、及び表示用データ308bは、それぞれ代替送信の対象となる、自装置とは異なる別の場所に設置された情報発信装置に対応する属性情報、及び表示用データである。代替送信装置数309で示す値の数だけ、後続するヘッダ307bと表示用データ308bが繰り返されたデータ構造となる。
ヘッダ307bの構成は、ヘッダ307aと同様である。代替送信の場合には、情報発信装置と代替送信の対象となる情報発信装置との相対位置を示す相対位置情報311や、いくつの情報発信装置を介して代替送信されたのかを示す代替経由数313も、ヘッダ307bに入る情報の対象となる。
このような送信情報300を利用することによって、自装置とは異なる別の場所に設置された情報発信装置との相対位置と送信された送信情報とを、代替送信することが可能となる。
<情報発信装置の動作>
図5は、本実施形態に係る情報発信装置100aにおける情報発信方法の手順を示す図である。
(1)受信部120が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS1)。
(2)受信部120により次のフレームの画像情報が格納された時点において、発信源検出部122が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS2)。
(3)発信源検出部122が、ステップS2において抽出した位置における輝度の変化が、光無線通信に利用する変調パルス信号のプリアンブル信号と一致するか否かを判断する(ステップS3)。一致しない場合は(ステップS3:NO)、一致するまでステップS1〜S3を繰り返す。
(4)一致する場合は(ステップS3:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部122が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS4)。
(5)測定部130が、ステップS4において検出した発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する(ステップS5)。
(6)検出された発信源に関する表示用の情報が、代替送信すべきものであるか否かを判断する(ステップS6)。ここで、代替送信すべきものであるか否の判断は、例えば他の発信源を経由して転送された表示用の情報の中に、装置IDが重複している同一のものがないか、代替経由数が予め許可された所定数を越えていないか、データ量や転送情報の数が所定の上限を超えていないか、及び予め定めた所定の条件を満たしているか等により行なう。
(7)代替送信すべきものでないと判断された場合には(ステップS6:NO)、対応する発信源に関する表示用の情報を破棄し、該当する発信源に対する以後の代替送信の処理を禁止する(ステップS7)。
(8)代替送信すべきものであると判断された場合には(ステップS6:YES)、相対位置情報生成部141が、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、発信源の相対的な位置を示す相対位置情報を生成する(ステップS8)。
(9)通信情報復調部123が、発信源検出部122により検出された発光位置と、受光素子121により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS9)。
(10)発信情報生成部142が、情報発信装置100aから発信すべき送信情報を生成する(ステップS10)。
具体的には、まず発信情報生成部142は、記憶部110に記憶された自装置設定情報の内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データとを取り出し、図4に示した送信情報300の中の自装置情報305の構造に納まるよう直送情報を生成する。
さらに、通信情報復調部123により復調された発信源の通信データの内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データを取り出し、図4に示した送信情報300の他装置代替送信情報306の構造に納まるよう転送情報を生成する。
さらに、相対位置情報生成部141により生成された、発信源に対応する相対位置情報に基づいて、同じく他装置代替送信情報306の構造に納まるよう連鎖的な転送情報を生成する。
また検出した発信源が複数ある場合には、それぞれの発信源の送信情報を生成して連結し、代替送信装置数318の値を、代替送信する情報発信装置の数に置き換える。
なお、このとき、取得した装置IDが自装置を示す装置IDと同一である場合には、その装置IDに対応する代替送信情報は使用しないこととする。このようにすることにより、自装置の情報を重複して送信することを防止することができる。
また、発信源Aから受信した通信データに含まれる発信源自体の装置ID(B)と、別の位置に設置された発信源Cから受信した通信データに含まれる代替送信された発信源の第二の装置ID(D)が同じである場合は、送信源Cから代替送信された装置ID(D)に対応する代替送信情報は使用しないこととする。これにより、同一発信源の代替送信情報を重複して送信することを防止することができる。
(11)発信部150が、ステップS10において生成された送信情報を、光無線通信を用いて発信するための変調パルス信号に変調して、発光素子を用いて発信する(ステップS11)。
以上の処理を繰り返すことにより、情報発信装置100aは、自装置の送信情報とともに、他の場所に設置されている情報発信装置(図1における情報発信装置100b、情報発信装置100c)の通信データを代替送信することができる。
<受信表示装置の動作>
図6は、本実施形態に係る受信表示装置200における受信表示方法の手順を示す図である。
(1)受信部210が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS11)。
(2)受信部210により次のフレームの画像情報が格納された時点において、発信源検出部212が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS12)。
(3)発信源検出部212が、ステップS12において抽出した位置における輝度の変化が、光無線通信に利用する変調パルス信号のプリアンブル信号と一致するか否かを判断する(ステップS13)。一致しない場合は(ステップS13:NO)、タイムアウトするまでステップS11〜S13を繰り返す。
(4)発信源検出部212が、送信源を検出しないまま予定時間を経過したか否かを判断する(ステップS14)。予定時間内に送信源を1つも検出しなかった場合には(ステップS13:NO、ステップS14:YES)、以降のステップS15〜ステップS20までの処理をスキップする。
(5)一致する場合は(ステップS13:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部212が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS15)。
(6)測定部220が、ステップS15において検出した発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する(ステップS16)。
(7)通信情報復調部213が、発信源検出部212により検出された発光位置と、受光素子211により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS17)。
(8)発信源表示位置算出部231が、表示装置240に表示する画面領域における各発信源の表示位置を算出する(ステップS18)。
(9)発信源表示位置算出部231が、通信情報復調部213により復調された通信データを参照して、代替送信された情報が含まれているか否かを判断する(ステップS19)。代替送信された情報が含まれていない場合には、ステップS20の処理をスキップする。
(10)発信源表示位置算出部231が、代替送信された情報発信装置の表示用の情報を、表示装置240へ表示する際の表示位置を算出する(ステップS20)。
(11)表示情報生成部232が、受信部210により取得された画像情報により表示される画像の、発信源表示位置算出部231により算出された表示位置に対応付けて、通信情報復調部213により復調されたデータを重畳して表示情報を生成し、映像信号に変換する(ステップS21)。例えば、表示情報生成部232は、取得した画像情報上に、検出した発信源、及び代替送信された情報発信装置を示すマーカーや吹き出しなどの表示オブジェクトを重畳し、これらに関連付けて対応する表示用のデータを、吹き出しの内容として表示したり、マーカーをユーザが選択した場合に詳細表示される内容として対応づけたりすることにより、適宜表示情報を生成する。
(12)表示情報生成部232により変換された映像信号が表示装置240へ出力され表示される(ステップS22)。
<光無線通信システムの利用例>
図7の(a)〜(c)は、本実施形態に係る光無線通信システムの利用例を示す図である。ここで図7の(a)は、対象物を真上から見た図であり、ここでは図の上方向を北とする。また図7の(b)は、対象物を南側の上空から見た図である。また図7の(c)は、対象物を南東方向から見た図である。
図7の(a)〜(c)に示すように、表示装置240が接続された受信表示装置200を保持するユーザ10、及びビルなどを想定した建造物11〜14が、それぞれ図のような配置で、図のような方向を向いて建っているものとする。
また建造物11には、情報発信装置100a及び情報発信装置100a’が図のように、受信表示装置200から受信可能な位置に設置されているものとし、また建造物12には、情報発信装置100b及び情報発信装置100b’が図のように、情報発信装置100a及び情報発信装置100a’から送受信可能な位置、かつ受信表示装置200から受信不可能な位置に設置されているものとする。また建造物13には、図のように情報発信装置100cが、情報発信装置100bからのみ送受信可能な位置に設置されているものとする。また建造物14には、図のように情報発信装置100dが、情報発信装置100cからのみ送受信可能な位置に設置されているものとする。
ここで、図7の(a)〜(c)中の全ての情報発信装置は、180度未満の半球状の送受信可能範囲を持つように設定され、代替経由数の上限は2に設定されているものとする。
以下に、情報発信装置100aに着目して、光無線通信システムによる光無線通信方法の利用例を示す。
情報発信装置100aは、情報発信装置100bから、(1)情報発信装置100bに関する表示用の情報を含む直送情報A、(2)情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す1つの相対位置情報とを含む転送情報B、(3)情報発信装置100dに関する表示用の情報と、情報発信装置100bに対する情報発信装置100dの相対的な位置を示す2つの相対位置情報とを含む転送情報C、(4)情報発信装置100aに関する表示用の情報と、情報発信装置100bに対する情報発信装置100aの相対的な位置を示す1つの相対位置情報とを含む転送情報D、(5)情報発信装置100b’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100b’の相対的な位置を示す2つの相対位置情報とを含む転送情報E、及び(6)情報発信装置100a’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Fを受信する。
さらに情報発信装置100aは、情報発信装置100b’から、(7)情報発信装置100b’に関する表示用の情報を含む直送情報G、(8)情報発信装置100aに関する表示用の情報と、情報発信装置100b’に対する情報発信装置100aの相対的な位置を示す1つの相対位置情報とを含む転送情報H、(9)情報発信装置100bに関する表示用の情報と、情報発信装置100b’に対する情報発信装置100bの相対的な位置を示す2つの相対位置情報とを含む転送情報I、及び(10)情報発信装置100a’に関する表示用の情報と、情報発信装置100b’に対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Jを受信する。
ここで、上記転送情報Bは、情報発信装置100bにおいて、情報発信装置100cから受信した、情報発信装置100cに関する表示用の情報を含む直送情報Kに基づいて生成されたものであり、上記転送情報Cは、情報発信装置100bにおいて、情報発信装置100cから受信した、情報発信装置100dに関する表示用の情報と、情報発信装置100cに対する情報発信装置100dの相対的な位置を示す1つの相対位置情報とを含む転送情報Lに基づいて生成されたものである。
またここで、上記転送情報Lは、情報発信装置100cにおいて、情報発信装置100dから受信した、情報発信装置100dに関する表示用の情報を含む直送情報Mに基づいて生成されたものである。
ここで、上記転送情報Dは、情報発信装置100bにおいて、情報発信装置100aから受信した、情報発信装置100aに関する表示用の情報を含む直送情報Nに基づいて生成されたものであり、上記転送情報Eは、情報発信装置100bにおいて、情報発信装置100a又はa’から受信した、情報発信装置100b’に関する表示用の情報と、情報発信装置100aに対する情報発信装置100b’の相対的な位置を示す1つの相対位置情報とを含む転送情報Oに基づいて生成されたものである。
またここで、上記転送情報Oは、情報発信装置100a又はa’において、情報発信装置100b’から受信した、情報発信装置100b’に関する表示用の情報を含む直送情報Pに基づいて生成されたものである。
ここで、上記転送情報Fは、情報発信装置100bにおいて、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Qに基づいて生成されたものである。
ここで、上記転送情報Hは、情報発信装置100b’において、情報発信装置100aから受信した、情報発信装置100aに関する表示用の情報を含む直送情報Rに基づいて生成されたものであり、上記転送情報Iは、情報発信装置100b’において、情報発信装置100a又はa’から受信した、情報発信装置100bに関する表示用の情報と、情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報Sに基づいて生成されたものである。
またここで、上記転送情報Sは、情報発信装置100a又はa’において、情報発信装置100bから受信した、情報発信装置100bに関する表示用の情報を含む直送情報Tに基づいて生成されたものである。
ここで、上記転送情報Jは、情報発信装置100b’において、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Uに基づいて生成されたものである。
続いて、情報発信装置100aは、自装置と情報発信装置100bとの相対位置Hと、自装置と情報発信装置100b’との相対位置H’とを検出し、(1)情報発信装置100aに関する表示用の情報を含む直送情報V、(2)相対位置Hと上記直送情報Aとに基づいて生成した、情報発信装置100bに関する表示用の情報と情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報W、(3)相対位置Hと上記転送情報Bとに基づいて生成した、情報発信装置100cに関する表示用の情報と、情報発信装置100aに対する情報発信装置100cの相対的な位置を示す2つの相対位置情報とを含む転送情報X、及び(4)相対位置H’と上記直送情報Gとに基づいて生成した、情報発信装置100b’に関する表示用の情報と情報発信装置100aに対する情報発信装置100b’の相対的な位置を示す1つの相対位置情報とを含む転送情報Y、及び(5)相対位置Hと転送情報F、又は相対位置H’と転送情報Jとに基づいて生成した、情報発信装置100a’に関する表示用の情報と、情報発信装置100aに対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Zを発信する。
ここで、情報発信装置100aは、相対位置Hと上記転送情報Cとに基づいて、情報発信装置100dに関する表示用の情報と、情報発信装置100aに対する情報発信装置100dの相対的な位置を示す3つの相対位置情報とを含む転送情報を生成することは可能であるが、代替経由数の上限が2に設定されているので、この転送情報は破棄されて発信されることはない。なお、代替経由数の上限が3以上に設定されている場合には、この転送情報は破棄されることなく発信される。
また、全ての情報発信装置において、装置IDが一致する情報発信装置に関する表示用の情報が複数ある場合には、代替経由数が少ないものの1つを残して他を削除している。
図8は、情報発信装置100aが発信する送信情報の内容の一例を示す図である。なお、図8の送信情報は、図4のデータ302の部分に相当する。
図8に示すように、情報発信装置100aから発信する送信情報は、開始識別子とデータサイズに始まり、続いて情報発信装置100a本体に関する情報を含む。続いて、代替送信する他の情報発信装置100b、100c、100b’、100a’に関する情報を含む。図7の(a)〜(c)で示した利用例においては、代替送信する装置の数は4であるため、代替送信装置数の値は4となる。
図9の(a)、(b)は、図7の(a)〜(c)で示した利用例における、ユーザ10が保持する表示装置240に表示される画像の一例を示す図である。
ここで図9の(a)は、代替送信をせずに、受信表示装置200が情報発信装置100a、100a’から直接取得したデータのみを、カメラで撮像した映像を表示している画像上の各装置の発信源の位置に対応付けて表示している(図中13、14)例であり、従来の装置による画像と同様のものである。
これに対して図9の(b)は、受信表示装置200が直接取得した情報発信装置100a、100a’のデータの表示に加えて、受信表示装置200では直接受信できない情報発信装置100b、100b’、100cのデータを、代替送信により受信し、各装置の発信源の位置に対応付けて表示している例である。
<まとめ>
本実施形態の光無線通信システムによれば、直接検出することのできない隠れた情報発信装置の位置および送信情報を、無線LAN等の他の無線通信媒体を利用することなく受信し、利用することが可能となる。また、相対位置により表示位置の特定を行なうため、情報発信装置自体にGPSなどの絶対位置を測定する機能を備える必要がない。また、ユーザから見た視野に対する高さを含めた立体的な位置表示にも対応することができる。
なお、本発明の実施形態で説明した光無線通信送信装置および光無線通信受信装置を構成する全て又は一部の機能ブロックは、典型的には集積回路であるLSI(集積度の違いにより、IC、システムLSI、スーパーLSI、又はウルトラLSI等と称される)として実現される。これらは、個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。
また、集積回路化の手法は、LSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別の技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
また、本発明の実施形態で説明した光無線通信送信装置および光無線通信受信装置の各機能は、記憶装置(ROM、RAM、ハードディスク等)に格納された上述した処理手順を実行可能な所定のプログラムデータが、CPUによって解釈実行されることで実現してもよい。この場合、プログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。ここで、記録媒体とは、ROM、RAM、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、CD−ROMやDVD、BD等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。
本発明の光無線通信システムは、受信装置が直接受信できない発信源に関する情報と設置位置とを、光無線通信以外の通信手段を用いることなく、代替送信によって受信装置に送信し、カメラで撮像した映像を表示している画像上の発信源の位置に関連付けて、発信源に関する情報を表示することができるので、GPS等の絶対位置を検出する機能を備える必要がなく、公共通信手段等が使えない圏外などの環境下においても利用できるので、その産業的利用価値は極めて高い。
また、本実施形態においては、ビル等の建造物に情報発信装置を設置する例を用いているが、同様の構成を用いて、例えば家電機器への応用が可能である。例えば、本実施形態のような情報発信装置と同様の機能を備える音楽プレイヤーを想定すると、音楽プレイヤーが保有している音楽ファイルの情報を送信情報に含めて発信すれば、直接受信できないような位置に置かれた音楽プレイヤーからの音楽ファイルの情報を、例えばテレビやレコーダ等の据置き機器から代替受信することが可能である。
1 光無線通信システム
100a〜c、100a’〜b’ 情報発信装置
110 記憶部
120 受信部
121 受光素子
122 発信源検出部
123 通信情報復調部
130 測定部
131 距離測定部
132 方位測定部
133 高度測定部
140 情報処理部
141 発信情報生成部
142 発信情報生成部
150 発信部
160a〜c 入力装置
200 受信表示装置
210 受信部
211 受光素子
212 発信源検出部
213 通信情報復調部
220 測定部
221 距離測定部
222 方位測定部
223 高度測定部
224 撮影状態検出部
230 情報処理部
231 発信源表示位置算出部
232 表示情報生成部
240 表示装置

Claims (15)

  1. 光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置であって、
    画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信部と、
    自装置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
    前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理部とを備えることを特徴とする受信表示装置。
  2. 前記受信部により受信される転送情報に含まれる1又は複数の相対位置情報は、ベクトルにより表され、
    前記測定部により測定される前記一の情報発信装置の相対的な位置は、ベクトルにより表され、
    前記情報処理部は、
    前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報を表すベクトルと、前記測定部により測定された前記一の情報発信装置の相対的な位置を表すベクトルとを、ベクトル加算することにより、自装置に対する前記二の情報発信装置の相対的な位置を、1個のベクトルとして算出することを特徴とする請求項1に記載の受信表示装置。
  3. 前記測定部は、
    自装置に対する前記一の情報発信装置の相対的な距離と角度とを実測することを特徴とする請求項1に記載の受信表示装置。
  4. 受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置であって、
    予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
    自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信部と、
    自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
    前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理部と、
    前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とを備えることを特徴とする情報発信装置。
  5. 前記受信部は、さらに、
    前記一の情報発信装置から、光の発光パターンを利用して発信される、前記一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す相対位置情報とを含む転送情報を受信し、
    前記情報処理部は、さらに、
    前記測定部により測定された相対的な位置を示す相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する相対位置情報とに基づいて、自装置に対する前記二の情報発信装置の相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む階層的な転送情報を生成し、
    前記送信部は、さらに、
    前記情報生成部により生成された階層的な転送情報を、光の発光パターンを利用して送信することを特徴とする請求項4に記載の情報発信装置。
  6. 前記直送情報に含まれる前記一の情報発信装置に関する表示用の情報、及び、前記転送情報に含まれる前記二の情報発信装置に関する表示用の情報には、それぞれ、情報発信装置毎に固有の識別情報が添付されており、
    前記情報処理部は、
    前記直送情報、及び前記転送情報に含まれる表示用の情報に添付された識別情報の中に、重複する識別情報が有るか否かを判断し、重複する識別情報が有る場合には、重複する識別情報が添付された表示用の情報を含む転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。
  7. 前記転送情報には、それぞれ、何台の情報発信装置を経由したかを示す代替経由数が添付されており、
    前記情報処理部は、
    前記階層的な転送情報を生成して階層が増える度に、前記代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された階層的な転送情報を破棄することを特徴とする請求項5に記載の情報発信装置。
  8. 前記情報処理部は、
    代替送信におけるデータ量に上限を設けるか、又は、転送情報の数に上限を設け、所定の上限を超える分の転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。
  9. 前記情報処理部は、
    所定の条件を満たさない転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。
  10. 光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置と、当該表示用の情報を、光の発光パターンを利用して送信する複数の情報発信装置とから構成される光無線通信システムであって、
    前記複数の情報発信装置の中の一の情報発信装置は、
    予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
    前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する第1受信部と、
    自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する第1測定部と、
    前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定部により測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信部により受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する第1情報処理部と、
    前記第1情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とを備え、
    前記受信表示装置は、
    画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する第2受信部と、
    自装置に対する前記一の情報発信装置の相対的な位置を測定する第2測定部と、
    前記第2受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる第2情報処理部とを備えることを特徴とする光無線通信システム。
  11. 光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置における受信表示プログラムであって、
    前記受信表示装置に、
    画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信ステップと、
    自装置に対する前記一の情報発信装置の相対的な位置を測定する測定ステップと、
    前記受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理ステップとを実行させることを特徴とする受信表示プログラム。
  12. 受信表示装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置における情報発信プログラムであって、
    前記情報発信装置は、
    予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備え、
    前記情報発信装置に、
    自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信ステップと、
    自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定ステップと、
    前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信ステップにより受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理ステップと、
    前記情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信ステップとを実行させることを特徴とする情報発信プログラム。
  13. 光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置に用いられる受信表示用集積回路であって、
    画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信部と、
    自装置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
    前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理部とのうちの、全部又は一部を集積する受信表示用集積回路。
  14. 受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置に用いられる情報発信用集積回路であって、
    予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
    自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信部と、
    自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
    前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理部と、
    前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とのうちの、全部又は一部を集積する情報発信用集積回路。
  15. 受信表示装置において、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させ、複数の情報発信装置において、当該表示用の情報を、光の発光パターンを利用して送信する光無線通信方法であって、
    前記複数の情報発信装置の中の一の情報発信装置は、
    予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備え、
    前記一の情報発信装置において、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する第1受信ステップと、
    前記一の情報発信装置において、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する第1測定ステップと、
    前記一の情報発信装置において、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定ステップにより測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信ステップにより受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する第1情報処理ステップと、
    前記一の情報発信装置において、前記第1情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信ステップと、
    前記受信表示装置において、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する第2受信ステップと、
    前記受信表示装置において、自装置に対する前記一の情報発信装置の相対的な位置を測定する第2測定ステップと、
    前記受信表示装置において、前記第2受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる第2情報処理ステップとを含むことを特徴とする光無線通信方法。
JP2012507532A 2010-08-20 2011-08-04 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 Expired - Fee Related JP5619140B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010185008 2010-08-20
JP2010185008 2010-08-20
PCT/JP2011/004444 WO2012023253A1 (ja) 2010-08-20 2011-08-04 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法

Publications (2)

Publication Number Publication Date
JPWO2012023253A1 true JPWO2012023253A1 (ja) 2013-10-28
JP5619140B2 JP5619140B2 (ja) 2014-11-05

Family

ID=45604924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012507532A Expired - Fee Related JP5619140B2 (ja) 2010-08-20 2011-08-04 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法

Country Status (4)

Country Link
US (1) US9374159B2 (ja)
JP (1) JP5619140B2 (ja)
CN (1) CN102484678B (ja)
WO (1) WO2012023253A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US9166810B2 (en) * 2012-05-24 2015-10-20 Panasonic Intellectual Property Corporation Of America Information communication device of obtaining information by demodulating a bright line pattern included in an image
US9395875B2 (en) * 2012-06-27 2016-07-19 Ebay, Inc. Systems, methods, and computer program products for navigating through a virtual/augmented reality
CN107395977B (zh) * 2012-12-27 2019-12-17 松下电器(美国)知识产权公司 信息通信方法
US9987184B2 (en) * 2013-02-05 2018-06-05 Valentin Borovinov Systems, methods, and media for providing video of a burial memorial
JP6425173B2 (ja) 2015-03-06 2018-11-21 パナソニックIpマネジメント株式会社 照明装置及び照明システム
WO2016207983A1 (ja) 2015-06-23 2016-12-29 富士通株式会社 位置測定装置、位置測定方法および位置測定プログラム
CN105407141B (zh) * 2015-10-23 2019-06-18 北京邮电大学 一种内容分发方法和系统以及一种FiWi节点设备
CN105406986B (zh) * 2015-10-23 2018-11-02 北京邮电大学 一种内容分发控制方法和一种中心控制器
CN105890597B (zh) * 2016-04-07 2019-01-01 浙江漫思网络科技有限公司 一种基于图像分析的辅助定位方法
WO2022208882A1 (ja) * 2021-04-02 2022-10-06 日本電信電話株式会社 光空間通信装置及び光空間通信方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0340616A (ja) * 1989-07-07 1991-02-21 Matsushita Electric Ind Co Ltd 光空間伝送装置
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005080116A (ja) * 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 撮像装置および情報伝達システム
JP2007228512A (ja) * 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673252A (en) * 1990-02-15 1997-09-30 Itron, Inc. Communications protocol for remote data generating stations
US6631018B1 (en) * 1997-08-27 2003-10-07 Nortel Networks Limited WDM optical network with passive pass-through at each node
JP2004275412A (ja) * 2003-03-14 2004-10-07 Mitsumi Electric Co Ltd 通信ゲームシステム及び通信システム及び通信装置並びに通信状態表示方法
KR100818228B1 (ko) * 2006-03-28 2008-04-01 삼성전자주식회사 무선 애드 혹 네트워크에서 파워 및 전송지연을 고려한경로 설정 방법 및 이를 적용한 단말장치
EP1884798B1 (en) * 2006-08-03 2012-01-18 Casio Computer Co., Ltd. Method for measuring distance to object
DE102006056338A1 (de) 2006-11-29 2008-06-05 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Vorrichtung zur Bestimmung der Position eines Endgeräts in einem Mobilfunknetz
WO2010073616A1 (ja) * 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
US8958291B2 (en) * 2009-10-09 2015-02-17 At&T Intellectual Property I, L.P. Data routing in hybrid wireless communication networks
CN102714691B (zh) * 2009-12-18 2016-04-27 松下电器(美国)知识产权公司 信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0340616A (ja) * 1989-07-07 1991-02-21 Matsushita Electric Ind Co Ltd 光空間伝送装置
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005080116A (ja) * 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 撮像装置および情報伝達システム
JP2007228512A (ja) * 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置

Also Published As

Publication number Publication date
JP5619140B2 (ja) 2014-11-05
CN102484678A (zh) 2012-05-30
US20120154443A1 (en) 2012-06-21
CN102484678B (zh) 2017-03-01
WO2012023253A1 (ja) 2012-02-23
US9374159B2 (en) 2016-06-21

Similar Documents

Publication Publication Date Title
JP5619140B2 (ja) 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法
CN102737227B (zh) 终端装置、信息处理装置、对象识别方法以及系统
JPWO2003036829A1 (ja) データ通信システム、データ送信装置、並びにデータ受信装置
JPWO2008087974A1 (ja) データ処理装置、方法、記録媒体
US10425243B2 (en) Commissioning device for commissioning installed building technology devices
US9621747B2 (en) Information processing apparatus and imaging region sharing determination method
US9083891B2 (en) Video monitoring apparatus
CN105723631A (zh) 通信方法
CN107710736A (zh) 辅助用户捕获图像或视频的方法和系统
CN105917329B (zh) 信息显示装置和信息显示程序
CN112991439B (zh) 定位目标物体的方法、装置、电子设备及介质
JP6699518B2 (ja) 画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供システム、データ提供プログラム、記録媒体、プロセッサ及び電子機器
CN108012141A (zh) 显示装置、显示系统和显示装置的控制方法
CN111754564A (zh) 视频展示方法、装置、设备及存储介质
WO2018079043A1 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム
JP2019075126A (ja) 情報処理装置及びプログラム
JP2011180021A (ja) サーバ装置、プログラム及び位置特定システム
CN112087719B (zh) 地图区域确定方法、装置、设备及存储介质
JP2019109174A (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
JP2012064071A (ja) 情報システム、端末装置、広告出力方法、およびプログラム
KR102272757B1 (ko) 파노라믹 영상 컨텐츠 제작 시스템 및 방법
CN108225259A (zh) 测距群机器人及系统
WO2024038895A1 (ja) 方法、サーバー、端末、および、基地局
JP2019009623A (ja) 携帯端末、制御プログラム及び制御方法
CN110276837A (zh) 一种信息处理方法、电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140916

R150 Certificate of patent or registration of utility model

Ref document number: 5619140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees