JPWO2011074172A1 - 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法 - Google Patents

Abstract

光空間伝送を利用して撮像した画像に情報を重畳して表示する際に、受信状態が不安定な場合であっても、可読性を向上させることができる情報表示装置等を提供する。撮像部（２１０、７２０）は画像を時系列的に撮像する。情報処理部（２２０、５２０、７２０）は撮像された画像中の時間の経過とともに輝度が変化する領域から、領域毎の輝度の変化に基づいて、領域毎に表示用の情報を含む通信情報を抽出するとともに、通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する。表示制御部（２３０、５３０、７３０）は抽出された領域毎の通信情報に含まれる表示用の情報を、生成された対応する安定度情報に基づいて定めた態様で、撮像された画像に重畳して表示デバイス（３００、８００）に表示させる。

Description

本発明は、時系列的に撮像される画像に表示用の情報を重ねて表示させる情報表示装置に関し、より特定的には、受信状態が不安定な情報発信源による表示画面への悪影響を軽減し、可読性を向上させるための技術に関する。

商品や展示品などに関する情報の提示を、光空間伝送による情報伝送を利用することによって、撮像した画像に重畳して表示することができる撮像装置が特許文献１に開示されている。特許文献１には、店頭に並べられた商品の陳列棚や市中の広告看板などに併設された情報発信源から、輝度変化による商品や広告看板に適合した内容の提示情報が発信され、撮像装置が、画像を時系列的に撮像し、画像領域毎の輝度変化からそれぞれ提示情報を抽出し、抽出した提示情報を撮像した画像に重畳して表示することにより、情報提示対象品とその提示情報との対応関係を明確にして情報把握の誤解をなくすことができると記載されている。

ここで特許文献１の撮像装置において、撮影画角内に提示情報を発信する光源が多数存在し抽出した情報が許容量を超えるような場合には、可読性が著しく低下するという問題が生じる。従って、このような場合には情報の取捨選択や表示形態の工夫等が必要になる。

このような問題を解決する情報表示装置が特許文献２に開示されている。特許文献２には、情報発信源のサイズ及び形状のデータと画像上の面積とに基づいて情報発信源までの距離を算出し、算出した距離に応じて吹き出しサイズや文字サイズなどを調整することにより可読性改善を図ることができると記載されている。

特開２００１−２４５２５３号公報 特開２００８−０８５５５５号公報

しかしながら、上記特許文献２では、撮影画角内の全ての情報発信源から、常に正常に情報を取得できることを前提としているが、実際の撮影状況では、人や電車や自動車などの往来物により断続的にしか情報を取得できないような、受信状態が不安定な情報発信源が混在することがあり、このような状況における対策が上記特許文献２では全く考慮されていない。具体的には、このような受信状態が不安定な情報発信源の情報が、上記特許文献２の情報表示装置によって、撮像した画像に重畳して表示されると、情報の表示、非表示が繰り返されてちらちらして見難い状態となったり、特に、表示、非表示が繰り返される情報の表示範囲が比較的広いような場合には、その切り替えの度に、表示されている他の情報の大きさや記載位置等が変更されることもあると考えられ、著しく可読性を低下させてしまうという問題が生じる。

それ故に、本発明は、光空間伝送による情報伝送を利用して、撮像した画像に情報を重畳して表示する際に、受信状態が不安定な情報発信源が混在するような場合であっても、このような情報発信源による表示画面への悪影響を軽減し、可読性を向上させることができる情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法を提供することを目的とする。

本発明は、情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法に向けられている。そして上記課題を解決するために、本発明の情報表示装置は、時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示装置であって、撮像部、情報処理部、及び表示制御部を備える。撮像部は、画像を時系列的に撮像する。情報処理部は、撮像部により撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する。表示制御部は、情報処理部により抽出された領域毎の通信情報に含まれる表示用の情報を、情報処理部により生成された対応する安定度情報に基づいて定めた態様で、撮像部により撮像された画像に重畳して、表示デバイスに表示させる。

好ましくは、表示制御部は、通信状態が安定していない領域に対応する通信情報に含まれる表示用の情報を、表示デバイスに表示させるか、表示させないかの、いずれであるかを示す表示設定を、利用者から受け付けて記憶し、記憶された表示設定が表示させないことを示す場合には、安定度情報に基づいて、通信状態が安定していると判断された通信情報に含まれる表示用の情報を、撮像部により撮像された画像に重畳して、表示デバイスに表示させ、通信状態が安定していないと判断された通信情報を破棄し、記憶された表示設定が表示させることを示す場合には、安定度情報に基づいて、通信状態が安定していないと判断された通信情報に含まれる表示用の情報を保存し、通信状態が安定していないと判断されている間は継続して、保存した表示用の情報を、撮像部により撮像された画像に重畳して、表示デバイスに表示させるとよい。
好ましくは、情報処理部は、領域毎に、直近の所定の時間間隔において、通信情報を抽出できなかった回数を示すエラー回数と、通信情報を抽出できる状態とできない状態とが切り替わった回数を示す状態変化回数とを計測し、当該エラー回数が規定数Ｎ以上、及び、当該状態変化回数が規定数Ｍ以上の両方の条件を満たす場合に通信状態が安定していないと判断し、どちらか一方の条件でも満たさない場合に通信状態が安定していると判断するとよい。
好ましくは、情報処理部は、領域毎に、直近の所定の時間間隔において、通信情報を抽出できなかった割合を示すエラー率と、通信情報を抽出できる状態とできない状態とが切り替わった回数を示す状態変化回数とを計測し、当該エラー率が規定値Ｌ以上、及び、当該状態変化回数が規定数Ｍ以上の両方の条件を満たす場合に通信状態が安定していないと判断し、どちらか一方の条件でも満たさない場合に通信状態が安定していると判断するとよい。

好ましくは、情報処理部は、領域毎に輝度の平均値を測定し、当該平均値が所定値に満たない領域を、処理対象から外すとよい。
好ましくは、表示制御部は、安定度情報に基づいて、通信状態が安定していると判断された通信情報に含まれる表示用の情報を、撮像部により撮像された画像に重畳して、表示デバイスに表示させ、通信状態が安定していないと判断された通信情報を破棄するとよい。
好ましくは、表示制御部は、安定度情報に基づいて、通信状態が安定していないと判断された通信情報に含まれる表示用の情報を保存し、通信状態が安定していないと判断されている間は継続して、保存した表示用の情報を、撮像部により撮像された画像に重畳して、前記表示デバイスに表示させるとよい。

好ましくは、表示制御部は、安定度情報に基づいて、通信状態が安定していないと判断された場合に、通信状態が安定していると判断された場合よりも、表示用の情報を画像に重畳させる際の占有面積を実質的に少なくするとよい。
好ましくは、表示制御部は、占有面積を実質的に少なくする際に、情報量を少なくする、表示する文字を小さくする、表示するマークを小さくする、吹き出しを小さくする、吹き出しの重なりの順番を後ろにする、又は透過率を高くするとよい。

好ましくは、表示制御部は、さらに、占有面積を実質的に少なくする際に、表示する文字の色を変える、表示するマークの色を変える、又は吹き出しの色を変えるとよい。
好ましくは、情報処理部により抽出される領域毎の通信情報はそれぞれ、表示用の情報を複数含み、各々の表示用の情報には優先度が対応付けられ、表示制御部は、領域毎に、安定度情報に基づいて優先度を決定し、決定した優先度に相応する表示用の情報を表示デバイスに表示させるとよい。

好ましくは、情報処理部は、通信情報を抽出する際に、領域毎に、輝度が規定値よりも小さい、及びエラー発生率が規定値より高い、のうち少なくとも１つに当てはまるか否かを判断して、当てはまる領域の安定度情報を、通信状態が安定していない旨を示すものとするとよい。

好ましくは、表示制御部は、領域毎の表示用の情報を、撮像部により撮像された画像中の、当該領域毎の画像に関連付けて重畳するとよい。

好ましくは、情報処理部は、撮像部により撮像された画像中に同じ内容の情報を出力する光源が複数あると認められる場合に、これらを１つの領域として処理するとよい。

好ましくは、情報処理部は、同じ内容の情報を出力する光源が複数あると認められる領域において、通信情報を抽出する際に、抽出に失敗した光源の個数に基づいて、エラー発生率を算出し、当該エラー発生率が規定値より高いか否かを判断して、高いと判断された領域の安定度情報を、通信状態が安定していない旨を示すものとするとよい。

好ましくは、表示制御部は、同じ内容の情報を出力する光源が複数あると認められる領域において、通信情報を抽出する際に、抽出に失敗した確率が規定値よりも低い光源の位置のみに基づいて、表示用の情報を重畳する位置を決定するとよい。

また上記課題を解決するために、本発明の表示制御用集積回路は、撮像部により時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示装置に用いられる集積回路であって、情報処理部、及び表示制御部として機能する回路を集積する。情報処理部は、撮像部により撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する。表示制御部は、情報処理部により抽出された領域毎の通信情報に含まれる表示用の情報を、情報処理部により生成された対応する安定度情報に基づいて定めた態様で、撮像部により撮像された画像に重畳して、表示デバイスに表示させる。

また上記課題を解決するために、本発明の表示制御プログラムは、時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示装置により実行されるプログラムであって、情報表示装置に、撮像ステップ、情報処理ステップ、及び表示制御ステップを実行させる。撮像ステップは、画像を時系列的に撮像する。情報処理ステップは、撮像ステップにより撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する。表示制御ステップは、情報処理ステップにより抽出された領域毎の通信情報に含まれる表示用の情報を、情報処理ステップにより生成された対応する安定度情報に基づいて定めた態様で、撮像ステップにより撮像された画像に重畳して、表示デバイスに表示させる。

また上記課題を解決するために、本発明の表示制御表示方法は、時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示方法であって、撮像ステップ、情報処理ステップ、及び表示制御ステップを含む。撮像ステップは、画像を時系列的に撮像する。情報処理ステップは、撮像ステップにより撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する。表示制御ステップは、情報処理ステップにより抽出された領域毎の通信情報に含まれる表示用の情報を、情報処理ステップにより生成された対応する安定度情報に基づいて定めた態様で、撮像ステップにより撮像された画像に重畳して、表示デバイスに表示させる。

以上のように、本発明においては、領域毎の受信状態の安定度に応じて定めた態様で、領域毎の表示用の情報を、撮像された画像に重畳して、外部の表示デバイスに表示させることができる。本発明の構成によれば、受信状態が不安定な領域に対応する表示用の情報を保存し、保存した表示用の情報を継続して表示デバイスに表示させることや、受信状態が不安定な領域に対応する情報を破棄することができるので、表示用の情報がちらちらと見え隠れするようなことがなくなり、可読性を向上させることができる。
また、本発明の構成によれば、ちらちらと見え隠れするような受信状態が不安定な領域に対応する情報を、占有面積を実質的に少なくする等により目立たないように表示して存在感を弱くすることができるので、存在感を弱くした情報がちらちらと見え隠れしたとしても、著しく可読性が低下するようなことが無くなり、可読性を大きく向上させることができる。
また、本発明の構成によれば、視認性の悪い領域に対応する情報を目立たないように表示することができ、撮影した画像上の情報発信源の写り具合に応じて、対応する情報を相応の表示形態で重畳することができるので、調和の取れた違和感の少ない画像を提供することができる。

図１は、本発明に係る第１の実施形態の情報表示システム１の機能構成の概要を示す図である。 図２は、情報発信源１００から情報表示装置２００へ向けて光の強弱により発信される、通信情報のデータフォーマットの一例を示す図である。 図３は、本実施形態における一連の手順を示す図である。 図４は、エラー率の平均値とエラー率の変動振幅の平均値を算出する処理の詳細な手順を示す図である。 図５は、輝度の平均値を算出する処理の詳細な手順を示す図である。 図６は、各光源領域に優先度の割当を行う処理の詳細な手順を示す図である。 図７は、本実施形態の利用時における情報発信源１００と情報表示装置２００及び表示デバイス３００との位置関係の一例を示す図である。 図８は、本実施形態の利用時における表示デバイス３００に表示された画像の一例を示す図である。 図９は、本実施形態の利用時における表示デバイス３００に表示された画像の一例を示す図である。 図１０は、本実施形態の利用時における表示デバイス３００に表示された画像の一例を示す図である。 図１１は、本実施形態の利用時における表示デバイス３００に表示された画像の一例を示す図である。 図１２は、各々が同じ情報を発信する複数個の光源を備える看板３０と、看板の前を通過する自動車３１とを示す図である。 図１３は、本発明に係る第１の変形例における情報表示システム２の機能構成の概要を示す図である。 図１４は、本発明に係る第２の実施形態の情報表示システム３の機能構成の概要を示す図である。 図１５は、情報発信源６００から情報表示装置７００へ向けて光の強弱により発信される、通信情報のデータフォーマットの一例を示す図である。 図１６は、第２の実施形態における、光源領域検出処理から、信号検証処理、及び、重畳処理までの一連の手順を示す図である。

［第１の実施形態］
＜概要＞
第１の実施形態は、光空間伝送による情報伝送を利用して撮像した画像に情報を重畳して表示するシステムにおいて、光源毎の通信状態の安定の度合いに応じて情報を重畳する際の態様を変えるものである。詳細には、通信状態が安定していない光源の情報を、占有面積を実質的に少なくする等により目立たないように表示して、可読性を向上させる。

＜構成＞
図１は、本発明に係る第１の実施形態の情報表示システム１の機能構成の概要を示す図である。
図１に示す情報表示システム１は、情報発信源１００、情報表示装置２００、及び表示デバイス３００から構成されている。

情報発信源１００は、店頭に並べられた商品の陳列棚や市中の広告看板などに併設された据え置き型の電子機器であり、表示用の情報を発信する機能を有し、通信データ生成部１１０、変調器１２０、及び発信用光源１３０を含む。
情報表示装置２００は、例えば、デジタルカメラやカメラ付き携帯電話などの撮像機能を備えた携帯電子機器であり、光無線通信で表示用の情報を得て、撮影した映像に表示用の情報を重畳して表示させる機能を有し、撮像部２１０、情報処理部２２０、表示制御部２３０を備える。
表示デバイス３００は、液晶モニタ等の画像表示装置である。

通信データ生成部１１０は、情報表示装置２００において表示させるべき、表示用の情報を生成する。
変調器１２０は、通信データ生成部１１０により生成された表示用の情報を電気信号に変換する。
発信用光源１３０は、ＬＥＤや蛍光灯などの、ある程度以上の比較的強度のある光を発信できるデバイスであり、変調器１２０により変換された電気信号を用いて、情報表示装置２００へ向けて、光の強弱により表示用の情報を含む通信情報を発信する。

撮像部２１０は、画像を時系列的に撮像するものであり、入力する光の結像状態を調整するレンズ２１１と、レンズ２１１を通して取得した光の強弱を電気信号に変換して光電変換情報を生成し、これを順次情報処理部２２０へ向けて出力することによって画像を撮像するイメージセンサ２１２とを含む。なお、ここでは光電変換素子としてイメージセンサを用いたが、これに限られるものではなく、光の強弱を輝度情報として電気信号に変換することができれば何であってもよい。例えば、撮像部２１０は、イメージセンサ２１２の代わりに、２次元平面に配列されたフォトダイオードを含んでいてもよい。

情報処理部２２０は、撮像部２１０により撮像された画像の中から、時間の経過とともに輝度が所定のパターンで変化する光源領域を全て特定し、ここで特定した１又は複数の光源領域から、光源領域毎の輝度の変化に基づいて、光源領域毎に通信情報を抽出するとともに、通信情報毎に通信状態の安定の度合いを示す安定度情報（エラー率の平均値、エラー率の変動振幅、輝度の平均値等）を生成するものであり、取得情報処理部２２１、画像情報処理部２２２、通信情報処理部２２３、エラー情報処理部２２４、及び輝度情報処理部２２５を含む。

表示制御部２３０は、情報処理部２２０により抽出された領域毎の通信情報に含まれる表示用の情報を、情報処理部２２０により生成された対応する安定度情報に基づいて定めた態様で、撮像部２１０により撮像された画像に重畳して、輝度やサイズなどを調整して外部の表示デバイス３００に表示させるものであり、優先度算出部２３１、表示用情報生成部２３２、及び画像重畳部２３３を含む。

取得情報処理部２２１は、撮像部２１０のイメージセンサ２１２により生成された光電変換情報に基づいて、画像解析に用いるための画像情報を抽出して、これを画像情報処理部２２２へ向けて出力し、また、情報発信源の光源を特定して光源毎に光源領域を設定し、ここで設定した光源領域毎に、対応する時系列的な輝度の変化を示す輝度情報を抽出して、設定した光源領域を示す領域情報と、抽出した輝度情報とを対応付けて通信情報処理部２２３へ向けて出力する。

画像情報処理部２２２は、取得情報処理部２２１により抽出された画像情報に対して、画像を画面に出力するために必要な色空間変換や画角調整などの画像情報処理を施して表示用の調整を施し、これを画像重畳部２３３へ向けて出力する。

通信情報処理部２２３は、取得情報処理部２２１により抽出された領域情報が示す光源領域毎に、取得情報処理部２２１により抽出された輝度情報が示す時系列的な輝度の変化を、‘０’と‘１’のいずれかのビットとして認識することによって通信情報を生成し、これを領域情報とともに表示用情報生成部２３２へ向けて出力する。また通信情報処理部２２３は、通信情報の生成に際して、通信エラーが起こった割合を示すエラー率を算出して、これを領域情報とともにエラー情報処理部２２４へ向けて出力し、また輝度情報を領域情報とともに輝度情報処理部２２５へ向けて出力する。

エラー情報処理部２２４は、通信情報処理部２２３により算出された光源領域毎のエラー率に基づいて、エラー率の平均値と、エラー率の変動振幅とを算出して、これらを優先度算出部２３１へ向けて出力する。なおエラー率の変動振幅の算出方法については、後に詳細に記述する。

輝度情報処理部２２５は、取得情報処理部２２１により抽出された光源領域毎の輝度情報に基づいて、光源領域毎に輝度情報が示す輝度の平均値を算出し、これを優先度算出部２３１へ向けて出力する。なお輝度情報が示す輝度の平均値の算出方法については、後に詳細に記述する。

優先度算出部２３１は、エラー情報処理部２２４により算出された平均エラー率とエラー率の変動振幅、及び、輝度情報処理部２２５により算出された輝度情報が示す輝度の平均値に基づいて、光源領域毎に通信情報を表示する際の表示態様を決めるための優先度を算出し、これを表示用情報生成部２３２へ向けて出力する。例えば、輝度が規定値よりも小さい、及びエラー発生率が規定値より高い等のうち少なくとも１つに当てはまるような領域を通信状態が安定していないと判断し、通信状態が安定していると判断された場合よりも優先度を低くする。なお優先度の算出方法については、後に詳細に記述する。

表示用情報生成部２３２は、通信情報処理部２２３により生成された光源領域毎の通信情報に含まれる表示用の情報に基づいて、優先度算出部２３１により安定度情報に基づいて算出された光源領域毎の優先度に応じて、重畳用の情報とその表示態様とを決定し、これを画像重畳部２３３に向けて出力する。

画像重畳部２３３は、画像情報処理部２２２により画像情報処理を施された画像情報に、表示用情報生成部２３２により決定された重畳用の情報を、決定された表示態様で重畳し、これを表示デバイス３００へ向けて出力して、画像を表示させる。
例えば、優先度が低い場合（安定度情報に基づいて通信状態が比較的安定していないと判断された場合）に、優先度が高い場合（安定度情報に基づいて通信状態が比較的安定していると判断された場合）よりも、表示用の情報を画像に重畳させる際の占有面積を実質的に少なくする。ここで占有面積を実質的に少なくするとは、具体的には、情報量を少なくする、表示する文字を小さくする、表示するマークを小さくする、吹き出しを小さくする、吹き出しの重なりの順番を後ろにする、又は透過率を高くする等を１つあるいは複数を組み合わせることにより実現される。また、占有面積を少なくする際に、表示する文字の色、表示するマークの色、又は吹き出しの色等を、比較的目立たない色、地味な色、あるいは背景色に近い色等に変えると効果的である。

なお画像重畳部２３３は、光源領域毎の表示用の情報を、それぞれの光源領域の位置に関連付けて重畳してもよい。より具体的には、例えば光源領域の位置に重ねて対応する表示用の情報を重畳したり、光源領域の位置と対応する表示用の情報とを矢印付きの線等で繋いだり、あるいは光源領域の位置から吹き出しを出してその中に対応する表示用の情報を記載する。

図２は、情報発信源１００から情報表示装置２００へ向けて光の強弱により発信される、通信情報のデータフォーマットの一例を示す図である。ここで図中の“→”は時間Ｔの進行方向を表している。
図２に示すように、通信情報のデータフォーマットは、プリアンブルデータ部Ｄ１０とデータ部Ｄ２０とにより構成され、情報発信源１００から繰り返し巡回的に出力される。

プリアンブルデータ部Ｄ１０に格納されるデータは、情報表示装置２００において、表示用の情報を含む通信情報であることを認識するためのデータであり、データ部Ｄ２０の始点を表す固定のデータであるプリアンブルパターンを含んでいる。
データ部Ｄ２０に格納されるデータは、管理情報格納部Ｄ２１、第１優先度情報格納部Ｄ２２、第２優先度情報格納部Ｄ２３、及び第３優先度情報格納部Ｄ２４とにより構成されている。

管理情報格納部Ｄ２１は、後に続く優先度情報格納部の個数、及び各優先度情報格納部に格納された優先度情報のレングス（文字列の長さ）等を示す優先度情報の管理情報を格納している。図２は優先度情報の個数が「３」のときの例であり、この個数が「１」のときには、管理情報格納部Ｄ２１の後に第１優先度情報格納部Ｄ２２だけが続き、この個数が「２」のときには、管理情報格納部Ｄ２１の後に第１優先度情報格納部Ｄ２２と第２優先度情報格納部Ｄ２３だけが続き、一般にこの個数が「Ｎ」（Ｎは１以上の自然数）のときには、管理情報格納部Ｄ２１の後にＮ個の優先度情報格納部が続く。

第１優先度情報格納部Ｄ２２は、最も優先度が高い表示用の情報である第１優先度情報が格納されており、ここに格納された情報は最も表示すべき重要な情報という位置付けなので、通信状態が比較的安定していないと判断された場合であっても、この第１優先度情報だけは可能な限り表示される。

第２優先度情報格納部Ｄ２３は、第１優先度情報格納部Ｄ２２の次の、２番目に優先度が高い表示用の情報である第２優先度情報を格納しており、第３優先度情報格納部Ｄ２４は、第２優先度情報格納部Ｄ２３の次の、３番目に優先度が表示用の情報である高い第３優先度情報を格納しており、一般に第Ｎ優先度情報格納部はＮ番目に優先度が高い表示用の情報である第Ｎ優先度情報を格納している。ここで、通信状態が安定していると判断された場合には、第１優先度情報〜第Ｎ優先度情報までの全ての情報が、優先度順に可能な限り表示される。

なお、図２における優先度情報の個数を常に「１」にして表示用の情報を常に１個の優先度情報だけにしてもよいし、最初から優先度の区別なく１つの表示用の情報を送信してもよい。
また図２における優先度情報の個数を「２」以上にした場合には、画像重畳部２３３において、例えば、優先度が最も低い場合に第１優先度情報のみを画像に重畳し、優先度が高い場合には、優先度の高さに応じて、重畳する優先度情報の数を増やすことによって、優先度に応じて、画像に重畳する際の情報量を調整することができる。

＜動作＞
図３は、第１の実施形態における、光源領域検出処理から、信号復元処理、優先度の割当処理、及び、表示用の情報を撮影した画像に重畳して表示させる重畳処理までの一連の手順を示す図である。

ステップＳ１〜ステップＳ７は、光源領域検出処理の手順である。
（１）取得情報処理部２２１が、イメージセンサ２１２により撮像された画像のイメージをフレームデータとして、プリアンブルデータ部Ｄ１０のビット数に相当する複数のフレームデータをバッファリングする（ステップＳ１）。
（２）ステップＳ１においてバッファリングした複数のフレームデータにおいて、輝度変化している光源が有るか否かを判断する（ステップＳ２）。
（３）輝度変化している光源が有る場合に（ステップＳ２：ＹＥＳ）、取得情報処理部２２１が、バッファリングしたフレームデータとプリアンブルデータ部Ｄ１０中のプリアンブルパターンとを比較して、これらが一致するか否かを判断する（ステップＳ３）。

（４）輝度変化している光源が無い場合（ステップＳ２：ＮＯ）、及びプリアンブルパターンと一致する光源が無い場合に（ステップＳ３：ＮＯ）、取得情報処理部２２１が、通信情報ではないと判断して、バッファリングしたフレームデータを破棄し、フレームデータのバッファリング（ステップＳ１）へ戻る（ステップＳ４）。
（５）プリアンブルパターンと一致する光源がある場合に（ステップＳ３：ＹＥＳ）、取得情報処理部２２１が、一致すると判断された輝度変化をしている光源が、表示用のデータを含む通信情報を発信する光源であると特定し、画像解析に用いるための画像情報を抽出する。また、画像情報処理部２２２が、ここで抽出された画像情報に対して表示用の調整を施す（ステップＳ５）。
（６）取得情報処理部２２１が、ジャイロや方位磁石等を用いて撮像方向と撮像角度とを取得する（ステップＳ６）。

（７）ステップＳ６で取得した撮像方向と撮像角度とを、輝度変化をしている光源を含む光源領域を示す領域情報と共に格納する（ステップＳ７）。
ステップＳ８〜ステップＳ１１は、信号復元処理の手順である。
（８）通信情報処理部２２３が、ステップＳ７において格納された領域情報が示す光源領域から、図２に示した管理情報格納部Ｄ２１のビット数に相当する複数のフレームデータを順次取得する（ステップＳ８）。
（９）ステップＳ８において取得した複数のフレームデータに基づいて、優先度の個数、及び各優先度情報のレングス等の優先度情報の管理情報を復元する（ステップＳ９）。

（１０）ステップＳ９において復元した優先度情報の管理情報に基づいて、図２に示した第１優先度情報格納部Ｄ２２、第２優先度情報格納部Ｄ２３、及び第３優先度情報格納部Ｄ２４等の各優先度情報格納部のビット数に相当する複数のフレームデータを順次取得する（ステップＳ１０）。
（１１）ステップＳ１０において取得した複数のフレームデータに基づいて、各優先度情報（優先度別の表示用のデータ）を復元して格納する（ステップＳ１１）。
ステップＳ１２〜ステップＳ１５は、優先度の割当処理の手順である。
（１２）ステップＳ８〜ステップＳ１１における、管理情報格納部Ｄ２１、第１優先度情報格納部Ｄ２２、第２優先度情報格納部Ｄ２３、及び第３優先度情報格納部Ｄ２４等の復元処理の実施中におけるエラー率、及び、直前のエラー率との差分に相当する変動振幅を算出して格納する（ステップＳ１２）。

（１３）エラー情報処理部２２４が、ステップＳ１２において算出したエラー率と変動振幅とを用いて、エラー率の平均値とエラー率の変動振幅の平均値を算出する（ステップＳ１３）。詳しくは、図４に示す当ステップＳ１３の詳細な手順において説明する。
（１４）輝度情報処理部２２５が、ステップＳ１〜ステップＳ１１において取得したフレームデータに基づいて、光源領域毎の輝度を用いて、輝度の平均値を算出する（ステップＳ１４）。詳しくは、図５に示す当ステップＳ１４の詳細な手順において説明する。
（１５）優先度算出部２３１が、ステップＳ１３、ステップＳ１４において算出されたエラー率の平均値、エラー率の変動振幅の平均値、及び輝度の平均値を用いて、各光源領域に優先度を割当てる（ステップＳ１５）。詳しくは、図６に示す当ステップＳ１５の詳細な手順において説明する。

ステップＳ１６〜ステップＳ１８は、重畳処理の手順である。
（１６）表示用情報生成部２３２が、ステップＳ１１において生成した光源領域毎の通信情報に含まれる表示用の情報に基づいて、ステップＳ１５において割当てた光源領域毎の優先度に応じて、重畳用の情報とその表示態様とを決定する（ステップＳ１６）。
（１７）画像重畳部２３３が、ステップＳ５において画像情報処理を施された画像情報に、ステップＳ１６により決定された重畳用の情報を、決定された表示態様で重畳する（ステップＳ１７）。
（１８）ステップＳ１７において情報を重畳した画像情報を表示デバイス３００へ向けて出力して、画像を表示させる（ステップＳ１８）。

図４は、図３中のステップＳ１３における、エラー率の平均値とエラー率の変動振幅の平均値を算出する処理の詳細な手順を示す図である。
（１）エラー情報処理部２２４が、光源領域毎に算出された単位時間当たりのエラー率Ｅを取得する（ステップＳ２１）。
（２）任意の時間Ｔにおけるエラー率の平均値Ｅａを算出する（ステップＳ２２）。例えば過去１秒間のエラー率をＥｏとする。
（３）エラー情報処理部２２４は、光源領域毎に算出された単位時間当たりのエラー率の変動振幅Ａを取得する（ステップＳ２３）。
（４）任意の時間Ｔにおける変動振幅の平均値Ａａを算出する（ステップＳ２４）。例えば過去１秒間のエラー率の変動振幅をＡｏとする。

図５は、図３中のステップＳ１４における、輝度の平均値を算出する処理の詳細な手順を示す図である。
（１）輝度情報処理部２２５が、光源領域毎に格納されている輝度Ｌを取得する（ステップＳ３１）。
（２）ノイズリダクション処理を行う（ステップＳ３２）。
（３）任意の時間Ｔにおける輝度の平均値Ｌａを算出する（ステップＳ３３）。例えば、過去１秒間の輝度をＬｏとする。
ここで行うノイズリダクション処理は、例えば、外乱の影響を減らすため、情報表示装置２００の受信感度能力の最小値及び最大値（Ｌｍｉｎ、Ｌｍａｘ）から、それぞれ数％（例えば５％）分を除いた任意の第２の最小値及び第２の最大値（Ｌｍｉｎ２＝Ｌｍｉｎ×１．０５、Ｌｍａｘ２＝Ｌｍａｘ×０．９５）を求め、第２の最小値から第２の最大値までの間にある輝度のみを用いて輝度の平均値Ｌａを算出することにより光源領域のノイズを軽減するものである。なお、ここで説明したノイズリダクション処理は一例であり、他のノイズリダクション処理であってもよいし、またノイズリダクションを行わなくてもよい。

図６は、図３中のステップＳ１５における、各光源領域に優先度の割当を行う処理の詳細な手順を示す図である。
（１）優先度算出部２３１が、図３のステップＳ９において復元した優先度の個数に基づいて、各光源領域において設定すべき優先度の個数を取得する（ステップＳ４１）。
（２）さらに優先度算出部２３１が、予め定めた所定の輝度に相当する閾値Ｔｌに基づいて、光源領域毎に算出された輝度の平均値Ｌａから、各々の光源領域について、視認性が高いのか（Ｌａ≧Ｔｌ）、視認性が低いのか（Ｌａ＜Ｔｌ）を判断する（ステップＳ４２）。ここでは、予め定めた所定の輝度を、情報表示装置２００における受信可能な輝度の最小値の１．５倍とする。
（３）ステップＳ４２において、優先度算出部２３１が、視認性が高いと判断した光源領域において、さらにエラー率の平均値Ｅａとエラー率の変動振幅の平均値Ａａから、それぞれに設定した閾値Ｔｅと閾値Ｔａに基づいて、通信が安定しているのか（Ｅａ≦ＴｅかつＡａ≦Ｔａ）、通信が不安定なのか（Ｅａ＞ＴｅまたはＡａ＞Ｔａ）を判断する（ステップＳ４３）。ここでは、エラー率の閾値Ｔｅを５０％とし、エラー率の変動振幅の閾値Ｔａを２０％とする。

（４）優先度算出部２３１が、視認性が高く、通信が安定していると判断した光源領域に、仮優先度１を付与する（ステップＳ４４）。
（５）優先度算出部２３１が、視認性が高く、通信が不安定と判断した光源領域に、仮優先度２を付与する（ステップＳ４５）。
（６）優先度算出部２３１が、視認性が低いと判断した光源領域に、仮優先度３を付与
する（ステップＳ４６）。

（７）優先度算出部２３１が、ステップＳ４１において取得した設定すべき優先度の個数に応じて、光源領域毎に優先度を決定する。
例えば、ある光源領域において、設定すべき優先度の個数が３個の場合には、ステップＳ４４〜ステップＳ４６において付与した仮優先度の個数と合致するので、仮優先度がそのまま優先度となる。また設定すべき優先度の個数が優先度高、優先度低の２つの場合のように、設定すべき優先度の個数が仮優先度の個数よりも少ない場合には、例えば仮優先度１のときに優先度高とし、仮優先度２、仮優先度３のときに優先度低とするなどして、１つの優先度に複数の仮優先度を対応付ける。また設定すべき優先度の個数が６個の場合のように、設定すべき優先度の個数が仮優先度の個数よりも多い場合には、例えば仮優先度１のときに優先度１とし、仮優先度２のときに優先度３とし、仮優先度３のときに優先度５とするなどして、仮優先度を飛び飛びの優先度に対応付ける。
なお、ここでは、仮優先度を３つに分類しているが、分類は２つ以上であればよい。例えば、ステップＳ４２やステップＳ４３におけるそれぞれの閾値を段階的に設定して、さらに条件を細かくすることによって、仮優先度の分類を増やすことができる。

＜使用例＞
図７は、本実施形態の利用時における情報発信源１００と情報表示装置２００及び表示デバイス３００との位置関係の一例を示す図である。
図７において、情報表示装置２００及び表示デバイス３００を構えている操作者１０の立ち位置を基準にして、近距離Ａ（例えば、３ｍ）、近距離Ｂ（例えば５ｍ）、遠距離Ｃ（例えば１００ｍ）、遠距離Ｄ（例えば１５０ｍ）のそれぞれの位置に、合計４つの情報発信源１００が存在している。ここで、近距離Ａには、情報発信源１００の点光源が設置されている標識１１が存在し、近距離Ｂのビル１５の屋上に情報発信源１００の面光源が設置されている看板１２が存在し、遠距離Ｃのビル１６の屋上に情報発信源１００の面光源が設置されている看板１３が存在し、遠距離Ｄのビル１７の最上階辺りに情報発信源１００の点光源が設置されている看板１４が存在している。また、標識１１と情報表示装置２００及び表示デバイス３００を構えている操作者１０との間には複数の往来者２０が存在し、操作者１０から標識１１の方向へと移動している。

図８〜１１は、本実施形態の利用時における表示デバイス３００に表示された画像の一例を示す図である。ここで図８、図９、図１０、図１１の順に時間が経過しているものとする。
図８において、表示デバイス３００に、図７に示した各被写体が表示されており、標識１１の手前には往来者２０が写っている。また、各光源から吹き出し２１〜２４が出され、それぞれの吹き出しの中に、各光源から取得した情報が記載されている。ここで看板１３と看板１４とは遠距離にあるので、従来技術の特許文献２の手法等により、吹き出し２３、２４に記載される情報が制限され、「牛丼○○屋」、「××マンション」のように概要のみが表示され、吹き出し２３、２４自体もそれなりの小さなものになっている。また、標識１１は比較的近距離にあるが、往来者２０が障害となって点光源が見え隠れするため受信状態が悪く、本実施形態特有の構成により、標識１１の点光源から出ている吹き出し２１には「△△交差点」のように概要のみが表示され、吹き出し２１自体もそれなりの小さなものになっている。また、看板１２は比較的近距離にあり、これといった障害物もないので、看板１２から出ている吹き出し２２には、「□□食堂、営業時間・・・、本日のおすすめ・・・」のように詳細な情報まで表示され、吹き出し２２自体もそれなりの大きなものになっている。

図９において、吹き出し２２、２３、２４に記載される情報は、図８と同じであるが、往来者２０が標識１１の点光源を完全に隠してしまっているので、吹き出し２１が表示されていない。
図１０において、往来者２０の隙間から標識１１の点光源が、受信状態が悪いながらも見えるので、図９と同様に小さな吹き出しに概要のみが表示されている。
図１１においては、往来者２０が、標識１１の点光源と情報表示装置２００を構えている操作者１０との間から外れたので、受信状態が回復し、標識１１の点光源から出ている吹き出し２５には「△△交差点、信号待ち５０秒、↑市街地、←××駅、バイパス→、混雑状況・・・、規制時間・・・、」のように詳細な情報まで表示され、吹き出し２２自体もそれなりの大きなものになっている。

以上のように、往来物などで情報発信源１００からの情報が途切れ、ちらちらと表示、非表示を繰り返すような場合においては、詳細な情報まで表示をせず、概要のみを表示して存在感を小さくすることにより、可読性の向上を図っている。
なお、上記の具体例では、通信状態の安定の度合いに応じて画像に重畳させる情報の量を制限することによって表示様態を変更し、存在感を弱くしているが、表示様態を変更する方法は、情報の量を制限するだけではない。例えば、文字やマーク等の色やサイズ、吹き出し等の背景の色やサイズ、枠吹き出しの重なりの順番、線の色や太さ、表示する情報や吹き出し等の透過具合等を変えることによって表示様態を変更し、存在感を弱くしてもよい。

また、情報発信源が瞬間的に遮蔽されたときやちらちらと見えるときに、すぐに非表示とすることなく継続的に表示し続けてもよいし、通信状態が安定するまで非表示にしてもよい。
また、視認性の高い光源から発せられる情報であるほど、基本的に利用者に対して提示すべき情報であると考えられるので、視認性の高い情報であるほど目立つように表示するよう、表示様態を変更するとよい。

＜まとめ＞
第１の実施形態の情報表示システム１によれば、光空間伝送による情報伝送を利用して撮像した画像に情報を重畳して表示する際に、情報表示装置２００を操作する操作者から見た情報発信源１００の視認性を考慮し、往来者などによって瞬間的に遮断されてちらちらと見え隠れするような、受信状態が不安定な情報発信源１００が混在するような場合に、このような情報発信源による情報を目立たないようにして存在感を弱くすることができるので、受信状態の不安定さにより存在感を弱くして表示した情報がちらちらと表示と非表示とを繰り返して見え隠れしたとしても、著しく可読性が低下するようなことが無くなり、可読性を大きく向上させることができる。
また、視認性の悪い情報発信源１００に関する情報を、撮影した画像に重畳して表示する際に、目立たないように表示することにより、撮影した画像上の情報発信源１００の写り具合に応じて、対応する情報を相応の表示形態で重畳することができるので、調和の取れた違和感の少ない画像を提供することができる。

［第１の変形例］
第１の変形例は、同じ情報を発信する複数の光源群の中の、一部の光源が見え隠れするような場合に、視認性が悪いと判断して、目立たないように情報を画像に重畳するものである。
図１２は、各々が同じ情報を発信する複数個の光源を備える看板３０と、看板の前を通過する自動車３１とを示す図である。
図１２に示す看板３０には、全体に所定の間隔で満遍なく、マトリックス状に発信用光源１３０が分布しており、そのほぼ下半分が、次々と通過する自動車によって見え隠れしている。
このような看板３０は、操作者から見ると、全体が見えている看板に比べて、視認性が悪いと言える。
しかしながら、ほぼ上半分の発信用光源１３０は見え隠れしているわけではないので、何か手当てをしなければ、全体が見えている視認性が良い看板と同様の表示様態になってしまうので、好ましくない。

＜構成＞
図１３は、本発明に係る第１の変形例における情報表示システム２の機能構成の概要を示す図である。
図１３に示す情報表示システム２は、情報発信源４００、情報表示装置５００、及び表示デバイス３００から構成されている。ここで、情報表示システム２は、情報発信源１００を含んでいてもよい。
なお、図１の情報表示システム１と同様の構成には同一番号を付し、その説明を省略する。

情報発信源４００は、図１３に示した看板３０のように、各々が同じ情報を発信する複数個の光源を備えており、図１の発信用光源１３０を複数含む。
情報表示装置５００は、図１の情報表示装置２００と較べて、情報処理部２２０の代わりに情報処理部５２０を、表示制御部２３０の代わりに表示制御部５３０を備え、情報処理部５２０は、情報処理部２２０に同等光源個数制御部５２１を追加した構成であり、表示制御部５３０は表示制御部２３０と較べて、表示用情報生成部２３２の変わりに表示用情報生成部５３１を備える構成であり、その他の構成は情報表示装置２００と同様である。

同等光源個数制御部５２１は、通信情報処理部２２３により生成された光源領域毎の通信情報に基づいて、各光源領域の通信情報間の比較を行うことにより、撮像部２１０により撮像された画像中に同じ内容の情報を出力する光源が複数あると認められる場合に、これらを１つの光源群として登録する。詳しくは、同等光源個数制御部５２１は、通信情報処理部２２３により生成された光源領域毎の通信情報に含まれるプリアンブルデータを、他の光源領域の通信情報に含まれるプリアンブルデータと比較して、一致している場合に同じ内容の情報を出力する光源であると判断する。

さらに、同等光源個数制御部５２１は、優先度算出部２３１により安定度情報に基づいて算出された光源領域毎の優先度のうち、光源群として登録された複数の光源領域の優先度を総合的に判断して、光源群の優先度を算出する。詳しくは、例えば通信情報を抽出する際に、抽出に失敗した光源の個数に基づいて、光源群のエラー発生率を算出し、エラー発生率が規定値より高いか否かを判断して、高いと判断された光源群を通信状態が安定していないと判断し、通信状態が安定していると判断された場合よりも優先度を低くする。なお例えば、光源群として登録された複数の光源領域の優先度を平均化する、最大値を採用する、最小値を採用する等により光源群の優先度を算出することもできる。

表示用情報生成部５３１は、通信情報処理部２２３により生成された光源領域毎の通信情報に含まれる表示用の情報に基づいて、優先度算出部２３１により安定度情報に基づいて算出された光源領域毎の優先度と、同等光源個数制御部５２１により算出された光源群毎の優先度とに応じて、重畳用の情報とその表示態様とを決定し、これを画像重畳部２３３に向けて出力する。

さらに表示用情報生成部５３１は、光源群において、抽出に失敗した確率が規定値よりも低い光源の位置のみに基づいて、撮像部２１０により撮像された画像中の、表示用の情報を重畳する位置を決定することにより、見え隠れしていない視認性が良い部分に表示用の情報を重畳することにより、利用者の可視性を向上させることもできる。

＜まとめ＞
第１の変形例の情報表示システム２によれば、同じ情報を発信する複数の光源を光源群として分類し、各光源で算出された優先度を総合的に判断することにより、複数の光源を有する看板の可視性に応じた表示様態が可能となる。

［第２の実施形態］
＜概要＞
第２の実施形態は、第１の実施形態と同様に、光空間伝送による情報伝送を利用して撮像した画像に情報を重畳して表示するシステムにおいて、光源毎の通信状態の安定の度合いに応じて情報を重畳する際の態様を変えるものである。詳細には、通信状態が安定していない光源の情報を保存し継続して表示させるか、あるいは、通信状態が安定していない光源の情報を破棄することにより可読性を向上させる。

＜構成＞
図１４は、本発明に係る第２の実施形態の情報表示システム３の機能構成の概要を示す図である。
図１４に示す情報表示システム３は、情報発信源６００、情報表示装置７００、及び表示デバイス８００から構成されている。
情報発信源６００は、図１の情報表示システム１における情報発信源１００と同様に、店頭に並べられた商品の陳列棚や市中の広告看板などに併設された据え置き型の電子機器であり、表示用の情報を発信する機能を有し、通信データ生成部６１０、変調器６２０、及び発信用光源６３０を含む。

情報表示装置７００は、図１の情報表示システム１における情報表示装置２００と同様に、例えば、デジタルカメラやカメラ付き携帯電話などの撮像機能を備えた携帯電子機器であり、光無線通信で表示用の情報を得て、撮影した映像に表示用の情報を重畳して表示させる機能を有し、撮像部７１０、情報処理部７２０、表示制御部７３０を備える。
表示デバイス８００は、図１の情報表示システム１における表示デバイス３００と同様に、液晶モニタ等の画像表示装置である。

通信データ生成部６１０は、情報表示装置７００において表示させるべき、表示用の情報を生成する。
変調器６２０は、通信データ生成部６１０により生成された表示用の情報を電気信号に変換する。
発信用光源６３０は、ＬＥＤや蛍光灯などの、ある程度以上の比較的強度のある光を発信できるデバイスであり、変調器６２０により変換された電気信号を用いて、情報表示装置７００へ向けて、光の強弱により表示用の情報を含む通信情報を発信する。

図１５は、情報発信源６００から情報表示装置７００へ向けて光の強弱により発信される、通信情報のデータフォーマットの一例を示す図である。ここで図中の“→”は時間Ｔの進行方向を表している。
図１５に示すように、通信情報のデータフォーマットは、プリアンブルデータ部Ｄ３０（図中「プリアンブル」と記載、ここでは６ｂｉｔ）と、フレームタイプ部Ｄ４０（図中「Ｆ−ＴＹＰＥ」と記載、ここでは８ｂｉｔ）と、ペイロード部Ｄ５０（図中「ＰＡＹＬＯＡＤ」と記載、ここでは５１２ｂｉｔ）と、チェック用データ部Ｄ６０（図中「ＣＲＣ」と記載、ここでは１６ｂｉｔ）とにより構成され、このような通信フレームがいくつか集まって、情報発信源６００から繰り返し巡回的に出力される。

プリアンブルデータ部Ｄ３０に格納されるデータは、情報表示装置７００において、表示用の情報を含む通信情報であることを認識するために用いる固定のデータであるプリアンブルパターンを含んでいる。
フレームタイプ部Ｄ４０に格納されるデータは、ペイロード部Ｄ５０にどういうタイプの情報が格納されているかを示す識別のための情報であり、例えば、文字情報であるか、画像情報であるか等を示す情報であったり、圧縮の形式や符号化の種類を示す情報であって、このような情報から、ペイロード部Ｄ５０に格納されたデータを適正に再生することができるアプリケーションソフトを特定することができる。

ペイロード部Ｄ５０のデータフォーマットは、フラグ部Ｄ５１（図中「ＦＬＡＧ」と記載、ここでは８ｂｉｔ）と、長さ部Ｄ５２（図中「ＭＬ」と記載、ここでは１６ｂｉｔ）と、メッセージタイプ部Ｄ５３（図中「Ｍ−ＴＹＰＥ」と記載、ここでは８ｂｉｔ）と、メッセージ部Ｄ５４（図中「Ｍｅｓｓａｇｅ」と記載、ここでは可変長）と、チェック用データ部Ｄ５５（図中「ＣＲＣ」と記載、ここでは１６ｂｉｔ）とにより構成される。
フラグ部Ｄ５１に格納されるデータは、複数の通信フレームに分けて情報を送信するにあたり、先頭のメッセージであるか否かを示す。
長さ部Ｄ５２に格納されるデータは、メッセージタイプ部Ｄ５３とメッセージ部Ｄ５４との合計の長さを示す。

メッセージタイプ部Ｄ５３に格納されるデータは、メッセージ部Ｄ５４にどういうタイプの情報が格納されているかを示す情報である。
メッセージ部Ｄ５４に格納されるデータは、送受信すべき通信情報そのものであり、データ長に応じて複数に分割されて、連続する複数の通信フレームに分けて送信される。
ここで連続して受信した複数の通信フレームについて、フラグ部Ｄ５１に格納されるデータに基づいて、メッセージ部Ｄ５４に格納されるデータを受信した順に先頭から繋ぐと、通信メッセージが復元される。

チェック用データ部Ｄ５５に格納されるデータは、メッセージタイプ部Ｄ５３とメッセージ部Ｄ５４とに格納されるデータが正しく送受信されたことを確認するために設けられたチェック用データである。
チェック用データ部Ｄ６０に格納されるデータは、ペイロード部Ｄ５０に格納されるデータが正しく送受信されたことを確認するために設けられたチェック用データである。
撮像部７１０は、画像を時系列的に撮像するものであり、入力する光の結像状態を調整するレンズ７１１と、レンズ７１１を通して取得した光の強弱を電気信号に変換して光電変換情報を生成し、これを順次情報処理部７２０へ向けて出力することによって画像を撮像するイメージセンサ７１２とを含む。

情報処理部７２０は、撮像部７１０により撮像された画像の中から、時間の経過とともに輝度が所定のパターンで変化する光源領域を全て特定し、ここで特定した１又は複数の光源領域から、光源領域毎の輝度の変化に基づいて、光源領域毎に通信情報を抽出するとともに、通信情報毎に通信状態の安定の度合いを示す安定度情報（第２の実施形態では
平均エラー回数、平均状況変化回数、輝度の平均値等）を生成するものであり、取得情報処理部７２１、画像情報処理部７２２、通信情報処理部７２３、エラー情報処理部７２４、及び輝度情報処理部７２５を含む。ここで、平均エラー回数とは、直近の所定の時間間隔において通信エラーが起こり通信情報を抽出できなかった回数を示す。また平均状況変化回数とは、直近の所定の時間間隔において通信情報を抽出できる状態とできない状態とが切り替わった回数を示す。なお、平均エラー回数の代わりに、エラー率を用いてもよい。

表示制御部７３０は、情報処理部７２０により抽出された領域毎の通信情報に含まれる表示用の情報を、情報処理部７２０により生成された対応する安定度情報に基づいて定めた態様で、撮像部７１０により撮像された画像に重畳して、輝度やサイズなどを調整して外部の表示デバイス８００に表示させるものであり、設定記憶部７３１、表示用情報生成部７３２、及び画像重畳部７３３を含む。

取得情報処理部７２１は、撮像部７１０のイメージセンサ７１２により生成された光電変換情報に基づいて、画像解析に用いるための画像情報を抽出して、これを画像情報処理部７２２へ向けて出力し、また、情報発信源の光源を特定して光源毎に光源領域を設定し、ここで設定した光源領域毎に、対応する時系列的な輝度の変化を示す輝度情報を抽出して、設定した光源領域を示す領域情報と、抽出した輝度情報とを対応付けて通信情報処理部７２３へ向けて出力する。

画像情報処理部７２２は、取得情報処理部７２１により抽出された画像情報に対して、画像を画面に出力するために必要な色空間変換や画角調整などの画像情報処理を施して表示用の調整を施し、これを画像重畳部７３３へ向けて出力する。
通信情報処理部７２３は、取得情報処理部７２１により抽出された領域情報が示す光源領域毎に、取得情報処理部７２１により抽出された輝度情報が示す時系列的な輝度の変化を、‘０’と‘１’のいずれかのビットとして認識することによって通信情報を生成し、これを領域情報とともに表示用情報生成部７３２へ向けて出力する。

ここで通信情報処理部７２３は、撮像された画像中の光源領域毎の輝度の変化が可視光線通信であるか否かを判定するために用いる判定用ビット列を保存している。
例えば、撮像部７１０により時系列的に撮像された画像中に、輝度が以下のように変化している３か所の領域があるものとする。
（領域１）０１０１００１１１０００００００００１０．．．
（領域２）１０１１０１１０１１１０００００００００．．．
（領域３）１１１０１１１１１０１１１１００１０００．．．

ここで通信情報処理部７２３内に判定用ビット列“１１１０００００００００”が予め保存されているものとすると、通信情報処理部７２３による判定結果は以下のようになる。
（領域１）は先頭より７ビット目から１８ビット目までが判定用ビット列と一致するので、通信情報処理部７２３により可視光線通信の光源であると判定される。
（領域２）は先頭より８ビット目から１９ビット目までが判定用ビット列と一致するので、通信情報処理部７２３により可視光線通信の光源であると判定される。
（領域３）は判定用ビット列と一致する箇所がないので、通信情報処理部７２３により可視光線通信の光源ではないと判定され、一致する箇所が見つかるまで繰り返し判定が行われる。

また通信情報処理部７２３は、光源領域毎に通信がＯＫとなった時刻、及び通信がＮＧとなった時刻を含む通信履歴情報を管理し、通信情報の生成に際して、管理している通信履歴情報を用いて、光源領域毎に、平均エラー回数と、平均状況変化回数とを算出し、これらを領域情報とともにエラー情報処理部７２４へ向けて出力し、また輝度情報を領域情報とともに輝度情報処理部７２５へ向けて出力する。
エラー情報処理部７２４は、通信情報処理部７２３により算出された光源領域毎の平均エラー回数と平均状況変化回数とに基づいて、通信状態が安定しているか否かを判断して、これを表示用情報生成部７３２へ向けて出力する。具体的には、例えば、エラー情報処理部７２４は、平均エラー回数が規定数Ｎ以上、及び、平均状態変化回数が規定数Ｍ以上の両方の条件を満たす場合に通信状態が安定していないと判断し、どちらか一方の条件でも満たさない場合に通信状態が安定していると判断する。また、例えば、エラー情報処理部７２４は、エラー率（通信エラー回数／処理回数）が規定値Ｌ以上、及び、平均状態変化回数が規定数Ｍ以上の両方の条件を満たす場合に通信状態が安定していないと判断してもよい。

輝度情報処理部７２５は、取得情報処理部７２１により抽出された光源領域毎の輝度情報に基づいて、光源領域毎に輝度情報が示す輝度の平均値を算出し、輝度の平均値が規定された信号振幅の下限に満たない光源領域を処理対象から外す。なお輝度情報が示す輝度の平均値の算出方法については、第１の実施形態と同様である。
設定記憶部７３１は、通信状態が安定していない領域に対応する通信情報に含まれる表示用の情報を、表示デバイス８００に表示させるか、表示させないかの、いずれであるかを示す表示設定を、利用者から受け付けて記憶する。

さらに、設定記憶部７３１は、通信状態が安定している領域に対する表示用属性の設定とは別に、通信状態が安定していない領域に対する表示用属性の設定を、利用者から受け付けて記憶する。具体的には、通信状態が安定していない領域に対する表示用属性は、フォント、サイズ、文字色、文字形式（下線、太字、イタリック等）、表示背景（吹き出しの形等）、背景色、透明度等であり、通信状態が安定している領域に対する表示用属性とは異なる設定値を用いることにより、通信状態が安定していない領域を視覚によって直感的に認識できるようにすることができる。例えば通信状態が安定していない領域の場合は、通信状態が安定している領域よりも、表示用の情報を画像に重畳させる際の占有面積を実質的に少なくする。ここで占有面積を実質的に少なくするとは、具体的には、情報量を少なくする、表示する文字を小さくする、表示するマークを小さくする、吹き出しを小さくする、吹き出しの重なりの順番を後ろにする、又は透過率を高くする等を１つあるいは複数を組み合わせることにより実現される。また、占有面積を少なくする際に、表示する文字の色、表示するマークの色、又は吹き出しの色等を、比較的目立たない色、地味な色、あるいは背景色に近い色等に変えると効果的である。

なお、表示用属性の設定は必ずしも必要では無いので、表示用属性の設定を無くしてもよい。また、通信状態が安定していない領域に対する表示用属性と、通信状態が安定している領域に対する表示用属性とを同じにしてもよい。
表示用情報生成部７３２は、通信情報処理部７２３により生成された光源領域毎の通信情報に含まれる表示用の情報に基づいて、設定記憶部７３１に記憶された表示設定、及び表示用属性の設定に応じた態様で、重畳用の情報とその表示態様とを決定し、これを画像重畳部７３３に向けて出力する。

画像重畳部７３３は、画像情報処理部７２２により画像情報処理を施された画像情報に、表示用情報生成部７３２により決定された重畳用の情報を、決定された表示態様で重畳し、これを表示デバイス８００へ向けて出力して、画像を表示させる。
なお画像重畳部７３３は、光源領域毎の表示用の情報を、それぞれの光源領域の位置に関連付けて重畳してもよい。より具体的には、例えば光源領域の位置に重ねて対応する表示用の情報を重畳したり、光源領域の位置と対応する表示用の情報とを矢印付きの線等で繋いだり、あるいは光源領域の位置から吹き出しを出してその中に対応する表示用の情報を記載する。

詳細には、表示用情報生成部７３２は、安定度情報に基づいて、通信状態が安定していると判断された通信情報に含まれる表示用の情報を、撮像部７１０により撮像された画像に重畳させて、表示デバイス８００に表示させる。また表示用情報生成部７３２は、設定記憶部７３１に記憶された表示設定が表示させないことを示す場合には、安定度情報に基づいて、通信状態が安定していないと判断された通信情報を破棄する。また表示用情報生成部７３２は、設定記憶部７３１に記憶された表示設定が表示させることを示す場合には、安定度情報に基づいて、通信状態が安定していないと判断された通信情報に含まれる表示用の情報を保存し、通信状態が安定していないと判断されている間は継続して、保存した表示用の情報を、撮像部７１０により撮像された画像に重畳させて、表示デバイス８００に表示させる。
なお、表示設定を無くして、通信状態が安定していない領域に対応する通信情報に含まれる表示用の情報を、表示デバイス８００に表示させるか、表示させないかのどちらか一方を常に有効にしてもよい。

＜動作＞
図１６は、第２の実施形態における、光源領域検出処理から、信号検証処理、及び、重畳処理までの一連の手順を示す図である。

ステップＳ５１〜ステップＳ５７は、光源領域検出処理の手順である。
（１）取得情報処理部７２１が、イメージセンサ７１２により撮像された画像のイメージをフレームデータとして、プリアンブルデータ部Ｄ３０のビット数に相当する複数のフレームデータをバッファリングする（ステップＳ５１）。
（２）ステップＳ５１においてバッファリングした複数のフレームデータにおいて、輝度変化している光源が有るか否かを判断する（ステップＳ５２）。
（３）輝度変化している光源が有る場合に（ステップＳ５２：ＹＥＳ）、取得情報処理部７２１が、バッファリングしたフレームデータとプリアンブルデータ部Ｄ３０中のプリアンブルパターンとを比較して、これらが一致するか否かを判断する（ステップＳ５３）。

（４）輝度変化している光源が無い場合（ステップＳ５２：ＮＯ）、及びプリアンブルパターンと一致する光源が無い場合は（ステップＳ５３：ＮＯ）、取得情報処理部７２１が、輝度変化をしている全ての光源が通信情報ではないと判断して、通信状態の安定の度合いが低いちらつき光源に対する処理（ステップＳ６５）へ行く（ステップＳ５４）。
（５）プリアンブルパターンと一致する光源がある場合に（ステップＳ５３：ＹＥＳ）、取得情報処理部７２１が、一致すると判断された輝度変化をしている光源が、表示用のデータを含む通信情報を発信する光源であると特定し、画像解析に用いるための画像情報
を抽出する。また、画像情報処理部７２２が、ここで抽出された画像情報に対して表示用の調整を施す（ステップＳ５５）。
（６）取得情報処理部７２１が、ジャイロや方位磁石等を用いて撮像方向と撮像角度とを取得する（ステップＳ５６）。

（７）ステップＳ５６で取得した撮像方向と撮像角度とを、輝度変化をしている光源を含む光源領域を示す領域情報と共に格納する（ステップＳ５７）。
ステップＳ５８〜ステップＳ６４は、信号検証処理の手順である。
（８）通信情報処理部７２３が、ステップＳ５７において格納された領域情報が示す光源領域から、図１５に示したようなデータフォーマットの通信情報を受信して、光源領域毎に、１つの通信フレームのビット数に相当するビット列をバッファリングする。また、輝度情報処理部７２５が、取得情報処理部７２１により抽出された光源領域毎の輝度情報に基づいて、光源領域毎に、通信フレーム単位で、輝度情報が示す輝度の平均値を算出する。ここで、輝度の平均値が、規定された信号振幅の下限に満たない光源領域を処理対象から外す（ステップＳ５８）。
（９）処理対象から外されることなく残っている光源領域が１つでも有るか否かを判断する（ステップＳ５９）。ここで全ての光源領域が処理対象から外された場合は（ステップＳ５９：ＮＯ）、ちらつき光源に対する処理（ステップＳ６５）へ行く。

（１０）１つでも光源領域が処理対象から外されることなく残っている場合は（ステップＳ５９：ＹＥＳ）、残っている光源領域毎に、１つの通信フレームのビット数に相当するビット列を対象に１回目のＣＲＣチェックを実施する。また、通信履歴情報に、ＣＲＣチェックの結果がＮＧとなった時刻を光源領域別に追記する（ステップＳ６０）。
（１１）１つでも１回目のＣＲＣチェックの結果がＯＫの光源領域があるか否かを判断する（ステップＳ６１）。ここで全ての光源領域の１回目のＣＲＣチェックの結果がＮＧ(異常)である場合は（ステップＳ６１：ＮＯ）、ちらつき光源に対する処理（ステップＳ６５）へ行く。
（１２）１つでも１回目のＣＲＣチェックの結果がＯＫ（異常なし）である場合は（ステップＳ６１：ＹＥＳ）、残っている光源領域毎に、フラグ部Ｄ５１、及び長さ部Ｄ５２を参照して、１つの通信メッセージ分のペイロード部Ｄ５０に格納されたデータをバッファリングする。

（１３）残っている光源領域毎に、今度は１つの通信メッセージ分のペイロード部Ｄ５０に格納されていたデータを対象に２回目のＣＲＣチェックを実施する。また、通信履歴情報に、２回目のＣＲＣチェックの結果がＮＧ（異常あり）となった時間、及びＯＫとなった時刻を光源領域別に追記する。（ステップＳ６３）
（１４）１つでも２回目のＣＲＣチェックの結果がＯＫの光源領域があるか否かを判断する（ステップＳ６４）。２回目のＣＲＣチェックの結果がＯＫの光源領域がある場合（ステップＳ６４：ＮＯ）は、ステップＳ６６へ行く。
ステップＳ６５〜ステップＳ７１は、重畳処理の手順である。
（１５）全ての光源領域が処理対象から外された場合（ステップＳ５９：ＮＯ）、全ての光源領域の１回目のＣＲＣチェックの結果がＮＧである場合（ステップＳ６１、：ＮＯ）、及び全ての光源領域の２回目のＣＲＣチェックの結果がＮＧである場合（ステップＳ６４：ＮＯ）は、ちらつき光源があるか否かを判断する（ステップＳ６５）。ここで、ちらつき光源の判定方法の詳細は、まず通信履歴情報を用いて、直近の所定時間内（例えば１分）において通信エラーが起こり通信情報を抽出できなかった回数（平均エラー回数）と、直近の所定時間内（例えば５分）においてＮＧとＯＫとが入れ替わった回数（平均状態変化回数）とを計算する。続いて、例えば、ここで計算した平均エラー回数が規定数以上（例えば１０回）、かつ、平均状態変化回数が所定数以上（例えば６回）であればちらつき光源であるとし、いずれか一方が規定数未満であればちらつき光源でないと判定する。また例えば、直近の一定期間（例えば５分）におけるエラー率（通信エラー回数／処理回数）が規定値以上（例えば３０％）かつ、平均状態変化回数が所定数以上（例えば６回）であればちらつき光源であると判定することもできる。なお、ちらつき光源であるか否かの判定条件は、個々の条件を適宜組み合わせてもよい。

（１６）１つでもＣＲＣチェックの結果がＯＫの光源領域がある場合は（ステップＳ６４：ＹＥＳ）、通信状態の安定の度合いが低いちらつき光源があるか否かを判断する（ステップＳ６６）。
（１７）ちらつき光源がないと判断された場合（ステップＳ６６：ＮＯ）は、ＣＲＣチェックの結果がＯＫの光源領域について、画像情報に表示用の情報を、通常表示用に設定された表示用属性に基づく表示態様で重畳する（ステップＳ６７）。
（１８）ちらつき光源があると判断された場合（ステップＳ６６：ＹＥＳ）は、ＣＲＣチェックの結果がＯＫであって、かつ、ちらつき光源でない光源領域について、画像情報に表示用の情報を、通常表示用に設定された表示用属性に基づく表示態様で重畳し、ＣＲＣチェックの結果がＯＫであって、かつ、ちらつき光源である光源領域について、表示用の情報を保存する（ステップＳ６８）。

（１９）ちらつき光源があると判断された場合（ステップＳ６８の続き、ステップＳ６５：ＮＯ）に、設定記憶部７３１に記憶された表示設定が、“表示させる”か、“表示させない”かの、いずれであるかを判断する（ステップＳ６９）。ここで表示設定が“表示させない”である場合は、画像の表示処理（ステップＳ７１）へ行く。
（２０）表示設定が、“表示させる”である場合（ステップＳ６９：ＹＥＳ）は、ちらつき光源である光源領域について、画像情報に保存された表示用の情報を、ちらつき光源用に設定された表示用属性に基づく表示態様で重畳する（ステップＳ７０）。
（２１）ちらつき光源がないと判断された場合（ステップＳ６５：ＮＯ）、及び各重畳処理が完了した場合（ステップＳ６７の続き、ステップＳ７０の続き）は、重畳した画像情報を表示デバイス８００へ向けて出力して画像を表示させ、バッファリングした全てのデータを破棄し、フレームデータのバッファリング（ステップＳ５１）へ戻る（ステップＳ７１）。

＜まとめ＞
第２の実施形態の情報表示システム３によれば、光空間伝送による情報伝送を利用して撮像した画像に情報を重畳して表示する際に、情報表示装置７００を操作する操作者から見た情報発信源６００の視認性を考慮し、往来者などによって瞬間的に遮断されてちらちらと見え隠れするような、受信状態が不安定な情報発信源が混在するような場合に、受信状態が不安定な領域に対応する表示用の情報を保存し、保存した表示用の情報を継続して表示デバイスに表示させることや、受信状態が不安定な領域に対応する情報を破棄することができるので、表示用の情報がちらちらと見え隠れするようなことがなくなり、可読性を向上させることができる。

なお、上述の実施形態は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述の処理手順をＣＰＵに実行させることができるプログラムを、ＣＰＵに実行させることによっても実現できる。この場合、当該プログラムは、記録媒体を介して記憶装置内に格納された上で実行されてもよいし、記録媒体上から直接実行されてもよい。ここでの記録媒体は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤ、ＢＤ等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。

また、情報処理部２２０と表示制御部２３０内の各機能ブロック、情報処理部５２０と表示制御部５３０内の各機能ブロック、及び情報処理部７２０と表示制御部７３０内の各機能ブロックは、ＬＳＩ等の集積回路として実現される。また、これらの各機能ブロックは、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。またここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路、又は汎用プロセッサで実現してもよい。例えば、ＬＳＩの製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギャラブル・プロセッサー等を利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然ながら、そのような技術を用いて機能ブロックの集積化を行ってもよい。具体的にはバイオ技術の適応等が可能性として十分に考えられる。

本願の発明を含む通信システムは、Ｅｔｈｅｒｎｅｔ（登録商標）インタフェース、ＩＥＥＥ１３９４インタフェース、ＵＳＢインタフェース等の信号インタフェースを電力線通信のインタフェースに変換するアダプタの形態を取ることによって、各種のインタフェースを有するパーソナルコンピュータ、ＤＶＤレコーダ、デジタルテレビ、及びホームサーバシステム等のマルチメディア機器に接続することができる。これによって、電力線を媒体としたマルチメディアデータ等のデジタルデータを高速伝送するネットワークシステムを構築することが可能となる。この結果、従来の有線ＬＡＮのようにネットワークケーブルを新たに敷設することなく、家庭、オフィス等に既に設置されている電力線をそのままネットワーク回線として利用できるので、コスト面、設置の容易性からその利便性は大きい。

また、将来的にはパーソナルコンピュータ、ＤＶＤレコーダ、デジタルテレビ、及びホームサーバシステム等のマルチメディア機器が本発明を含む機能を内蔵することにより、マルチメディア機器の電源コードを介して機器間のデータ伝送が可能になる。この場合、アダプタやＥｔｈｅｒｎｅｔケーブル、ＩＥＥＥ１３９４ケーブル、ＵＳＢケーブルなどが不要になり、配線が簡略化される。また、ルータを介してインターネットへの接続や、無線ＬＡＮや従来の有線ケーブルのＬＡＮにハブ等を用いて接続することができるので、本発明の拡張に何らの問題も生じない。

また、電力線伝送方式では、通信データが電力線を介して流されるため、無線ＬＡＮのように電波が傍受されてデータが漏洩するという問題が生じない。よって、電力線伝送方式は、セキュリティの面からのデータ保護にも効果を有する。もちろん、電力線を流れるデータは、例えばＩＰプロトコルにおけるＩＰｓｅｃ、コンテンツ自身の暗号化、その他のＤＲＭ（Ｄｉｇｉｔａｌ Ｒｉｇｈｔｓ Ｍａｎａｇｅｍｅｎｔ）方式等で保護される。

このように、コンテンツの暗号化による著作権保護機能や本発明の効果（スループットの向上、再送増加やトラフィック変動に柔軟に対応した帯域割り当て）を含めたＱｏＳ（
Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）機能を実装することによって、電力線を用いた高品質なＡＶコンテンツの伝送が可能となる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。従って、本発明の範囲を逸脱することなく種々の改良や変形を行うことができる。

本発明の情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法は、撮影した画像を表示する機能を有するデジタルカメラ、携帯電話、ノートＰＣ等に利用可能であり、撮影した画像から情報を抽出して画像に重畳する際に、可読性を向上させることができるので、大変有用である。

１ 情報表示システム
２ 情報表示システム
３ 情報表示システム
１００ 情報発信源
１１０ 通信データ生成部
１２０ 変調器
１３０ 発信用光源
２００ 情報表示装置
２１０ 撮像部
２１１ レンズ
２１２ イメージセンサ
２２０ 情報処理部
２２１ 取得情報処理部
２２２ 画像情報処理部
２２３ 通信情報処理部
２２４ エラー情報処理部
２２５ 輝度情報処理部
２３０ 表示制御部
２３１ 優先度算出部
２３２ 表示用情報生成部
２３３ 画像重畳部
３００ 表示デバイス
４００ 情報発信源
５００ 情報表示装置
５２０ 情報処理部
５２１ 同等光源個数制御部
５３０ 表示制御部
５３１ 表示用情報生成部
６００ 情報発信源
６１０ 通信データ生成部
６２０ 変調器
６３０ 発信用光源
７００ 情報表示装置
７１０ 撮像部
７１１ レンズ
７１２ イメージセンサ
７２０ 情報処理部
７２１ 取得情報処理部
７２２ 画像情報処理部
７２３ 通信情報処理部
７２４ エラー情報処理部
７２５ 輝度情報処理部
７３０ 表示制御部
７３１ 設定記憶部
７３２ 表示用情報生成部
７３３ 画像重畳部
８００ 表示デバイス

また上記課題を解決するために、本発明の表示制御方法は、時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示方法であって、撮像ステップ、情報処理ステップ、及び表示制御ステップを含む。撮像ステップは、画像を時系列的に撮像する。情報処理ステップは、撮像ステップにより撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する。表示制御ステップは、情報処理ステップにより抽出された領域毎の通信情報に含まれる表示用の情報を、情報処理ステップにより生成された対応する安定度情報に基づいて定めた態様で、撮像ステップにより撮像された画像に重畳して、表示デバイスに表示させる。

第２優先度情報格納部Ｄ２３は、第１優先度情報格納部Ｄ２２の次の、２番目に優先度が高い表示用の情報である第２優先度情報を格納しており、第３優先度情報格納部Ｄ２４は、第２優先度情報格納部Ｄ２３の次の、３番目に優先度が高い表示用の情報である第３優先度情報を格納しており、一般に第Ｎ優先度情報格納部はＮ番目に優先度が高い表示用の情報である第Ｎ優先度情報を格納している。ここで、通信状態が安定していると判断された場合には、第１優先度情報〜第Ｎ優先度情報までの全ての情報が、優先度順に可能な限り表示される。

なお、図２における優先度情報の個数を常に「１」にして表示用の情報を常に１個の優先度情報だけにしてもよいし、最初から優先度の区別なく１つの表示用の情報を送信してもよい。
また図２における優先度情報の個数を「２」以上にした場合には、画像重畳部２３３において、例えば、通信状態が最も安定していない場合に第１優先度情報のみを画像に重畳し、通信状態が安定している場合には、優先度の高さに応じて、重畳する優先度情報の数を増やすことによって、優先度に応じて、画像に重畳する際の情報量を調整することができる。

ステップＳ１６〜ステップＳ１８は、重畳処理の手順である。
（１６）表示用情報生成部２３２が、光源領域毎の通信情報に含まれる表示用の情報に基づいて、ステップＳ１５において割当てた光源領域毎の優先度に応じて、重畳用の情報とその表示態様とを決定する（ステップＳ１６）。
（１７）画像重畳部２３３が、ステップＳ５において画像情報処理を施された画像情報に、ステップＳ１６により決定された重畳用の情報を、決定された表示態様で重畳する（ステップＳ１７）。
（１８）ステップＳ１７において情報を重畳した画像情報を表示デバイス３００へ向けて出力して、画像を表示させる（ステップＳ１８）。

（７）優先度算出部２３１が、ステップＳ４１において取得した設定すべき優先度の個数に応じて、光源領域毎に優先度を決定する（ステップＳ４７）。
例えば、ある光源領域において、設定すべき優先度の個数が３個の場合には、ステップＳ４４〜ステップＳ４６において付与した仮優先度の個数と合致するので、仮優先度がそのまま優先度となる。また設定すべき優先度の個数が優先度高、優先度低の２つの場合のように、設定すべき優先度の個数が仮優先度の個数よりも少ない場合には、例えば仮優先度１のときに優先度高とし、仮優先度２、仮優先度３のときに優先度低とするなどして、１つの優先度に複数の仮優先度を対応付ける。また設定すべき優先度の個数が６個の場合のように、設定すべき優先度の個数が仮優先度の個数よりも多い場合には、例えば仮優先度１のときに優先度１とし、仮優先度２のときに優先度３とし、仮優先度３のときに優先度５とするなどして、仮優先度を飛び飛びの優先度に対応付ける。
なお、ここでは、仮優先度を３つに分類しているが、分類は２つ以上であればよい。例えば、ステップＳ４２やステップＳ４３におけるそれぞれの閾値を段階的に設定して、さらに条件を細かくすることによって、仮優先度の分類を増やすことができる。

［第１の変形例］
第１の変形例は、同じ情報を発信する複数の光源の中の、一部の光源が見え隠れするような場合に、視認性が悪いと判断して、目立たないように情報を画像に重畳するものである。
図１２は、各々が同じ情報を発信する複数個の光源を備える看板３０と、看板の前を通過する自動車３１とを示す図である。
図１２に示す看板３０には、全体に所定の間隔で満遍なく、マトリックス状に発信用光源１３０が分布しており、そのほぼ下半分が、次々と通過する自動車によって見え隠れしている。
このような看板３０は、操作者から見ると、全体が見えている看板に比べて、視認性が悪いと言える。
しかしながら、ほぼ上半分の発信用光源１３０は見え隠れしているわけではないので、何か手当てをしなければ、全体が見えている視認性が良い看板と同様の表示様態になってしまうので、好ましくない。

ここで通信情報処理部７２３内に判定用ビット列“１１１０００００００００”が予め保存されているものとすると、通信情報処理部７２３による判定結果は以下のようになる。
（領域１）は先頭より７ビット目から１８ビット目までが判定用ビット列と一致するので、通信情報処理部７２３により可視光線通信の光源であると判定される。
（領域２）は先頭より９ビット目から２０ビット目までが判定用ビット列と一致するので、通信情報処理部７２３により可視光線通信の光源であると判定される。
（領域３）は判定用ビット列と一致する箇所がないので、通信情報処理部７２３により可視光線通信の光源ではないと判定され、一致する箇所が見つかるまで繰り返し判定が行われる。

（１０）１つでも光源領域が処理対象から外されることなく残っている場合は（ステップＳ５９：ＹＥＳ）、残っている光源領域毎に、１つの通信フレームのビット数に相当するビット列を対象に１回目のＣＲＣチェックを実施する。また、通信履歴情報に、ＣＲＣチェックの結果がＮＧとなった時刻を光源領域別に追記する（ステップＳ６０）。
（１１）１つでも１回目のＣＲＣチェックの結果がＯＫの光源領域があるか否かを判断する（ステップＳ６１）。ここで全ての光源領域の１回目のＣＲＣチェックの結果がＮＧ(異常)である場合は（ステップＳ６１：ＮＯ）、ちらつき光源に対する処理（ステップＳ６５）へ行く。
（１２）１つでも１回目のＣＲＣチェックの結果がＯＫ（異常なし）である場合は（ステップＳ６１：ＹＥＳ）、残っている光源領域毎に、フラグ部Ｄ５１、及び長さ部Ｄ５２を参照して、１つの通信メッセージ分のペイロード部Ｄ５０に格納されたデータをバッファリングする（ステップＳ６２）。

（１３）残っている光源領域毎に、今度は１つの通信メッセージ分のペイロード部Ｄ５０に格納されていたデータを対象に２回目のＣＲＣチェックを実施する。また、通信履歴情報に、２回目のＣＲＣチェックの結果がＮＧ（異常あり）となった時間、及びＯＫとなった時刻を光源領域別に追記する。（ステップＳ６３）
（１４）１つでも２回目のＣＲＣチェックの結果がＯＫの光源領域があるか否かを判断する（ステップＳ６４）。２回目のＣＲＣチェックの結果がＯＫの光源領域がある場合（ステップＳ６４：ＹＥＳ）は、ステップＳ６６へ行く。
ステップＳ６５〜ステップＳ７１は、重畳処理の手順である。
（１５）全ての光源領域が処理対象から外された場合（ステップＳ５９：ＮＯ）、全ての光源領域の１回目のＣＲＣチェックの結果がＮＧである場合（ステップＳ６１、：ＮＯ）、及び全ての光源領域の２回目のＣＲＣチェックの結果がＮＧである場合（ステップＳ６４：ＮＯ）は、ちらつき光源があるか否かを判断する（ステップＳ６５）。ここで、ちらつき光源の判定方法の詳細は、まず通信履歴情報を用いて、直近の所定時間内（例えば１分）において通信エラーが起こり通信情報を抽出できなかった回数（平均エラー回数）と、直近の所定時間内（例えば５分）においてＮＧとＯＫとが入れ替わった回数（平均状態変化回数）とを計算する。続いて、例えば、ここで計算した平均エラー回数が規定数以上（例えば１０回）、かつ、平均状態変化回数が所定数以上（例えば６回）であればちらつき光源であるとし、いずれか一方が規定数未満であればちらつき光源でないと判定する。また例えば、直近の一定期間（例えば５分）におけるエラー率（通信エラー回数／処理回数）が規定値以上（例えば３０％）かつ、平均状態変化回数が所定数以上（例えば６回）であればちらつき光源であると判定することもできる。なお、ちらつき光源であるか否かの判定条件は、個々の条件を適宜組み合わせてもよい。

（１６）１つでもＣＲＣチェックの結果がＯＫの光源領域がある場合は（ステップＳ６４：ＹＥＳ）、通信状態の安定の度合いが低いちらつき光源があるか否かを判断する（ステップＳ６６）。
（１７）ちらつき光源がないと判断された場合（ステップＳ６６：ＮＯ）は、ＣＲＣチェックの結果がＯＫの光源領域について、画像情報に表示用の情報を、表示用に設定された表示用属性に基づく表示態様で重畳する（ステップＳ６７）。
（１８）ちらつき光源があると判断された場合（ステップＳ６６：ＹＥＳ）は、ＣＲＣチェックの結果がＯＫであって、かつ、ちらつき光源でない光源領域について、画像情報に表示用の情報を、表示用に設定された表示用属性に基づく表示態様で重畳し、ＣＲＣチェックの結果がＯＫであって、かつ、ちらつき光源である光源領域について、表示用の情報を保存する（ステップＳ６８）。

（１９）ちらつき光源があると判断された場合（ステップＳ６８の続き、ステップＳ６５：ＹＥＳ）に、設定記憶部７３１に記憶された表示設定が、“表示させる”か、“表示させない”かの、いずれであるかを判断する（ステップＳ６９）。ここで表示設定が“表示させない”である場合は、画像の表示処理（ステップＳ７１）へ行く。
（２０）表示設定が、“表示させる”である場合（ステップＳ６９：ＹＥＳ）は、ちらつき光源である光源領域について、画像情報に保存された表示用の情報を、ちらつき光源用に設定された表示用属性に基づく表示態様で重畳する（ステップＳ７０）。
（２１）ちらつき光源がないと判断された場合（ステップＳ６５：ＮＯ）、及び各重畳処理が完了した場合（ステップＳ６７の続き、ステップＳ７０の続き）は、重畳した画像情報を表示デバイス８００へ向けて出力して画像を表示させ、バッファリングした全てのデータを破棄し、フレームデータのバッファリング（ステップＳ５１）へ戻る（ステップＳ７１）。

Claims (19)

1. 時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示装置であって、
   画像を時系列的に撮像する撮像部と、
   前記撮像部により撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する情報処理部と、
   前記情報処理部により抽出された領域毎の通信情報に含まれる表示用の情報を、前記情報処理部により生成された対応する安定度情報に基づいて定めた態様で、前記撮像部により撮像された画像に重畳して、前記表示デバイスに表示させる表示制御部と、を備えることを特徴とする情報表示装置。
2. 前記表示制御部は、
   通信状態が安定していない領域に対応する通信情報に含まれる表示用の情報を、前記表示デバイスに表示させるか、表示させないかの、いずれであるかを示す表示設定を、利用者から受け付けて記憶し、
   記憶された表示設定が表示させないことを示す場合には、前記安定度情報に基づいて、通信状態が安定していると判断された通信情報に含まれる表示用の情報を、前記撮像部により撮像された画像に重畳して、前記表示デバイスに表示させ、通信状態が安定していないと判断された通信情報を破棄し、
   記憶された表示設定が表示させることを示す場合には、前記安定度情報に基づいて、通信状態が安定していないと判断された通信情報に含まれる表示用の情報を保存し、通信状態が安定していないと判断されている間は継続して、保存した表示用の情報を、前記撮像部により撮像された画像に重畳して、前記表示デバイスに表示させること、を特徴とする請求項１に記載の情報表示装置。
3. 前記情報処理部は、
   前記領域毎に、直近の所定の時間間隔において、前記通信情報を抽出できなかった回数を示すエラー回数と、通信情報を抽出できる状態とできない状態とが切り替わった回数を示す状態変化回数とを計測し、当該エラー回数が規定数Ｎ以上、及び、当該状態変化回数が規定数Ｍ以上の両方の条件を満たす場合に通信状態が安定していないと判断し、どちらか一方の条件でも満たさない場合に通信状態が安定していると判断すること、を特徴とする請求項２に記載の情報表示装置。
4. 前記情報処理部は、
   前記領域毎に、直近の所定の時間間隔において、前記通信情報を抽出できなかった割合を示すエラー率と、通信情報を抽出できる状態とできない状態とが切り替わった回数を示す状態変化回数とを計測し、当該エラー率が規定値Ｌ以上、及び、当該状態変化回数が規定数Ｍ以上の両方の条件を満たす場合に通信状態が安定していないと判断し、どちらか一方の条件でも満たさない場合に通信状態が安定していると判断すること、を特徴とする請求項２に記載の情報表示装置。
5. 前記情報処理部は、
   前記領域毎に輝度の平均値を測定し、当該平均値が所定値に満たない領域を、処理対象から外すこと、を特徴とする請求項２に記載の情報表示装置。
6. 前記表示制御部は、
   前記安定度情報に基づいて、通信状態が安定していると判断された通信情報に含まれる表示用の情報を、前記撮像部により撮像された画像に重畳して、前記表示デバイスに表示させ、通信状態が安定していないと判断された通信情報を破棄すること、を特徴とする請求項１に記載の情報表示装置。
7. 前記表示制御部は、
   前記安定度情報に基づいて、通信状態が安定していないと判断された通信情報に含まれる表示用の情報を保存し、通信状態が安定していないと判断されている間は継続して、保存した表示用の情報を、前記撮像部により撮像された画像に重畳して、前記表示デバイスに表示させること、を特徴とする請求項１に記載の情報表示装置。
8. 前記表示制御部は、
   前記安定度情報に基づいて、通信状態が安定していないと判断された場合に、通信状態が安定していると判断された場合よりも、前記表示用の情報を画像に重畳させる際の占有面積を実質的に少なくすること、を特徴とする請求項１に記載の情報表示装置。
9. 前記表示制御部は、
   占有面積を実質的に少なくする際に、情報量を少なくする、表示する文字を小さくする、表示するマークを小さくする、吹き出しを小さくする、吹き出しの重なりの順番を後ろにする、又は透過率を高くすること、を特徴とする請求項８に記載の情報表示装置。
10. 前記表示制御部は、さらに、
    占有面積を実質的に少なくする際に、
    表示する文字の色を変える、表示するマークの色を変える、又は吹き出しの色を変えること、を特徴とする請求項９に記載の情報表示装置。
11. 前記情報処理部により抽出される領域毎の通信情報はそれぞれ、前記表示用の情報を複数含み、各々の表示用の情報には優先度が対応付けられており、
    前記表示制御部は、
    前記領域毎に、前記安定度情報に基づいて優先度を決定し、決定した優先度に相応する表示用の情報を前記表示デバイスに表示させること、を特徴とする請求項１に記載の情報表示装置。
12. 前記情報処理部は、
    前記通信情報を抽出する際に、前記領域毎に、輝度が規定値よりも小さい、及びエラー発生率が規定値より高い、のうち少なくとも１つに当てはまるか否かを判断して、当てはまる領域の前記安定度情報を、通信状態が安定していない旨を示すものとすること、を特徴とする請求項１に記載の情報表示装置。
13. 前記表示制御部は、
    前記領域毎の表示用の情報を、前記撮像部により撮像された画像中の、当該領域毎の画像に関連付けて重畳すること、を特徴とする請求項１に記載の情報表示装置。
14. 前記情報処理部は、
    前記撮像部により撮像された画像中に同じ内容の情報を出力する光源が複数あると認められる場合に、これらを１つの領域として処理すること、を特徴とする請求項１に記載の情報表示装置。
15. 前記情報処理部は、
    同じ内容の情報を出力する光源が複数あると認められる領域において、前記通信情報を抽出する際に、抽出に失敗した光源の個数に基づいて、エラー発生率を算出し、当該エラー発生率が規定値より高いか否かを判断して、高いと判断された領域の前記安定度情報を、通信状態が安定していない旨を示すものとすること、を特徴とする請求項１４に記載の情報表示装置。
16. 前記表示制御部は、
    同じ内容の情報を出力する光源が複数あると認められる領域において、前記通信情報を抽出する際に、抽出に失敗した確率が規定値よりも低い光源の位置のみに基づいて、前記表示用の情報を重畳する位置を決定すること、を特徴とする請求項１４に記載の情報表示装置。
17. 撮像部により時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示装置に用いられる集積回路であって、
    前記撮像部により撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する情報処理部、及び、
    前記情報処理部により抽出された領域毎の通信情報に含まれる表示用の情報を、前記情報処理部により生成された対応する安定度情報に基づいて定めた態様で、前記撮像部により撮像された画像に重畳して、前記表示デバイスに表示させる表示制御部として機能する回路を集積する。
18. 時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示装置により実行されるプログラムであって、
    前記情報表示装置に、
    画像を時系列的に撮像する撮像ステップと、
    前記撮像ステップにより撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する情報処理ステップと、
    前記情報処理ステップにより抽出された領域毎の通信情報に含まれる表示用の情報を、前記情報処理ステップにより生成された対応する安定度情報に基づいて定めた態様で、前記撮像ステップにより撮像された画像に重畳して、前記表示デバイスに表示させる表示制御ステップと、を実行させることを特徴とする表示制御プログラム。
19. 時系列的に撮像される画像に表示用の情報を重ねて、表示デバイスに表示させる情報表示方法であって、
    画像を時系列的に撮像する撮像ステップと、
    前記撮像ステップにより撮像された画像中の、時間の経過とともに輝度が変化する１又は複数の領域から、当該領域毎の輝度の変化に基づいて、当該領域毎に表示用の情報を含む通信情報を抽出するとともに、当該通信情報毎に通信状態の安定の度合いを示す安定度情報を生成する情報処理ステップと、
    前記情報処理ステップにより抽出された領域毎の通信情報に含まれる表示用の情報を、前記情報処理ステップにより生成された対応する安定度情報に基づいて定めた態様で、前記撮像ステップにより撮像された画像に重畳して、前記表示デバイスに表示させる表示制御ステップと、を含むことを特徴とする表示制御方法。

Images