JP6622828B2 - 通信方法、通信装置およびプログラム - Google Patents

通信方法、通信装置およびプログラム Download PDF

Info

Publication number
JP6622828B2
JP6622828B2 JP2018032577A JP2018032577A JP6622828B2 JP 6622828 B2 JP6622828 B2 JP 6622828B2 JP 2018032577 A JP2018032577 A JP 2018032577A JP 2018032577 A JP2018032577 A JP 2018032577A JP 6622828 B2 JP6622828 B2 JP 6622828B2
Authority
JP
Japan
Prior art keywords
information
unit
camera
light
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018032577A
Other languages
English (en)
Other versions
JP2018117368A (ja
Inventor
大嶋　光昭
光昭 大嶋
幸司 中西
幸司 中西
秀紀 青山
秀紀 青山
伸輔 緒方
伸輔 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2018117368A publication Critical patent/JP2018117368A/ja
Application granted granted Critical
Publication of JP6622828B2 publication Critical patent/JP6622828B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Communication System (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、スマートフォン、タブレット、携帯電話等の携帯端末と、エアコン、照明機器、炊飯器などの家電機器との通信方法に関する。
近年のホームネットワークでは、Ｅｔｈｅｒｎｅｔ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）接続によるＡＶ家電の連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ＯＮ／ＯＦＦといった機能を持つホームエネルギーマネジメントシステム（ＨＥＭＳ）によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。
このような問題を解決するため、特許文献１では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光の単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。
特開２００２−２９０３３５号公報
しかしながら、前記従来の方式では、適用される機器が照明のような３色光源を持つ場合に限定される。本発明は、このような課題を解決し、演算力が少ないような機器を含む多様な機器間の通信を可能とする通信方法等を提供する。
本発明の一態様に係る通信方法は、インカメラとアウトカメラとを有する端末の通信方法であって、前記アウトカメラを備える前記端末の側面と、地面とがなす角度が所定の値よりも大きい場合、前記アウトカメラを用いて、使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、第１情報を取得し、取得した前記第１情報に関連する情報を前記端末の表示部に表示し、記アウトカメラを備える前記端末の側面と、前記地面とがなす角度が所定の値よりも小さい場合、前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、第２情報を取得し、取得した前記第２情報に関連する情報を前記端末の表示部に表示する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信方法を実現できる。
図１は、実施の形態１における携帯端末の使用風景を示したイメージ図である。 図２は、実施の形態１における携帯端末の概観の一例を示す図である。 図３は、実施の形態１における携帯端末を水平に持ったときのイメージ図である。 図４は、実施の形態１における携帯端末を垂直に持ったときのイメージ図である。 図５は、実施の形態１における携帯端末が提示する店内マップの一例を示す図である。 図６は、実施の形態１における携帯端末が提示する商品ＵＩのイメージ図である。 図７は、実施の形態１における携帯端末の提示する商品ＵＩが操作されたときのイメージ図である。 図８は、実施の形態１における使用者が携帯端末を右から左に振りかざす動作を示す図である。 図９は、実施の形態１におけるウォッチ型デバイスの使用風景を示すイメージ図である。 図１０は、実施の形態１における通信システムの全体構成を示す図である。 図１１は、実施の形態１における商品情報格納部が格納する情報の構造の一例を示す図である。 図１２は、実施の形態１における携帯端末の提示する商品ＵＩのレイアウトイメージの一例を示す図である。 図１３は、実施の形態１における地図情報格納部が格納する情報の構造の一例を示す図である。 図１４は、実施の形態１における状態管理部が管理する情報の構造の一例を示す図である。 図１５は、実施の形態１における照明機器の動作を示すフローチャートである。 図１６は、実施の形態１における携帯端末の動作を示すフローチャートである。 図１７は、実施の形態１におけるシーリングライト関連処理を示すフローチャートである。 図１８は、実施の形態１におけるベースライト関連処理を示すフローチャートである。 図１９は、実施の形態１におけるＵＩ関連処理を示すフローチャートである。 図２０は、実施の形態１における地図情報向けＵＩ処理を示すフローチャートである。 図２１は、実施の形態１における商品情報向けＵＩ処理を示すフローチャートである。 図２２は、実施の形態１における表示処理全体を示すフローチャートである。 図２３は、実施の形態１における表示更新前処理を示すフローチャートである。 図２４は、実施の形態１における表示更新処理を示すフローチャートである。 図２５は、実施の形態２における受光制御部の詳細構成を示す図である。 図２６は、実施の形態２における受光制御部の照度パターン検知処理を示すフローチャートである。 図２７は、実施の形態３における受光制御部の詳細構成を示す図である。 図２８は、実施の形態３における受光制御部の照度パターン検知処理を示すフローチャートである。 図２９は、実施の形態４における視線の動きを検出する携帯端末を使用する際のイメージ図である。 図３０は、実施の形態４における携帯端末の構成の一例を示す図である。 図３１は、実施の形態４におけるサーバ問い合わせ時のフローチャートである。 図３２は、実施の形態４における棚識別子のＤＢが管理する情報の構造の一例を示す図である。 図３３は、実施の形態５における受光制御部の詳細構成を示す図である。 図３４は、実施の形態６における受光制御部の詳細構成を示す図である。 図３５は、実施の形態７における１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例を示す図である。 図３６は、実施の形態７における一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示す図である。 図３７は、実施の形態７における一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示す図である。 図３８は、実施の形態７における一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示す図である。 図３９は、実施の形態７における各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示す図である。 図４０は、実施の形態７における露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示す図である。 図４１は、実施の形態７における各露光ラインの露光時間が重なっていない場合に、露光時間が短い場合の利点を示す図である。 図４２は、実施の形態７における光源輝度の最小変化時間と、露光時間と、各露光ラインの露光開始時刻の時間差と、撮像画像との関係を示す図である。 図４３は、実施の形態７における光源輝度の遷移時間と、各露光ラインの露光開始時刻の時間差との関係を示す図である。 図４４は、実施の形態７における光源輝度の高周波ノイズと、露光時間との関係を示す図である。 図４５は、実施の形態７における光源輝度の高周波ノイズが２０マイクロ秒の場合の、露光時間と高周波ノイズの大きさとの関係を表すグラフである。 図４６は、実施の形態７における露光時間ｔＥと認識成功率との関係を示す図である。 図４７は、実施の形態７における発光部の輝度の観測方法の一例を示す図である。 図４８は、実施の形態７における受信装置の各モードの一例を示す図である。 図４９は、実施の形態８におけるサービス提供システムを示す図である。 図５０は、実施の形態８におけるサービス提供のフローチャートである。 図５１は、実施の形態８における他の例におけるサービス提供のフローチャートである。 図５２は、実施の形態８における他の例におけるサービス提供のフローチャートである。
本発明の一態様に係る通信方法は、インカメラとアウトカメラとを有する端末の通信方法であって、前記アウトカメラを備える前記端末の側面と、地面とがなす角度が所定の値よりも大きい場合、前記アウトカメラを用いて、使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、第１情報を取得し、取得した前記第１情報に関連する情報を前記端末の表示部に表示し、記アウトカメラを備える前記端末の側面と、前記地面とがなす角度が所定の値よりも小さい場合、前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、第２情報を取得し、取得した前記第２情報に関連する情報を前記端末の表示部に表示する。
本発明の一態様に係る通信方法は、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する端末の通信方法であって、前記インカメラと前記アウトカメラとを前記端末の向きに応じて切り替える切り替えステップと、前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信ステップと、を含むとしてもよい。
例えば、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する端末の通信方法であって、前記インカメラと前記アウトカメラとを所定時間ごとに切り替える切り替えステップと、前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信ステップと、を含む。
例えば、前記可視光通信ステップでは、前記端末の向きが地面に対して略垂直の場合、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている商品棚の商品情報を取得し、取得した前記商品情報を前記端末の表示部に表示し、前記可視光通信ステップでは、前記端末の向きが地面に対して略水平の場合、前記切り替えステップにおいて切り替えられた前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、前記第２機器が設置されている位置情報を取得し、取得した前記位置情報を前記使用者の現在位置として前記使用者が存在するエリアの地図情報とともに前記端末の表示部に表示する。
例えば、前記端末は、腕時計に実装され、前記インカメラは、前記腕時計の時間を表示する表示部を有する前記腕時計の前面に搭載され、前記アウトカメラは、前記腕時計の側面に搭載され、前記可視光通信ステップでは、前記腕時計の前記表示部が地面に対して略水平の場合、前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、前記第２機器が設置されている位置情報を取得し、かつ、前記アウトカメラを用いて、前記使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている商品棚の商品情報を取得し、前記使用者の選択により、取得した前記位置情報を前記使用者の現在位置として前記使用者が存在するエリアの地図情報とともに前記端末の表示部に表示し、または、取得した前記商品情報を前記端末の表示部に表示する。
例えば、前記可視光通信ステップでは、可視光を発する機器と可視光通信を行うことにより取得した前記機器に一意に与えられた識別子を、サーバに問い合わせることで、前記識別子に対応付けられた前記機器に関する情報を取得し、前記可視光通信ステップでは、さらに、前記サーバに問い合わせて前記識別子に対応付けられた情報がない場合には、前記機器に関する情報がない旨を示すエラー通知を、前記端末の表示部に表示する。
例えば、さらに、前記端末の表示部に表示した前記商品情報を変更する変更ステップを含み、前記変更ステップでは、前記使用者が前記表示部に対してフリック操作することにより、前記表示部に表示される商品情報が変更される。
例えば、さらに、前記端末の表示部に表示した前記地図情報を変更する変更ステップを含み、前記変更ステップでは、前記使用者が前記表示部に対してフリック操作することにより、前記表示部に表示される地図情報が変更される。
例えば、前記可視光通信ステップでは、前記端末の表示部に前記地図情報が表示された後、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、前記第１機器が設置されている商品棚の商品情報を取得する場合、前記地図情報に付与されたオフセットを初期化し、前記可視光通信ステップでは、前記端末の表示部に前記商品情報が表示された後、前記切り替えステップにおいて切り替えられた前記インカメラを用いて、前記位置情報を前記使用者の現在位置として取得する場合、前記商品情報に付与されたオフセットを初期化する。
例えば、さらに、前記使用者の視線を検知する視線検知ステップを含み、前記切り替えステップにおいて、前記端末の向きが地面に対して略垂直の場合、前記アウトカメラに切り替え、前記視線検知ステップにおいて、前記インカメラを用いて前記使用者の視線を検知し、前記可視光通信ステップでは、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、前記使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている第１商品棚の商品情報を取得し、前記検知ステップで検知された前記使用者の視線の先にある第２商品棚が前記第１商品棚と異なる場合には、前記第１商品棚の商品情報に代えて前記第２商品棚の商品情報を表示する。
例えば、前記端末は、複数の露光ラインを有するイメージセンサを備え、前記通信方法は、さらに、前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、１／４８０秒以下の露光時間で被写体の撮影を行うことにより画像データを取得する画像取得ステップと、前記画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより、前記被写体の識別情報を取得する可視光通信ステップと、前記被写体の識別情報に関連付けられているサービス情報を前記端末の使用者に提示するサービス提示ステップと、を含む。
例えば、前記通信方法は、さらに、依頼者から情報の配信の依頼を受け付ける処理を行う依頼受け付けステップと、前記可視光で得たデータに対応する情報として、前記依頼者より依頼された前記情報を配信する配信ステップと、前記情報の配信に応じて、前記依頼者に課金するための情報処理を行う課金ステップとを含む。
また、本発明の一態様に係る通信装置は、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する通信装置であって、前記インカメラと前記アウトカメラとを前記端末の向きに応じて切り替える切り替え部と、前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信部と、を備える。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
また、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
本実施の形態では、可視光通信の受光部切り替えを行う通信装置について説明する。
本実施の形態における通信装置は例えばスマートフォンのような携帯端末に搭載することを想定している。
以下、本実施の形態における通信装置を搭載した携帯端末を使用するときのシーンについて説明する。
図１は、実施の形態１における携帯端末の使用風景を示したイメージ図である。図２は、実施の形態１における携帯端末の概観の一例を示す図である。
使用者が使用する本通信装置は、天井に設置されたシーリングライトＡ１１０１と可視光通信することで、シーリングライトＡ１１０１の発するＩＤを受信したり、使用者の正面に設置されたベースライトＡ１１０３と可視光通信することで、ベースライトＡ１１０３の発するＩＤを受信したりする。
本通信装置は、可視光を受光する受光部（撮像部）を複数有し、上記シーリングライトＡ１１０１およびベースライトＡ１１０３のように配置位置の異なる複数の機器と可視光通信して複数のＩＤを受信するときに、複数の受光部のうち受光に最適な受光部を携帯端末の姿勢に応じて選択することに特徴がある。
本実施の形態では、本通信装置は、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する。より具体的には、例えば、図２に示すように、本通信装置が搭載される携帯端末Ａ１２０１は前面にインカメラＡ１２０２（第１撮像部）を、背面にアウトカメラＡ１２０３（第２撮像部）を、前面にタッチパネル部Ａ１２０４を備える。本通信装置は、インカメラＡ１２０２（第１撮像部）とアウトカメラＡ１２０３（第２撮像部）とを通信装置が搭載される端末（携帯端末）の向きに応じて切り替え、切り替えられたインカメラＡ１２０２（第１撮像部）またはアウトカメラＡ１２０３（第２撮像部）を用いて、可視光通信を行う。
以下、本通信装置が搭載される携帯端末の向きに応じて撮像部を切り替えて可視光通信を行うシーンについて説明する。
図３は、実施の形態１における携帯端末を水平に持ったときのイメージ図である。図４は、実施の形態１における携帯端末を垂直に持ったときのイメージ図である。
例えば図３に示すように、使用者により携帯端末Ａ１２０１の表示面が天井と向かい合うように（地面と略平行に）持たれた場合、携帯端末Ａ１２０１は自身に内蔵された加速度センサによって携帯端末Ａ１２０１が天井（地面）に対して水平であることを判定し、インカメラＡ１２０２を稼動する。このとき、電力消費を抑えるためにアウトカメラＡ１２０３の稼動を中断させるとよい。
シーリングライトＡ１１０１は点灯している状況において、特定のパターンによって点灯の光量を変更すること（発光パターン）で可視光通信を行う。例えば領域Ａ１３０１に示すように、稼動中のインカメラＡ１２０２がシーリングライトＡ１１０１の発光を検知すると、撮像することで可視光通信を行う。つまり、携帯端末Ａ１２０１は、シーリングライトＡ１１０１と可視光通信することでシーリングライトＡ１１０１の発光パターンに関連付けられたＩＤを取得し、ＩＤの種別に応じて動作（振る舞い）を変更する。
また、例えば図４に示すように、使用者により携帯端末Ａ１２０１が地面に対して垂直になるように持たれた場合、携帯端末Ａ１２０１は、自身に内蔵された加速度センサによって携帯端末Ａ１２０１が天井のシーリングライトには向けられておらず、壁や棚Ａ１１０２などに設置されたベースライトＡ１１０３に向けられているものと判定し、アウトカメラＡ１２０３を稼動する。このとき、電力消費を抑えるためにインカメラＡ１２０２の稼動を中断させるとよい。
ベースライトＡ１１０３は点灯している状況において、特定のパターンによって点灯の光量を変更すること（発光パターン）で可視光通信を行う。稼働中のアウトカメラＡ１２０３がベースライトＡ１１０３の発光を検知すると、撮像することで可視光通信を行う。つまり、携帯端末Ａ１２０１は、ベースライトＡ１１０３と可視光通信することでベースライトＡ１１０３の発光パターンに関連付けられたＩＤを取得し、ＩＤの種別に応じて振る舞いを変更する。
次に、ＩＤの種類に応じた動作（振る舞い）の例について説明する。
図５は、実施の形態１における携帯端末が提示する店内マップの一例を示す図である。
携帯端末Ａ１２０１は、図３に示すように携帯端末Ａ１２０１が天井（地面）に対して水平であると判定した場合、インカメラＡ１２０２を用いて可視光通信することで取得した発光パターンに関連付けられたＩＤをサーバに送信する。サーバは、そのＩＤに対応付けられた位置情報を検索し、携帯端末Ａ１２０１に検索した位置情報を通知する。
携帯端末Ａ１２０１は、サーバから位置情報を取得すると、取得した位置情報を使用者の現在位置として、使用者のいる位置を示すマップ（地図情報）、例えば図５に示すような店内のマップを使用者に提示する。
このようにして、携帯端末Ａ１２０１の向きが天井（地面）に対して略水平の場合、インカメラＡ１２０２を用いて、使用者の上方に位置し可視光を発するシーリングライトＡ１１０１（第２機器）と可視光通信を行うことにより、シーリングライトＡ１１０１（第２機器）が設置されている位置情報を取得する。携帯端末Ａ１２０１は、取得した当該位置情報を使用者の現在位置として使用者が存在するエリアの地図情報とともに携帯端末Ａ１２０１の表示部に表示する。
なお、携帯端末Ａ１２０１の表示部に表示された地図情報はフリック操作により変更可能である。例えば、使用者が携帯端末Ａ１２０１の表示部に対してフリック操作することにより、当該表示部に表示される地図情報のオフセット位置が変更される。
図６は、実施の形態１における携帯端末が提示する商品ＵＩのイメージ図である。図７は、実施の形態１における携帯端末の提示する商品ＵＩが操作されたるときのイメージ図である。
また、携帯端末Ａ１２０１は、図４に示すように携帯端末Ａ１２０１が地面に対して垂直になるように判定した場合、インカメラＡ１２０２を用いて可視光通信することで取得したＩＤをサーバに送信する。サーバは、そのＩＤに関連付けられた商品棚の商品種別及び在庫をデータベースから検索し、検索した商品種別及び在庫から、商品の在庫量を示す画像を生成する。ここで、サーバは例えば図６に示すように商品棚に陳列されている商品の画像に在庫の商品の画像を重畳した画像を生成する。そして、サーバは、生成された画像を携帯端末Ａ１２０１に送信する。
携帯端末Ａ１２０１は、サーバから受信した画像、即ち商品の在庫量を示す画像を表示部で提示する。
このようにして、携帯端末Ａ１２０１の向きが地面に対して略垂直の場合、アウトカメラＡ１２０３を用いて、使用者の前方に位置し可視光を発するベースライトＡ１１０３（第１機器）と可視光通信を行うことにより、ベースライトＡ１１０３（第１機器）が設置されている商品棚の商品情報を取得する。携帯端末Ａ１２０１は、取得した前記商品情報を携帯端末Ａ１２０１の表示部に表示する。
なお、携帯端末Ａ１２０１の表示部に表示された商品の在庫量を示す画像はフリック操作により変更可能である。例えば、使用者が携帯端末Ａ１２０１の表示部に対してフリック操作することにより、当該表示部に表示される商品の在庫量を示す画像のオフセットが変更されたり、表示部に表示される商品の在庫量を示す画像が変更されたりと、表示部に表示される商品情報が変更される。
また、サーバは、携帯端末Ａ１２０１に生成した画像（画像データ）を送る際、携帯端末Ａ１２０１に複数の画像（複数の画像データ）を送信するとしてもよい。例えばサーバは、例えば図７に示すように、在庫量が少ない棚の画像Ａ１７０１と在庫量が多い棚の画像Ａ１７０３とを順に送信し、携帯端末Ａ１２０１は在庫量が少ない棚の画像Ａ１７０１を表示しているとする。携帯端末Ａ１２０１は、フリック操作など使用者の画面操作にあわせて、在庫量が少ない棚の画像Ａ１７０１から、画像Ａ１７０２のようなスクロール途中経過を示す画像Ａ１７０２を経て、在庫量が多い棚の画像Ａ１７０３を順に表示する。このようにして、使用者は、より直感的で分かりやすい商品在庫の確認が可能となる。
図８は、実施の形態１における使用者が携帯端末を右から左に振りかざす動作を示す図である。
携帯端末Ａ１２０１は、上記のように、受信したＩＤによって提示内容を切り替えることができることから、例えば図８に示すように、使用者が視認した棚Ａ１８０１および棚Ａ１８０２の商品情報を切り替えることができる。つまり、使用者が携帯端末Ａ１２０１を棚Ａ１８０１から棚Ａ１８０２に向けた場合、携帯端末Ａ１２０１はベースライトＡ１８０３から受信したＩＤとベースライトＡ１８０４から受信したＩＤとをそれぞれ順に受信する。そのため、携帯端末Ａ１２０１は、ベースライトＡ１８０３から受信したＩＤとベースライトＡ１８０４から受信したＩＤとに対応する商品情報を順に表示することができる。
以上のようにして、携帯端末Ａ１２０１は、自身の姿勢に応じて選択した機器と可視光通信して取得したＩＤに対応する情報を使用者に提示することができる。
なお、本通信端末が搭載される端末としては、前面と背面にそれぞれ撮像部が配置される携帯端末Ａ１２０１に限らない、腕時計であってもよい。以下、本通信端末が搭載される端末が腕時計（腕時計型デバイス）である場合の例を、図９を用いて説明する。
図９は、実施の形態１におけるウォッチ型デバイスの使用風景を示したイメージ図である。
図９に示す腕時計型デバイスＡ１９０１は、上面部分に設置される受光部Ａ１９０２と、側面部に設置される受光部Ａ１９０３とを備える。受光部Ａ１９０２は、上記のインカメラＡ１２０２（第１撮像部）に対応し、受光部Ａ１９０３は、上記のアウトカメラＡ１２０３（第２撮像部）に対応する。
また、腕時計型デバイスＡ１９０１は、加速度センサを備えている。
腕時計型デバイスＡ１９０１は、図９に示すように例えば上面部が地面と水平な方向を向いている場合、受光部Ａ１９０２と受光部Ａ１９０３とを稼動させ、シーリングライトＡ１９０４から発せられた光を受光部Ａ１９０２によって受光し、ベースライトＡ１９０５から発せられた光を受光部Ａ１９０３によって受光する。
より具体的には、腕時計型デバイスＡ１９０１は、受光部Ａ１９０２を用いて、使用者の上方に位置し可視光を発するシーリングライトＡ１９０４（第２機器）と可視光通信を行うことにより、シーリングライトＡ１９０４（第２機器）が設置されている位置情報を取得する。また、腕時計型デバイスＡ１９０１は、受光部Ａ１９０３を用いて、使用者の前方に位置し可視光を発するベースライトＡ１９０５（第１機器）と可視光通信を行うことにより、ベースライトＡ１９０５（第１機器）が設置されている商品棚の商品情報を取得する。そして、使用者の選択により、取得した位置情報を使用者の現在位置として使用者が存在するエリアの地図情報とともに表示部に表示し、または、取得した商品情報を表示部に表示する。
なお、腕時計型デバイスＡ１９０１は、受光部Ａ１９０２と受光部Ａ１９０３とを所定時間ごとに切り替え、切り替えられた受光部Ａ１９０２または受光部Ａ１９０３を用いて、可視光通信を行うとしてもよい。
以上のようにして本通信装置を搭載した携帯端末または腕時計は使用される。
続いて、本通信装置の構成について説明する。
図１０は、実施の形態１における通信システムの全体構成を示す図である。
本実施の形態における通信システムの最小構成要素として、携帯端末Ａ１１００１と、照明機器Ａ１１００２と、照明機器Ａ１１００３と、サーバ装置Ａ１１０１５とを備える。
［照明機器Ａ１１００２の構成］
照明機器Ａ１１００２は、ＩＤ格納部Ａ１１００４と、エンコード部Ａ１１００５と、照度パターン格納部Ａ１１００６と、発光部Ａ１１００７とを備える。照明機器Ａ１１００２は、図１に示すシーリングライトＡ１１０１や図９に示すシーリングライトＡ１９０４など第２機器に対応する。
ＩＤ格納部Ａ１１００４は、メモリ領域であり、例えばＭＡＣアドレスのような、個体を一意に決定可能な識別子がそれぞれ予め書き込まれているものである。
エンコード部Ａ１１００５は、照明機器Ａ１１００２に電力が供給されると、ＩＤ格納部Ａ１１００４からＩＤを読み込み、当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し、当照度パターンを照度パターン格納部Ａ１１００６に格納する。
発光部Ａ１１００７は、上記の起動フェーズが完了すると、照度パターン格納部Ａ１１００６で示されるパターンに基づき、照度を高速に更新しながら発光制御を行う。これにより、照明機器Ａ１１００２はＩＤに基づいた照度制御（可視光通信）を行う。
［照明機器Ａ１１００３の構成］
同様に、照明機器Ａ１１００３は、ＩＤ格納部Ａ１１００８と、エンコード部Ａ１１００９と、照度パターン格納部Ａ１１０１０と、発光部Ａ１１０１１とを備える。照明機器Ａ１１００３は、図１に示すベースライトＡ１１０３や図９に示すベースライトＡ１９０５などの第１機器に対応する。
ＩＤ格納部Ａ１１００８は、メモリ領域であり、例えばＭＡＣアドレスのような、個体を一意に決定可能な識別子がそれぞれ予め書き込まれているものである。
エンコード部Ａ１１００９は、照明機器Ａ１１００３に電力が供給されると、ＩＤ格納部Ａ１１００８からＩＤを読み込み、当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し、当照度パターンを照度パターン格納部Ａ１１０１０に格納する。
発光部Ａ１１０１１は、上記の起動フェーズが完了すると、照度パターン格納部Ａ１１０１０で示されるパターンに基づき、照度を高速に更新しながら発光制御を行う。これにより、照明機器Ａ１１００３はＩＤに基づいた照度制御を行う（可視光通信）。
［携帯端末Ａ１１００１の構成］
続いて、携帯端末Ａ１１００１の構成について説明する。
また、携帯端末Ａ１１００１は、受光制御部Ａ１１０１２と、ＩＤ格納部Ａ１１０１３と、ＤＢ管理部Ａ１１０１４と、商品情報格納部Ａ１１０１６と、地図情報格納部Ａ１１０１７と、表示部Ａ１１０１８と、状態管理部Ａ１１０１９と、ＵＩ部Ａ１１０２０とを備える。携帯端末Ａ１１００１は、図２に示す携帯端末Ａ１２０１や図９に示す腕時計型デバイスなどの端末に対応する。
［受光制御部Ａ１１０１２］
受光制御部Ａ１１０１２は、発光部Ａ１１００７及び発光部Ａ１１０１１の照度パターンを検知すると、検知したパターンをＩＤに変換し、ＩＤ格納部Ａ１１０１３へ格納する。本実施の形態の場合、発光部Ａ１１００７又は発光部Ａ１１０１１の照度パターンを検知したものであるから、ＩＤ格納部Ａ１１０１３に格納されるＩＤはＩＤ格納部Ａ１１００４またはＩＤ格納部Ａ１１００８のいずれかに格納されているＩＤと等しくなる。
［商品情報格納部Ａ１１０１６］
続いて、商品情報格納部Ａ１１０１６について説明する。
図１１は、実施の形態１における商品情報格納部が格納する情報の構造の一例を示す図である。図１２は、実施の形態１における携帯端末の提示する商品ＵＩのレイアウトイメージの一例を示す図である。
商品情報格納部Ａ１１０１６は、例えば図１１に示すように、有効フラグＡ１１１０１と、棚外観Ａ１１１０２と、棚内観Ａ１１１０３と、商品種別情報Ａ１１１０４と、商品在庫情報Ａ１１１０５とを含む情報を格納する。
有効フラグＡ１１１０１は、商品在庫情報をレンダリングするか否かを示したものであり、ＴＲＵＥ又はＦＡＬＳＥのいずれかの値をとる。この値がＴＲＵＥの時に、商品在庫情報のレンダリング処理が表示部Ａ１１０１８によって行われる。
棚外観Ａ１１１０２は、描画する棚の外観を示したものであり、棚の実寸による高さ・幅が格納される。これらの実寸情報に基づいて、棚が画面内に治まるように表示部Ａ１１０１８はレンダリング処理を行う。例えば、表示部Ａ１１０１８は、図１２のようなレイアウトで棚の外枠をレンダリングする。
棚内観Ａ１１１０３は、棚の数と、棚全体に対する各棚の高さ割合とを示したものである。表示部Ａ１１０１８は、これらの情報に基づいて、図１２に示すような間隔で棚の内板をレンダリングする。
商品種別情報Ａ１１１０４は、商品のバリエーション数と各商品の画像データ本体とについての情報を格納する。例えば、サーバ装置Ａ１１０１５から受信する画像データのフォーマットをＰＮＧデータとした場合、商品種別情報Ａ１１１０４に対応する商品種画像データにはＰＮＧデータそのものが配置される。そして、表示部Ａ１１０１８はレンダリング直前にＰＮＧデータを図示しないキャッシュ領域に展開し、本キャッシュ領域の内容をレンダリングし、商品の画像を使用者に提示する。
商品在庫情報Ａ１１１０５は、商品の在庫数及びその在庫をレンダリングすべき商品の種別、座標の情報を格納する。図１１における座標の情報のうちｘ座標は「商品棚の左から何番目か」、ｙ座標は「商品棚のうち上から何番目の棚か」、ｚ座標は「奥へと並ぶ棚のうち、手前から何番目の棚か」をそれぞれ示す。表示部Ａ１１０１８は、これらの座標情報と整合するような座標に、商品種別番号で示される商品画像をレンダリング処理を行う。
［地図情報格納部Ａ１１０１７］
続いて、地図情報格納部Ａ１１０１７について説明する。
図１３は、実施の形態１における地図情報格納部Ａ１１０１７が格納する情報の構造の一例を示す図である。
地図情報格納部Ａ１１０１７は、例えば図１３に示すように、有効フラグＡ１１３０１と、地図画像のデータ長Ａ１１３０２と、地図画像Ａ１１３０３とを含む情報を格納する。
有効フラグＡ１１３０１は、地図情報をレンダリングするか否かを示したものであり、ＴＲＵＥ又はＦＡＬＳＥのいずれかの値をとる。この値がＴＲＵＥの時に、地図情報のレンダリング処理が表示部Ａ１１０１８によって行われる。
地図画像Ａ１１３０３は、地図の画像データ本体の情報を格納する。例えば、サーバ装置Ａ１１０１５から受信する画像データのフォーマットをＰＮＧデータとした場合、地図画像Ａ１１３０３にはＰＮＧデータそのものが格納される。
地図画像のデータ長Ａ１１３０２は、地図画像Ａ１１３０３のデータ長を示す。例えば、サーバ装置Ａ１１０１５から受信する画像データのフォーマットをＰＮＧデータとした場合、表示部Ａ１１０１８はレンダリング直前にＰＮＧデータを図示しないキャッシュ領域に展開し、本キャッシュ領域の内容をレンダリングし、商品の画像を使用者に提示する。
［状態管理部Ａ１１０１９］
続いて、状態管理部Ａ１１０１９について説明する。
図１４は、実施の形態１における状態管理部が管理する情報の構造の一例を示す図である。
状態管理部Ａ１１０１９は、図１４に示すように、異常フラグＡ１１６０１、前フレーム描画種別Ａ１１６０２と、表示棚奥行きＡ１１６０３と、地図オフセットＸＡ１１６０４と、地図オフセットＹＡ１１６０５と、前回取得ＩＤＡ１１６０６とを含む情報を管理する。
前回取得ＩＤＡ１１６０６は、初期値を無効値とする。本実施の形態では、無効値＝−１としている。
異常フラグＡ１１６０１は、ＴＲＵＥまたはＦＡＬＳＥの値を格納する。状態管理部Ａ１１０１９は、例えば、サーバ装置Ａ１１０１５へ送出したＩＤがいずれの照明機器（照明機器Ａ１１００２、照明機器Ａ１１００３）にも関連しない無効なＩＤであった場合に、異常フラグＡ１１６０１をＴＲＵＥに設定する。また、例えば異常フラグＡ１１６０１がＴＲＵＥであった場合、表示部Ａ１１０１８は受信に失敗した旨使用者（ユーザ）に提示する。
表示棚奥行きＡ１１６０３、地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５で管理される値は、使用者がタッチパネル部Ａ１２０４を操作した際に、ＵＩ部Ａ１１０２０によって更新される。
［ＤＢ管理部Ａ１１０１４］
続いて、ＤＢ管理部Ａ１１０１４について説明する。
ＤＢ管理部Ａ１１０１４は、ＩＤ格納部Ａ１１０１３からＩＤを読み込むと、サーバ装置Ａ１１０１５に対して問い合わせを行い、記録されたＩＤの照合を行う。
ＤＢ管理部Ａ１１０１４は、照合の結果、読み込んだＩＤが例えば天井に設置されたシーリングライトのＩＤであると照合できれば、図５に示すような地図情報すなわち該当するシーリングライトとその周辺の地図画像を送信するようサーバ装置Ａ１１０１５にリクエストを送る。ＤＢ管理部Ａ１１０１４は、リクエストの結果、図５に示すような地図画像（地図情法）を取得して地図情報格納部Ａ１１０１７に格納する。そして、ＤＢ管理部Ａ１１０１４は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＴＲＵＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。
一方、ＤＢ管理部Ａ１１０１４は、照合の結果、読み込んだＩＤが例えば商品棚に設置されたいずれかのベースライトのＩＤであると照合できれば、サーバ装置Ａ１１０１５に対して図１１に示す商品情報を送信するようリクエストを送る。ＤＢ管理部Ａ１１０１４は、リクエストの結果、取得した商品情報を商品情報格納部Ａ１１０１６へ格納する。そして、ＤＢ管理部Ａ１１０１４は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。
なお、ＤＢ管理部Ａ１１０１４は、サーバ装置Ａ１１０１５へ送出したＩＤがいずれのシーリングライト・ベースライトにも関連しない無効なＩＤであった場合に、ＤＢ管理部Ａ１１０１４は地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する。
［ＵＩ部Ａ１１０２０］
続いてＵＩ部Ａ１１０２０について説明する。
ＵＩ部Ａ１１０２０は、タッチパネル部Ａ１２０４と連動している。
ＵＩ部Ａ１１０２０は、例えば商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥであり、使用者がタッチパネル部Ａ１２０４に対してフリック操作をした場合、地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５で管理される値を更新する。ここで、ＵＩ部Ａ１１０２０は、例えば使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されると、地図オフセットＸＡ１１６０４の値をフリック量にあわせて増加させ、タッチパネル部Ａ１２０４が左方向にフリック操作されると地図オフセットＸＡ１１６０４の値を減少させる。また、例えば、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が上方向にフリック操作されると地図オフセットＹＡ１１６０５の値を減少させ、タッチパネル部Ａ１２０４が下方向にフリック操作されると地図オフセットＹＡ１１６０５の値を増加させる。
一方、ＵＩ部Ａ１１０２０は、例えば地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合、表示棚奥行きＡ１１６０３の値を更新する。ここで、ＵＩ部Ａ１１０２０は、例えば使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されると表示棚奥行きＡ１１６０３の値を増加させ、タッチパネル部Ａ１２０４が左方向にフリック操作されると表示棚奥行きＡ１１６０３の値を減少させる。
なお、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３の値が商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値より大きくなった場合には表示棚奥行きＡ１１６０３の値を０に設定しなおす。また、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３の値が０より小さくなった場合には表示棚奥行きＡ１１６０３を（商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値）に設定しなおす。
［表示部Ａ１１０１８］
表示部Ａ１１０１８は、上記の地図情報または商品情報をレンダリング処理して表示する。また、表示部Ａ１１０１８は、上述した処理を踏まえて表示内容を更新する。
表示部Ａ１１０１８は、表示内容を更新する処理（更新処理）を行う際、まず次に説明する表示更新前処理を実行する。
表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥかつ前フレーム描画種別Ａ１１６０２が商品情報以外の場合、表示する棚の状態を一旦初期化する必要があると判断し、表示棚奥行きＡ１１６０３の値を０に設定しなおす。
つまり、携帯端末Ａ１１００１の表示部Ａ１１０１８に商品情報が表示された後、切り替えられた第１撮像部（例えばインカメラＡ１２０２）を用いて、位置情報を使用者の現在位置として取得する場合、商品情報に付与されたオフセットを初期化する。
同様に、表示部Ａ１１０１８は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥかつ前フレーム描画種別Ａ１１６０２が地図情報以外の場合、表示する地図の状態を一旦初期化する必要があると判断し、地図オフセットＸＡ１１６０４と地図オフセットＹＡ１１６０５との値を０に設定しなおす。つまり、携帯端末Ａ１１００１の表示部Ａ１１０１８に地図情報が表示された後、切り替えられた第２撮像部（例えばアウトカメラＡ１２０３）を用いて、第１機器（照明機器Ａ１１００３）が設置されている商品棚の商品情報を取得する場合、上記地図情報に付与されたオフセットを初期化する。
また、表示部Ａ１１０１８は、状態管理部Ａ１１０１９の前回取得ＩＤとＩＤ格納部Ａ１１０１３とが異なる値を保持している場合、表示状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４と地図オフセットＹＡ１１６０５と表示棚奥行きＡ１１６０３と０に設定しなおすとしてもよい。この場合、状態管理部Ａ１１０１９の前回取得ＩＤにＩＤ格納部Ａ１１０１３の内容がコピーされる。
更に、表示更新前処理として、状態管理部Ａ１１０１９において、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「商品情報」に、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「地図情報」に設定される。異常フラグＡ１１６０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「異常」に設定される。
以上の表示更新前処理が完了し、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１と商品情報格納部Ａ１１０１６の有効フラグのうちいずれか一方がＴＲＵＥとなったとする。
この場合、表示部Ａ１１０１８は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥのとき、図５に示すような地図情報を表示するためのレンダリング処理を実行する。また、表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグがＴＲＵＥのとき、図１２に示すような商品在庫状況を表示するためのレンダリング処理を実行する。一方、表示部Ａ１１０１８は、異常フラグＡ１１６０１がＴＲＵＥであるときは、不正なＩＤを受信した旨を示すように表示内容を更新する。
［通信システムの動作フロー］
続いて、本実施の形態の通信システムの動作フローについて説明する。
［照明機器の動作フロー］
図１５は、実施の形態１における照明機器の動作を示すフローチャートである。
以下、照明機器Ａ１１００２の動作フローについて図１５を用いて説明する。
まず、照明機器Ａ１１００２に電力が供給され、動作フローが開始するとする（ＳＡ１１４０１）。
次に、エンコード部Ａ１１００５は、ＩＤ格納部Ａ１１００４からＩＤを読み込む（ＳＡ１１４０２）。
次に、エンコード部Ａ１１００５は、エンコード処理により当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換する（ＳＡ１１４０３）。
次に、エンコード部Ａ１１００５は、当該照度パターンを第１の照度パターン格納部Ａ１１００６に格納する（ＳＡ１１４０４）。
次に、発光部Ａ１１００７は、以上の起動フェーズが完了したため、照度パターン格納部Ａ１１００６から照度パターンを読み込み（ＳＡ１１４０５）、当照度パターンで示されるパターンに基づき、照度を高速に更新しながら発光制御を行う（ＳＡ１１４０６）。
以上の動作フローにより、照明機器Ａ１１００２はＩＤに基づいた照度制御（可視光通信）を行う。
次に、照明機器Ａ１１００３についても説明する。
まず、照明機器Ａ１１００３に電力が供給され、動作フローが開始するとする（ＳＡ１１４０１）。エンコード部Ａ１１００９は、ＩＤ格納部Ａ１１００８からＩＤを読み込み（ＳＡ１１４０２）、エンコード処理により当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し（ＳＡ１１４０３）、当照度パターンを照度パターン格納部Ａ１１０１０に格納する（ＳＡ１１４０４）。
以上の起動フェーズが完了すると、発光部Ａ１１０１１は照度パターン格納部Ａ１１０１０から照度パターンを読み込み（ＳＡ１１４０５）、当照度パターンで示されるパターンに基づき、照度を高速に更新しながら発光制御を行う（ＳＡ１１４０６）。
以上の動作フローにより、照明機器Ａ１１００３はＩＤに基づいた照度制御を行う。
［携帯端末Ａ１１００１の動作フロー］
続いて、携帯端末Ａ１１００１のフローについて、図１６を用いて説明する。
図１６は、実施の形態１における携帯端末の動作を示すフローチャートである。
まず、受光制御部Ａ１１０１２は、最初にシャッター速度を高速な設定に切り替える（ＳＡ１１５００）。
次に、受光制御部Ａ１１０１２は、発光部Ａ１１００７または発光部Ａ１１０１１の照度パターンを検知すると、デコード処理により検知したパターンをＩＤに変換し（ＳＡ１１５０１）、ＩＤ格納部Ａ１１０１３へ格納する（ＳＡ１１５０２）。
次に、ＤＢ管理部Ａ１１０１４は、ＩＤ格納部Ａ１１０１３からＩＤを読み込むと、サーバ装置Ａ１１０１５に対して問い合わせを行い（ＳＡ１１５０３）、記録されたＩＤの照合を行う（ＳＡ１１５０４、ＳＡ１１５０６）。
ＳＡ１１５０４において、ＤＢ管理部Ａ１１０１４は、照合の結果、読み込んだＩＤが天井に設置されたいずれかのシーリングライトのＩＤであれば（ＳＡ１１５０４でＹｅｓ）、シーリングライト関連の処理を実行する（ＳＡ１１５０５）。
一方、ＳＡ１１５０６において、ＤＢ管理部Ａ１１０１４は、照合の結果、ＩＤが商品棚に設置されたいずれかのベースライトのＩＤであれば（ＳＡ１１５０６でＹｅｓ）、ベースライト関連の処理を実行する（ＳＡ１１５０７）。
なお、ＤＢ管理部Ａ１１０１４は、サーバ装置Ａ１１０１５へ送出したＩＤがシーリングライトにもベースライトにも関連しない無効なＩＤであった場合には、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する。表示部Ａ１１０１８は、照明機器に関する情報がない旨を示すエラー通知を表示する（ＳＡ１１５０８）。つまり、携帯端末Ａ１１００１は、可視光を発する照明機器と可視光通信を行うことにより取得した照明機器に一意に与えられた識別子を、サーバ装置Ａ１１０１５に問い合わせることで、識別子に対応付けられた照明機器に関する情報を取得する。しかし、携帯端末Ａ１１００１は、サーバ装置Ａ１１０１５に問い合わせても当該識別子に対応付けられた情報がない場合には照明機器に関する情報がない旨を示すエラー通知を、表示部Ａ１１０１８に表示する。
［シーリングライト関連処理のフロー］
続いて、シーリングライト関連処理（ＳＡ１１５０５）について説明する。
図１７は、実施の形態１におけるシーリングライト関連処理を示すフローチャートである。
まず、ＤＢ管理部Ａ１１０１４は、図５に示すような、該当するシーリングライトとその周辺の地図画像を送信するようサーバ装置Ａ１１０１５にリクエストを送る（ＳＡ１１７０１）。
次に、ＤＢ管理部Ａ１１０１４は、図５に示す地図画像を取得して地図情報格納部Ａ１１０１７に格納する（ＳＡ１１７０２）。
次に、ＤＢ管理部Ａ１１０１４は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＴＲＵＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに設定する（ＳＡ１１７０３）。
［ベースライト関連処理のフロー］
続いて、ベースライト関連処理（ＳＡ１１５０７）について説明する。
図１８は、実施の形態１におけるベースライト関連処理を示すフローチャートである。
まず、ＤＢ管理部Ａ１１０１４は、サーバ装置Ａ１１０１５に対して図１１に示す商品情報をリクエストする（ＳＡ１１８０１）。
次に、ＤＢ管理部Ａ１１０１４は、取得した商品情報を商品情報格納部Ａ１１０１６へ格納する（ＳＡ１１８０２）。
次に、ＤＢ管理部Ａ１１０１４は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに設定する（ＳＡ１１８０３）。
［ＵＩ部Ａ１１０２０の動作フロー］
続いてＵＩ部Ａ１１０２０について図１９を用いて説明する。
図１９は、実施の形態１におけるＵＩ関連処理を示すフローチャートである。
ＵＩ部Ａ１１０２０は、上述したようにタッチパネル部Ａ１２０４と連動している。
ＳＡ１１９００１において、ＵＩ部Ａ１１０２０は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合（Ｓ１１９０１でｙｅｓ）、地図情報向けＵＩ処理を実行する（Ｓ１１９０２）。
一方、ＳＡ１１９００３において、ＵＩ部Ａ１１０２０は、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥの場合（Ｓ１１９０３でｙｅｓ）、商品情報向けＵＩ処理を実行する（Ｓ１１９０４）。
［地図情報向けＵＩ処理のフロー］
続いて、地図情報向けＵＩ処理（Ｓ１１８０２）について説明する。
図２０は、実施の形態１における地図情報向けＵＩ処理を示すフローチャートである。
まず、地図情報向けＵＩ処理を開始すると（ＳＡ１１９０２）、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されたか否かを判断する（ＳＡ１２００１）。
ＳＡ１２００１において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されると（ＳＡ１２００１でｙｅｓ）地図オフセットＸＡ１１６０４の値をフリック量にあわせて増加させる（ＳＡ１２００２）。
ＳＡ１２００３において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が左方向にフリック操作されると（ＳＡ１２００３でｙｅｓ）、地図オフセットＸＡ１１６０４の値を減少させる（ＳＡ１２００４）。
ＳＡ１２００５において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が上方向にフリック操作されると（ＳＡ１２００５でｙｅｓ）、地図オフセットＹＡ１１６０５の値を減少させる（ＳＡ１２００６）。
ＳＡ１２００７において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が下方向にフリック操作されると（ＳＡ１２００７でｙｅｓ）、地図オフセットＹＡ１１６０５の値を増加させる（ＳＡ１２００８）。
このように、使用者がタッチパネル部Ａ１２０４に対してフリック操作をすると、ＵＩ部Ａ１１０２０によって地図オフセットＸＡ１１６０４および地図オフセットＹＡ１１６０５の値が更新される。
［商品情報向けＵＩ処理のフロー］
続いて、商品情報向けＵＩ処理（Ｓ１１８０４）について説明する。
図２１、実施の形態１における商品情報向けＵＩ処理を示すフローチャートである。
まず、商品情報向けＵＩ処理を開始すると（ＳＡ１１９０４）、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されたか否かを判断する（ＳＡ１２１０１）。
ＳＡ１２１０１において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されると（ＳＡ１２１０１でｙｅｓ）、表示棚奥行きＡ１１６０３の値を増加させる（ＳＡ１２１０２）。
ＳＡ１２１０３において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が左方向にフリック操作されると（ＳＡ１２１０３でｙｅｓ）、表示棚奥行きＡ１１６０３の値を減少させる（ＳＡ１２１０４）。
なお、ＳＡ１２１０５において、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３の値が商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値より大きくなった場合は（ＳＡ１２１０５でｙｅｓ）、表示棚奥行きＡ１１６０３を０に設定しなおす（ＳＡ１２１０６）。
また、ＳＡ１２１０７において、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３の値が０より小さくなった場合は（ＳＡ１２１０７でｙｅｓ）、表示棚奥行きＡ１１６０３の値を商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値に設定しなおす（ＳＡ１２１０８）。
このようにして、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３を更新する。
［表示部Ａ１１０１８の処理フロー］
続いて、表示部Ａ１１０１８の処理フローについて説明する。
図２２は、実施の形態１における表示処理全体を示すフローチャートである。図２３は実施の形態１における表示更新前処理を示すフローチャートであり、図２４は実施の形態１における表示更新処理を示すフローチャートである。
表示部Ａ１１０１８は、図２２に示すように、表示処理を開始すると、表示更新処理を行う前に表示更新前処理を実行する（ＳＡ１２２０１）。そして、表示部Ａ１１０１８は、表示更新前処理を実行後に表示更新処理を実行する（ＳＡ１２２０２）。
ここで、表示更新前処理（ＳＡ１２２０１）について図２３を用いて詳細に説明する。
表示部Ａ１１０１８は、表示更新前処理を開始すると、図２３に示すように、商品情報が有効か否かを確認する（ＳＡ１２３０１）。
表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥ（ＳＡ１２３０１でｙｅｓ）かつ前フレーム描画種別Ａ１１６０２が商品情報以外の場合（ＳＡ１２３０２でｎｏ）、表示する棚の状態を初期化する必要があると判断し、表示棚奥行きＡ１１６０３の値を０に設定しなおす（ＳＡ１２３０３）。
次に、ＳＡ１２３０４において、表示部Ａ１１０１８は、地図情報が有効か否かを確認する（ＳＡ１２３０４）。
表示部Ａ１１０１８は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥ（ＳＡ１２３０４でｙｅｓ）かつ前フレーム描画種別Ａ１１６０２が地図情報以外の場合（ＳＡ１２３０５でｎｏ）、表示する地図の状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４および地図オフセットＹＡ１１６０５の値を０に設定しなおす（ＳＡ１２３０６）。
次に、ＳＡ１２３０７において、表示部Ａ１１０１８は、ＩＤが更新されたか否かを確認する（ＳＡ１２３０７）。
表示部Ａ１１０１８は、状態管理部Ａ１１０１９の前回取得ＩＤとＩＤ格納部Ａ１１０１３のＩＤとが異なる値を保持している場合（ＳＡ１２３０７でｙｅｓ）、表示状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５および表示棚奥行きＡ１１６０３の値を０に設定しなおす（ＳＡ１２３０８）。
次に、ＳＡ１２３０９において、表示部Ａ１１０１８は、状態管理部Ａ１１０１９の前回取得ＩＤにＩＤ格納部Ａ１１０１３の内容をコピーすることで旧ＩＤを更新する（ＳＡ１２３０９）。
次に、表示部Ａ１１０１８は、前フレーム描画種別を更新する（ＳＡ１２３１０）。具体的には、表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「商品情報」に、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「地図情報」に設定する。また、表示部Ａ１１０１８は、異常フラグＡ１１６０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「異常」に設定する。
続いて、表示更新処理（ＳＡ１２２０２）について図２４を用いて説明する。
表示部Ａ１１０１８は、表示更新処理を開始すると、図２４に示すように、地図情報が有効か否かを確認する（ＳＡ１２３０１）。
表示部Ａ１１０１８は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は（ＳＡ１２４０１でｙｅｓ）、地図オフセットＸＡ１１６０４の値と地図オフセットＹＡ１１６０６の値とを読み込み（ＳＡ１２４０２）、各オフセットの値分だけずらしながら図５に示すような地図情報のレンダリング処理を実行する（ＳＡ１２４０３）。
Ｓ１２４０１において、表示部Ａ１１０１８は、地図情報の有効フラグが無効の場合、商品情報が有効か否かを確認する（ＳＡ１２３０４）。
表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグがＴＲＵＥの場合は（ＳＡ１２４０４でｙｅｓ）、表示棚奥行きＡ１１６０３の値を読み込み（ＳＡ１２４０４）、表示棚奥行きＡ１１６０３で示される棚の画像を提示するように、図１２に示すような商品在庫状況のレンダリング処理を実行する（ＳＡ１２４０６）。
Ｓ１２４０４において、表示部Ａ１１０１８は、商品情報の有効フラグが無効の場合（ＳＡ１２４０４でｎｏ）で、さらに異常フラグＡ１１６０１がＴＲＵＥの場合は、不正なＩＤを受信した旨を表示するように表示内容を更新する（ＳＡ１２４０７）。
（実施の形態２）
本実施の形態では、受光制御部Ａ１１０１２の構成及びフローの詳細について説明する。その他の構成については実施の形態１と同じであるため説明を省略する。
［受光制御部Ａ１１０１２の詳細構成］
まず、実施の形態２における受光制御部Ａ１１０１２の詳細構成について説明する。
図２５は、実施の形態２における受光制御部の詳細構成を示す図である。
実施の形態２における受光制御部Ａ１１０１２は、図２５に示すように、受光部Ａ１２５０１と、受光部Ａ１２５０２と、セレクタＡ１２５０３と、加速度検知部Ａ１２５０４と、受光信号格納部Ａ１２５０５と、デコード部Ａ１２５０６と、閾値格納部Ａ１２５０７とを備える。
受光部Ａ１２５０１は、例えば実施の形態１のインカメラＡ１２０２（第１撮像部）に対応し、受光部Ａ１２５０２は、例えば実施の形態１のアウトカメラＡ１２０３（第２撮像部）に対応する。
セレクタＡ１２５０３は、２つの受光部のどちらを稼動させるかを選択するためのセレクタである。
加速度検知部Ａ１２５０４は、携帯端末Ａ１１０１１の加速度を検知することで、セレクタＡ１２５０３における選択処理に必要な情報を供給する。
受光信号格納部Ａ１２５０５は、セレクタＡ１２５０３を経由して受光部Ａ１２５０１又は受光部Ａ１２５０２より得られた受光信号を格納する。
デコード部Ａ１２５０６は、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納する。
閾値格納部Ａ１２５０７は、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１１０１１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値を予め格納する。
［受光制御部の処理］
続いて、実施の形態２における受光制御部Ａ１１０１２の処理フローについて説明する。
図２６は、実施の形態２における受光制御部の照度パターン検知処理を示すフローチャートである。
まず、受光制御部Ａ１１０１２は、起動後（ＳＡ１１５０１）、加速度検知部Ａ１２５０４より携帯端末Ａ１１０１１の背面方向に生じる加速度を検知する（ＳＡ１２６０１）。
次に、受光制御部Ａ１１０１２は、取得した加速度と閾値格納部Ａ１２５０７に格納されている閾値とを比較し、受光部Ａ１２５０１（インカメラ）が上向きか否かを確認する（ＳＡ１２６０２）。
ＳＡ１２６０２において、受光制御部Ａ１１０１２は、加速度が第１の閾値よりも大きければ、受光部Ａ１２５０１（インカメラ）が地面に対して上向きであると判定し（ＳＡ１２６０２でｙｅｓ）、受光部Ａ１２５０１（インカメラ）に切り替える（ＳＡ１２６０３）。受光制御部Ａ１１０１２は、加速度が第１の閾値よりも大きければ、より大きな加速度、即ち重力加速度が携帯端末Ａ１１０１１の背面方向に生じていることから、携帯端末Ａ１１０１１が地面に対して水平で、かつ受光部Ａ１２５０１（インカメラ）が地面に対して上向きであると判定できる。そして、受光制御部Ａ１１０１２は、受光部Ａ１２５０１に切り替えるまたはを稼動させる。
一方、ＳＡ１２６０２において、受光制御部Ａ１１０１２は、加速度が第２の閾値以下であれ、受光部Ａ１２５０１（インカメラ）が地面に対して上向きではないと判定し（ＳＡ１２６０２でｎｏ）、受光部Ａ１２５０２（アウトカメラ）に切り替える（ＳＡ１２６０４）。受光制御部Ａ１１０１２は、加速度が第２の閾値以下であれば、重力加速度が携帯端末Ａ１１０１１の背面方向に大きく生じていないことから、携帯端末Ａ１１０１１が地面に対して水平ではなく、受光部Ａ１２５０２（アウトカメラ）が壁や棚に向けられていると判定する。そして、受光制御部Ａ１１０１２は、受光部Ａ１２５０２（アウトカメラ）に切り替えるまたはを稼動させる。
次に、受光制御部Ａ１１０１２は、静止画キャプチャを取得する（ＳＡ１２６０５）。具体的には、受光制御部Ａ１１０１２は、上記の処理により、受光部Ａ１２５０１（インカメラ）又は受光部Ａ１２５０２（アウトカメラ）より撮影画像を取得する。
次に、受光制御部Ａ１１０１２は、撮影画像から照明の照度変化を取得、即ちデコード処理を実行する（ＳＡ１２６０６）。
次に、受光制御部Ａ１１０１２は、デコード処理によって得られたＩＤをＩＤ格納部Ａ１１０１３に格納する（ＳＡ１２６０７）。
以上のように、受光制御部Ａ１１０１２は、携帯端末Ａ１１０１１の姿勢に応じて受光部（撮像部）の選択を行うことができる。それにより、携帯端末を上から覗き込む（建物の見取り図を俯瞰する）照明機器に最適な受光部（インカメラ）の選択や、正面にある棚やその他被写体を水平方向に覗き込む照明機器に最適な受光部（アウトカメラ）の選択をすることができる。
（実施の形態３）
受光制御部Ａ１１０１２の構成及びフローの詳細は、実施の形態２で説明したものに限らない。本実施の形態では、実施の形態２と異なる受光制御部Ａ１１０１２の構成及びフローの詳細について説明する。その他の構成については実施の形態１と同じであるため説明を省略する。
［受光制御部Ａ１１０１２の詳細構成］
まず、実施の形態３における受光制御部Ａ１１０１２の詳細構成について説明する。
図２７は、実施の形態３における受光制御部の詳細構成を示す図である。
実施の形態３における受光制御部Ａ１１０１２は、第１の受光部Ａ１２７０１と、第２の受光部Ａ１２７０２と、セレクタＡ１２７０３と、タイマ制御部Ａ１２７０４と、受光信号格納部Ａ１２７０５と、デコード部Ａ１２７０６と、閾値格納部Ａ１２７０７とを備える。
受光部Ａ１２７０１は、例えば実施の形態１のインカメラＡ１２０２（第１撮像部）に対応し、受光部Ａ１２７０２は、例えば実施の形態１のアウトカメラＡ１２０３（第２撮像部）に対応する。
セレクタＡ１２７０３は、これら２つの受光部のどちらを稼動させるかを選択するためのセレクタである。
タイマ制御部Ａ１２７０４は、セレクタＡ１２７０３における選択処理に必要な情報を供給する。
受光信号格納部Ａ１２７０５は、セレクタＡ１２７０３を経由して第１の受光部Ａ１２７０１又は第２の受光部Ａ１２７０２より得られた受光信号を格納する。
デコード部Ａ１２７０６は、受光信号格納部Ａ１２７０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納する。
閾値格納部Ａ１２７０７は、セレクタＡ１２７０３が第１の受光部Ａ１２７０１から受光を始めて第２の受光部Ａ１２７０２の受光への切り替えに要する時間の閾値１を予め格納する。閾値格納部Ａ１２５０７は、更にセレクタＡ１２７０３が第２の受光部Ａ１２７０２から受光を始めて第１の受光部Ａ１２７０１の受光への切り替えに要する時間の閾値２を予め格納する。
［受光制御部の処理］
続いて、実施の形態３における受光制御部Ａ１１０１２の処理フローについて説明する。
図２８は、実施の形態３における受光制御部の照度パターン検知処理を示すフローチャートである。
まず、受光制御部Ａ１１０１２は、起動後（ＳＡ１１５０１）、タイマ制御部Ａ１２７０４が停止しているか確認する（ＳＡ１２８０１）。
ＳＡ１２８０１において、受光制御部Ａ１１０１２は、タイマ制御部Ａ１２７０４が稼動していなければ（ＳＡ１２８０１のｙｅｓ）、タイマ制御部Ａ１２７０４を稼動させるとともに、第１の受光部Ａ１２７０１を稼動させる（ＳＡ１２８０２）。
次に、ＳＡ１２８０３において、受光制御部Ａ１１０１２は、第１の受光部Ａ１２７０１が稼働中の場合（ＳＡ１２８０３のｙｅｓ）、第１の受光部Ａ１２７０１が稼動し始めてから第１の閾値の時間が経過していれば（ＳＡ１２８０４のｙｅｓ）、各受光部をバランスよく稼動させるため、第１の受光部Ａ１２７０１を停止すると共に、第２の受光部Ａ１２７０２を稼動させる（ＳＡ１２８０６）。
一方、第１の受光部Ａ１２７０１が停止中、即ち第２の受光部Ａ１２７０２が稼働中である場合（ＳＡ１２８０３でｎｏ）、第２の受光部Ａ１２７０２が稼動してから第２の閾値の時間が経過していれば（ＳＡ１２８０５のｙｅｓ）、各受光部をバランスよく稼動させるため、第２の受光部Ａ１２７０２を停止すると共に、第１の受光部Ａ１２７０１を稼動させる（ＳＡ１２８０７）。
次に、受光制御部Ａ１１０１２は、静止画キャプチャを取得する（ＳＡ１２６０８）。具体的には、受光制御部Ａ１１０１２は、上記の処理により、稼動した第１の受光部Ａ１２５０１又は第２の受光部Ａ１２５０２より撮影画像を取得する。
次に、受光制御部Ａ１１０１２は、撮影画像から照明の照度変化を取得、即ちデコード処理を実行する（ＳＡ１２６０９）。
次に、受光制御部Ａ１１０１２は、デコード処理によって得られたＩＤをＩＤ格納部Ａ１１０１３に格納する（ＳＡ１２６１０）。
以上のように、受光制御部Ａ１１０１２は、所定時間ごとに受光部（撮像部）の選択を行うことで、例えば図９に示すような腕時計型デバイスを水平に構えた場合において、天井のシーリングライトＡ１９０４から得られるＩＤと、棚に設置されたベースライトＡ１９０５から得られるＩＤとをそれぞれバランスよく取得することが可能となる。
なお、本実施の形態では、受光制御部Ａ１１０１２は加速度検知部を更に有するとしてもよい。この場合、受光制御部Ａ１１０１２は、腕時計型デバイスの表示面が地面に水平でない、即ち使用者が腕時計型デバイスの表示面を見ていないと予想される場合は、第１の受光部Ａ１２５０１と第２の受光部Ａ１２５０２を停止し、消費電力の削減を図るようにしても良い。
（実施の形態４）
本実施の形態では、実施の形態１をベースに、視線検出の技術を応用して、使用者（ユーザ）の意思をより的確に表示部Ａ１１０１８に反映させる場合の例について説明する。
図２９は、実施の形態４における視線の動きを検出する携帯端末を使用する際のイメージ図である。
図２９に示すように、使用者が携帯端末Ａ１２９０１を手に持って、棚Ａ１２９０３に携帯端末Ａ１２９０１の背面部分を向けている場合、携帯端末Ａ１２９０１の表示部には棚Ａ１２９０３の情報が表示される。本実施の形態では、この状態で使用者の視線が棚Ａ１２９０１の右側を向いた場合、携帯端末Ａ１２９０１は使用者の視線を画像認識処理によって検知することができる。そして、「使用者が見ているものは棚Ａ１２９０１ではなく、棚Ａ１２９０１の右隣に設置されている棚Ａ１２９０５である」と判定し、携帯端末Ａ１２９０１の表示部に棚Ａ１２９０５に関する情報を表示する。
このように、本実施の形態では、携帯端末Ａ１２９０１の正面に存在する照明に加え、使用者（ユーザ）の視線を考慮して表示する対象物を選択することで、より使用者の意図を反映させた情報確認が可能となる。
［携帯端末Ａ１２９０１の構成］
続いて、実施の形態２５における携帯端末Ａ１２９０１の構成について、説明する。
図３０は、実施の形態４における携帯端末の構成の一例を示す図である。なお、図３０では、実施の形態１と重複している構成要素、すなわち図１０に示す構成要素と同様の構成には同じ番号を使用する。
図３０に示す携帯端末Ａ１２９０１は、受光制御部Ａ１３００２と、ＩＤ格納部Ａ１１０１３と、ＤＢ管理部Ａ１３００３と、商品情報格納部Ａ１１０１６と、地図情報格納部Ａ１１０１７と、表示部Ａ１１０１８と、状態管理部Ａ１１０１９と、ＵＩ部Ａ１１０２０と、視線情報格納部Ａ１３００１とを備える。また、携帯端末Ａ１２９０１は、サーバ装置Ａ１３００４に無線通信により接続されている。
受光制御部Ａ１３００２は、発光部Ａ１１００７及び発光部Ａ１１０１１の照度パターンを検知すると、検知したパターンをＩＤに変換し、ＩＤ格納部Ａ１１０１３へ格納する。本実施の形態の場合、受光制御部Ａ１３００２は、発光部Ａ１１００７又は発光部Ａ１１０１１の照度パターンを検知するため、ＩＤ格納部Ａ１１０１３に格納されるＩＤはＩＤ格納部Ａ１１００４またはＩＤ格納部Ａ１１００８のいずれかに格納されているＩＤと等しくなる。
更に、受光制御部Ａ１３００２は、自身が内蔵している内受光機能により、使用者の視線が「正面・右・左」のどれに分類されるかを示す視線分類情報を検出し、検出した分類結果を視線情報格納部Ａ１３００１に格納する。
その他の構成については、図１０で説明したものと同様であるため、詳細な説明は省略する。
［ＤＢ管理部Ａ１３００３の動作フロー］
続いて、ＤＢ管理部Ａ１３００３のフローについて説明する。本実施の形態では、実施の形態１における図１８のＳＡ１１８０１が詳細化され、その他の動作は同様であるため、以下ではＳＡ１１８０１の詳細フローについて主に説明する。
図３１は、実施の形態４におけるＤＢ管理部の問い合わせ処理を示すフローチャートである。図３２は、実施の形態４におけるサーバ装置のＤＢが管理する情報の構造の一例を示す図である。
まず、ＤＢ管理部Ａ１３００３は、サーバ装置Ａ１１０１５に対して商品画像送信要求を行う処理を開始する（ＳＡ１１８０１）。
すると、ＤＢ管理部Ａ１３００３は、ＩＤおよび視線分類情報をサーバ装置に問い合わせる（ＳＡ１３２０１）。具体的には、ＤＢ管理部Ａ１３００３は、ＩＤ格納部Ａ１１０１３からＩＤを読み込み、更に視線情報格納部Ａ１３００１から視線分類情報を読み込む。また、ＤＢ管理部Ａ１３００３は、サーバ装置Ａ１１０１５に対して商品情報をリクエストする。この時、ベースライトのＩＤをサーバ装置Ａ１１０１５に送出すると共に、視線情報格納部Ａ１３００１に格納された視線分類情報もサーバ装置Ａ１１０１５に送出する。
次に、サーバ装置Ａ１１０１５は、保持するＤＢからＩＤを検索する（ＳＡ１３２０２）。具体的には、サーバ装置Ａ１１０１５は、図３２に示すようなＤＢを保持しており、受信したＩＤを保持するＤＢのＡ１３１０２列から検索する。
ＳＡ１３２０２において、サーバ装置Ａ１１０１５は、保持するＤＢに該当するＩＤが存在した場合（ＳＡ１３２０３でｙｅｓ）、ＩＤおよび視線分類情報に対応するＤＢの行を検索し（ＳＡ１３２０５）、視線分類情報に対応する棚識別子が存在するか確認する（ＳＡ１３２０６）。具体的には、サーバ装置Ａ１１０１５は、保持するＤＢのＡ１３１０２列に該当する行が検索された場合、その行から棚識別子を抽出する。この時、視線分類情報が正面の場合はＡ１３１０１列を、視線分類情報が「左」の場合はＡ１３１０３列を、視線分類情報が「右」の場合はＡ１３１０４列を参照し、該当行の参照によって棚識別子を得る。
次に、サーバ装置Ａ１１０１５は、得られた棚識別子に対応する行を検索し（ＳＡ１３２０８）、該当行の棚情報を通知する（ＳＡ１３２０９）。具体的には、サーバ装置Ａ１１０１５は、得られた棚識別子をＡ１３１０１列から検索し、該当行の棚情報Ａ１３１０５を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する。例えば、ＩＤの値が２００、視線分類情報が「右」のものを受信した場合、ＩＤが２００のものを照明ＩＤＡ１３１０２から検索すると１行目に存在し、１行目の右隣の棚識別子Ａ１３１０４は１０１であるから、携帯端末Ａ１２９０１には棚識別子Ａ１３１０１が１０１である行における棚情報Ａ１３１０５、即ち棚情報２が送出される。
そして、携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３は、取得した商品情報を商品情報格納部Ａ１１０１６へ格納し、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。
なお、ＳＡ１３２０６において、サーバ装置Ａ１１０１５は、受信したＩＤがＡ１３１０２列から検出されたものの、ＩＤと視線分類情報とから棚識別子を抽出できなかった場合（ＳＡ１３２０６でｎｏ）、受信したＩＤが検索された行の棚情報Ａ１３１０５を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する（ＳＡ１３２０７）。
また、ＳＡ１３２０３において、サーバ装置Ａ１１０１５は、受信したＩＤをＡ１３１０２列から検出できなかった場合（ＳＡ１３２０３でｎｏ）、該当ＩＤ無しの旨を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する（ＳＡ１３２０４）。ここで、例えばサーバ装置Ａ１１０１５へ送出したＩＤがいずれのシーリングライト・ベースライトにも関連しない無効なＩＤであった場合、ＤＢ管理部Ａ１３００３は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する。
以上のように、本実施の形態によれば、通信装置を搭載する携帯端末はさらに使用者の視線を検知することができる。より具体的には、携帯端末の向きが地面に対して略垂直の場合、アウトカメラに切り替え、アウトカメラで可視光を発する第１機器と可視光通信を行うとともに、インナーカメラを用いて使用者の視線を検知する。
それにより、アウトカメラを用いて、使用者の前方に位置し可視光を発する第１機器と可視光通信を行うことにより、第１機器が設置されている第１商品棚の商品情報を取得し、検知された使用者の視線の先にある第２商品棚が当該第１商品棚と異なる場合には、当該第１商品棚の商品情報に代えて第２商品棚の商品情報を表示することができる。
（実施の形態５）
本実施の形態は、実施の形態４をベースにしたものであって、受光制御部Ａ１１０１２の構成を明確化したものである。
図３３は、実施の形態５における受光制御部の詳細構成を示す図である。
実施の形態５における受光制御部Ａ１１０１２は、図３３に示すように、受光部Ａ１２５０１と、受光部Ａ１２５０２と、セレクタＡ１２５０３と、加速度検知部Ａ１２５０４と、受光信号格納部Ａ１２５０５と、デコード部Ａ１２５０６と、閾値格納部Ａ１２５０７と、視線検出部Ａ１３３０１とを備える。なお、図２５と同様の要素には同一の符号を付しており、詳細な説明は省略する。
受光部Ａ１２５０１は、例えば実施の形態１のインカメラＡ１２０２（第１撮像部）に対応し、受光部Ａ１２５０２は、例えば実施の形態１のアウトカメラＡ１２０３（第２撮像部）に対応する。なお、本実施の形態において、受光部Ａ１２５０１はカメラデバイスのような映像撮像装置とする。
セレクタＡ１２５０３は、２つの受光部のどちらを稼動させるかを選択するためのセレクタである。
加速度検知部Ａ１２５０４は、携帯端末Ａ１２９０１の加速度を検知することで、セレクタＡ１２５０３における選択処理に必要な情報を供給する。
受光信号格納部Ａ１２５０５は、セレクタＡ１２５０３を経由して受光部Ａ１２５０１又は受光部Ａ１２５０２より得られた受光信号を格納する。
デコード部Ａ１２５０６は、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納する。
閾値格納部Ａ１２５０７は、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１２９０１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値を予め格納する。
視線検出部Ａ１３３０１は、受光部Ａ１２５０１から映像信号を受け、使用者の視線位置を検出し、視線分類情報を視線情報格納部Ａ１３００１に格納する。
（実施の形態６）
本実施の形態は、実施の形態４をベースにしたものであって、受光制御部Ａ１１０１２の構成を明確化したものである。
図３４は、実施の形態６における受光制御部の詳細構成を示す図である。
実施の形態６における受光制御部Ａ１１０１２は、図３４に示すように、受光部Ａ１２５０１と、受光部Ａ１２５０２と、セレクタＡ１２５０３と、加速度検知部Ａ１２５０４と、受光信号格納部Ａ１２５０５と、デコード部Ａ１２５０６と、閾値格納部Ａ１２５０７と、撮像部Ａ１３４０１と、視線検出部Ａ１３４０２とを備える。なお、図２５と同様の要素には同一の符号を付しており、詳細な説明は省略する。
受光部Ａ１２５０１は、本実施の形態において、受光部Ａ１２５０１は照度センサのようなセンサデバイスとする。受光部Ａ１２５０２は、例えば実施の形態１のアウトカメラＡ１２０３（第２撮像部）に対応する。
セレクタＡ１２５０３は、これら２つの受光部のどちらを稼動させるかを選択するためのである。
加速度検知部Ａ１２５０４は、携帯端末Ａ１２９０１の加速度を検知することで、セレクタＡ１２５０３における選択処理に必要な情報を供給する。
受光信号格納部Ａ１２５０５は、セレクタＡ１２５０３を経由して受光部Ａ１２５０１又は受光部Ａ１２５０２より得られた受光信号を格納する。
デコード部Ａ１２５０６は、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納する。
閾値格納部Ａ１２５０７は、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１２９０１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値を予め格納する。
撮像部Ａ１３４０１は、カメラデバイスのような映像撮像装置である。
視線検出部Ａ１３４０２は、撮像部Ａ１３４０１から映像信号を受け、使用者の視線位置を検出し、視線分類情報を視線情報格納部Ａ１３００１に格納する。
以上のように、本実施の形態によれば、携帯端末の姿勢に応じて、使用者の現在位置及び意図をより反映した情報の提示が可能となる通信端末および通信方法を実現できる。
（実施の形態７）
以下、実施の形態７について説明する。
（発光部の輝度の観測）
１枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図３５は、１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図３６のように、撮像画像上に露光ラインに沿った輝線（画素値の明暗の線）が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が２種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー（ＬＯ），高い方の輝度値をハイ（ＨＩ）と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
一枚の撮像画像中に、露光時間が重ならない露光ラインが２０ラインあり、撮像のフレームレートが３０ｆｐｓのときは、１．６７ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが１０００ラインある場合は、３万分の１秒（約３３マイクロ秒）周期の輝度変化を認識できる。なお、露光時間は例えば１０ミリ秒よりも短く設定される。
図３６は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
この場合、１秒あたりのフレーム数（フレームレート）がｆ、１画像を構成する露光ライン数がｌのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でｆｌビット毎秒の速度で情報を伝送することができる。
なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
このとき、露光ラインあたりの画素数がｍ画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でｆｌｍビット毎秒となる。
図３７のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
露光状態をＥｌｖ段階で認識可能である場合には、最大でｆｌＥｌｖビット毎秒の速度で情報を伝送することができる。
また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
図３８は、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、（１）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、（２）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、Ｓ／Ｎ比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの２値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
図３９は、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。７５００ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５００ｂはそれより露光時間を長くとった場合である。７５００ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
図４０は、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。７５０１ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５０１ｂは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。７５０１ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔（＝露光開始時刻の差）が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
図３９、図４０で説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を１／４８０秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数＝ｆとすると、露光時間＜１／８×ｆと設定する必要がある。撮影の際に発生するブランキングは、最大で１フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で１／２ｆとなる。更に、１／２ｆの時間内において、４値の情報を受ける必要があるため、少なくとも露光時間は、１／（２ｆ×４）よりも短くする必要が生じる。通常フレームレートは、６０フレーム／秒以下であることから、１／４８０秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
図４１は、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は７５０２ａのように２値の輝度変化をしていたとしても、撮像画像では７５０２ｅのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、７５０２ｄのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、７５０２ｆのような、より適切な輝線パターンを検出することが可能となる。７５０２ｄのように、所定の露光しない空き時間を設ける構成は、露光時間ｔＥを各露光ラインの露光開始時刻の時間差ｔＤよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、７５０２ｇのように、各露光ラインの露光開始時刻の間隔ｔＤを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、７５０２ｈのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート（３０ｆｐｓ、６０ｆｐｓ）にて撮影を行う通常撮影モードと、可視光通信を行う１／４８０秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。
図４２は、光源輝度の最小変化時間ｔＳと、露光時間ｔＥと、各露光ラインの露光開始時刻の時間差ｔＤと、撮像画像との関係を示している。ｔＥ＋ｔＤ＜ｔＳとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、７５０３ｄのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。２ｔＥ＞ｔＳとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
図４３は、光源輝度の遷移時間ｔＴと、各露光ラインの露光開始時刻の時間差ｔＤとの関係を示している。ｔＴに比べてｔＤが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。ｔＤ＞ｔＴのとき中間色の露光ラインは連続で２ライン以下になり、望ましい。ｔＴは、光源がＬＥＤの場合は１マイクロ秒以下、光源が有機ＥＬの場合は５マイクロ秒程度となるため、ｔＤを５マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
図４４は、光源輝度の高周波ノイズｔＨＴと、露光時間ｔＥとの関係を示している。ｔＨＴに比べてｔＥが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。ｔＥがｔＨＴの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、ｔＥ＞ｔＨＴであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではｔＨＴは２０マイクロ秒以下であるため、ｔＥを２０マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
図４５は、ｔＨＴが２０マイクロ秒の場合の、露光時間ｔＥと高周波ノイズの大きさとの関係を表すグラフである。ｔＨＴは光源によってばらつきがあることを考慮すると、グラフより、ｔＥは、ノイズ量が極大をとるときの値と等しくなる値である、１５マイクロ秒以上、または、３５マイクロ秒以上、または、５４マイクロ秒以上、または、７４マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはｔＥは大きいほうが望ましいが、前述のとおり、ｔＥが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が１５〜３５マイクロ秒のときはｔＥは１５マイクロ秒以上、光源輝度の変化の周期が３５〜５４マイクロ秒のときはｔＥは３５マイクロ秒以上、光源輝度の変化の周期が５４〜７４マイクロ秒のときはｔＥは５４マイクロ秒以上、光源輝度の変化の周期が７４マイクロ秒以上のときはｔＥは７４マイクロ秒以上として設定すると良い。
図４６は、露光時間ｔＥと認識成功率との関係を示す。露光時間ｔＥは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期ｔＳを露光時間ｔＥで割った値（相対露光時間）を横軸としている。グラフより、認識成功率をほぼ１００％としたい場合は、相対露光時間を１．２以下にすれば良いことがわかる。例えば、送信信号を１ｋＨｚとする場合は露光時間を約０．８３ミリ秒以下とすれば良い。同様に、認識成功率を９５％以上としたい場合は相対露光時間を１．２５以下に、認識成功率を８０％以上としたい場合は相対露光時間を１．４以下にすれば良いということがわかる。また、相対露光時間が１．５付近で認識成功率が急激に下がり、１．６でほぼ０％となるため、相対露光時間が１．５を超えないように設定すべきであることがわかる。また、認識率が７５０７ｃで０になった後、７５０７ｄや、７５０７ｅ、７５０７ｆで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が１．９から２．２、２．４から２．６、２．８から３．０となる露光時間を利用すれば良い。例えば、図４８の中間モードとして、これらの露光時間を使うと良い。
図４７のように、撮像装置によっては、露光を行わない時間（ブランキング）が存在することがある。
ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。
発光部が同じ信号を２回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。
発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。
（実施の形態８）
図４９は、既に説明した実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。
まず、サーバｅｘ８００２を管理する企業Ａ ｅｘ８０００に対して、他の企業Ｂや個人ｅｘ８００１が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業Ａ ｅｘ８０００は、任意のＩＤ情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ｅｘ８００３は、可視光通信により被写体ｅｘ８００４からＩＤ情報を取得し、取得したＩＤ情報をサーバｅｘ８００２へ送信する。サーバｅｘ８００２は、ＩＤ情報に対応する情報を携帯端末へ送信するとともに、ＩＤ情報に対応する情報を送信した回数をカウントする。サーバを管理する企業Ａ ｅｘ８０００は、カウントした回数に応じた料金を、依頼した企業Ｂや個人ｅｘ８００１に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。
図５０は、サービス提供のフローを示すフローチャートである。
Ｓｔｅｐ ｅｘ８０００において、サーバを管理する企業Ａが、他企業Ｂより情報配信の依頼を受ける。次に、Ｓｔｅｐ ｅｘ８００１において、企業Ａが管理するサーバにおいて、配信依頼を受けた情報を、特定のＩＤ情報と関連付ける。Ｓｔｅｐ ｅｘ８００２では、携帯端末が、可視光通信により、被写体から特定のＩＤ情報を受信し、企業Ａが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のＩＤ情報に対応する情報を携帯端末に対して送信する。Ｓｔｅｐ ｅｘ８００３では、サーバにおいて、情報配信した回数をカウントする。最後に、Ｓｔｅｐ ｅｘ８００４において、情報配信したカウント数に応じた料金を企業Ｂに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Ｂに課金することが可能となる。
図５１は、他の例におけるサービス提供を示すフローチャートである。図５０と重複するステップについては説明を省略する。
Ｓｔｅｐ ｅｘ８００８において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Ｓｔｅｐ ｅｘ８０１１において、企業Ｂに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ ｅｘ８００９において、情報を配信した回数をカウントする。そして、Ｓｔｅｐ ｅｘ８０１０において、情報配信したカウントに応じた料金を企業Ｂに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Ｂは宣伝効果などを確認した上で、課金サービスを受けることができる。
図５２は、他の例におけるサービス提供を示すフローチャートである。図５１と重複するステップについては説明を省略する。
Ｓｔｅｐ ｅｘ８０１４において、情報を配信した回数をカウントする。Ｓｔｅｐ ｅｘ８０１５において、情報配信開始から所定期間が経過していないと判断された場合には、Ｓｔｅｐ ｅｘ８０１６において課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ ｅｘ８０１７において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Ｂに対して課金は行わない。Ｓｔｅｐ ｅｘ８０１７において、カウント数が所定値以上であれば、Ｓｔｅｐ ｅｘ８０１８においてカウント数を一度リセットし、再度カウントを再開する。Ｓｔｅｐ ｅｘ８０１９において、カウント数に応じた料金を企業Ｂに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Ｂは適切なタイミングで課金サービスを受けることができる。また、企業Ａもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Ｂに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Ａに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。
なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のＩＤ情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。
本発明にかかる通信方法等は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ、ＰＣ、及びタブレットなどの機器は勿論のこと、外出先でのサイネージ、情報端末、及び情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、及び情報発信などのさまざまな用途に適用可能である。
Ａ１１０１、Ａ１９０４ シーリングライト
Ａ１１０２、Ａ１８０１、Ａ１８０２ 棚
Ａ１１０３、Ａ１８０３、Ａ１８０４、Ａ１９０５ ベースライト
Ａ１２０１、Ａ１１００１、Ａ１２９０１ 携帯端末
Ａ１２０２ インカメラ
Ａ１２０３ アウトカメラ
Ａ１２０４ タッチパネル部
Ａ１３０１ 領域
Ａ１７０１、Ａ１７０２、Ａ１７０３ 画像
Ａ１９０１ 腕時計型デバイス
Ａ１９０２、Ａ１９０３ 受光部
Ａ１１００２、Ａ１１００３ 照明機器
Ａ１１００４、Ａ１１００８ ＩＤ格納部
Ａ１１００５、Ａ１１００９ エンコード部
Ａ１１００６、Ａ１１０１０ 照度パターン格納部
Ａ１１００７、Ａ１１０１１ 発光部
Ａ１１０１２、Ａ１３００２ 受光制御部
Ａ１１０１３ ＩＤ格納部
Ａ１１０１４、Ａ１３００３ ＤＢ管理部
Ａ１１０１５、Ａ１３００４ サーバ装置
Ａ１１０１６ 商品情報格納部
Ａ１１０１７ 地図情報格納部
Ａ１１０１８ 表示部
Ａ１１０１９ 状態管理部
Ａ１１０２０ ＵＩ部
Ａ１１１０１、Ａ１１３０１ 有効フラグ
Ａ１１１０２ 棚外観
Ａ１１１０３ 棚内観
Ａ１１１０４ 商品種別情報
Ａ１１１０５ 商品在庫情報
Ａ１１３０２ データ長
Ａ１１３０３ 地図画像
Ａ１１６０１ 異常フラグ
Ａ１１６０２ 前フレーム描画種別
Ａ１２５０１、Ａ１２５０２、Ａ１２７０１、Ａ１２７０２ 受光部
Ａ１２５０３、Ａ１２７０３ セレクタ
Ａ１２５０４ 加速度検知部
Ａ１２５０５、Ａ１２７０５ 受光信号格納部
Ａ１２５０６、Ａ１２７０６ デコード部
Ａ１２５０７、Ａ１２７０７ 閾値格納部
Ａ１２７０４ タイマ制御部
Ａ１３００１ 視線情報格納部
Ａ１３１０１、Ａ１３１０４ 棚識別子
Ａ１３１０５ 棚情報
Ａ１３３０１、Ａ１３４０２ 視線検出部
Ａ１３４０１ 撮像部

Claims (5)

  1. インカメラとアウトカメラとを有する端末の通信方法であって、
    前記アウトカメラを備える前記端末の側面と、地面とがなす角度が所定の値よりも大きい場合、前記アウトカメラを用いて、使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、第１情報を取得し、取得した前記第１情報に関連する情報を前記端末の表示部に表示し、
    前記アウトカメラを備える前記端末の側面と、前記地面とがなす角度が所定の値よりも小さい場合、前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、第２情報を取得し、取得した前記第２情報に関連する情報を前記端末の表示部に表示し、
    前記端末の表示部に前記第１情報に関連する情報が表示された後、前記インカメラを用いて、前記第２情報を取得する場合、前記第１情報に関連する情報に付与されたオフセットを初期化する、
    通信方法。
  2. 前記第１機器は、商品棚に設置されており、前記第１情報に関連する情報は、商品情報であり、
    前記第２情報に関連する情報は、前記第２機器が設置されている位置情報を前記端末の使用者の現在位置として前記使用者が存在するエリアの地図情報である、
    請求項１に記載の通信方法。
  3. さらに、前記端末の表示部に表示した前記商品情報を変更する変更ステップを含み、
    前記変更ステップでは、前記使用者が前記表示部に対してフリック操作することにより、前記表示部に表示されている商品情報が変更される、
    請求項２に記載の通信方法。
  4. インカメラとアウトカメラとを有する端末の通信装置であって、
    前記アウトカメラを備える前記端末の側面と、地面とがなす角度が所定の値よりも大きい場合、前記アウトカメラを用いて、使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、第１情報を取得し、取得した前記第１情報に関連する情報を前記端末の表示部に表示し、前記アウトカメラを備える前記端末の側面と、前記地面とがなす角度が所定の値よりも小さい場合、前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、第２情報を取得し、取得した前記第２情報に関連する情報を前記端末の表示部に表示する表示手段を備え、
    前記表示手段は、前記端末の表示部に前記第１情報に関連する情報が表示された後、前記インカメラを用いて、前記第２情報を取得する場合、前記第１情報に関連する情報に付与されたオフセットを初期化する、
    通信装置。
  5. インカメラとアウトカメラとを有する端末を制御するプログラムであって、
    前記アウトカメラを備える前記端末の側面と、地面とがなす角度が所定の値よりも大きい場合、前記アウトカメラを用いて、使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、第１情報を取得し、取得した前記第１情報に関連する情報を前記端末の表示部に表示し、
    前記アウトカメラを備える前記端末の側面と、前記地面とがなす角度が所定の値よりも小さい場合、前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、第２情報を取得し、取得した前記第２情報に関連する情報を前記端末の表示部に表示し、
    前記端末の表示部に前記第１情報に関連する情報が表示された後、前記インカメラを用いて、前記第２情報を取得する場合、前記第１情報に関連する情報に付与されたオフセットを初期化する、
    コンピュータ実行可能なプログラム。
JP2018032577A 2013-12-27 2018-02-26 通信方法、通信装置およびプログラム Active JP6622828B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361921132P 2013-12-27 2013-12-27
US61/921,132 2013-12-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015554491A Division JP6298831B2 (ja) 2013-12-27 2014-04-25 通信方法

Publications (2)

Publication Number Publication Date
JP2018117368A JP2018117368A (ja) 2018-07-26
JP6622828B2 true JP6622828B2 (ja) 2019-12-18

Family

ID=53477849

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015554491A Active JP6298831B2 (ja) 2013-12-27 2014-04-25 通信方法
JP2018032577A Active JP6622828B2 (ja) 2013-12-27 2018-02-26 通信方法、通信装置およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015554491A Active JP6298831B2 (ja) 2013-12-27 2014-04-25 通信方法

Country Status (4)

Country Link
US (2) US9294666B2 (ja)
JP (2) JP6298831B2 (ja)
CN (1) CN105850061B (ja)
WO (1) WO2015097924A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9594152B2 (en) 2014-08-12 2017-03-14 Abl Ip Holding Llc System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
JP6485767B2 (ja) * 2014-12-26 2019-03-20 パナソニックＩｐマネジメント株式会社 照明器具及び可視光通信システム
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
KR20180040527A (ko) * 2015-08-12 2018-04-20 엘지전자 주식회사 이동 단말기
WO2017026554A1 (ko) * 2015-08-12 2017-02-16 엘지전자 주식회사 이동 단말기
KR102521805B1 (ko) 2015-11-10 2023-04-14 삼성전자주식회사 카메라 전환 방법 및 이를 지원하는 전자 장치
CN105635591A (zh) * 2016-03-11 2016-06-01 深圳还是威健康科技有限公司 一种基于可穿戴设备的拍照控制方法及终端
US10270528B1 (en) * 2016-06-30 2019-04-23 Google Llc Serial communication to device through lighting control
US11418956B2 (en) 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242205A (ja) 1995-03-06 1996-09-17 Nec Corp 赤外線通信機能付携帯型電子機器
JPH09305277A (ja) 1996-05-14 1997-11-28 Toshiba Corp ポータブルコンピュータ
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
JP3979090B2 (ja) * 2001-12-28 2007-09-19 日本電気株式会社 カメラ付き携帯型電子機器
JP5056009B2 (ja) 2004-03-03 2012-10-24 日本電気株式会社 測位システム、測位方法、及びそのプログラム
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
US7711200B2 (en) * 2005-09-29 2010-05-04 Apple Inc. Video acquisition with integrated GPU processing
KR20110088914A (ko) * 2010-01-29 2011-08-04 삼성전자주식회사 휴대용 단말기에서 카메라 기능을 제공하기 위한 장치 및 방법
JP2011254317A (ja) 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
US20120281129A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Camera control
EP2858269B1 (en) 2012-05-24 2018-02-28 Panasonic Intellectual Property Corporation of America Information communication method
JP5404956B2 (ja) 2012-06-15 2014-02-05 シャープ株式会社 情報配信装置、情報配信システム、情報配信方法及び携帯通信機
FR2993997B1 (fr) * 2012-07-26 2014-08-22 Acep France Systeme d'eclairage photographique pour tablette tactile
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
CN103116846A (zh) * 2012-12-27 2013-05-22 重庆濯晖科技有限公司 基于可见光通信的移动支付
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
EP2940889B1 (en) 2012-12-27 2019-07-31 Panasonic Intellectual Property Corporation of America Visible-light-communication-signal display method and display device
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
JP5603523B1 (ja) 2012-12-27 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
CN104871453B (zh) 2012-12-27 2017-08-25 松下电器（美国）知识产权公司 影像显示方法和装置
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
EP2940901B1 (en) 2012-12-27 2019-08-07 Panasonic Intellectual Property Corporation of America Display method

Also Published As

Publication number Publication date
US9413460B2 (en) 2016-08-09
CN105850061A (zh) 2016-08-10
US9294666B2 (en) 2016-03-22
CN105850061B (zh) 2019-02-19
JPWO2015097924A1 (ja) 2017-03-23
WO2015097924A1 (ja) 2015-07-02
JP6298831B2 (ja) 2018-03-20
JP2018117368A (ja) 2018-07-26
US20150189149A1 (en) 2015-07-02
US20160149641A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
JP6622828B2 (ja) 通信方法、通信装置およびプログラム
JP6483879B2 (ja) 情報通信方法、情報通信装置、およびプログラム
JP6345697B2 (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
EP2748950B1 (en) Coded light detector
US9569892B2 (en) Image capture input and projection output
JP6429288B2 (ja) 送信機、送信方法およびプログラム
JP6434724B2 (ja) 情報通信方法
US9225420B2 (en) Communication method
US20160371859A1 (en) Image display system and image display method
US10677448B2 (en) Lighting device
JP2018032885A (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
CN101542550A (zh) 遥控指向技术
JP2018032884A (ja) 受信プログラムおよび受信装置
US8766916B2 (en) Pointing device with multiple view angles
KR20140067484A (ko) 디지털 이미지 필터를 이용한 조명장치 및 그 조명 방법
US20100162145A1 (en) Object information providing apparatus, object awareness apparatus, and object awareness system
JP2015219547A (ja) 機器制御システム、機器制御プログラムおよび機器制御装置
JP2020017898A (ja) 画像共有システム、画像共有方法
JP2015219546A (ja) 機器制御システム、機器制御プログラムおよび機器制御装置
JP2011237678A (ja) プロジェクターおよび投写方法
JP2011238116A (ja) 表示装置および表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191122

R150 Certificate of patent or registration of utility model

Ref document number: 6622828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150