本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する撮像ステップと、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、を含む。
これにより、被写体の輝度変化によって送信される情報が、イメージセンサの露光ラインの露光によって取得されるため、例えば無線通信を行うための特別な通信デバイスを必要とすることなく、多様な機器間の通信を可能とすることができる。なお、露光ラインは、イメージセンサに含まれる、同時に露光する複数の画素からなる列または行である。また、輝線は、例えば後述の図79などによって示される撮像画像中に含まれる線である。
例えば、前記撮像ステップでは、前記イメージセンサに含まれる複数の露光ラインのそれぞれを互いに異なるタイミングで順次露光する。
これにより、ローリングシャッター方式の撮像が行われることによって生じる輝線が、画像内における各露光ラインに対応する位置に含まれるため、被写体から多くの情報を取得することができる。
ここで、前記情報取得ステップでは、前記輝線のパターンのうち、前記露光ラインに垂直な方向のパターンによって特定される前記データを復調してもよい。
これにより、輝度変化に対応する情報を適切に取得することができる。
また、前記露光時間設定ステップでは、前記露光時間を10ミリ秒よりも短く設定してもよい。
これにより、画像中に輝線をより確実に生じさせることができる。
ここで、前記撮像ステップでは、200Hz以上の周波数で輝度変化する前記被写体を撮像してもよい。
これにより、例えば後述の図305Aおよび図305Bに示すように、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。
また、前記撮像ステップでは、前記露光ラインに平行な輝線を含む前記画像を取得してもよい。
これにより、輝度変化に対応する情報を適切に取得することができる。
ここで、前記情報取得ステップでは、取得された前記画像内における、前記イメージセンサに含まれる各露光ラインに対応する領域ごとに、当該領域に輝線があるか否かによって特定される0または1を示す前記データを復調してもよい。
これにより、PPM変調された多くの情報を被写体から取得することができる。例えば後述の図79に示すように、1秒あたりの画像の数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を取得すると、最大でflビット毎秒の速度で情報を取得することができる。
また、前記情報取得ステップでは、前記領域ごとに、当該領域の輝度値が閾値以上であるか否かに応じて、当該領域に輝線があるか否かを特定してもよい。
これにより、被写体から適切に情報を取得することができる。
ここで、前記撮像ステップでは、所定の期間ごとに、当該所定の期間に対応する一定の周波数で輝度変化する前記被写体を撮像し、前記情報取得ステップでは、前記所定の期間ごとに、当該所定の期間に対応する一定の周波数の輝度変化に応じて生成される前記輝線のパターンによって特定される前記データを復調してもよい。
これにより、FM変調された多くの情報を被写体から取得することができる。例えば後述の図188に示すように、周波数f1に対応する輝線のパターンと、周波数f2に対応する輝線のパターンとによって、適切な情報を取得することができる。
また、前記撮像ステップでは、輝度の立ち上がりおよび立ち下りのうちの一方の変化と次の前記一方の変化との間の時間を調整することによって信号を送信するように輝度変化する前記被写体を撮像し、前記情報取得ステップでは、前記輝線のパターンによって特定される、前記時間に対応付けられた符号である前記データを復調してもよい。
これにより、例えば後述の図248に示すように、被写体から送信される情報の内容を変えることなく、PWM制御によって、人が感じる被写体(例えば照明機器)の明るさを調整することができる。
ここで、前記撮像ステップでは、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する前記被写体を撮像してもよい。
これにより、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。例えば後述の図85に示すように、変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、移動平均したときの各輝度値を発光時の輝度値の約75%にすることができる。その結果、人がちらつきを感じることを防ぐことができる。
また、前記輝線のパターンは前記イメージセンサの露光時間に応じて異なり、前記情報取得ステップでは、設定された前記露光時間に応じた前記パターンによって特定される前記データを復調してもよい。
これにより、例えば後述の図91に示すように、露光時間に応じて異なる情報を被写体から取得することができる。
ここで、前記情報通信方法は、さらに、前記イメージセンサを備える撮像装置の状態を検出し、前記情報取得ステップでは、前記被写体の位置を示す前記情報を取得し、さらに、取得された前記情報と、検出された前記状態とに基づいて、前記撮像装置の位置を算出してもよい。
これにより、例えば後述の図185に示すように、GPSなどを使うことができなくても、またはGPSなどを使った場合よりも、撮像装置の位置を正確に特定することができる。
また、前記撮像ステップでは、前記露光ラインに沿うように配列された複数の領域を含み、領域ごとに輝度変化する前記被写体を撮像してもよい。
これにより、例えば後述の図258に示すように、多くの情報を被写体から取得することができる。
ここで、前記撮像ステップでは、メタメリックな複数種の光を互いに異なるタイミングで発する前記被写体を撮像してもよい。
これにより、例えば後述の図272に示すように、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。
また、前記情報通信方法は、さらに、前記イメージセンサを備える撮像装置が存在する場所を推定し、前記情報取得ステップでは、前記被写体の識別情報を前記情報として取得するとともに、前記場所および前記識別情報に関連付けられた関連情報をサーバから取得してもよい。
これにより、例えば後述の図282および図283に示すように、複数の照明機器から同じ識別情報が輝度変化によって送信されるような場合であっても、撮像装置が存在する場所(建物)、つまり照明機器が存在する場所(建物)に応じて適切な関連情報を取得することができる。
ここで、本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する第1の送信ステップと、前記発光体が、前記送信対象の信号を送信してから33ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する第2の送信ステップとを含み、前記決定ステップでは、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。
これにより、輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、例えば後述の図301Bに示すように、33ミリ秒以内に同じ信号が送信されるため、信号を受信する受信機にブランキングがあっても、確実に信号をその受信機に送信することができる。
また、前記決定ステップでは、2ビットによって示される信号のそれぞれを、同じ値を示す3つのビットと他の値を示す1つのビットとからなる4ビットによって示される信号に変調する方式にしたがって、前記送信対象の信号を変調してもよい。
これにより、例えば後述する図85に示すように、変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、移動平均したときの各輝度値を発光時の輝度値の約75%にすることができる。その結果、人がちらつきを感じることをより確実に防ぐことができる。
ここで、前記決定ステップでは、輝度の立ち上がりおよび立ち下りのうちの一方の変化と次の前記一方の変化との間の時間を、前記送信対象の信号に応じて調整することによって、前記輝度変化のパターンを決定してもよい。
これにより、例えば後述の図248に示すように、送信対象の信号の内容を変えることなく、PWM制御によって、人が感じる発光体(例えば照明機器)の明るさを調整することができる。
また、前記第1の送信ステップおよび前記第2の送信ステップでは、輝度変化する前記発光体を撮像するイメージセンサの露光時間に応じて異なる信号が、前記イメージセンサを備える撮像装置に取得されるように輝度変化してもよい。
これにより、例えば後述の図91に示すように、露光時間に応じて異なる信号を撮像装置に送信することができる。
ここで、前記第1の送信ステップおよび前記第2の送信ステップでは、複数の発光体が同調して輝度変化することによって、前記複数の発光体が共通の情報を送信し、前記共通の情報が送信された後に、発光体ごとに輝度変化することによって、当該発光体ごとに異なる情報を送信してもよい。
これにより、例えば後述の図98に示すように、複数の発光体が共通の情報を同時に送信することで、複数の発光体を一つの大きな発光体とみなすことができ、その共通の情報を受信する撮像装置で発光体を大きく撮像することができるため、情報をより速く、より遠くからでも送信することができる。さらに、例えば後述の図186に示すように、複数の発光体が共通の情報を送信することによって、発光体ごとに送信される個別の情報の情報量を抑えることができる。
また、前記情報通信方法は、さらに、前記送信対象の信号の変調を行うか否かの指示を受け付ける指示受付ステップを含み、前記変調を行うことを示す指示が受け付けられた場合には、前記決定ステップ、前記第1の送信ステップおよび前記第2の送信ステップを実行し、前記変調を行わないことを示す指示が受け付けられた場合には、前記決定ステップ、前記第1の送信ステップおよび前記第2の送信ステップを実行することなく、前記発光体は点灯または消灯してもよい。
これにより、例えば後述の図186に示すように、変調を行うか否かが切り替えられるため、他の発光体の輝度変化に対してノイズとして与える影響を抑えることができる。
ここで、前記発光体は、当該発光体を撮像するイメージセンサの露光ラインに沿うように配列された複数の領域を含み、前記第1の送信ステップおよび前記第2の送信ステップでは、前記発光体の領域ごとに輝度変化してもよい。
これにより、例えば後述の図258に示すように、多くの情報を送信することができる。
また、前記第1の送信ステップおよび前記第2の送信ステップでは、前記発光体は、メタメリックな複数種の光を互いに異なるタイミングで発することによって輝度変化してもよい。
これにより、例えば後述の図272に示すように、人がちらつきを感じることなく、多くの情報を送信することができる。
ここで、前記第1の送信ステップおよび前記第2の送信ステップでは、前記送信対象の信号または前記同一の信号として前記発光体の識別情報を送信してもよい。
これにより、例えば後述の図282に示すように、発光体の識別情報が送信されるため、その識別情報を受信した撮像装置は、その識別情報に関連付けられたより多くの情報を、インターネットなどの通信回線を介してサーバなどから取得することができる。
また、本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって複数の周波数を決定する決定ステップと、発光体が、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する送信ステップと、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に33ミリ秒以上の周期で順に変更する変更ステップとを含み、前記送信ステップでは、前記発光体は、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化してもよい。
これにより、輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、FM変調された多くの信号を送信することができる。例えば後述の図188に示すように、輝度変化の周波数(f1、f2など)が33ミリ秒以上の周期で変更されることによって、適切な情報を送信することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
以下では、機器が備えるLEDの点滅パターンとして情報を送信することで、スマートフォンのカメラを用いて通信する処理の流れについて述べる。
図1は、本実施の形態における宅内の環境の例を示す図である。図1に示す環境では、テレビ1101や電子レンジ1106、空気清浄機1107に対して、スマートフォン1105などもユーザの回りにある。
図2は、本実施の形態における家電機器とスマートフォンの通信の例を示す図である。図2は、情報通信の例であり、図1のテレビ1101や電子レンジ1106のような各機器の出力する情報をユーザが保有するスマートフォン1201で取得することで、情報を得る構成を示す図である。図2に示すとおり、各機器はLEDの点滅パターンを用いて情報を送信し、スマートフォン1201はカメラなどによる撮像機能を用いて情報を受け取る。
図3は、本実施の形態における送信側装置1301の構成の1例を示す図である。
この送信側装置1301は、ユーザがボタンを押したり、NFC(Near Field Communication)などによって送信指示を送ったり、装置内部の故障などのステートの変化を検知することで、情報を光の点滅パターンとして送信する。このとき一定時間送信を繰り返す。送信される情報は、あらかじめ登録されている機器間であれば、短縮IDを用いてもよい。また、無線LANや特定省電力無線といった無線通信部を有する場合は、その接続に必要な認証情報を点滅パターンとして送信することもできる。
また、送信速度判定部1309は、機器内部のクロック発生装置の性能を把握することで、クロック発生装置が廉価なもので精度の悪い場合は、送信速度を遅くして、高い場合は送信速度を早くする処理を行うことができる。クロック発生装置の性能が悪い場合は、又は送信される情報自体を短く区切ることで長時間通信することでの点滅間隔のずれの蓄積によるエラーを減らすことも可能である。
図4は、本実施の形態における受信側装置1401の構成の1例を示すである。
この受信側装置1401は、画像取得部1404が取得したフレーム画像から、光の点滅が見られるエリアを判定する。このとき点滅は、一定以上の輝度の高低が観測されるエリアを追尾するような方法をとることもできる。
点滅情報取得部1406は、点滅のパターンから、送信された情報を取得し、その中に機器IDなどの機器関連が含まれている場合は、その情報を用いてクラウド上の関連サーバに付随する情報を問い合わせるか、又は事前に保管されている無線通信エリア内の機器か又は受信側装置内部に保管されている情報を用いて補間する。これによって、光の発光パターンを撮像するときのノイズによるエラー補正や、すでに入手した情報を取得するために、ユーザがスマートフォンを送信側装置の発光部にかざす時間を削減するなどの効果が得られる。
以下、図5を解説する。
図5は、本実施の形態における送信側装置のLEDの点滅によってスマートフォンなどの受信側装置に情報を送る処理の流れを示す図である。ここでは、NFCによってスマートフォンと通信する機能を有する送信側装置と、その送信側装置が持つNFC用の通信マークの一部に埋め込まれたLEDの発光パターンによって情報を送信する状況を想定する。
まず、ステップ1001aで、ユーザが家電機器を購入し初めてコンセントに電源を差し、通電状態になる。
次に、ステップ1001bで、初期設定情報が書き込み済みかどうかを確認する。Yesの場合は図中の丸3に進む。一方、Noの場合はステップ1001cに進み、ユーザが理解しやすい点滅速度(例:1〜2/5)で、マークが点滅する。
次に、ステップ1001dで、ユーザがNFC通信よりスマートフォンをマークにタッチすることで家電の機器情報を取得するかどうかを確認する。ここで、Yesの場合は、ステップ1001eに進み、スマートフォンがクラウドのサーバに機器情報を受信し、クラウドに登録する。続いて、ステップ1001fで、クラウドからスマートフォンのユーザのアカウントに関連づけられた短縮IDを受信し、家電に送信し、ステップ1001gに進む。なお、ステップ1001dで、Noの場合はステップ1001gに進む。
次に、ステップ1001gで、NFCでの登録があるかどうか確認する。Yesの場合は、ステップ1001jへ進み、青の点滅2回後、ステップ1001kで、点滅が終了する。
一方、ステップ1001gで、Noの場合はステップ1001hへ進む。続いて、ステップ1001hで、30秒過ぎたかどうかを確認する。ここで、Yesの場合は、ステップ1001iへ進み、LED部分が光の点滅によって機器情報(機器の型番、NFCでの登録処理有無、機器の固有ID)を出力して、図6の丸2へ進む。
なお、ステップ1001hで、Noの場合はステップ1001dへ戻る。
次に、図6〜図9を用いて、本実施の形態における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを説明する。ここで、図6〜図9は、送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。
以下、図6を解説する。
まず、ステップ1002aで、ユーザがスマートフォンの光点滅情報を取得するアプリを起動する。
次に、ステップ1002bで、画像取得部分が光の点滅を取得する。そして、点滅エリア判定部が画像の時系列上の変化から点滅しているエリアを判定する。
次に、ステップ1002cで、点滅情報取得部が点滅エリアの点滅パターンを判定し、プリアンブル検出を待つ。
次に、ステップ1002dで、プリアンブルの検出出来た場合、その点滅エリアの情報を取得する。
次に、ステップ1002eで、機器IDの情報が取得出来た場合、受信継続状態においても、クラウド側のサーバに情報を送り情報補間部がクラウド側から入手した情報と点滅情報取得部の情報とを比べつつ補間する。
次に、ステップ1002fで、補間した情報も含めて全ての情報がそろったらスマートフォンかユーザに通知する。この時クラウドから入手した関連サイトやGUIを表示する事でよりリッチで分かり易い通知が可能となり、図7の丸4へ進む。
以下、図7を解説する。
まず、ステップ1003aで、家電が故障やユーザに通知する使用回数、室温などのメッセージを生成した場合、情報送信モードを開始する。
次に、ステップ1003bで、マークを1〜2/sで点滅させる。同時にLEDも情報発信を始める。
次に、ステップ1003cで、NFCでの通信が開始されたかどうかを確認する。なお、Noの場合は、図9の丸7へ進む。Yesの場合は、ステップ1003dへ進み、LEDの点滅を停止する。
次に、ステップ1003eで、スマートフォンがクラウドのサーバにアクセスして、関連情報を表示する。
次に、ステップ1003fで、現地対応が必要な故障の場合、サーバ側でサポートするサービスマンを検索。家電、設置場所、位置情報を利用する。
次に、ステップ1003gで、サービスマンがあらかじめ決められた順に家電のボタンを押すことでサポートモードにする。
次に、ステップ1003hで、マーカ以外の家電のLEDでマーカの点滅がスマートフォンから見える場合に同時に見えるLEDの一部または全てが情報を補間する様点滅し、図8の丸5へ進む。
以下、図8を解説する。
まず、ステップ1004aで、サービスマンは所有する受信端末の性能が高速(例:1000/s回)の点滅を検出可能な場合、その設定ボタンを押す。
次に、ステップ1004bで、家電のLEDが高速モード点滅して、丸6に進む。
以下、図9を解説する。
まず、ステップ1005aで、点滅を継続する。
次に、ステップ1005bで、ユーザがスマートフォンでLEDの点滅情報を取りに来る。
次に、ステップ1005cで、ユーザがスマートフォンの光点滅情報を取得するアプリを起動する。
次に、ステップ1005dで、画像取得部分が光の点滅を取得する。そして、点滅エリア判定部が画像の時系列上の変化から点滅しているエリアを判定する。
次に、ステップ1005eで、点滅情報取得部が点滅エリアの点滅パターンを判定し、プリアンブル検出を待つ。
次に、ステップ1005fで、プリアンブルの検出出来た場合、その点滅エリアの情報を取得する。
次に、ステップ1005gで、機器IDの情報が取得出来た場合、受信継続状態においても、クラウド側のサーバに情報を送り情報補間部がクラウド側から入手した情報と点滅情報取得部の情報とを比べつつ補間する。
次に、ステップ1005hで、補間した情報も含めて全ての情報がそろったらスマートフォンかユーザに通知する。この時クラウドから入手した関連サイトやGUIを表示する事でよりリッチで分かり易い通知が可能となる。
そして、図7のステップ1003fへ進む。
このようにして、家電機器などの送信装置が、LEDの点滅によってスマートフォンに情報を送信することができる。無線機能やNFCといった通信手段がないような機器でも、情報を発信することができて、スマートフォンを経由してクラウド上のサーバにあるリッチな情報をユーザに提供することもできる。
また、本実施の形態に示すように、少なくとも一つの持ち運び可能な機器を含む2つの機器間で、双方向通信(例えばNFC通信)と片方向通信(例えばLEDの輝度変化による通信)の両方の通信方法でデータの送受信を行う機能を有する場合において、片方の機器からもう片方の機器に片方向通信にてデータの送信をしているときにおいて、双方向通信でデータ送受信が実現した場合に、片方向の通信をとめることが可能である。これにより、片方向通信に必要となる消費電力の無駄を省くことが出来るため効率的である。
以上、実施の形態1によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信装置を実現することができる。
具体的には、本実施の形態の情報通信装置は、自らのユニークなIDと機器の状態情報を含む機器情報を管理する情報管理部と、発光素子と、前記発光素子の点滅パターンとして情報を送信する光送信部とを有し、前記光送信部は、前記機器の内部の状態に変化があった場合に、前記機器情報を光の点滅パターンに変換して送信する。
ここで、例えば、さらに、自らの起動状態やユーザの使用履歴といった機器内部のセンシングされた情報を保存する起動履歴管理部を備え、前記光送信部は、利用するクロック発生装置のあらかじめ登録された性能情報を取得し、送信速度を変更するとしてもよい。
また、例えば、前記光送信部は、光の点滅によって情報を送信するための第一の発光素子の周囲に、第二の発光素子を配置されており、前記第二の発光素子は、前記第一の発光素子の点滅による情報発信が一定回数繰り返される場合に、情報発信の終了と開始の間に発光するとしてもよい。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
(実施の形態2)
本実施の形態では、掃除機を例にとって、可視光通信を用いた機器とユーザの通信手順、及び、可視光通信を用いた初期設定から故障時の修理対応サービス、掃除機を用いたサービス連携について説明する。
図10と図11は、本実施の形態における可視光を用いてユーザと機器の通信を行う手順を説明するための図である。
以下、図10について解説する。
まず、丸1において、開始する。
次に、ステップ2001aで、ユーザが電源投入する。
次に、ステップ2001bで、起動処理として、設置設定、NW設定等の初期設定がされているかを確認する。
ここで、初期設定がされている場合は、ステップ2001fへ進み、通常動作を開始して、丸3に示すように終了する。
一方、初期設定がされてない場合、ステップ2001cへ進み、「LED通常発光」「ブザー音」によってユーザに初期設定が必要なことを通知する。
次に、ステップ2001dで、機器情報(製品番号と製造番号)を収集して可視光通信の準備をする。
次に、ステップ2001eで、機器情報(製品番号と製造番号)可視光通信が可能な事を「LED通信発光」「ディスプレイへのアイコン表示」「ブザー音」「複数のLEDを発光」でユーザに通知する。
そして、丸2に示すように終了する。
続いて、図11について解説する。
まず、丸2に示すように開始する。
次に、ステップ2002aで、可視光受信端末の接近を「近接センサ」、「照度センサ」及び「人感センサ」で感知する。
次に、ステップ2002bで、感知した事をトリガーとして可視光通信を開始する。
次に、ステップ2002cで、ユーザは可視光受信端末で機器情報を取得する。
続いて、丸4に示すように終了する。あるいは、ステップ2002f〜ステップ2002iのいずれかに進む。
ステップ2002fに進んだ場合、「感度センサ」による感知、及び、「調光機器との連携」で部屋が消灯された事を感知して機器情報の発光を停止して、丸5に示すように終了する。また、ステップ2002gに進んだ場合、可視光受信端末は機器情報を取得感感知した事を「NFC通信」及び「NW通信」で通知して、終了する。ステップ2002hに進んだ場合、可視光受信端末の離脱を感知して機器情報を停止して、終了する。ステップ2002iに進んだ場合、一定時間の経過を持って、機器情報の発光を停止して、終了する。
なお、ステップ2002aで、感知しなかった場合は、ステップ2002dに進み、一定時間の経過を持って可視光通信が可能な通知を「明るくする」「音を大きくする」「アイコンを動かす」などで強化して通知する。ここで、ステップ2002dへ戻る。あるいは、ステップ2002eへ進み、さらに一定時間経過後に、ステップ2002iへ進む。
図12は、本実施の形態におけるユーザが機器を購入して、機器の初期設定を行うまでの手順を説明するための図である。
図12において、まず、丸4に示すように開始する。
次に、ステップ2003aで、機器情報を受信したスマホの位置情報をGPS(Global Positioning System)で取得する。
次に、ステップ2003bで、スマホにユーザ情報があれば、ユーザ名、電話番号、メールアドレスなどのユーザ情報を端末内で収集する。または、ステップ2003cで、スマホにユーザ情報がなければNWを通して周辺機器からユーザ情報を収集する。
次に、ステップ2003dで、機器情報とユーザ情報と位置情報をクラウドサーバに送信する。
次に、ステップ2003eで、機器情報と位置情報を用いて初期設定に必要な情報とアクティベーション情報を収集する。
次に、ステップ2003fで、ユーザ登録済みの機器との連携に設定に必要なIPや認証方式や利用可能サービスといった連係情報を収集する。あるいは、ステップ2003gで、ユーザ登録済みの機器に対してNWを通して機器情報と設定情報を送信して周辺機器との連携設定を行う。
次に、ステップ2003hで、機器情報とユーザ情報を用いてユーザ設定を行う。
次に、ステップ2003iで、初期設定情報とアクティビティ情報と連携設定情報をスマホに送信する。
次に、ステップ2003jで、初期設定情報とアクティベーション情報と連携設定情報をNFCで家電に送信する。
次に、ステップ2003kで、初期設定情報とアクティベーション情報と連携設定情報で機器の設定をする。
そして、丸6に示すように終了する。
図13は、本実施の形態における機器が故障した場合の、サービスマン専用のサービスについて説明するための図である。
図13において、まず、丸3に示すように開始する。
次に、ステップ2004aで、機器の通常動作中に発生した動作ログ、ユーザ操作ログといった履歴情報をローカル記憶媒体に記録する。
次に、ステップ2004bで、故障発生と同時に、エラーコード、エラー詳細といったエラー情報を記録し、可視光通信が可能なことをLED異常発光で通知する。
次に、ステップ2004cで、サービスマンの特殊コマンド実行でLED高速発光モードとなり可視光の高速通信を開始する。
次に、ステップ2004dで、近接した端末が通常スマホなのか、サービスマンの専用受信端末かを判別する。ここで、ステップ2004eに進んだ場合、スマホの場合はエラー情報を取得して終了する。
一方、ステップ2004fに進んだ場合、サービスマンの場合は、専用受信端末では、エラー情報と履歴情報を取得する。
次に、ステップ2004gで、クラウドに機器情報とエラー情報と履歴情報を送信し、修理方法を取得する。ここで、ステップ2004hに進んだ場合、サービスマンの特殊コマンド実行でLED高速発光モードを解除して、終了する。
一方、ステップ2004iに進んだ場合、クラウドサーバから機器情報の関連商品、類似商品の商品情報、最寄店舗の販売価格、新商品情報を取得する。
次に、ステップ2004jで、ユーザのスマホとサービスマンの専用端末で可視光通信を通して、ユーザ情報を取得して、クラウドサーバに通して最寄店舗に商品を発注する。
そして、丸9に示すように終了する。
図14は、本実施の形態における掃除機と可視光通信を用いた、掃除状況を確認するためのサービスについて説明するための図である。
まず、丸3に示すように、開始する。
次に、ステップ2005aで、機器の通常動作中の掃除情報を記録する。
次に、ステップ2005bで、間取り情報と組み合わせて汚れ情報を作成し、暗号化圧縮する。
ここで、ステップ2005cに進んだ場合、汚れ情報の圧縮をトリガーとして、汚れ情報をローカル記憶媒体に記録する。あるいは、ステップ2005dに進んだ場合、掃除の一時停止(吸込処理停止)をトリガーとして汚れ情報を照明器具に可視光通信で送信する。あるいは、ステップ2005eに進んだ場合、汚れ情報の記録をトリガーとして、汚れ情報を家庭内ローカルサーバ及びクラウドサーバにNWで送信する。
次に、ステップ2005fで、汚れ情報の送信及び記録をトリガーとして、機器情報、保存箇所、復号キーを可視光通信でスマホに送信する。
次に、ステップ2005gで、NW及びNFCを通して、汚れ情報を取得して復号する。
そして、丸10に示すように終了する。
以上のように、実施の形態1によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信装置を含む可視光通信システムを実現することができる。
具体的には、本実施の形態の情報通信装置を含む可視光通信システム(図10)は、可視光送信の準備が完了したかを判定するための可視光送信可否判定部と、可視光送信中であることをユーザに通知する可視光送信通知部と、を搭載しており、可視光通信が可能な状態になったときに、ユーザに視覚的、及び、聴覚的に通知する可視光通信システムである。それにより、ユーザにLEDの発光モードを「発光色」「音」「アイコン表示」「複数LED発光」によって可視光受信が可能な状況を通知する事で、ユーザの利便性を向上できる。
好ましくは、図11で説明したように、可視光受信端末の接近を感知する端末近接感知部と、可視光受信端末の位置によって可視光送信の開始と停止を判断する可視光送信判定部と、を搭載しており、端末近接感知部により可視光受信端末の近接を感知したことをトリガーにして可視光送信を開始する可視光通信システムであってもよい。
ここで、例えば図11で説明したように、端末近接感知部により可視光受信端末の離脱を感知したことをトリガーにして可視光送信を停止する可視光通信システムとしてもよい。また、例えば図11で説明したように、部屋の消灯を感知する周辺照度感知部と、を搭載しており、周辺照度感知部により部屋の消灯を感知したことをトリガーにして可視光送信を停止する可視光通信システムとしてもよい。それにより、可視光受信端末の接近と離脱、及び、部屋の消灯を感知することで、可視光通信が可能な状況のみ可視光通信を開始することで、不必要な可視光通信を省いて省エネ化できる。
さらに、例えば図11で説明したように、可視光送信を行っている時間を計測する可視光通信時間監視部と、可視光送信中であることをユーザに通知する可視光送信通知部と、を搭載しており、可視光通信が一定以上行われているが可視光受信端末の接近がないことをトリガーとして、ユーザへの視覚的、及び、聴覚的な通知をより強化する可視光通信システムとしてもよい。また、例えば図11で説明したように、可視光送信通知部が通知を強化してからも可視光送信時間が一定以上行われているが可視光受信端末の接近がないことをトリガーとして、可視光送信を停止する可視光通信システムとしてもよい。
それにより、一定以上の可視光送信時間がたってもユーザによる受信がされなかった場合にユーザへの可視光受信を要求と停止を行うことで、受信し忘れと消し忘れを防ぎユーザの利便性を向上できる。
また、本実施の形態の情報通信装置を含む可視光通信システム(図12)は、可視光通信を受信したことを判定する可視光受信判定部と、端末位置を取得するための受信端末位置取得部と、機器情報と位置情報を取得して機器設定情報を収集する機器設定情報収集部と、を搭載しており、可視光受信したことをトリガーとして受信端末の位置を取得して、機器設定に必要な情報を収集する可視光通信システムとしてもよい。それにより、可視光通信により機器情報を取得することをトリガーにして、機器設定、及び、ユーザ登録に必要な位置情報とユーザ情報を自動収集して設定することで、ユーザによる入力と登録手続きを省略して利便性を向上できる。
ここで、さらに図14で説明したように、機器情報を管理する機器情報管理部と、機器と機器の類似性を管理する機器関係管理部と、機器を販売する店舗情報を管理する店舗情報管理部と、位置情報から最寄店舗を検索する最寄店舗検索部と、を搭載しており、機器情報と位置情報を受信することをトリガーとして類似機器が販売されている最寄店舗及び価格を取得する可視光通信システムとしてもよい。それにより、機器情報に応じて関連する機器の販売状況及び販売店舗を収集して、機器を検索する手間を省くことで、ユーザの利便性向上ができる。
また、本実施の形態の情報通信装置を含む可視光通信システム(図12)は、ユーザ情報が端末内に保存されていることを監視するユーザ情報監視部と、NWを通して周辺機器からユーザ情報を収集するユーザ情報収集部と、ユーザ情報と機器情報を取得してユーザ登録をするユーザ登録処理部と、を搭載しており、ユーザ情報がないことをトリガーとしてアクセス可能な周辺機器からユーザ情報を収集し、機器情報と共にユーザ登録を行う可視光通信システムとしてもよい。それにより、可視光通信により機器情報を取得することをトリガーにして、機器設定、及び、ユーザ登録に必要な位置情報とユーザ情報を自動収集して設定することで、ユーザによる入力と登録手続きを省略して利便性を向上できる。
また、本実施の形態の情報通信装置を含む可視光通信システム(図13)は、特殊コマンドを受け付けるコマンド判定部と、可視光通信の周波数、複数LED連携を操作する可視光通信速度調整部と、を搭載しており、特殊コマンドを受け付けることで可視光通信の周波数の調整と送信LED数をすることで可視光通信を高速化する可視光通信システムとしてもよい。ここで、例えば、図14で説明したように、近接端末の種別をNFC通信で判別する端末種別判定部と、端末種別によって送信する情報を判別する送信情報種別判定部と、を搭載しており、近接した端末によって送信する情報の量と可視光通信速度を変更する可視光通信システムとしてもよい。それにより、受信端末に応じて可視光通信の周波数や送信LED数を調整して可視光通信の速度と送信情報を変更することで、高速通信を可能にしてユーザの利便性を向上できる。
また、本実施の形態の情報通信装置を含む可視光通信システム(図14)は、掃除情報を記録する掃除情報記録部と、間取り情報を記録する間取り情報記録部と、間取り情報と掃除情報を重畳することで汚れ箇所情報を生成する情報合成部と、通常動作の停止を監視する動作監視部と、を搭載しており、機器の停止の感知をトリガーとすることで汚れ箇所情報を可視光送信する可視光通信システムとしてもよい。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
(実施の形態3)
本実施の形態では、宅配サービスを例に挙げて、光通信を用いたWeb情報、及び、機器の連携について説明する。
図15に本実施の形態の概要を示す。すなわち、図15は、本実施の形態における光通信を用いた宅配サービス支援の概略図である。
具体的には、注文者は、モバイル端末3001aを用いて商品購入サイトから商品の注文を行う。注文完了時に、商品購入サイトより注文番号が発行される。注文番号を受信したモバイル端末3001aをドアホン宅内器3001bに注文番号をNFC通信を用いて送信する。
ドアホン宅内器3001bは、モバイル端末3001aより受信した注文番号を自機器のモニタに表示する等して、ユーザに送信完了した旨を示す。
ドアホン宅内器3001bは、ドアホン宅外器3001cに対して、ドアホン宅外器3001cに内蔵されたLEDの点滅指示と点滅パターンを送信する。点滅パターンは、モバイル端末3001aより受信した注文番号に応じてドアホン宅内器3001bにより生成される。
ドアホン宅外器3001cは、ドアホン宅内器3001bより指定された点滅パターンに応じてLEDを点滅させる。
モバイル端末の代わりとして、PC等のWWW3001dにある商品購入サイトへアクセス可能な環境であっても良い。
モバイル端末3001aからドアホン宅内器3001bへの送信手段としては、NFC通信の他に、宅内ネットワークを用いても良い。
モバイル端末3001aは、ドアホン宅内器3001bを仲介せずに直接ドアホン宅外器3001cへ注文番号を送信しても良い。
注文者より注文があった場合、宅配注文受信サーバ3001eから宅配者モバイル端末3001fに対して注文番号を送信する。宅配者が宅配先に到着した際、宅配者モバイル端末3001fとドアホン宅外器3001cの双方向で注文番号を基に生成されたLED点滅パターンを用いた光通信を行う。
次に、図16〜図21を用いて説明する。図16〜図21は、発明の実施3の形態における光通信を用いた宅配サービス支援を説明するためのフローチャートである。
図16は、注文者が注文を行い、注文番号が発行されるまでのフローを示している。以下、図16について解説する。
注文者モバイル端末3001aは、ステップ3002aで、スマホのWebブラウザまたはアプリで宅配の予約を実施する。そして、図17の丸1へ進む。
また、注文者モバイル端末3001aは、図17の丸2に続いて、ステップ3002bで、注文番号送信待ち状態で待機する。続いて、ステップ3002cで、注文番号送信先機器にタッチされたかを確認する。Yesの場合は、ステップ3002dへ進み、注文番号をドアホン室内器にNFCタッチして送信(ドアホンがスマホと同一ネットワークに存在する場合はネットワーク経由で送信する方法もある)する。一方、Noの場合は、ステップ3002bに戻る。
ドアホン宅内器3001bは、まず、ステップ3002eで、他端末よりLED点滅の要求待つ。続いて、ステップ3002fで、スマホより注文番号を受信する。続いて、ステップ3002gで、受信した注文番号に応じてドアホン室外機のLED点滅指示を出する。そして、図19の丸3へ進む。
ドアホン宅外器3001cは、まず、ステップ3002hで、ドアホン宅内器よりLED点滅指示待つ。そして、図19の丸7へ進む。
宅配者モバイル端末3001fは、ステップ3002iで、注文通知待ち状態で待機する。続いて、ステップ3002jで、注文通知 宅配注文サーバより通知されたか否かを確認する。ここで、Noの場合は、ステップ3002iに戻る。Yesの場合は、ステップ3002kへ進み、注文番号、宅配先住所等の情報を受信する。続いて、ステップ3002nで、ユーザが受信した注文番号のLED発光指示または、他機器のLED発光認識のためにカメラ起動されるまで待機する。そして、図18の丸5へ進む。
図17は、注文者が注文者モバイル端末3001aにて宅配注文を行うまでのフローを示している。以下、図17について解説する。
宅配注文サーバ3001eは、まず、ステップ3003aで、受注番号待つ。続いて、ステップ3003bで、宅配注文受信したか否かを確認する。ここで、Noの場合は、ステップ3003aへ戻る。Yesの場合は、ステップ3003cへ進み、受信した宅配注文に対して注文番号を発行する。続いて、ステップ3003dで、宅配者に対して宅配注文受信したことを通知して、終了する。
注文者モバイル端末3001aは、図16の丸1に続いてステップ3003eで、注文内容を宅配注文サーバが提示するメニューから選択する。続いて、ステップ3003fで、注文を確定して宅配サーバへ送信する。続いて、ステップ3003gで、注文番号を受信したか否かを確認する。ここで、Noの場合は、ステップ3003fに戻る。Yesの場合は、ステップ3003hへ進み、受信した注文番号を表示してドアホン宅内器へのタッチを促す表示を行う。そして、図16の丸2へ進む。
図18は、宅配者が宅配者モバイル端末3001fを用いて、宅配先のドアホン宅外器3001cと光通信を行うフローを示している。以下、図18について解説する。
宅配者モバイル端末3001fは、図16の丸5に続いて、ステップ3004aで、宅配先のドアホン宅外器3001cのLEDを認識するためにカメラを起動するか否かを確認する。ここで、Noの場合は、図16の丸5へ戻る。
一方、Yesの場合は、ステップ3004bへ進み、宅配先ドアホン宅外器のLED点滅を宅配者モバイル端末のカメラにて確認する。
次に、ステップ3004cで、ドアホン宅外器のLED発光を認識して注文番号と照合する。
次に、ステップ3004dで、ドアホン宅外器のLED点滅が注文番号と合致するか否かを確認する。ここで、Yesの場合は、図20の丸6へ進む。
なお、Noの場合は、カメラ内に他のLED点滅を確認できるか否かを確認する。そして、Yesの場合は、ステップ3004cへ戻り、Noの場合は、終了する。
図19は、ドアホン宅内器3001bとドアホン宅外器3001c間の注文番号照合を行うフローを示している。以下、図19について解説する。
ドアホン宅外器3001cは、図16の丸7に続いて、ステップ3005aで、LED点滅の指示がドアホン宅内器よりあったか否かを確認する。Noの場合は、図16の丸へ戻る。Yesの場合は、ステップ3005bへ進み、ドアホン宅内器より指示されるLED点滅に従ってLEDを点滅させる。そして、図20の丸8へ進む。
また、ドアホン宅外器3001cは、図20の丸9に続いて、ステップ3005cで、ドアホン宅外器のカメラにて認識したLED点滅をドアホン宅内器へ通知する。そして、図21の丸10へ進む。
ドアホン宅内器3001cは、図16の丸3に続いて、ステップ3005dで、ドアホン宅外器に対して注文番号に応じたLED点滅指示を実施する。次に、ステップ3005eで、ドアホン宅外器のカメラが宅配者モバイル端末のLED点滅を認識するまで待機する。次に、ステップ3005fで、ドアホン宅外器よりLED点滅を認識したことを通知されたか否かを確認する。ここで、Noの場合は、ステップ3005eへ戻る。Yesの場合は、ステップ3005gで、ドアホン宅外器のLED点滅と注文番号を照合する。次に、ステップ3005hで、ドアホン宅外器のLED点滅と注文番号が合致したか否かを確認する。Yesの場合は、図21の丸11へ進む。一方、Noの場合は、ステップ3005iで、ドアホン宅外器へLED点滅の中止を指示して、終了する。
図20は、注文番号照合後におけるドアホン宅外器3001cと宅配者モバイル端末3001f間のフローを示している。以下、図20について解説する。
宅配者モバイル端末3001fは、図18の丸6に続いて、ステップ3006aで、宅配者モバイル端末の保持する注文番号に応じてLED点滅を開始する。
次に、ステップ3006bで、LED点滅部分をドアホン宅外器からカメラが撮影できる範囲に配置する。
次に、ステップ3006cで、ドアホン宅外器のカメラが撮影した宅配者モバイル端末のLED点滅とドアホン宅内器の保持する注文番号が合致したかについてドアホン宅外器LED点滅が示しているか否かを確認する。
ここで、Noの場合は、ステップ3006bへ戻る。一方、Yesの場合は、ステップ3006eへ進み、合致した是非を宅配者モバイル端末に表示して、終了する。
また、図20に示すように、ドアホン宅外器3001cは、図19の丸8に続いて、ステップ3006fで、ドアホン宅外器のカメラにて宅配者モバイル端末のLED点滅を認識したか否かを確認する。ここで、Yesの場合は、図19の丸9へ進む。Noの場合は、図19の丸へ戻る。
図21は、注文番号照合後におけるドアホン宅外器3001cと宅配者モバイル端末3001f間のフローを示している。以下、図21について解説する。
ドアホン宅外器3001cは、図19の丸11に続いて、ステップ3007aで、ドアホン宅内器の通知したLED点滅が注文番号と合致したかについて通知あったか否かを確認する。ここで、Noの場合は図19の丸11へ戻る。一方、Yesの場合は、ステップ3007bへ進み、ドアホン宅外器にて合致の是非を示すLED点滅を行い、終了する。
また、図21に示すように、ドアホン宅内器3001bは、図19の丸10に続いて、ステップ3007cで、ドアホン宅内器で配送者が到着したことの表示を呼出し音出力にて注文者に通知する。次に、ステップ3007dで、ドアホン宅外器へLED点滅の中止と注文番号と合致したことを示すLED点滅を指示する。そして、終了する。
なお、マンションでは宅配先が不在の場合、宅配物を収納する宅配ボックスが玄関等に設置されることがある。宅配者は、宅配時に注文者が不在の場合、宅配ボックスに宅配物を収納する。宅配者モバイル端末3001fのLEDを用いてドアホン宅外器3001cのカメラに対して、光通信を行い宅配物のサイズを送信することで、ドアホン宅外器3001cが自動で宅配物のサイズに見合った宅配ボックスのみを利用可能にすることもできる。
以上のように、実施の形態3によれば、光通信を用いたWeb情報、及び、機器の連携を実現することができる。
(実施の形態4)
以下、実施の形態4について説明する。
(サーバへユーザと使用中の携帯電話を登録)
図22は、本実施の形態におけるサーバへユーザと使用中の携帯電話を登録する処理を説明するための図である。以下、図22を解説する。
まず、ステップ4001bで、ユーザがアプリケーションを起動する。
次に、ステップ4001cで、このユーザと携帯電話の情報をサーバに照会する。
次に、ステップ4001dで、ユーザ情報と使用中の携帯電話の情報がサーバのDBに登録されているかどうかを確認する。
Yesの場合は、ステップ4001fへ進み、並行処理として(処理a)ユーザ音声特性の解析を開始し、図24のBへ進む。
一方、Noの場合は4001eへ進み、DBの携帯電話テーブルに携帯電話IDとユーザIDを登録し、図24のBへ進む。
(処理a:ユーザ音声特性の解析)
図23は、本実施の形態におけるユーザ音声特性の解析を行う処理を説明するための図である。以下、図23を解説する。
まず、ステップ4002aで、マイクから集音を行う。
次に、ステップ4002bで、音声認識の結果集音した音声はユーザの声と推定されるかどうかを確認する。ここで、Noの場合はステップ4002aに戻る。
Yesの場合はステップ4002cへ進み、発生内容はこのアプリケーションで使用するキーワードか(「次へ」「戻る」等)どうかを確認する。Yesの場合は、ステップ4002fへ進み、音声データをサーバのユーザキーワード音声テーブルに登録し、ステップ4002dへ進む。一方、Noの場合は、ステップ4002dへ進む。
次に、ステップ4002dで、音声特性(周波数、音圧、発話速度)を解析する。
次に、ステップ4002eで、解析結果を携帯電話とサーバのユーザ音声特性テーブルに登録する。
(音声認識処理の準備)
図24は、本実施の形態における音声認識処理の準備を行う処理を説明するための図である。以下、図24を解説する。
まず、図中のBに続いて、ステップ4003aで、(ユーザ操作)調理メニュー一覧を表示させる操作を行う。
次に、ステップ4003bで、調理メニュー一覧をサーバから取得する。
次に、ステップ4003cで、調理メニュー一覧を携帯画面に表示する。
次に、ステップ4004dで、携帯電話に接続されたマイクから集音を開始する。
次に、ステップ4003eで、並行処理として(処理b)周辺の集音機器からの集音を開始する。
次に、ステップ4003fで、並行処理として(処理c)環境音特性の解析を開始する。
次に、ステップ4003gで、並行処理として(処理d)周辺に存在する音声出力機器からの音声のキャンセルを開始する。
次に、ステップ4003hで、ユーザ音声特性をサーバのDBから取得する。
最後に、ステップ4003iで、ユーザ音声の認識を開始し、図28のCへ進む。
(処理b:周辺の集音機器からの集音)
図25は、本実施の形態における周辺の集音機器からの集音を行う処理を説明するための図である。以下、図25を解説する。
まず、ステップ4004aで、携帯電話から通信可能で、集音が可能な機器(集音機器)を探索する。
次に、ステップ4004bで、集音機器を発見したかどうかを確認する。
ここで、Noの場合は終了する。Yesの場合は、ステップ4004cへ進み、集音器機の位置情報とマイク特性情報をサーバから取得する。
次に、ステップ4004dで、サーバに情報が存在するかどうかを確認する。
Yesの場合は、ステップ4004eへ進み、集音機器の設置位置は携帯電話の位置から十分近くでありユーザの音声を集音できそうかどうかを確認する。なお、ステップ4004eでNoの場合は、ステップ4004aへ戻る。一方、ステップ4004eでYesの場合は、ステップ4004fへ進み、集音機器に集音を開始させる。続いて、ステップ4004gで、集音処理終了の命令があるまで集音機器で集音した音声を携帯電話に送信させる。なお、集音した音声をそのまま携帯電話に送信させず音声認識を行った結果を携帯電話に送信させるとしても良い。また、携帯に送信された音声は携帯電話に接続されたマイクから集音された音声と同様に処理して、ステップ4004aへ戻る。
なお、ステップ4004dで、Noの場合は、ステップ4004hへ進み、集音機器に集音を開始させる。続いて、ステップ4004iで、携帯電話から信号音を出力する。続いて、ステップ4004jで、集音機器で集音した音声を携帯電話に送信させる。続いて、ステップ4004kで、集音機器から送られた音声から信号音を認識できたかどうかを確認する。ここで、Yesの場合は、ステップ4004gへ進み、Noの場合は、ステップ4004aへ戻る。
(処理c:環境音特性の解析)
図26は、本実施の形態における環境音特性の解析処理を説明するための図である。以下、図26を解説する。
まず、ステップ4005fで、このユーザの所有する機器のうち位置が電子レンジの位置から十分遠いものを除いた機器のリストを取得する。これらの機器の発する音のデータをDBから取得する。
次に、ステップ4005gで、取得した音データの特性(周波数、音圧等)を解析し環境音特性として保持する。なお、電子レンジの近くにある炊飯器等の発する音は特に誤認識が起こりやすいため高い重要度を設定して保持する。
次に、ステップ4005aで、マイクから集音する。
次に、ステップ4005bで、集音した音声はユーザの声かどうかを確認し、Yesの場合は、ステップ4005aへ戻る。Noの場合は、ステップ4005cへ進み、集音した音声の特性(周波数、音圧)を解析する。
次に、ステップ4005dで、解析結果から環境音特性を更新する。
次に、ステップ4005eで、終了フラグが立っているかどうかを確認し、Yesの場合は、終了する。Noの場合は、ステップ4005aへ戻る。
(処理d:周辺に存在する音声出力機器からの音声をキャンセル)
図27は、本実施の形態における周辺に存在する音声出力機器からの音声をキャンセルする処理を説明するための図である。以下、図27を解説する。
まず、ステップ4006aで、通信可能な機器で、音声出力の可能な機器(音声出力機器)を探索する。
次に、ステップ4006bで、音声出力機器を発見したかどうかを確認し、Noの場合は、終了する。Yesの場合は、ステップ4006cへ進み、様々な周波数を含んだ信号音を音声出力機器に出力させる。
次に、ステップ4006dで、携帯電話、及び、図25の集音機器(各集音機器)で集音を行い音声出力機器から出力させた信号音を集音する。
次に、ステップ4006eで、信号音を集音・認識できたかどうかを確認して、Noの場合は、終了する。Yesの場合は、ステップ4006fへ進み、音声出力機器から各集音機器までの伝送特性(周波数毎の出力音量と集音される音量の関係、及び、信号音出力から集音までの遅延時間)を解析する。
次に、ステップ4006gで、音声出力機器が出力している音声データは携帯電話からアクセス可能かどうかを確認する。
ここで、Yesの場合は、ステップ4006hへ進み、キャンセル処理終了の命令があるまで音声出力機器から出力している音声ソース、出力箇所、音量を取得し伝送特性を考慮しつつ各集音機器で集音した音声から音声出力機器で出力した音声をキャンセルする。ステップ4006aへ戻る。一方、Noの場合は、ステップ4006iへ進み、キャンセル処理終了の命令があるまで音声出力機器から出力している音声を取得し伝送特性を考慮しつつ各集音機器で集音した音声から音声出力機器で出力した音声をキャンセルして、ステップ4006aへ戻る。
(調理メニューの選択と電子レンジへの運転内容設定)
図28は、本実施の形態における調理メニューの選択と電子レンジへの運転内容設定を行う処理を説明するための図である。以下、図28を解説する。
まず、図中のCに続いて、ステップ4007aで、(ユーザ操作)調理したいメニューを選択する。
次に、ステップ4007bで、(ユーザ操作)レシピパラメータ(調理する分量、味の濃さ、焼き加減等)を設定する。
次に、ステップ4007cで、レシピパラメータに合わせたレシピデータ、電子レンジ運転内容設定コマンドをサーバから取得する。
次に、ステップ4007dで、電子レンジに埋め込まれた非接触ICタグに携帯電話をタッチさせるようユーザへ促す。
次に、ステップ4007eで、電子レンジへのタッチを検知するかどうかを確認する。
ここで、Noの場合は、ステップ4007eへ戻る。Yesの場合は、ステップ4007fへ進み、サーバから取得しておいた電子レンジの設定コマンドを電子レンジに送信する。これにより、このレシピに必要な電子レンジの設定は全て行われユーザは電子レンジの運転開始ボタンを押すだけで調理が可能となる。
次に、ステップ4007gで、(処理e)電子レンジ用の通知音をサーバ等のDBから取得し電子レンジへ設定する。
次に、ステップ4007hで、(処理f)電子レンジの通知音の調整し、図32のDへ進む。
(処理e:電子レンジ用の通知音をサーバ等のDBから取得し電子レンジへ設定)
図29は、本実施の形態における電子レンジ用の通知音をサーバ等のDBから取得し電子レンジへ設定する処理を説明するための図である。以下、図29を解説する。
まず、ステップ4008aで、ユーザが、電子レンジに埋め込まれた非接触ICタグに携帯電話を近づける(=タッチする)。
次に、ステップ4008bで、この携帯電話向けの通知音データ(電子レンジの操作時や運転終了時に出力する音のデータ)が電子レンジに登録されているかどうかを電子レンジに問い合わせる。
次に、ステップ4008cで、この携帯電話向けの通知音データが電子レンジに登録されているかどうかを確認する。
ここで、Yesの場合は、終了する。Noの場合は、ステップ4008dへ進み、この携帯電話向けの通知音データが携帯に登録されているかどうかを確認する。Yesの場合は、ステップ4008hへ進み、携帯電話に登録されている通知音データを電子レンジに登録して、終了する。一方、Noの場合は、ステップ4008eへ進み、サーバまたは携帯電話または電子レンジのDBを参照する。
次に、ステップ4008fで、この携帯電話向けの通知音データ(この携帯電話が認識しやすい通知音のデータ)がDBにある場合そのデータを、ない場合は、一般的な携帯電話向けの通知音データ(一般的に携帯電話が認識しやすい通知音のデータ)をDBから取得する。
次に、ステップ4008gで、取得した通知音データを携帯電話に登録する。
次に、ステップ4008hで、携帯電話に登録されている通知音データを電子レンジに登録して、終了する。
(処理f:電子レンジの通知音の調整)
図30は、本実施の形態における電子レンジの通知音の調整を行う処理を説明するための図である。以下、図30を解説する。
まず、ステップ4009aで、携帯電話に登録されているこの電子レンジの通知音データを取得する。
次に、ステップ4009bで、この端末用の通知音の周波数と環境音の周波数との重なりが一定以上か どうかを確認する。
ここで、Noの場合は、終了する。
一方、Yesの場合は、ステップ4009cへ進み、通知音の音量を環境音に比べて十分大きな音量に設定する。または通知音の周波数を変更する。
ここで、周波数を変更した通知音の作成方法の一例を挙げると、電子レンジが図31の(c)の音を出力可能であれば(c)のパターンで通知音を作成して、終了する。(c)が不可で(b)が可能であれば(b)のパターンで通知音を作成して、終了する。(a)のみ可能であれば(a)のパターンで通知音を作成して、終了する。
図31は、本実施の形態における電子レンジに設定する通知音の波形の例を示す図である。
図31の(a)に示す波形は単純な矩形波で、ほとんどの音声出力装置で出力可能である。通知音以外の音声と混同しやすいため、数回出力し、そのうちの幾つかを認識できれば、その通知音が鳴ったと認識する等の対応をすべきである。
図31の(b)に示す波形は、短時間の矩形波により、(a)の波形を細かく区切ったような波形であり、音声出力装置の動作クロックが十分に速ければ出力可能である。この音は、人間の耳には(a)の音と同様に聞こえるが、機械認識においては、(a)よりも情報量が多く、通知音以外の音と混同しにくいという性質がある。
図31の(c)に示す波形は、音声出力部分の時間的長さを変えたものであり、PWM波形と呼ばれる。(b)よりも出力することは難しいが、(b)よりも情報量が多く、認識率を向上させたり、電子レンジから携帯電話に伝えたい情報を同時に伝えることも可能である。
なお、図31の(b)(c)の波形は、図31の(a)よりも誤認識の可能性は低いが、図31の(a)と同様に、同じ波形を数回繰り返すことで、より認識率を向上させることが出来る。
(調理内容の表示)
図32は、本実施の形態における電子レンジに設定する通知音の波形の例を示す図である。以下、図32を解説する。
まず、図中のDに続いて、ステップ4011aで、調理内容を表示する。
次に、ステップ4011bで、調理内容が電子レンジの運転かどうかを確認する。
ここで、Yesの場合は、ステップ4011cへ進み、電子レンジに食材を入れ運転開始ボタンを押下するようユーザへ通知して、図33のEへ進む。
一方、Noの場合は、ステップ4011dへ進み、調理内容を表示して、図中のFに進むか、ステップ4011eに進む。
ステップ4011eでは、ユーザの操作がどうなのかを確認する。アプリケーション終了の場合は、終了する。
一方、表示内容の変更操作・手入力(ボタン押下等)・音声入力(「次へ」「前へ」等)の場合は、ステップ4011fへ進み、表示内容変更の結果調理が終了かどうかを確認する。ここで、Yesの場合は、ステップ4011gへ進み、調理終了をユーザへ通知して、終了する。Noの場合は、ステップ4011aへ進む。
(電子レンジの通知音の認識)
図33は、本実施の形態における電子レンジの通知音の認識を行う処理を説明するための図である。以下、図33を解説する。
まず、図中のEに続いて、ステップ4012aで、並行処理として(処理g)周辺の集音機器からの集音と電子レンジ通知音の認識を開始する。
次に、ステップ4012fで、並行処理として(処理i)携帯電話操作状態の確認を開始する。
次に、ステップ4012gで、並行処理として(処理j)ユーザ位置の追跡を開始する。
次に、ステップ4012bで、認識内容について確認する。
ここで、ボタン押下の通知音を認識した場合は、ステップ4012cへ進み、設定変更を登録し、ステップ4012bへ戻る。ユーザによる操作を認識した場合は、図32のFへ進む。電子レンジに食材を入れ運転開始ボタンを押下するように表示してから運転時間経過後に(運転終了の通知音または電子レンジの扉を開く音)を認識した場合は、ステップ4012eで、(処理h)電子レンジの運転終了をユーザへ通知し、図32のGへ進む。運転開始の通知音を認識した場合は、ステップ4012dへ進み、運転時間が経過するまで待機し、ステップ4012eへ進み、(処理h)電子レンジの運転終了をユーザへ通知して、図32のGへ進む。
(処理g:周辺の集音機器からの集音と電子レンジ通知音の認識)
図34は、本実施の形態における周辺の集音機器からの集音と電子レンジ通知音の認識を行う処理を説明するための図である。以下、図34を解説する。
まず、ステップ4013aで、携帯電話から通信可能で、集音が可能な機器(集音機器)を探索する。
次に、ステップ4013bで、集音機器を発見したかどうかを確認する。
ここで、Noの場合は、終了する。一方、Yesの場合は、ステップ4013cへ進み、集音器機の位置情報とマイク特性情報をサーバから取得する。
次に、ステップ4013dで、サーバに情報が存在するかどうかを確認する。
Yesの場合は、ステップ4013rへ進み、集音機器の設置位置は電子レンジから十分近く通知音を集音できそうかどうかを確認する。
ここで、ステップ4013rにおいて、Noの場合は、ステップ4013aへ戻る。Yesの場合は、ステップ4013sへ進み、集音機器の演算装置は音声認識が可能かどうかを確認する。ステップ4013sにおいて、Yesの場合は、ステップ4013uで、電子レンジの通知音認識のための情報を集音機器に送信する。続いて、ステップ4013vで、集音機器に集音と音声認識を開始させ認識結果を携帯電話に送信させる。続いて、ステップ4013qで、次の調理段階に進むまで電子レンジの通知音の認識処理を行わせ認識結果を携帯電話へ送信させる。一方、ステップ4013sで、Noの場合は、ステップ4013tへ進み、集音機器に集音を開始させ集音音声を携帯電話に送信させる。続いて、ステップ4013jで、次の調理段階に進むまで集音した音声を携帯電話へ送信させ、携帯電話で電子レンジの通知音を認識する。
なお、ステップ4013dで、Noの場合は、ステップ4013eへ進み、集音機器の演算装置は音声認識が可能かどうかを確認する。
Yesの場合は、ステップ4013kへ進み、電子レンジの通知音認識のための情報を集音機器に送信する。続いて、ステップ4013mで、集音機器に集音と音声認識を開始させ、認識結果を携帯電話に送信させる。続いて、ステップ4013nで、電子レンジの通知音を鳴らす。続いて、ステップ4013pで、集音機器で前記通知音を認識できたかどうかを確認する。ステップ4013pで、Yesの場合は、4013qへ進み、次の調理段階に進むまで電子レンジの通知音の認識処理を行わせ認識結果を携帯電話へ送信させて、ステップ4013aへ戻る。ステップ4013pでNoの場合は、ステップ4013aへ戻る。
また、ステップ4013eで、Noの場合は、ステップ4013fへ進み、集音機器に集音を開始させ集音音声を携帯電話に送信させる。続いて、ステップ4013gで、電子レンジの通知音を鳴らす。続いて、ステップ4013hで、集音機器から送られた音声に認識処理を行う。続いて、ステップ4013iで、前記通知音を認識できたか?どうかを確認する。ここで、Yesの場合は、4013jへ進み、次の調理段階に進むまで集音した音声を携帯電話へ送信させ、携帯電話で電子レンジの通知音を認識して、ステップ4013aへ戻る。Noの場合は、ステップ4013aへ戻る。
(処理h:電子レンジの運転終了をユーザへ通知)
図35は、本実施の形態における電子レンジの運転終了をユーザへ通知する処理を説明するための図である。以下、図35を解説する。
まず、ステップ4013aで、携帯電話を使用中またはセンサデータにより携帯電話が移動中と判断可能かどうかを確認する。なお、Yesの場合は、ステップ4014mへ進み、携帯電話の画面表示や音声や振動等を用いてユーザへ電子レンジの運転終了を通知して、終了する。
一方、ステップ4013aで、Noの場合は、ステップ4014bへ進み、ユーザがログインしているPC等で操作中の機器(ユーザ操作中機器)を探索する。
次に、ステップ4014cで、ユーザ操作中機器を発見したかどうかを確認する。なお、Yesの場合は、ユーザ操作中機器の画面表示等を用いてユーザへ電子レンジの運転終了を通知し、終了する。
一方、ステップ4014cで、Noの場合は、ステップ4014eへ進み、携帯電話から通信可能で、画像取得が可能な機器(撮像機器)を探索する。
次に、ステップ4014fで、撮像機器を発見したかどうかを確認する。
ここで、Yesの場合は、ステップ4014pへ進み、撮像機器に撮像させ、撮像機器にユーザの顔データを送信しユーザの顔認識を行う。または撮像画像を携帯電話またはサーバへ送らせ画像の送信先でユーザの顔認識を行う。
続いて、ステップ4014qで、ユーザの顔を認識したかどうかを確認する。Noの場合は、ステップ4014eへ戻る。Yesの場合は、ステップ4014rへ進み、ユーザを発見した機器(発見機器)に表示装置や発声装置があるかどうかを確認する。ステップ4014rでYesの場合は、ステップ4014sへ進み、機器に付属の装置を用いてユーザへ電子レンジの運転終了を通知して、終了する。
また、ステップ4014fで、Noの場合は、ステップ4014gへ進み、携帯電話から通信可能で、集音が可能な機器(集音機器)を探索する。
また、ステップ4014hで、Noの場合は、ステップ4014iへ進み、その他機器の操作や歩行振動等の手段でユーザの位置を特定可能な機器を発見する。続いて、ステップ4014mへ進み、携帯電話の画面表示や音声や振動等を用いてユーザへ電子レンジの運転終了を通知して、終了する。
なお、ステップ4014iで、Yesの場合は、ステップ4014rへ進み、ユーザを発見した機器(発見機器)に表示装置や発声装置があるかどうかを確認する。ここで、Noの場合は、ステップ4014tへ進み、発見機器の位置情報をサーバから取得する。
続いて、ステップ4014uで、発見機器の近くにあり、表示装置や発声装置のある機器(通知機器)を探索する。続いて、ステップ4014vで、通知機器からユーザまでの距離を考慮し、画面表示、または、十分な音量の音声でユーザへ電子レンジの運転終了を通知して、終了する。
(処理i:携帯電話操作状態の確認)
図36は、本実施の形態における携帯電話操作状態の確認を行う処理を説明するための図である。以下、図36を解説する。
まず、ステップ4015aで、携帯電話を操作中か、または携帯電話が移動しているか、または携帯電話に接続された入出力装置に入出力があるか、または映像や音楽を再生中か、または携帯電話から近い位置にある機器が操作中か、または携帯電話から近い位置にある機器のカメラや各種センサでユーザが認識されているかどうかを確認する。
ここで、Yesの場合は、ステップ4015bへ進み、ユーザの位置はこの携帯電話から近い確率が高いと認識して、ステップ4015aへ戻る。
一方、Noの場合は、ステップ4015cへ進み、携帯電話から遠い位置にある機器が操作中か、または携帯電話から遠い位置にある機器のカメラや各種センサでユーザが認識されているか、または充電中かどうかを確認する。
ステップ4015cにおいて、Yesの場合は、ステップ4015dへ進み、ユーザの位置はこの携帯電話から遠い確率が高いと認識して、ステップ4015aへ戻る。ステップ4015cにおいて、Noの場合は、ステップ4015aへ戻る。
(処理j:ユーザ位置の追跡)
図37は、本実施の形態におけるユーザ位置の追跡を行う処理を説明するための図である。以下、図37を解説する。
まず、ステップ4016aで、方位センサや位置センサや加速度センサにより携帯電話が移動されていると判断されるかどうかを確認する。
ステップ4016aでYesの場合は、ステップ4016bへ進み、携帯電話とユーザの位置をDBに登録し、ステップ4016aへ戻る。
一方、ステップ4016aでNoの場合は、ステップ4016cへ進み、携帯電話から通信可能で、カメラやマイクや人感センサ等のユーザの位置やユーザが存在することを検知することが可能な機器(ユーザ探知機器)を探索する。
次に、ステップ4016dで、集音機器を発見するかどうかを確認する。ステップ4016dで、Noの場合は、ステップ4016aへ戻る。
ステップ4016dで、Yesの場合は、ステップ4016eへ進み、ユーザ探知機器でユーザを探知するかどうかを確認する。ステップ4016eでNoの場合は、ステップ4016aへ戻る。
ステップ4016eでYesの場合は、ステップ4016fへ進み、ユーザの探知を携帯電話へ送信させる。
次に、ステップ4016gで、ユーザ探知機器の付近にユーザが存在することをDBに登録する。
次に、ステップ4016hで、DBにユーザ探知機器の位置情報があれば取得しユーザの位置を特定して、ステップ4016aへ戻る。
図38は、音声出力装置からの音声をキャンセルしつつ、家電の通知音を認識し、通信可能な電子機器にユーザ(操作者)の現在位置を認識させ、ユーザ位置の認識結果から、ユーザ位置に近い位置にある機器にユーザへの通知を行わせることを示した図である。また、図39は、本実施の形態におけるサーバ、または、携帯電話、または、電子レンジに保持するデータベースの内容を示す図である。
図39に示すように、電子レンジテーブル4040aには、電子レンジの機種と、出力可能な音を特定するデータ(スピーカ特性、変調方式等)と、各種携帯電話機種毎に、その携帯電話が認識しやすい特性を持った通知音のデータと、一般的な携帯電話が平均して認識しやすい通知音データとを対応付けて保持する。
携帯テーブル4040bには、携帯電話の各個体と、その携帯電話の機種と、その携帯電話を使用するユーザと、その携帯電話の位置を示すデータとを対応付けて保持する。
携帯機種テーブル4040cでは、携帯電話の機種と、その携帯電話機種に付属のマイク等の集音特性とを対応付けて保持する。
ユーザ音声特性テーブル4040dでは、ユーザと、そのユーザの声の音響特性とを対応付けて保持する。
ユーザキーワード音声テーブル4040eでは、ユーザと、「次へ」「戻る」などの携帯電話が認識しようとするキーワードをそのユーザが発声したときの音声波形データを対応づけて保持する。なお、このデータは、音声波形データそのものではなく、これを扱いやすい形に解析・変形したものとしても良い。
ユーザ所有機器位置テーブル4040fでは、ユーザと、ユーザの所有する機器と、その機器の位置データとを対応付けて保持する。
ユーザ所有機器位置テーブル4040gでは、ユーザと、ユーザの所有する機器と、その機器の発する通知音や運転音等の音のデータとを対応付けて保持する。
ユーザ位置テーブル4040hでは、ユーザと、ユーザの位置のデータを対応付けて保持する。
また、図40は、本実施の形態におけるユーザが携帯電話に表示された調理手順を基に調理を行い、また、「次へ」「戻る」等の音声によって携帯電話の表示内容をユーザが操作することを示す図である。図41は、本実施の形態における電子レンジの運転を開始し、運転終了を待っている間や、煮物を煮込んでいる間等の時間に、ユーザが他の場所へ移動していることを示す図である。図42は、ネットワークを介して携帯電話と接続されており、かつ、カメラやマイクや人感センサ等の、ユーザの位置の認識やユーザが存在していることを認識することができる機器に対して、携帯電話からユーザを探知する命令を送信することを示す図である。図43は、ユーザの探知の例として、テレビに付属したカメラでユーザの顔を認識し、また、エアコンの人感センサでユーザの移動や存在を認識していることを示す図である。なお、この認識処理は、テレビやエアコンで行なっても良いし、画像データ等を携帯電話やサーバに送信し、送信先で認識処理を行なっても良い。ただし、プライバシ保護の観点からは、ユーザのデータを外部サーバに送信すべきではない。
図44は、ユーザを探知した機器から、ユーザを探知したことや、探知した機器からユーザまでの相対位置を、携帯電話に送信することを示す図である。
このように、ユーザを探知した機器の位置情報がDBに存在すれば、ユーザの位置を特定することが可能である。
図45は、本実施の形態における電子レンジの運転終了音を、携帯電話が認識することを示す図である。図46は、電子レンジの運転終了を認識した携帯電話が、ユーザを探知している機器のうち、画面表示機能や音声出力機能を持った機器(本図ではユーザの正面にあるテレビ)に、電子レンジの運転終了をユーザへ通知させる命令を送信することを示す図である。
図47は、前記の命令を受け取った機器が、通知内容をユーザへ通知する(本図では、テレビの画面に、電子レンジの運転が終了したことを表示する)ことを示す図である。図48は、電子レンジの運転終了音を、ネットワークを介して携帯電話と接続されており、マイクを備えており、電子レンジの付近に存在する機器が認識することを示す図である。図49は、電子レンジの運転終了を、これを認識した機器から携帯電話へ通知することを示す図である。図50は、携帯電話が電子レンジの運転終了の通知受け取ったとき、携帯電話がユーザの付近にあれば、携帯電話の画面表示や音声出力等を用いて、電子レンジの運転終了をユーザへ通知することを示す図である。
図51は、電子レンジの運転終了をユーザへ通知することを示す図である。具体的には、図51は、携帯電話が電子レンジの運転終了の通知受け取ったとき、携帯電話がユーザの付近になければ、ユーザを探知している機器のうち、画面表示機能や音声出力機能を持った機器(本図ではユーザの正面にあるテレビ)に、電子レンジの運転終了をユーザへ通知させる命令を送信し、その命令を受け取った機器が、電子レンジの運転終了をユーザへ通知することを示す図である。携帯電話が充電器に接続されているときは、携帯電話は電子レンジの近くにも、ユーザの近くにも存在しないことが多く、本図に示す状況が起こりやすいことを示している。
図52は、電子レンジの運転終了の通知を受けたユーザがキッチンに移動することを示す図である。なお、このとき、携帯電話は次の調理内容を表示している。また、携帯電話は、音声等によりユーザがキッチンへ移動したことを認識し、ちょうど良いタイミングで次の調理手順の解説を始めても良い。
図53は、電子レンジから無線通信で携帯電話に、運転終了等の情報を送信し、携帯電話から、ユーザの見ているテレビに通知命令を行い、テレビの画面表示や音声でユーザに通知を行うことを示す図である。
なお、情報ソース機器(本図では電子レンジ)と携帯電話との通信、及び、携帯電話とユーザに通知を行う機器(本図ではテレビ)との通信は、家庭内LANや、直接の無線通信、特に、700MHz〜900MHz台の無線通信等が利用できる。また、ここでは携帯電話をハブとして利用しているが、通信能力を持つ他の機器を携帯電話の代わりに利用しても良い。
図54は、電子レンジから無線通信で、ユーザの見ているテレビに運転終了などの情報を送信し、テレビの画面表示や音声を用いてユーザに通知を行うことを示す図である。これは、図53でハブとしての役割を担っていた携帯電話を介さない場合の動作を示す。
図55は、1階のエアコンが何らかの情報通知を行う場合に、2階のエアコンに情報を送信し、2階のエアコンから携帯電話に情報を送信し、携帯電話からユーザの見ているテレビに通知命令を行い、テレビの画面表示や音声でユーザに通知を行うことを示す図である。これは、情報ソース機器(本図では1階のエアコン)からハブとなる携帯電話に直接通信ができない場合に、通信が可能な他の機器に情報を送信し、携帯電話までの通信を行うことを示している。
図56は、遠隔地にいるユーザへ情報の通知を行うことを示す図である。具体的には、図56は、電子レンジから音声や光や無線通信等を介して通知を受けた携帯電話から、インターネットやキャリア通信を通して、遠隔地にいるユーザへ情報の通知を行うことを示している。図57は、電子レンジから、ハブとなる携帯電話へ直接通信が行えない場合に、パソコン等を経由して、携帯電話に情報を送信することを示した図である。図58は、図57の通信を受けた携帯電話から、情報通信経路を逆に辿って電子レンジに操作命令等の情報を送信することを示す図である。
なお、携帯電話は、図57の情報を受けて自動で情報を送信しても良いし、その情報をユーザに通知し、その通知を受けてユーザが行った操作の情報を送信しても良い。
図59は、情報ソース機器であるエアコンから、ハブとなる携帯電話に直接の通信が不可能である場合に、ユーザに情報の通知を行なうことを示した図である。具体的には、図59は、情報ソース機器であるエアコンから、ハブとなる携帯電話に直接の通信が不可能である場合に、まず、丸1でパソコン等の、携帯電話への通信のステップとなる機器に情報を送信し、丸2と丸3で、インターネットやキャリア通信網を通じてパソコンから携帯電話へ情報を送信し、携帯電話は自動でその情報を処理し、或いは、携帯電話を持っているユーザの操作を受けて、丸4と丸5で、インターネットやキャリア通信網通じて情報をパソコンに送信し、丸6で、パソコンは通知したいユーザに通知が可能な機器(本図ではテレビ)に通知命令を送信し、丸7で、テレビの画面表示や音声を用いてユーザに情報の通知を行なうことを示している。
このような状況は、エアコンからの通知情報を受取るべきユーザと、携帯電話を使用しているユーザが異なる場合に起こりやすい。
なお、本図では、パソコンと携帯電話の間の通信にインターネットやキャリア通信網を介しているが、家庭内LANや直接通信等で通信を行なっても良い。
図60は、700〜900MHzの電波を用いた通信装置を利用したシステムについて説明するための図である。具体的には、図60の構成では、700〜900MHzの電波(以下G電波と呼ぶ)を用いた通信装置(以下G装置と呼ぶ)を利用したシステムについて説明しており、G装置付きの電子レンジからG装置付きの3階の携帯電話にG電波を用いて情報を送信し、G装置付きの3階の携帯電話から、家庭内ネットワークを利用してG装置のない2階の携帯電話に情報を送信し、2階の携帯電話からユーザへ情報の通知を行うことを示している。
なお、G装置付きの機器間の通信の登録・認証には、両機器に付属のNFCを用いた方法が考えられる。また、いずれかの機器にNFCがない場合には、登録モードとして、10〜20cm程度の距離でのみ通信が可能となるようにG電波の出力を下げ、双方の機器を近づけ、通信が成功した場合に、G装置間の通信の登録・認証を行う方法が考えられる。
また、情報ソース機器(本図では電子レンジ)は、G装置を備えていれば、電子レンジ以外の機器であっても良い。
また、情報ソース機器と情報通知機器(本図では2階の携帯電話)の中継を行う機器(本図では3階の携帯電話)は、G電波と家庭内ネットワークにアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。
また、情報通知機器は、家庭内ネットワークにアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。
図61は、遠隔地の携帯電話がユーザに情報を通知することを示す図である。具体的には、図61は、G装置付きのエアコンからG装置付きの宅内の携帯電話に情報を送信し、宅内の携帯電話から、インターネットやキャリア通信網を通じて、遠隔地の携帯電話に情報を送信し、遠隔地の携帯電話でユーザに情報を通知することを示している。
なお、情報ソース機器(本図ではエアコン)は、G装置を備えていれば、電子レンジ以外の機器であっても良い。
また、情報ソース機器と情報通知機器(本図では遠隔地の携帯電話)の中継を行う機器(本図では宅内の携帯電話)は、G電波とインターネットやキャリア通信網にアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。
なお、情報通知機器は、インターネットやキャリア通信網にアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。
図62は、遠隔地の携帯電話がユーザへ情報の通知を行うことを示す図である。具体的には、図62は、G装置のない電子レンジの通知音をG装置付きのテレビが認識し、テレビがG電波を介してG装置付きの宅内の携帯電話に情報を送信し、宅内の携帯電話からインターネットやキャリア通信網を介して遠隔地の携帯電話に情報を送信し、遠隔地の携帯電話がユーザへ情報の通知を行うことを示している。
なお、情報ソース機器(本図では電子レンジ)は、他の機器でも同様であり、情報ソース機器の通知を、通知認識機器(本図ではテレビ)が認識する方法は、音声ではなく、発光状態等であっても同様である。
また、通知認識機器も、G装置付きの他の機器であっても同様である。また、通知認識機器と情報通知機器(本図では遠隔地の携帯電話)の中継を行う機器(本図では宅内の携帯電話)は、G電波とインターネットやキャリア通信網にアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。
なお、情報通知機器は、インターネットやキャリア通信網にアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。
また、図63は、図62と同様の場合において、通知認識機器(本図では2階のテレビ)と情報通知機器(本図では遠隔地の携帯電話)の中継を行う機器(図62では宅内の携帯電話)に代わって、2階のテレビが中継機器の役割を果たした場合の図である。
以上により、本実施の形態の装置は、以下の機能を実現する。
・アプリケーションの利用を通じて、ユーザの音声特性を学習する機能
・携帯電話から通信可能で、集音機能を持つ機器のうち、携帯電話から発した音を集音可能な集音機器を見つけ出す機能
・携帯電話から通信可能で、集音機能を持つ機器のうち、電子機器から発した音を集音可能な集音機器を見つけ出す機能
・集音機器で集音した音声をそのまま、あるいは、音声認識結果を携帯電話に送信させる機能
・環境音の特性を解析し、音声認識の精度を向上させる機能
・ユーザの所有する機器から出力され得る音声をDBから取得し、音声認識の精度を向上させる機能
・携帯電話から通信可能で、音声出力機能を持つ機器のうち、その機器が発した音声を携帯電話や集音機器が集音可能な音声出力機器を見つけ出す機能
・音声出力機器から出力される音声データを取得し、伝送特性を考慮して集音音声から差し引くことで、集音音声から不要な音声をキャンセルする機能
・調理レシピのパラメータ入力を受け、ユーザに指示を行う調理手順と、調理機器をコントロールするためのコントロールデータをサーバから取得する機能
・機器の出力可能な音のデータを基に、機器の発する通知音を、携帯電話や集音機器が認識しやすいように設定する機能
・ユーザの音声特性を基に認識機能を調整することで、ユーザ音声の認識精度を向上させる機能
・複数の集音機器を用いてユーザの音声を認識する機能
・複数の集音機器を用いて電子機器の通知音を認識する機能
・携帯電話と電子機器の非接触ICカード等を介して、一度の操作だけで、一連の作業を行うために、電子機器から必要な情報を得、電子レンジに設定を行う機能
・携帯電話から通信可能な機器で、カメラやマイクや人感センサ等のユーザを探知することができる機器を用い、ユーザを探し、ユーザの現在位置を携帯電話へ送信させ、または、DBに保存させる機能
・DBに保存されたユーザ位置を用いて、近くに存在する機器からユーザに通知を行う機能
・携帯電話の状態(操作状態、センサ値、充電状態、データリンク状態等)から、携帯電話の付近にユーザが存在するかどうかを推定する機能
なお、図22から図52の処理では、音データを発光データ(周波数や輝度等)、音声出力を発光、集音を受光とそれぞれ読み替えても同様の機能を実現可能である。
また、本実施の形態では電子レンジを例としたが、認識する通知音を発する電子機器は、電子レンジではなく、洗濯機や炊飯器、掃除機、冷蔵庫、空気清浄機、ポット、食器洗い乾燥機、エアコン、パソコン、携帯電話、テレビ、自動車、電話、メール着信装置等に変えても、同様の効果がある。
また、本実施の形態では、電子レンジと、携帯電話と、テレビ等のユーザへ通知を行う機器とは直接に通信を行なっているが、直接の通信に不都合がある場合には、他の機器を通して間接的に通信を行なっても良い。
また、本実施の形態では、主に家庭LANを利用した通信を想定しているが、機器同士の直接無線通信や、インターネットや、キャリア通信網を介した通信の場合であっても、同様の機能を実現可能である。
また、本実施の形態では、使用者の場所を、携帯電話からの一斉の問い合わせにより、TVのカメラ等で人物識別をして、本人の携帯電話に暗号化して送るため、個人情報の漏洩が防げるという効果がある。家の中に複数の人間がいる場合でも、エアコンや空気清浄機、冷蔵庫の人感センサのデータを携帯等の位置管理データベースにおくることにより、一回認識した操作者の移動に伴い、センサで追跡することにより、操作者の位置を推定することができる。
なお、ユーザがジャイロや方位計を持つ携帯電話を所持する場合は、特定した位置データをユーザ位置データベースに登録すると良い。
また、操作者が携帯を置いたきは、まず、物理センサの動きが一定期間静止することから、これを検知できる。次に離れたことは、家電や照明器具の人感センサやボタン操作、TV等のカメラ、携帯のマイク等を用いて検知する。そしてその位置は携帯もしくは、家内のサーバのユーザ位置データベースに登録する。
以上のように、実施の形態4によれば、機器間の通信を可能とする情報通信装置(認識装置)を実現することができる。
具体的には、本実施の形態の情報通信装置は、操作端末から通信可能な電子機器のうち、集音機能を持つ電子機器(集音機器)を探索し、前記集音機器の集音機能を利用して別の電子機器の通知音を認識する認識装置を含んでいてもよい。
ここで、この認識装置は、さらに、操作端末から発した信号音を集音可能な集音機器のみの集音機能を利用する認識装置であってもよい。
また、本実施の形態の情報通信装置は、操作端末から通信可能な電子機器のうち、音声出力機能を持つ電子機器(音声出力機器)を探索し、前記音声出力機器と前記集音機器との間の音声伝送特性を解析し、前記音声出力機器の出力音声データを取得し、前記音声伝送特性と前記出力音声データから、集音音声から前記音声出力機器から出力された音声をキャンセルする集音装置を含んでいてもよい。
また、本実施の形態の情報通信装置は、環境音に埋もれないように、通知音を認識したい電子機器の通知音を調整する認識装置を含んでいてもよい。
また、本実施の形態の情報通信装置は、ユーザの保有する電子機器(保有電子機器)と保有電子機器が出力する音のデータと保有電子機器の位置データをデータベースに保持し、保有電子機器の出力する音声と通知音を認識したい電子機器の通知音とを区別しやすいように、前記認識したい電子機器の前記通知音を調整する認識装置を含んでいてもよい。
ここで、この認識装置は、さらに、保有電子機器の出力する音声と通知音を認識したい電子機器の通知音とを区別しやすいように、音声認識処理を調整する認識装置であってもよい。
また、本実施の形態の情報通信装置は、操作端末の操作状態と、物理センサのセンサ値と、データリンク状態と、充電状態とを利用して、前記操作端末と操作者との位置が近いかどうかを認識する認識装置を含んでいてもよい。
ここで、この認識装置は、さらに、前記操作端末から通信可能な電子機器の操作状態、カメラと、マイクと、人感センサと、データベースに保持された前記電子機器の位置データを利用して、ユーザの位置を認識する認識装置であってもよい。
また、この前記認識装置は、さらに、前記ユーザ位置の認識結果と、データベースに保持された、画面表示や音声出力等の手段により前記ユーザに通知が可能な機能を持つ電子機器(通知機器)の位置データとを利用し、前記ユーザに通知が可能な前記通知機器を用いてユーザに情報の通知を行う情報通知装置に含まれていてもよい。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
(実施の形態5)
現在、無線通信において様々な簡単認証方式が検討されている。例えば、Wi―Fiアライアンスで策定されている、無線LANのWPSにおいては、プッシュボタン方式、PIN入力方式、NFC方式などが規定されている。無線における様々な簡単認証方式では、機器を使用しているユーザが認証を行おうとしているかどうかを、時間を限定するか双方の機器に直接触れる事ができる距離にいるということを特定することで判断し、認証を行っている。
しかし、時間を限定する方法はある程度近接した距離に悪意あるユーザがいた場合には、安全とはいえない。また、家電機器などの据え置き機器においては、直接ふれることが困難もしくは面倒な場合がある。
そこで、本実施の形態においては、可視光を用いた通信を無線認証に使用することによって、認証をしようしているユーザが確実に部屋内にいることを特定し、家電機器の無線認証を簡単かつ安全に行う方法を説明する。
図64は、本実施の形態における宅内の環境の例を示す図である。図65は、本実施の形態における家電機器とスマートフォンの通信の例を示す図である。図66は、本実施の形態における送信側装置の構成を示す図である。図67は、本実施の形態における受信側装置の構成を示す図である。図64〜図67は、図1〜図4と同様の図面であり詳細な説明は省略する。
宅内環境は、図64に示したような、ユーザがキッチンにおいて持っているタブレットとリビングにおいているTVとを認証するような環境を考える。双方、無線LANに接続は可能な端末であり、WPSモジュールを実装していると仮定する。
図68は、図64において、送信側端末(TV)が受信側端末(タブレット)と光通信を用いて無線LAN認証を行う場合のシーケンス図である。以下、図68について解説する。
まず、例えば図66に示すような送信側端末は、乱数を作成する(ステップ5001a)。続いて、WPSのレジストラに登録する(ステップ5001b)。さらに、レジストラに登録した乱数のパターンどおりに発光素子を発光させる(ステップ5001c)。
一方、送信側装置の発光素子が発光している間に、例えば図67に示すような受信側装置では光認証モードでカメラを起動させる。ここで、光認証モードとは発光素子が認証用に光っているということを認識できるモードであり、発光側の周期とあわせて撮影可能な動画撮影モードのことをいう。
すなわち、まず、ユーザは送信側端末の発光素子を撮影する(ステップ5001d)。次に、受信側端末は撮影により、乱数を受光する(ステップ5001e)。続いて、乱数を受光した受信側端末は乱数をWPSのPINとして入力する(ステップ5001f)。
ここで、双方でPINが共有された状態になった送受信端末はWPSでの規定にしたがい、認証処理を行う(ステップ5001g)。
次に、認証が完了したら、送信側端末はレジストラから乱数を削除し、複数の端末からの認証を受け付けないようにする(5001h)。
なお、本方式は無線LANの認証に限らず、共有鍵を用いた無線の認証方式すべてに適応可能である。
また、本方式は無線の認証方式に限定されないものである。例えばTVとタブレット間の双方で搭載しているアプリケーションの認証にも適応することが可能である。
図69は、本実施の形態におけるアプリケーションでの認証を行う場合のシーケンス図である。以下、図69を解説する。
まず、送信側端末は端末の状態に応じて送信側IDを作成する(ステップ5002a)。ここで、送信側IDは乱数でもよいし、暗号化のための鍵でもよい。また、送信側端末の端末ID(MACアドレス、IPアドレス)を含んでもよい。続いて、送信側端末は送信側IDのパターンどおりに発光する(ステップ5002b)。
一方、受信側装置は無線認証の場合と同じ手順で送信側IDを受光する(ステップ5002f)。続いて、受信側装置は送信側IDを受信すると、送信側IDを受信したことが証明可能な受信側IDを作成する(ステップ5002g)。例えば、送信側IDで暗号化されている受信側端末の端末IDであってもよい。また、受信側端末で起動しているアプリのプロセスIDやパスワードを含んでもよい。続いて、受信側端末は受信側IDを無線でブロードキャストする(ステップ5002h)。なお、送信側IDに送信側端末の端末IDが含まれていた場合には、ユニキャストしてもよい。
次に、無線で受信側IDを受信した5002c送信側端末は、受信した受信側IDを送ってきた端末と相互に共有されている送信側IDを用いて認証を行う(ステップ5002d)。
図70は、本実施の形態における送信側端末の動作を表すフローチャートである。以下、図70について解説する。
まず、送信側端末は端末の状態に応じたIDを発光する(ステップ5003a)。
次に、IDに応じたパターンで発光する(ステップ5003b)。
次に、発光したIDに対応する無線応答があるかどうかを確認する(ステップ5003c)。応答があった場合には(ステップ5003cでYes)、応答してきた端末に対して認証処理を行う(ステップ5003d)。なお、ステップ5003cにおいて、応答が無かった場合には、タイムアウト時間待って(ステップ5003i)、応答無しを表示して終了する(ステップ5003j)。
次に、ステップ5003eにおいて認証処理が成功したかを確認し、認証処理が成功した場合には(ステップ5003eでYes)、発光したIDに認証以外のコマンドが含まれていれば(ステップ5003fでYes)、コマンドに従った処理を行う(ステップ5003g)。
なお、ステップ5003eで、認証が失敗した場合には、認証エラーを表示して(ステップ5003h)、終了する。
図71は、本実施の形態における受信側端末の動作を表すフローチャートである。以下、図71について解説する。
まず、受信側端末は光認証モードでカメラを起動する(ステップ5004a)。
次に、特定パターンで光を受光できたかを確認し(ステップ5004b)、確認できた場合には(ステップ5004bでYes)、送信側IDを受信したことが証明可能な受信側IDを作成する(ステップ5004c)。なお、確認できなかった場合には(ステップ5004bでNo)、タイムアウト時間を待って(ステップ5004iでYes)、タイムアウトを表示し(ステップ5004j)、終了する。
次に、送信側端末に送信端末のIDが含まれているかを確認する(ステップ5004k)、含まれている場合には(ステップ5004kでYes)、その端末に受信側IDをユニキャストする(ステップ5004d)。一方、含まれていない場合には(ステップ5004kでNo)、ブロードキャストする(ステップ5004l)。
次に、送信端末側から認証処理が開始され(ステップ5004e)、認証処理が成功した場合には(ステップ5004eでYes)、受光したIDにコマンドが含まれているかどうかを判断する(ステップ5004f)。ステップ5004fで、含まれていたと判断した場合には(ステップ5004fでYES)、IDに応じた処理を行う(ステップ5004g)。
なお、ステップ5004eで、認証に失敗した場合には(ステップ5004eでNo)、認証エラーを表示し(ステップ5004h)、終了する。
以上、本実施の形態によれば、可視光を用いた通信を無線認証に使用することによって、認証をしようしているユーザが確実に部屋内にいることを特定し、家電機器の無線認証を簡単かつ安全に行うことができる。
(実施の形態6)
上述した実施の形態では、NFC通信、及び、高速無線通信を用いてデータ交換する際のフローを説明したがそれに限らない。本実施の形態は、例えば図72〜図74に示されるようなフローにすることも当然可能である。
図72は、本実施の形態におけるモバイルAV端末1がモバイルAV端末2にデータを送信するシーケンス図である。具体的には、図72は、NFC・無線LAN無線通信を用いたデータ送受信のシーケンス図を示している。以下、図72を解説する。
モバイルAV端末1は、まず画面上にモバイルAV端末2へ送信する対象となるデータを表示する。
ここで、モバイルAV端末1とモバイルAV端末2が互いの機器を接触させることによってNFC通信を行うと、モバイルAV端末1は、画面上にデータ送信を行うか否かの確認画面を出す。この確認画面は、「データを送信しますか?」という文字と共に、「Yes/No」の選択をユーザに要求するものであっても良いし、モバイルAV端末1の画面をもう一度タッチすることでデータ送信を開始するようなインターフェイスにしても良い。
データ送信意思確認でOKの場合、モバイルAV端末1とモバイルAV端末2はNFC通信によって、送信するデータの情報および高速無線通信を確立するための情報をやりとりする。送信するデータの情報は無線LAN通信によって行なっても良い。無線LAN通信確立に関する情報は、通信チャネルやSSID、暗号キー情報をであっても良いし、ランダムに生成されたID情報を交換し、この情報によって、セキュアな通信路を確立する方式であっても良い。
無線LAN通信が確立すると、モバイルAV端末1とモバイルAV端末2は無線LAN通信によるデータ通信を行い、モバイルAV端末1の送信対象のデータをモバイルAV端末2へ送信する。
次に、図73、図74を用いて、モバイルAV端末1およびモバイルAV端末2の画面の遷移を中心にした説明を行う。図73は、本実施の形態におけるモバイルAV端末1がモバイルAV端末2にデータを送信する場合の画面遷移図である。図74は、本実施の形態におけるモバイルAV端末1がモバイルAV端末2にデータを送信する場合の画面遷移図である。
図73および図74において、モバイルAV端末1においてユーザはまず動画静止画を再生するアプリを起動する。このアプリはモバイルAV端末1内にある静止画や動画データを表示する。
ここで、モバイルAV端末1とモバイルAV端末2を準接触させることによってNFC通信を行う。このNFC通信はモバイルAV端末1で静止画や動画データの交換を開始するための処理である。
まず、モバイルAV端末1とモバイルAV端末2がNFC通信によりデータ交換の開始を認識すると、モバイルAV端末1の画面にはデータ送信してもよいかどうかの確認画面が表示される。なお、この確認画面は図73のように、データ送信開始にはユーザに画面をタッチさせるようなインターフェイスにしてもよいし、データ送信可否をYes/Noでユーザに選択させるインターフェイスにしてもよい。データ送信開始判断でYesの場合、すなわちモバイルAV端末1がモバイルAV端末2へデータを送信する場合、モバイルAV端末1はモバイルAV端末2へ交換するデータの情報と、無線LANによる高速無線通信開始に関する情報を送信する。なお、この交換するデータの情報は高速無線通信を用いて行なっても良い。
次に、モバイルAV端末1およびモバイルAV端末2は無線LANによる高速無線通信開始に関する情報を送受信すると、無線LAN通信のコネクションを確立するための処理を行う。この処理は、どのようなチャネルで通信を行うか、通信トポロジ上どちらが親端末になり、どちらが子端末になるか、パスワード情報やお互いのSSIDや端末情報の交換などが含まれる。
次に、無線LAN通信のコネクションが確立すると、モバイルAV端末1およびモバイルAV端末2は無線LAN通信によるデータを送信する。データ送信中、モバイルAV端末1は通常通り動画の再生画面を表示し、データを受信する側であるモバイルAV端末2は、データ受信中を示す画面を表示させる。これは、モバイルAV端末1にとってデータ送信中の画面を表示すると、その他の処理ができなくなるため、データ送信はバックグラウンドで行うことで、ユーザの利便性が向上するというメリットがある。またモバイルAV端末2はデータを受信中であり、受信したデータをすぐさま表示できるように、画面にデータ受信中を示す画面を表示することで、データの受信完了時に直ちに受診したデータを表示できるメリットがある。
最後に、モバイルAV端末2はデータの受信が完了すると、受診したデータを画面に表示させる。
図75〜図77は、本実施の形態におけるモバイルAV端末1がデジタルカメラである場合のシステム概略図である。
図75に示すように、モバイルAV端末1がデジタルカメラであっても、本実施の携帯は適用可能であることは言うまでもない。
また、モバイルAV端末1がデジタルカメラの場合、一般的にデジタルカメラは、無線LANによるインターネットアクセスの手段は持っていても、携帯通信によるインターネットアクセスの手段を持っていないことが多い。
このため、図76や図77のように、デジタルカメラ(モバイルAV端末1)は、無線LAN通信が行うことができる環境下においては、無線LANによって撮影した画像データを写真共有サービスに送信し、無線LAN通信を行うことができない環境ではモバイルAV端末2へまず無線LANを用いてデータを送信し、モバイルAV端末2は受診したデータをそのまま携帯電話通信によって写真共有サービスに送信する構成にすることが望ましい。
無線LAN通信は携帯電話通信と比較して高速であるため、無線LAN通信が可能である場合は無線LAN通信を行うことで高速に写真を写真共有サービスに送信することができる。また、携帯電話通信網は、無線LAN通信網より、サービスエリアが一般的に広いため、無線LAN環境がない場合は、モバイルAV端末2を中継して携帯電話通信によって写真共有サービスにデータを送信することができる機能を持たせることで、さまざまな場所で即座に写真を写真共有サービスに送信することが可能となる。
以上、本実施の形態によれば、NFC通信、及び、高速無線通信を用いてデータ交換することができる。
以上、本発明の一つまたは複数の態様に係る情報通信装置等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
(実施の形態7)
以下、実施の形態7について説明する。
(発光部の輝度の観測)
CMOSセンサ等の撮像素子は、1度に全ての画素の露光を行うのではなく、図78のように、ライン(露光ライン)ごとに時間差で露光を行い、1枚の撮像画像を完成させる。
撮像素子の全面に発光部が写されている状態で、点滅する発光部を撮像している場合、図79のように、各露光ラインが発光部の光を写しているかどうかによって、撮像フレームレートを上回る速度で点滅する発光部の点滅の様子を認識することができる。
この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
一枚の撮像画像中に、露光時間が重ならない露光ラインが20ラインあり、撮像のフレームレートが30fpsのときは、1ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが1000ラインある場合は、3万分の1秒(約33マイクロ秒)周期の輝度変化を認識できる。なお、露光時間は例えば10ミリ秒よりも短く設定される。
図79は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
この場合、1秒あたりのフレーム数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でflビット毎秒の速度で情報を伝送することができる。
なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
このとき、露光ラインあたりの画素数がm画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でflmビット毎秒となる。
図80のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
露光状態をElv段階で認識可能である場合には、最大でflElvビット毎秒の速度で情報を伝送することができる。
また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
図81は、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。
この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの2値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
図82のように、撮像装置によっては、露光を行わない時間(ブランキング)が存在することがある。
ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。
発光部が同じ信号を2回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。
発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。
(信号変調方式)
搬送波に可視光を用いる場合、人間の視覚の時間分解能(5ミリ秒から20ミリ秒程度)を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させることで、図83のように、人間には送信装置の発光部が一様な輝度で発光しているように見えると同時に、受信装置は発光部の輝度変化を観察することができる。
人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図84に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は、発光時の輝度の約50%になる。
なお、発光/非発光の切り替えは人間の視覚の時間分解能と比べて十分に高速であるとする。
人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図85に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約75%になる。
図84の変調方式と比較して、符号化効率は0.5で同等であるが、平均輝度を高くすることができる。
人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図86に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約87.5%になる。
図84、図85に示す変調方式と比較して、符号化効率は0.375と劣るが、平均輝度を高く保つことができる。
以下同様にして、符号化効率とトレードオフで平均輝度を高くする変調が可能である。
人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図87に示す変調方法がある。
変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約25%になる。
図85に示す変調方式等と組み合わせ、周期的に変調方式を交代することで、人間や露光時間が長い撮像装置にとっては、発光部が点滅しているように見せることができる。
同様に、変調方法を変化させることで、人間や露光時間が長い撮像装置にとっては、発光部が任意の輝度変化をしながら発光しているように見せることができる。
搬送波に可視光を用いる場合、人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を周期的に変化させるように発光部を発光させることで、図88のように、人間には発信装置の発光部が点滅、または、任意のリズムで変化しているように見えると同時に、受信装置は発光信号を観察することができる。
LED光源をバックライトに使用した液晶TVのLED部を発光させても同様の効果が得られる。この場合、少なくとも、光通信部の画面部分のコントラストを落とし、白色に近づけることにより、誤り率の少ない光通信が可能となる。全面、もしくは、通信に使用する画面部分を白色にするとより通信速度を上げられる。
テレビのディスプレイ等を発光部として用いる場合、人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を人間に見せたい画像の輝度になるように調整することで、図89のように、人間には通常通りのテレビの映像が見えると同時に、受信装置は発光信号を観察することができる。
撮像画像1フレームあたりの時間程度の窓幅としたときの発光部の輝度の移動平均値を、撮像フレーム毎に信号を伝送する場合の信号の値に調節することで、図90のように、近距離から撮像した場合には露光ライン毎に送信装置の発光状態を観察し、遠距離から撮像した場合には撮像フレーム毎に送信装置の発光状態を観察することで、2種類の速度で信号伝搬が可能である。
なお、近距離から撮像した場合には、遠距離から撮像した場合に受信可能な信号も受信可能である。
図91は、露光時間ごとに発光がどのように観察されるかを示す図である。
撮像した画素の輝度は、撮像素子を露光していた時間の撮像対象の平均輝度に比例するため、露光時間が短ければ2217bのように発光パターン2217aがそのまま観察され、露光時間が長ければ、2217c、2217d、2217eのように観察される。
なお、2217aは、図85に示す変調方式をフラクタル的に繰り返し用いた変調方式となっている。
このような発光パターンを利用することで、露光時間が短い撮像装置を持つ受信装置には多くの情報を、露光時間が長い撮像装置を持つ受信装置には少ない情報を同時に送信することができる。
受信装置は、露光ラインの1ラインまたは一定数のラインにわたって、発光部推定位置の画素の輝度が一定以上であれば1、一定以下であれば0を受信したと認識する。
1が続く場合は通常の(信号を送信しておらず常に光っている)発光部と区別がつかず、0が続く場合は発光部が存在していない場合と区別がつかない。
そのため、送信装置は、同じ数字が一定数連続した場合は異なる数字を送信しても良い。
また、図92のように、必ず1と0を含むヘッダ部と、信号を送信するボディ部に分けて送信しても良い。この場合、同じ数字は5回を超えて連続では現れない。
発光部が1部の露光ラインに映らない位置にある場合や、ブランキングが存在する場合は、発光部の全ての様子を受信装置の撮像装置で捉えることはできない。
そのため、その信号が全体のどの部分の信号であるかを示す必要がある。
それには、図93のように、データ部と、データの位置を示すアドレス部をまとめて送信する方法がある。
なお、受信装置で信号の受信を容易にするためには、発光パターンが受信装置で一枚の撮像画像中に撮像されるように、データ部とアドレス部を合わせた大きさ発光パターンの長さを十分に短く設定することが望ましい。
図94のように、送信装置は基準部とデータ部を送信し、受信装置は基準部を受信したときの時刻との差からデータの位置を認識する方法がある。
図95のように、送信装置は基準部とアドレスパターン部とデータ部を送信し、受信装置は基準部の次にあるアドレスパターン部から、データ部のデータとその位置のパターンを得、そのパターンと、基準部を受信した時刻と各データを受信したときの時刻との差からデータの位置を認識する方法がある。
複数の種類のアドレスパターンが利用できることで、一様にデータを送信するだけではなく、重要性が高いデータや先に処理すべきデータを先に送信したり、他のデータより繰り返し回数を増やしたりすることができる。
発光部が全部の露光ラインには映らない場合や、ブランキングが存在する場合は、発光部の全ての様子を受信装置の撮像装置で捉えることはできない。
図96のように、ヘッダ部を付加することで、信号の区切りを検出し、アドレス部やデータ部を検出することができる。
ヘッダ部の発光パターンには、アドレス部やデータ部に現れないパターンを用いる。
例えば、表2200.2aの変調方式を用いる場合には、ヘッダ部の発光パターンを「0011」とすることができる。
また、ヘッダ部のパターンを「11110011」とすると、平均輝度が他の部分と等しくなり、人間の目で見た時のチラツキを抑えることができる。このヘッダ部は冗長性が高いため、ここにも情報を重畳することが可能である。例えば、ヘッダ部のパターンが「11100111」の場合は、送信装置間で通信する内容を送信していることを示すことなどが可能である。
なお、受信装置で信号の受信を容易にするためには、発光パターンが受信装置で一枚の撮像画像中に撮像されるように、データ部とアドレス部とヘッダ部を合わせた大きさ発光パターンの長さを十分に短く設定することが望ましい。
図97では、送信装置は、優先度によって情報の送信順序を決定する。
例えば、送信回数を優先度に比例させる。
受信装置は、送信装置の発光部が受信装置の撮像部いっぱいに写っていない場合やブランキングがある場合には信号を連続して受信できないため、送信される頻度が高いほど早く受信されやすい。
図98は、近くに存在する複数の送信装置が同調して情報を送信するパターンを示す。
複数の送信装置が共通情報を同時に送信することで、一つの大きな送信装置とみなすことができ、受信装置の撮像部で大きく撮像することができるため、情報をより速く、より遠くからでも受信可能となる。
送信装置は、近くに存在する送信装置の発光パターンと混同されないように、近くの送信装置の発光部が一様発光(信号を送信していない)時間帯に、個別情報を送信する。
送信装置は、近くに存在する送信信号の発光パターンを受光部で受光することで、近くに存在する送信装置の発光パターンを学習し、自身の発光パターンを定めるとしても良い。また、送信装置は、近くに存在する送信信号の発光パターンを受光部で受光することで、他の送信装置の命令によって自身の発光パターンを定めるとしても良い。また、送信装置は、集中制御装置の命令に従って、発光パターンを定めるとしても良い。
(発光部の検出)
撮像画像のどの部分に発光部が撮像されているかを判断する方法として、図99のように、露光ラインに垂直な方向に、発光部が撮像されたライン数を数え、最も多く発光部が撮像された列を発光部の存在する列とする方法がある。
発光部の端に近い部分は、受光の度合いにゆらぎがあり、発光部が撮像されているかどうかの判断を誤りやすいため、最も多く発光部が撮像された列の中でも中央の列の画素の撮像結果から信号を取り出す。
撮像画像のどの部分に発光部が撮像されているかを判断する方法として、図100のように、露光ライン毎に発光部を撮像した部分の中点を求め、求めた点を結ぶ近似線(直線、または、二次曲線)上に発光部が存在すると推定する方法がある。
図101のように、前のフレームにおける発光部の推定位置を事前確率とし、現在のフレームの情報から発光部の推定位置を更新しても良い。
なお、この間の加速度センサやジャイロセンサの値から、現在の発光部の推定位置を更新しても良い。
図102を解説すると、撮像範囲が2212aのとき、発光部2212bを撮像すると、撮像画像2212c、2212d、2212eのような画像が撮像される。
撮像画像2212c、2212d、2212eの発光部分の和を取ると、合成画像2212fが得られ、撮像画像中の発光部位置を特定することができる。
受信装置は、特定した発光部の位置から、発光部の発光のオンオフを検出する。
なお、図85に示す調方式を用いる場合、発光確率は0.75であるため、n枚の画像の和をとった時に、合成画像2212f中の発光部が発光して見える確率は、1−0.25nである。ここで、例えば、n=3のとき、この確率は約0.984となる。
なお、ジャイロセンサや加速度センサや磁気センサのセンサ値から撮像部の姿勢を推定し、撮像方向の補償を行った上で画像を合成したほうが精度は高くなる。しかし、合成画像数が少ない場合は撮像時間が短いため、撮像方向の補償を行わなくても悪影響は少ない。
図103は、受信装置が複数の発光部を撮像した場合を示す図である。
複数の発光部が同じ信号を発している場合は、両方の発光パターンから一つの送信信号を取得する。複数の発光部が異なる信号を発している場合は、別々の発光パターンから別々の送信信号を取得する。
送信信号の同じアドレスのデータ値が異なる場合は、異なる信号が送信されている。なお、送信信号のヘッダ部のパターンによって、近くの送信装置と同じ、または、異なる信号を送信していると判断しても良い。
発光部がほぼ隣接している場合は、同じ信号を送信しているとみなしても良い。
図104に、このときの送信信号のタイムラインと、発光部を撮像した画像を示す。
(位置パターンによる信号の伝送)
図105で、発光部2216a、2216c、2216eは一様に発光しており、発光部2216b、2216d、2216fは、発光パターンにより信号を発信している。なお、発光部2216b、2216d、2216fは、単純に、受信装置が露光ラインごとに撮像すれば縞模様に見えるように発光しているだけでも良い。
図105では、発光部2216a〜2216fは、同一の送信装置の発光部でも、別々の送信装置でも良い。
送信装置は、信号を送信している発光部の位置と、送信していない発光部の位置のパターン(位置パターン)によって、送信する信号を表現する。
図105では、6個の発信部があるため、2の6乗=64値の信号を送信可能である。異なる方向から見れば同一に見える位置パターンは使用するべきではないが、受信装置の磁気センサなどにより撮像方向を特定することで、上記のようなパターンを識別することもできる。なお、どの発光部が信号を送信しているかを時刻によって変化させることで、より多くの信号を送信しても良い。
送信装置は、一部の時間帯に位置パターンによる信号送信を行い、別の時間帯には発光パターンで信号を送信することもできる。例えば、一部の時間帯で、全ての発光部を同調させて送信装置のIDや位置情報を発光パターンで送信することができる。
発光部の配置パターンはほぼ無限に存在するため、受信装置が全ての位置パターンを予め記憶しておくことは困難である。
そこで、受信装置は、送信装置が発光パターンによって送信した送信装置のIDや位置情報や、無線基地局による受信装置の推定位置や、GPSやジャイロセンサや加速度センサや磁気センサによって推定した受信装置の位置情報をキーに、サーバから、付近に存在する位置パターンのリストを取得し、そのリストを基に位置パターンを解析する。
この方式によれば、位置パターンで表現する信号は全世界でユニークである必要はなく、同じ位置パターンが近く(半径数メートルから300メートル程度)に存在しなければ良く、発光部が少ない送信装置は表現できる位置パターンの数が少ないという問題を解決できる。
発光部の大きさや形状や位置情報をサーバから取得し、これらの情報と、撮像した位置パターンの大きさや形状と、撮像部のレンズ特性から、受信装置の位置を推定することができる。
(受信装置)
主に受信を行う通信装置としては、図106のように、携帯電話やデジタルスチルカメラやデジタルビデオカメラやヘッドマウントディスプレイやロボット(掃除用、介護用、産業用等)や監視カメラ等が考えられる。ただし、受信装置はこれらに限定されない。
なお、受信装置とは、主に信号を受信する通信装置であって、本実施の形態の方式やその他の方式によって信号の送信を行うこともある。
(送信装置)
主に送信を行う通信装置としては、図107のように、照明(家庭用、店舗用、オフィス用、地下街用、街路用等)、懐中電灯、家電、ロボット、その他電子機器が考えられる。ただし、送信装置はこれらに限定しない。
なお、送信装置とは、主に信号を送信する通信装置であって、本実施の形態の方式やその他の方式によって信号の受信を行うこともある。
発光部は、図108に示すように、LED照明やLEDバックライトを用いた液晶等のように、発光/非発光のスイッチングが高速であるものが望ましい。ただし、発光部はこれらに限定するものではない。
発光部には、上記の他、蛍光灯や白熱電灯や水銀灯や有機ELディスプレイなどの照明が考えられる。
なお、発光部が大きく撮像されるほうが、伝送効率が高くなるため、送信装置は、図109のように、同期して発光する発光部を複数備えても良い。また、撮像素子の露光ラインと垂直の方向に大きく映るほど伝送効率は高くなるため、発光部は一列に並べて設置しても良い。また、受信装置を自然に構えた場合に露光ラインと垂直に発光部を並べても良い。また、複数の向きから撮像されることが予想される場合には、図110のように、十字形に発光部を配置しても良い。また、複数の向きから撮像されることが予想される場合には、図111のように、円形の発光部を用いたり、円形に発光部を配置したりしても良い。また、大きく撮像するほうが、伝送効率が高くなるため、送信装置は、図112のように、発光部に散光板をかぶせても良い。
図113のように、異なる信号を送信する発光部は、同時に撮像されないように距離を離して配置する。また、図114のように、異なる信号を送信する発光部は、同時に撮像されないように、間に信号を送信しない発光部を配置する。
(発光部の構造)
図115は、発光部の望ましい構造を示す図である。
2311aのように、発光部とその周囲の素材を反射率の低いものにすることで、発光部周辺に光があたっている場合でも、受信装置が発光の様子を認識することを容易にすることができる。また、2311bのように、外光を妨げるかさを設けることで、発光部周辺に光が当たらす、受信装置が発光の様子を認識することを容易にすることができる。また、2311cのように、奥まった部分に発光部を設けることで、発光部周辺に光が当たらす、受信装置が発光の様子を認識することを容易にすることができる。
(信号搬送波)
信号を搬送する光(電磁波)は、受信装置が受光可能な、図116に示す近赤外線帯〜可視光帯〜近紫外線帯の周波数帯の光(電磁波)を用いる。
(撮像部)
図117では、受信装置の撮像部は、撮像範囲2310aの中にパターン発光をしている発光部2310bを検出する。
撮像制御部は、他の露光ラインを用いる代わりに、発光部の中心位置の露光ライン2310cを繰り返し用いて撮像画像2310dを取得する。
撮像画像2310dは、露光時間の異なる同じ場所の画像となる。撮像画像2310dの発光部が写っている画素を露光ラインと垂直方向に走査することで、発光部の発光パターンを観察できる。
この方法により、発光部が撮像画像中の一部分にしか存在しない場合でも、発光部の輝度変化をより長い時間観察できる。そのため、小さな発光部や、発光部を遠くから撮像した場合でも信号を読み取ることが可能となる。
ブランキングがない場合には、この方法により、撮像装置の一部分にでも発光部が写っていれば、発光部の輝度変化を全て観察することができる。
一つのラインを露光する時間が、次のラインを露光し始めるまでの時間より長い場合は、発光部の中心の複数の露光ラインを用いて撮像することで、同様の効果が得られる。
なお、画素単位での制御が可能である場合は、発光部の中心に最も近い点のみ、あるいはその付近の複数の点のみを用いて撮像を行う。このとき、各画素の露光開始時刻をずらすことで、さらに細かい周期で発光部の発光状態を検出することができる。
なお、主に2310cの露光ラインを使用しつつ、まれに別の露光ラインを使用して撮像し、撮像画像を合成することで、通常より解像度やフレームレートは劣るものの、通常通り撮像した撮像画像と類似した画像(映像)を合成できる。この合成画像をユーザに表示することでユーザに受信装置を操作させたり、手振れの補正に利用したりすることができる。
なお、手振れの補正には、ジャイロセンサや加速度センサや磁気センサなどのセンサ値を利用したり、発光部を撮影している撮像装置とは別の撮像装置で撮像した画像を利用したりすることもできる。
なお、発光部の端よりも中心に近いほうが、手振れ時に発光部が露光ラインや露光画素から外れにくいため、発光部の中心に近い部分を露光ラインや露光画素とすることが望ましい。
なお、発光部の辺縁部は発光輝度が低いため、なるべく発光部の周囲から遠く、輝度が高い部分を露光ラインや露光画素とすることが望ましい。
(受信装置の位置の推定)
図118では、送信装置は自身の設置されている位置情報と、発光装置の大きさと、発光装置の形状と、送信装置のIDとを送信する。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
受信装置は、磁気センサとジャイロセンサと加速度センサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光装置の大きさと形状と、撮像された画像中の発光装置の大きさと形状と、撮像装置の情報から、受信装置から発光装置までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。
また、受信装置は、送信装置から送信された情報と、撮像方向と、受信装置から発光装置までの距離とから、受信装置の位置情報を推定する。
図119では、送信装置は自身の設置されている位置情報と、発光部の大きさと、発光部の形状と、送信装置のIDとを送信する。ここで、位置情報には、発光部の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
受信装置は、磁気センサとジャイロセンサと加速度センサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光部の大きさと形状と、撮像された画像中の発光部の大きさと形状と、撮像装置の情報から、受信装置から発光部までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。
また、受信装置は、送信装置から送信された情報と、撮像方向と、受信装置から発光部までの距離とから、受信装置の位置情報を推定する。受信装置は、磁気センサとジャイロセンサと加速度センサから得た情報により、移動方向と移動距離を推定する。受信装置は、複数の地点で推定した位置情報と、移動方向と移動距離から推定したその地点間の位置関係を用いて、受信装置の位置情報を推定する。
例えば、地点
で推定した受信装置の位置情報の確率場を
地点
から地点
へ移動したときに推定した移動方向と移動距離の確率場を
とすると、最終的に推定される位置情報の確率場は
と計算できる。
また、図119では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信してもよい。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
この場合、受信装置は、磁気センサとジャイロセンサと加速度センサから得た情報により撮像方向を推定する。受信装置は、三点測量の方法で受信装置の位置情報を推定する。
図120では、送信装置は送信装置のIDを送信する。
受信装置は送信装置のIDを受信し、インターネットから送信装置の設置されている位置情報と、発光装置の大きさと、発光装置の形状等を得る。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
受信装置は、磁気センサとジャイロセンサと加速度センサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光装置の大きさと形状と、撮像された画像中の発光装置の大きさと形状と、撮像装置の情報から、受信装置から発光装置までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。
また、受信装置は、インターネットから得た情報と、撮像方向と、受信装置から発光装置までの距離とから、受信装置の位置情報を推定する。
図121では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信する。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
受信装置は、磁気センサとジャイロセンサと加速度センサから得た情報により撮像方向を推定する。受信装置は、三角測量の方法で受信装置の位置情報を推定する。
図122では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信する。位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
受信装置は、磁気センサとジャイロセンサと加速度センサから得た情報により撮像方向を推定する。受信装置は、三角測量の方法で受信装置の位置情報を推定する。また、受信装置は、ジャイロセンサや加速度センサや磁気センサから、受信装置の姿勢変化や移動を推定する。なお、受信装置は、同時に、磁気センサの零点調整やキャリブレーションを行なっても良い。
(送信情報の設定)
図123では、受信装置2606cで送信装置2606bの発光パターンを撮像して送信された信号を取得し、受信装置の位置を推定する。
受信装置2606cは、移動されている間に、撮像画像の変化や、磁気センサや加速度センサやジャイロセンサのセンサ値から、移動の距離と方向を推定する。
受信装置は、送信装置2606aの受光部を撮像し、発光部の中心位置を推定し、その位置を送信装置に送信する。
発光部の位置推定には、発光装置の大きさの情報が必要であるため、送信装置は、送信する情報の一部が欠けている場合でも、発光部の大きさ情報を送信しているほうが望ましい。なお、発光部の大きさがわからない場合は、受信装置に位置推定に利用した送信装置2606bと受信装置2606cとの間の距離から天井の高さを推定し、その結果を利用して送信装置2606aと受信装置2606cとの間の距離を推定する。
送信には、発光パターンによる送信や、音のパターンによる送信や、無線電波による送信方式がある。送信装置の発光パターンとその時刻を記憶しておき、あとで送信装置や集中制御装置へ送信するとしても良い。
送信装置や集中制御装置は、発光パターンとその時刻から、受信装置が撮像していた送信装置を特定し、位置情報を送信装置へ記憶させる。
図124では、受信装置の撮像した画像中の点として送信装置の一点を指定することで、位置を設定する点を指定する。
受信装置は、位置設定点から送信装置の発光部の中心への位置関係を計算し、設定する位置にその位置関係を加えた位置を送信装置へ送信する。
図125では、受信装置は、送信装置を撮像することで、送信された信号を受信する。受信した信号を基に、サーバや電子機器と通信を行う。
例えば、受信装置は、信号に含まれる送信装置のIDをキーに、サーバから、送信装置の情報や、送信装置の位置・大きさや、その位置に関連するサービス情報等を取得する。
また、例えば、受信装置は、信号に含まれる送信装置の位置から受信装置の位置を推定し、サーバから、地図情報や、その位置に関連するサービス情報等を取得する。
また、例えば、受信装置は、現在の大まかな位置をキーに、サーバから、付近の送信装置の変調方式を取得する。
また、例えば、受信装置は、信号に含まれる送信装置のIDをキーに、サーバに、受信装置や送信装置の位置情報や、付近の情報や、受信装置が付近で行った処理の情報をサーバに登録する。
また、例えば、受信装置は、信号に含まれる送信装置のIDをキーに、電子機器の操作を行う。
(受信装置のブロック図)
図126は、受信装置を示す構成図である。受信装置はこの全部、または、撮像部と信号解析部を含む一部から構成される。なお、図126で同じ名称のブロックは、同一のものが兼ねても良いし、異なるものであっても良い。
狭義の受信装置2400afは、スマートフォンやデジタルカメラ等に備えられる。入力部2400hは、ユーザ操作入力部2400iや、照度センサ2400jや、マイクロフォン2400kや、計時部2400nや、位置推定部2400mや、通信部2400pの全部、または、一部から構成される。
撮像部2400aは、レンズ2400bや、撮像素子2400cや、フォーカス制御部2400dや、撮像制御部2400eや、信号検出部2400fや、撮像情報記憶部2400gの全部、または、一部から構成される。撮像部2400aは、ユーザの操作や、照度の変化や、音や声のパターンや、特定の時刻になったことや、特定の場所に受信装置が移動してきたことや、通信部を介して他の装置に命令されることで、撮像を開始する。
フォーカス制御部2400dは、送信装置の発光部2400aeにフォーカスを合わせたり、送信装置の発光部2400aeが大きく映るようにぼかすようにフォーカスを合わせたりといった制御を行う。
露光制御部2400akは、露光時間と露光ゲインを設定する。
撮像制御部2400eは、撮像する位置を特定の画素に限定する。
信号検出部2400fは、撮像画像中から、送信装置の発光部2400aeが含まれる画素や、発光による信号送信が含まれる画素を検出する。
撮像情報記憶部2400gは、フォーカス制御部2400dの制御情報や、撮像制御部2400eの制御情報や、信号検出部2400fで検出した情報を記憶する。撮像装置が複数ある場合には、同時に撮像を行い、一方を受信装置の位置や姿勢の推定に利用しても良い。
発光制御部2400adは、入力部2400hからの入力により、発光部2400aeの発光パターンを制御することで、信号を送信する。発光制御部2400adは、発光部2400aeを発光させた時刻を計時部2400acから取得して記録する。
撮像画像記憶部2400wは、撮像部2400aで撮像した画像を記憶する。
信号解析部2400yは、撮像素子のラインごとの露光時間の違いを利用して、撮像された送信装置の発光部2400aeの発光パターンから、変調方式記憶部2400afに記憶された変調方式を基に、送信された信号を取得する。
受信信号記憶部2400zは、信号解析部2400yで解析された信号を記憶する。
センサ部2400qは、GPS2400rや、磁気センサ2400tや、加速度センサ2400sや、ジャイロセンサ2400uの全部、または一部から構成される。
位置推定部は、センサ部からの情報や、撮像画像や、受信した信号から、受信装置の位置や姿勢を推定する。
演算部2400aaは、受信した信号や、受信装置の推定位置や、これらを基にネットワーク2400ahから得た情報(地図や場所に関連した情報や送信装置に関連した情報等)を表示部2400abに表示させる。
演算部2400aaは、受信した信号や、受信装置の推定位置から、入力部2400hに入力された情報を基に、送信装置の制御を行う。
通信部2400agは、ピアツーピアで接続する方式(bluetoothなど)を用いる場合は、ネットワーク2400ahを介さずに端末同士で通信を行う。
電子機器2400ajは、受信装置に制御される。
サーバ2400aiは、送信装置の情報や送信装置の位置や送信装置の位置に関連した情報を、送信装置のIDと紐付けて記憶している。
サーバ2400aiは、送信装置の変調方式を、位置に紐付けて記憶している。
(送信装置のブロック図)
図127は、送信装置を構成するブロック図である。
送信装置は、本構成図の全部、または、発光部と送信信号記憶部と変調方式記憶部と演算部を含めた一部で構成される。
狭義の送信装置2401abは、電灯や電子機器やロボットに備えられる。
照明制御スイッチ2401nは、照明のオンオフを切り替えるスイッチである。
散光板2401pは、発光部2401qの光を散光させるために発光部2401qの近くに取り付けられる部材である。
発光部2401qは、図126の受信装置の撮像素子のラインごとの露光時間の違いを利用して、ラインごとに発光パターンが検出される速度で点灯・消灯を行う。
発光部2401qは、高速に点灯・消灯が可能なLEDや蛍光灯等の光源で構成される。
発光制御部2401rは、発光部2401qの点灯と消灯を制御する。
受光部2401sは、受光素子や撮像素子で構成される。受光部2401sは、受光した光の強さを電気信号に変換する。なお、受光部2401sの代わりに、撮像部を用いても良い。
信号解析部2401tは、受光部2401sが受光した光のパターンから信号を取得する。
演算部2401uは、送信信号記憶部2401dに記憶されている送信信号を、変調方式記憶部2401eに記憶されている変調方式に従って発光パターンに変換する。演算部2401uは、信号解析部2401tから得た信号を基に、記憶部2401aの情報を編集したり、発光制御部2401rを制御したりして通信の制御を行う。演算部2401uは、取り付け部2401wからの信号を基に、記憶部2401aの情報を編集したり、発光制御部2401rを制御したりして通信の制御を行う。演算部2401uは、通信部2401vからの信号を基に、記憶部2401aの情報を編集するなど発光制御部2401rの制御を行う。
また、演算部2401uは、取り付け装置2401hの記憶部2401bの情報を編集する。演算部2401uは、取り付け装置2401hの記憶部2401bの情報を、記憶部2401aにコピーする。
演算部2401uは、定められた時刻に発光制御部2401rを制御する。演算部2401uは、ネットワーク2401aaを介して電子機器2401zzの制御を行う。
記憶部2401aは、送信信号記憶部2401d、形状記憶部2401f、変調方式記憶部2401e、機器状態記憶部2401gの全部、または、一部から構成される。
送信信号記憶部2401dは、発光部2401qから送信する信号を記憶する。
変調方式記憶部2401eは、送信信号を発光パターンに変換する変調方式を記憶する。
形状記憶部2401fは、送信装置と発光部2401qの形状を記憶する。
機器状態記憶部2401gは、送信装置の状態を記憶する。
取り付け部2401wは、取付金具や電力供給口で構成される。
取り付け装置2401hの記憶部2401bは、記憶部2401aに記憶する情報を記憶する。記憶部2401aは備えず、取り付け装置2401hの記憶部2401bや、集中制御装置2401mの記憶部2401cを用いても良い。
通信部2401vは、ピアツーピアで接続する方式(bluetoothなど)を用いる場合は、ネットワーク2401aaを介さずに端末同士で通信を行う。
サーバ2401yは、送信装置の情報や送信装置の位置や送信装置の位置に関連した情報を、送信装置のIDと紐付けて記憶している。また、サーバ2401yは、送信装置の変調方式を、位置に紐付けて記憶している。
(受信の手順)
図128を解説すると、ステップ2800aで、受信装置に撮像装置が複数あるかどうかを確認する。Noの場合はステップ2800bへ進み、使用する撮像装置を選択し、ステップ2800cへ進む。一方、Yesの場合はステップ2800cへ進む。
ステップ2800cでは、露光時間(=シャッタースピード)を設定(なお、露光時間は短いほうが望ましい)する。
次に、ステップ2800dで、露光ゲインを設定する。
次に、ステップ2800eで、撮像する。
次に、ステップ2800fで、露光ライン毎に、輝度が一定の閾値を超える画素が一定数以上続く部分を判定し、その部分の中心位置を求める。
次に、ステップ2800gで、上記の中心位置を結ぶ、1次または2次の近似線を計算する。
次に、ステップ2800hで、各露光ラインの近似線上の画素の輝度値を、各露光ラインの信号値とする。
次に、ステップ2800iで、撮像フレームレート、解像度、ブランキング時間等によって構成される撮像情報から、露光ライン1ラインあたりの担当時間を計算する。
次に、ステップ2800jで、ブランキング時間が一定以下であれば、ある撮像フレームの最後の露光ラインの次の露光ラインはその次のフレームの最初の露光ラインであるとみなす。そうでない場合は、ある撮像フレームの最後の露光ラインとその次のフレームの最初の露光ラインの間には、ブランキング時間を1露光ラインあたりの担当時間で除した数の、観測できない露光ラインが存在するとみなす。
次に、ステップ2800kで、デコード情報から、基準位置パターン、アドレスパターンを読み込む。
次に、ステップ2800mで、各露光ラインの信号値から、信号の基準位置を示すパターンを検出する。
次に、ステップ2800nで、検出した基準位置を基に、データ部、アドレス部を計算する。
次に、ステップ2800pで、送信信号を得る。
(自己位置推定の手順)
図129を解説すると、まず、ステップ2801aで、受信装置の現在位置として認識している位置または現在位置の確率マップを、自己位置の事前情報とする。
次に、ステップ2801bで、受信装置の撮像部を送信装置の発光部へ向ける。
次に、ステップ2801cで、加速度センサとジャイロセンサと磁気センサのセンサ値から、撮像装置が向けられている方位と仰角を計算する。
次に、ステップ2801dで、発光パターンを撮像し、送信信号を取得する。
次に、ステップ2801eで、送信信号に含まれる発光部の大きさや形状の情報と、撮像した発光部の大きさと、撮像装置の撮像の倍率とから、撮像装置と発光部の間の距離を計算する。
次に、ステップ2801fで、撮像画像中の発光部の位置と、レンズ特性から、撮像部から発光部への方向と撮像面の法線との相対角度を計算する。
次に、ステップ2801gで、これまでに計算した数値から、撮像装置と発光部の相対位置関係を計算する。
次に、ステップ2801hで、送信信号に含まれる発光部の位置と、撮像装置と発光部の相対位置関係から、受信装置の位置を計算する。なお、送信装置が複数観察できる場合は、各送信装置に含まれる信号から撮像装置の座標を計算することで、受信装置の位置を高精度に計算できる。なお、送信装置が複数観察できる場合は、三角測量の手法を用いることができる。
次に、ステップ2801iで、自己位置の事前情報と、受信装置の位置の計算結果から、受信装置の現在位置または現在位置の確率マップを更新する。
次に、ステップ2801jで、撮像装置を移動させる。
次に、ステップ2801kで、加速度センサとジャイロセンサと磁気センサのセンサ値から、移動の方向と距離を計算する。
次に、ステップ2801mで、撮像画像と撮像装置の姿勢とから、移動の方向と距離を計算し、ステップ2801aへ戻る。
(送信制御の手順1)
図130を解説すると、まず、ステップ2802aで、ユーザがボタン押下する。
次に、ステップ2802bで、発光部を発光させる。なお、発光パターンで信号を表しても良い。
次に、ステップ2802cで、発光開始時刻や、終了時刻や、特定のパターンを送信した時刻を記録する。
次に、ステップ2802dで、撮像装置で撮像する。
次に、ステップ2802eで、撮像画像中に存在する送信装置の発光パターンを撮像し、送信された信号を取得する。なお、記録した時刻を利用して同期的に発光パターンを解析しても良い。そして、終了する。
(送信制御の手順2)
図131を解説すると、まず、ステップ2803aで、受光装置で受光、または、撮像装置で撮像する。
次に、ステップ2803bで、特定のパターンであったかどうかを確認する。
Noの場合は、ステップ2803aへ戻る。一方、Yesの場合は、ステップ2803cへ進み、受信パターンを受光または撮像した開始時刻や、終了時刻や、特定のパターンが現れた時刻を記録する。
次に、ステップ2803dで、記憶部から送信信号を読み出し、発光パターンへ変換する。
次に、ステップ2803eで、前記発光パターンに従って発光部を発光させ、終了する。なお、記録した時刻から一定時間が経過してから発光させ、終了するとしても良い。
(送信制御の手順3)
図132を解説すると、まず、ステップ2804aで、受光装置で受光し、受光した光エネルギーを電気に変換して蓄電する。
次に、ステップ2804bで、蓄電エネルギーが一定以上となったかどうかを確認する。
Noの場合は、ステップ2804aへ戻る。一方、Yesの場合は、ステップ2804cへ進み、受光した光を解析し、特定のパターンが現れた時刻を記録する。
次に、ステップ2804dで、記憶部から送信信号を読み出し、発光パターンへ変換する。
次に、ステップ2804eで、上記発光パターンに従って発光部を発光させ、終了する。なお、記録した時刻から一定時間が経過してから発光させ、終了するとしても良い。
(駅構内での情報提供)
図133は、駅構内で情報提供を受ける状況を説明する図である。
受信装置2700aは、駅施設に設置された照明を撮像し、発光パターンや位置パターンを読み取ることで、照明装置が送信している情報を受信する。
受信装置2700aは、受信した情報を基にサーバから照明や施設の情報を取得し、さらに、撮像された照明の大きさや形から、受信装置2700aの現在位置を推定する。
例えば、受信装置2700aは、施設IDや位置情報にもとづいて得た情報を表示する(2700b)。受信装置2700aは、施設IDを基に施設の地図をダウンロードし、ユーザが購入した乗車券情報から、乗車場所へのナビゲートを行う(2700c)。
なお、図133は鉄道の駅での例を示しているが、空港や港やバス停等の施設でも同様である。
(乗車サービス)
図134は、乗り物内での利用の様子を示す図である。
乗客の持つ受信装置2704aと、販売員の持つ受信装置2704bは、照明2704eが送信する信号を受信し、自身の現在位置を推定する。
なお、各受信装置は、自己位置推定に必要な情報を、照明2704eから取得しても良いし、照明2704eから送信された情報をキーにサーバから取得しても良いし、乗車駅や改札の位置情報等を基に事前に取得しても良い。
なお、受信装置2704aは、ユーザ(乗客)が購入した乗車券の乗車時間情報と現在時刻から、現在位置が乗り物内であることを認識し、その乗り物と関連付けられた情報をダウンロードしても良い。
各受信装置は、自身の現在の位置をサーバへ通知する。受信装置2704aは、ユーザ(乗客)IDや、受信装置のIDや、ユーザ(乗客)が購入した乗車券の情報をサーバへ通知することで、サーバは、座席に座っている人物が乗車権利や指定席権利を持つ人物であることを確認する。
受信装置2704aは、販売員の現在位置を表示することで、ユーザ(乗客)は、車内販売の購入タイミングを検討できる。
乗客が受信装置2704aを介して車内販売の注文を行ったとき、受信装置2704aは、自身の位置と注文内容と課金情報を販売員の受信装置2704bやサーバに通知する。販売員の受信装置2704bは、注文者の位置を示す地図2704dを表示させる。
なお、乗客は受信装置2704aを介して、指定席券や乗り継ぎ乗車券の購入もできる。
受信装置2704aは空席情報2704cを表示する。受信装置2704aは、ユーザ(乗客)が購入した乗車券の乗車区間情報と、自身の現在位置から、指定席券や乗り継ぎ乗車券の購入情報や課金情報をサーバへ通知する。
なお、図134は鉄道内での例を示しているが、飛行機や船やバス停等の乗り物でも同様である。
(店舗内サービス)
図135は、店舗内での利用の様子を示す図である。
受信装置2707b、2707c、2707dは、照明2707aが送信する信号を受信し、自身の現在位置を推定し、サーバへ通知する。
なお、各受信装置は、自己位置推定に必要な情報やサーバのアドレスを、照明2707aから取得しても良いし、照明2707aから送信された情報をキーに別のサーバから取得しても良いし、会計システムから取得しても良い。
会計システムは、会計情報と受信装置2707dとを関連付け、受信装置2707dの現在位置を表示させて(2707c)注文された商品を届ける。
受信装置2707bは、照明2707aから送信された情報を基に商品情報を表示する。購入者が表示された商品情報から注文を行うと、受信装置2707bは、商品情報と課金情報と現在位置をサーバへ通知する。
このように、販売者は受信装置2707bの位置情報を基に注文された商品を届けることが可能であり、購入者は席に座ったままで商品の購入が可能である。
(無線接続の確立)
図136は、無線接続の認証状を通信し、無線接続を確立する状況を示している図である。
電子機器(デジタルカメラ)2701bは、無線接続のアクセスポイントとして動作し、その接続に必要な情報として、IDやパスワードを発光パターンとして送信する。
電子機器(スマートフォン)2701aは、発光パターンから送信情報を取得し、無線接続を確立する。
なお、ここでは無線接続としたが、確立するコネクションは有線接続ネットワークであっても良い。
なお、二つの電子機器との間の通信は、第3の電子機器を介して行なっても良い。
(通信範囲の調整)
図137は、発光パターンや位置パターンによる通信の範囲を示す図である。
電波を利用した通信方式では、壁で区切られた隣室にも電波が到達してしまい、通信範囲を制限することが難しい。
一方、発光パターンや位置パターンを用いた通信では、可視光とその周辺領域の波長を利用するため、遮蔽物を用いて通信範囲を区切ることが容易である。また、可視光を使う場合、通信範囲が人間の目でも確認できるという利点がある。
(屋内での利用)
図138は、地下街等の屋内での利用の様子を示す図である。
受信装置2706aは、照明2706bの送信する信号を受信し、自身の現在位置を推定する。また、受信装置2706aは、地図上に現在位置を表示して道案内を行ったり、付近の店舗の情報を表示したりする。
緊急時には照明2706bから災害情報や避難情報を送信することで、通信が混雑している場合や、通信基地局が故障した場合や、通信基地局からの電波が届かない場所にいる場合であっても、これらの情報を得ることができる。これは、緊急放送を聞き逃した場合や、緊急放送を聞くことができない聴覚障害者に有効である。
(屋外での利用)
図139は、街路などの屋外での利用の様子を示す図である。
受信装置2705aは、街灯照明2705bの送信する信号を受信し、自身の現在位置を推定する。また、受信装置2705aは、地図上に現在位置を表示して道案内を行ったり、付近の店舗の情報を表示したりする。
緊急時には照明2705bから災害情報や避難情報を送信することで、通信が混雑している場合や、通信基地局が故障した場合や、通信基地局からの電波が届かない場所にいる場合であっても、これらの情報を得ることができる。
また、他の車両や歩行者の移動を地図上に表示したり、向かってくる車両や歩行者が存在することをユーザに知らせることで、事故防止に役立てることができる。
(道順の指示)
図140は、道順の指示の様子を示す図である。
送信装置2703a、2703b、2703cから送信された情報を利用して、受信装置2703eは、付近の地図をダウンロードしたり、自身の位置を誤差1cmから数10cmの精度で推定したりすることができる。
受信装置2703eの正確な位置がわかることで、車椅子2703dを自動運転したり、視覚障害者が安全に通行を行ったりすることができる。
(複数の撮像装置の利用)
図141の受信装置は、インカメラ2710aと、タッチパネル2710bと、ボタン2710cと、アウトカメラ2710dと、フラッシュ2710eを備える。
アウトカメラで送信装置を撮像するとき、インカメラの撮像画像から、受信装置の移動や姿勢を推定することで、手ブレの補正を行うことができる。
インカメラで他の送信装置からの信号を受信することで、複数の装置からの信号を同時に受信したり、受信装置の自己位置推定の精度を高めたりすることができる。
(送信装置自律制御)
図142では、送信装置1は、送信装置2の発光部の発光を受光部で受光し、送信装置2の送信している信号と送信のタイミングを取得する。
送信装置1の記憶部に、送信する信号が記憶されていない場合は、送信装置2の発光と同調して同じパターンで発光して信号を送信する。
一方、送信装置1の記憶部に、送信する信号が記憶されている場合は、送信装置2の送信信号と共通部分は送信装置2の発光と同調して同じパターンで発光して信号を送信する。共通でない部分は、送信装置2が信号を送信していない時間に送信する。送信装置2が信号を送信していない時間がない場合は、適当に周期を定め、その周期に従って共通でない部分を送信する。この場合、送信装置2は、受光部で送信装置1の発光を受光し、同じ時刻に異なる信号が送信されていることを検知し、送信装置1が信号を送信していない時刻に、共通でない部分の信号を送信する。
発光による信号送信の衝突の回避には、CSMA/CD (Carrier Sense Multiple Access with Collision Detection)の方式を利用する。
送信装置1は、自身の情報を発光パターンとして発光部を発光させる。
送信装置2は、送信装置1の情報を受光部から取得する。
送信装置は、通信可能な送信装置同士で互いの情報を交換することで、送信装置の配置地図を作成する。また、送信装置は、発光による信号送信が衝突しないように全体として最適な発光パターンを求める。また、送信装置は、他の送信装置が得た情報を、送信装置間の通信によって取得する。
(送信情報の設定)
図143では、送信装置は、送信装置が取り付け装置に取り付けられたときや、取り付け装置の記憶部に記憶された情報が変更されたときに、取り付け装置の記憶部に記憶されている情報を送信装置の記憶部に記憶する。取り付け装置や送信装置の記憶部に記憶されている情報には、送信信号や送信のタイミングが含まれる。
送信装置は、記憶部に記憶されている情報が変更された場合には、取り付け装置の記憶部にその情報を記憶させる。集中制御装置や配電盤から、取り付け装置の記憶部や送信装置の記憶部の情報を編集する。配電盤からの操作では、電力線通信を用いる。
送信装置の形状記憶部は、送信装置の取り付け部と発光部の中心位置の位置関係が記憶している。
送信装置は、位置情報を送信するときには、記憶部に記憶された位置情報にこの位置関係を加えた位置情報を送信する。
取り付け装置の記憶部には、建造物の施工時等に、情報を記憶させる。位置情報を記憶させる場合は、建造物の設計図やCADデータを利用することで、正確な位置を記憶させる。建造物の建造時には、送信装置から位置情報を送信させることで、位置を確認することができ、建造の自動化や、材料の利用位置の確認等に利用することができる。
取り付け装置は、送信装置の情報を集中制御装置に通知する。取り付け装置は、送信装置以外の機器が取り付けられたことを集中制御装置に通知する。
図144では、送信装置は、受光部で光を受光し、信号解析部で光のパターンから情報を取得し、記憶部に記憶する。送信装置は、受光したときに、記憶部に記憶した情報を発光パターンに変換して発光部を発光させる。
送信装置の形状に関する情報は、形状記憶部に記憶する。
図145では、送信装置は、通信部で受信した信号を記憶部に記憶する。送信装置は、受信したときに、記憶部に記憶した情報を発光パターンに変換して発光部を発光させる。
送信装置の形状に関する情報は、形状記憶部に記憶する。
送信装置は、記憶部に送信信号が記憶されていない場合は、適当な信号を発光パターンに変換して発光部を発光させる。
受信装置は、送信装置が送信している信号を撮像部から取得し、その信号と送信装置に記憶させたい情報とを、通信部を介して送信装置や集中制御装置に伝える。
送信装置や集中制御装置は、受信装置から撮像部から取得した信号と同一の信号を送信した送信装置の記憶部に、送信された情報を記憶する。
なお、受信装置は、送信装置が送信している信号を撮像した時刻を合わせて送信し、送信装置や集中制御装置は、その時刻を利用して受信装置が撮像した送信装置を特定しても良い。
なお、受信装置の通信部を発光部とし、送信装置の通信部を受光部または撮像部とし、発光パターンを用いて受信装置から送信装置へ情報を送信しても良い。
なお、受信装置の通信部を発音部とし、送信装置の通信部を収音部とし、音声パターンを用いて受信装置から送信装置へ情報を送信しても良い。
(2次元バーコードとの組み合わせ)
図146は、2次元バーコードと組み合わせて利用する場合を示す図である。
ユーザは、通信機器2714aと通信機器2714dを相対させる。
通信機器2714aは、ディスプレイに2次元バーコード2714cとして送信情報を表示させる。
通信機器2714dは、2次元バーコード読取部2714fで、2次元バーコード2714cを読み取る。通信機器2714dは、発光部2714eの発光パターンとして送信情報を表現する。
通信機器2714aは、撮像部2714bで発光部を撮像し、信号を読み取る。この方式により、双方向の直接通信が可能となり、伝送するデータ量が少ない場合にはサーバを介した通信よりも高速で通信が可能である。
(地図の作成と利用)
図147は、地図作成とその利用の様子を示す図である。
ロボット2715aは、照明2715dや電子機器2715cの送信する信号を基に自己位置推定を行うことで、部屋の地図2715fを作成し、地図情報と位置情報と照明2715dや電子機器2715cのIDとをサーバ2715eへ記憶させる。
受信装置2715bも同様に、照明2715dや電子機器2715cの送信する信号や、移動中の撮像画像や、ジャイロセンサや加速度センサや磁気センサのセンサ値から、部屋の地図2715fを作成し、地図情報と位置情報と照明2715dや電子機器2715cのIDとをサーバ2715eへ記憶させる。
ロボット2715aは、サーバ2715eから取得した地図2715fを基に、効率良く掃除や配膳を行う。
受信装置2715bは、サーバ2715eから取得した地図2715fを基に、ロボット2715aへ掃除場所や移動場所を指示したり、受信装置を向けている方向にある電子機器を操作したりする。
(電子機器の状態取得と操作)
図148は、電子機器の状態取得と操作の様子を示す図である。
通信装置2716aは、制御情報を発光パターンに変換し、発光部を電子機器2716bの受光部2716dへ向けて発光させる。
電子機器2716bは、その発光パターンから制御情報を読み取り、制御情報通りに動作を行う。電子機器2716bは、受光部2716dで受光したときに、電子機器の状態を示す情報を発光パターンに変換し、発光部2716cを発光させる。また、電子機器2716bは、運転終了時やエラー発生時など、ユーザへ通知したい情報がある場合に、その情報を発光パターンに変換し、発光部2716cを発光させる。
通信装置2716aは、発光部2716cを撮像し、送信された信号を取得する。
(電子機器の認識)
図149は、撮像している電子機器を認識する様子を示す図である。
通信装置2717aは、電子機器2717bと電子機器2717eへの通信路を持ち、各電子機器へID表示命令を送信する。
電子機器2717bは、ID表示命令を受信して、発光部2717cの発光パターンでID信号を送信する。
電子機器2717eは、ID表示命令を受信して、発光部2717f、2717g、2717h、2717iを用いて位置パターンでID信号を送信する。
なお、ここで各電子機器が送信するID信号は、電子機器の持つIDであっても良いし、通信装置2717aに指示された内容であっても良い。
通信装置2717aは、撮像画像中に存在する発光部の発光パターンや位置パターンから、撮像されている電子機器と、その電子機器と受信装置との位置関係を認識する。
なお、電子機器と受信装置との位置関係を認識するためには、電子機器は発光部を3点以上備えることが望ましい。
(拡張現実オブジェクトの表示)
図150は、拡張現実オブジェクトを表示する様子を示す図である。
拡張現実を表示させる舞台2718eは、発光部2718a、2718b、2718c、2718dの発光パターンや位置パターンで、拡張現実オブジェクトの情報や、拡張現実オブジェクトを表示させる基準位置を送信する。
受信装置は、受信した情報を基に、拡張現実オブジェクト2718fを撮像画像に重畳して表示させる。
(ユーザインタフェース)
発光部が撮像範囲の中央付近から外れている場合には、撮像範囲の中心を発光部のほうへ向けさせるため、図151のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。
発光部が撮像範囲の中央付近から外れている場合には、撮像範囲の中心を発光部のほうへ向けさせるため、図152のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。
撮像範囲に発光部が確認できない場合であっても、それ以前の撮像結果や撮像端末に付属の加速度センサやジャイロセンサやマイクロフォンや位置センサ等の情報から発光部の位置が推定可能な場合には、図153のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。
撮像範囲の中心を発光部のほうへ向けさせるため、図154のように、撮像範囲を移動させたい距離に応じて表示する図形の大きさを調整する。
発光部の写りが小さい場合には、より大きく撮像させるために、図155のように、より発光部に近づいて撮像するようにユーザを促すような表示を行う。
発光部が撮像範囲の中央から外れており、かつ、写りの大きさが十分でない場合には、図156のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、より発光部に近づいて撮像するようにユーザを促すような表示を行う。
発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図157のように、撮像範囲を回転させるようにユーザを促すような表示を行う。
発光部が撮像範囲の中央から外れており、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図158のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。
発光部の写りの大きさが十分ではなく、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図159のように、より発光部に近づいて撮像するようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。
発光部が撮像範囲の中央から外れており、かつ、発光部の写りの大きさが十分ではなく、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図160のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、より発光部に近づいて撮像するようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。
信号を受信中には、図161のように、信号を受信していることを伝える表示や、受信した信号の情報量を表示する。
受信する信号のサイズが判明している場合には、信号を受信中には、図162のように、プログレスバーで受信が完了した信号の割合や情報量を表示する。
信号を受信中には、図163のように、プログレスバーで受信が完了した信号の割合や受信箇所や受信した信号の情報量を表示する。
信号を受信中には、図164のように、発光部に重畳するようにして受信が完了した信号の割合や情報量を表示する。
発光部が検出された場合には、図165のように、例えば、発光部を点滅させる等の表示により、その物体が発光部であることを表示する。
発光部からの信号を受信中には、図166のように、例えば、発光部を点滅させる等の表示により、その発光部から信号を受信していることを表示する。
図167では、複数の発光部が検出された場合に、いずれかの発光部をユーザにタップさせることで、信号を受信したり、操作をおこなったりする送信装置をユーザに指定させる。
(実施の形態8)
(ITSへの応用)
以下、本発明の適用例として、ITS(Intelligent Transport
Systems:高度道路交通システム)を説明する。本実施の形態では、可視光通信の高速通信を実現しており、ITS分野への適応が可能である。
図168は、可視光通信機能を搭載した交通システムと車両や歩行者との通信を説明している図である。信号機6003は、本実施の形態の可視光通信機能を搭載し、車両6001および歩行者6002との通信が可能である。
車両6001および歩行者6002から信号機6003との情報送信は、ヘッドライトや歩行者が持つ携帯端末のフラッシュ発光部などで行う。信号機6003から車両6001および歩行者6002への情報送信は、信号の照明を、信号機6003が持つカメラセンサーや、車両6001が持つカメラセンサーで行う。
なお、以降も道路照明や道路情報板など、路上に設置された交通支援の物体と車両6001や歩行者6002と通信を行うことによる機能を説明するが通信方式に関しては同じ物が適用できるため、説明は割愛する。
図168に示すように、信号機6003は、車両6001へ道路交通情報を提供する。ここで、道路交通情報とは渋滞情報や事故情報、周辺サービスエリアの情報など、運転を補助するような情報のことである。
信号機6003は、LED照明を搭載しているため、このLED照明による通信を行うことで新たな装置を搭載することなく車両6001への情報提供が可能になる。また、車両6001は一般的に高速移動しているため、従来の可視光通信技術では送信できるデータ量が少なかったが、本実施の形態により通信速度が向上したため、車両に送信することができるデータサイズが多くなるという効果がある。
また、信号機6003や、照明6004では、信号や照明ごとに異なる情報を提供することが可能である。これによって、例えば右折レーンを走行している車両に対してのみ情報送信を行うなど、車両の位置に応じた情報を送信することが可能である。
また、同様に歩行者6002に対しても、特定のスポットにいる歩行者6002に対してのみ情報を提供することが可能になるため、例えば特定の交差点の横断歩道で信号待ちをしている歩行者のみ、例えば事故が多い交差点であるとった情報や、街中スポット情報などを送信することができる。
さらに、信号機6003と別の信号機6005も通信することが可能である。これによって、例えば信号機6003が提供する情報を変更する場合に、新たに信号機に信号線や通信機を通すことなく、信号機同士の通信のリレーによって、信号機が配信する情報を変更することが可能である。本方式によって、可視光通信の通信速度が大きく向上するため、より短時間での配信情報の変更が可能になる。これによって、例えば1日に数回配信情報を変更することができるようになる。また、積雪や降雨情報などを即座に配信することが可能になる。
さらに、照明が現在の位置情報を配信することで、車両6001や歩行者6002に対して、位置情報を提供することも可能である。商店街やトンネルなど屋上に屋根がある施設は、GPSを用いた位置情報取得が困難である場合があるが、可視光通信を用いれば、このような状況でも位置情報を取得することが可能であるというメリットがある。また、本実施の形態により通信速度が従来と比較してより高速化することが可能であるため、例えば店舗や交差点など特定のスポットを通過する間に情報を受信することが可能となる。
なお、本実施の形態は可視光通信を高速化するものであるため、その他の可視光通信を用いたITSシステム全般に応用可能であることは言うまでもない。
図169は、車両同士が可視光通信を用いて通信を行う、車車間通信に本発明を適用した場合の概略図である。
車両6001はブレーキランプやその他LED照明を通じて後方の車両6001aへ情報を伝達する。また、ヘッドライトやその他前方を照らすライトを通じて対向する車両6001bへデータを送信することも可能である。
このように、車両間を可視光で通信することで車両同士の情報を共有することが可能である。例えば、前方交差点での事故情報を後方車両にリレー形式で伝達することによって、渋滞情報や注意喚起の情報を後方車両に伝えることが可能である。
また、同様に対向する車両に渋滞情報やブレーキのセンサ情報から取得した急ブレーキ情報を伝えることで対向車に対しても、運転を補助する情報を伝えることが可能である。
本発明により可視光通信の通信速度が向上したため、対向車とすれ違いながら情報を送信することができるという利点がある。また、後方車両に対しても情報送信の間隔が短くなるためより短い期間で多くの車両に情報を伝達することが可能となる。また、通信速度があがることで、音声や画像情報を送ることも可能である。これによって、より豊かな情報を車車間で共有することが出来る。
(位置情報報知システムおよび施設システム)
図170に、本実施の形態の可視光通信技術を用いた位置情報報知システムおよび施設システムの概略図を示す。例えば病院内で、患者のカルテや搬送物、薬品などをロボットで配送するシステムを代表として説明する。
ロボット6101は、可視光通信機能を搭載している。照明は位置情報を配信している。ロボット6101は、照明の位置情報を取得することで特定の病室に薬やその他物品を届けることが可能となる。これによって、医師の負担が減る。また、照明は隣の部屋に漏れることがないため、ロボット6101が部屋を間違えることが無いという効果がある。
なお、本実施の形態の可視光通信を用いたシステムは、病院内に限定されるものではなく、照明器具を用いて位置情報を配信するシステムに適応可能である。例えば、屋内のショッピングモールにおいて、案内表示板の照明から位置および案内情報をホ送信する仕組みにしても良いし、空港内でのカートの移動に用いても良い。
また、店舗の照明に可視光通信技術を搭載することで、クーポン情報やセール情報を配信することも可能である。可視光に情報を重畳することで、ユーザはその店舗の光から情報を貰っているということが直感的に理解できるため、ユーザの利便性が向上するという効果がある。
また、部屋の中/外である情報を送信する場合、無線LANを用いて位置情報を配信すると、隣接する部屋や廊下に電波が漏れてしまうため、部屋の外に電波が飛ばないようにするように外壁に電波を遮断する機能が必要であった。まだ外壁で電波を遮断すると、携帯電話等の外部と通信する機器が使えないという課題があった。
本実施の形態の可視光通信を用いて位置情報を送信すると、照明の届く範囲のみで通信可能であるため、例えば特定の部屋の位置情報を利用者に送信することが容易であるという効果がある。また、外壁は通常光を遮るため、特別な装置が必要ないという効果がある。
また、ビルや大規模施設、一般家屋において、通常照明の位置は変わることが無いため、各照明が送信する位置情報は頻繁に変わることが無い。各照明の位置情報のデータベースの更新頻度が低いので、位置情報管理のメンテナンスコストが低いという効果がある。
(スーパーマーケットのシステム)
図171に、商店において、本実施の形態の通信方式を搭載した機器をショッピングカートに搭載し、商品だなの照明もしくは、屋内照明から位置情報を取得するスーパーマーケットのシステムを説明する。
カート6201は本実施の形態の通信方式を用いたした可視光通信機器を搭載している。照明6100は、可視光通信によって、位置情報をおよびその棚の情報を配信している。カートは、照明から配信される商品情報を受け取る事ができる。また位置情報を受け取る事で、自分がどの棚にいるか把握することができるため、例えば、カートに棚の位置情報を記憶させておけば、ユーザが行きたい棚もしくは欲しい商品をカートに指定するだけで、どこの方向に行けば良いかカートに表示させることが可能となる。
可視光通信によって、棚の位置が分かる程度の高精度な位置情報を得ることができるため、カートの移動情報を取得し、活用することができる。例えば、カートが照明から取得した位置情報を、データベース化することも可能である。
可視光通信を用いて照明にカートの情報と共に送信する、あるいは無線LAN等を用いてサーバに送信する。あるいは、カートにメモリを搭載しておき、店舗の閉店後にデータを集める等によって、カートがどの様な経路を通ったかということをサーバに集約する。
カートの移動情報を集めることで、どの棚に人気があるか、どの通路が最も通られているかを把握することができるため、マーケティングに使えるという効果がある。
(携帯電話端末とカメラの通信)
図172に、本実施の形態の可視光通信を用いた応用例を示す。
携帯電話端末6301は、フラッシュライトを用いて、カメラ6302にデータを送信する。カメラ6302は撮像部で受信した光情報から携帯電話端末6301が送信したデータを受信する。
あらかじめ、携帯電話端末6301において、カメラの撮影設定をしておき、カメラ6302に送信する。これによって、携帯電話端末の豊かなユーザインターフェースを利用して、カメラの設定を行うことができる。
また、カメラの撮影センサを利用することで、カメラと携帯電話端末を通信する際に、無線LAN等の新たな通信機器を搭載することなく、携帯電話端末からカメラに設定情報を送信することが可能となる。
(水中通信)
図173に、本実施の形態の通信方式を水中通信に適応した場合の概略図を示す。水は電波を通さないため、水中のダイバー同士や海上の船と海中の船は無線を通じて通信をすることができない。本実施の形態の可視光通信では水中でも利用可能である。
なお、本実施の形態の可視光通信方式は、光を発するオブジェや建造物からデータを送信することが可能となる。建物に対して受光部を向けるとその建物の案内情報や詳細情報を取得することができるため、観光客に有益な情報を提供することができる。
なお、本実施の形態の可視光通信方式は、灯台から船舶との通信に適用可能である。従来より大容量の通信を行うことができるため、より詳細な情報をやり取りすることができる。
なお、本実施の形態の可視光通信は、光を用いるため、特定の部屋のみで通信を行うといった部屋単位での通信制御を行うことができる。例えば図書館で特定の部屋のみで閲覧可能な情報へアクセスする場合に本実施の形態の通信方式を用いる、または本実施の形態の通信方式を鍵情報のやりとりに、用いて、実際の通信は無線LAN等の通信を用いて行うなどの用途に適用可能である。
なお、本実施の形態の通信方式はLEDによる通信及びMOSセンサを備える撮像装置すべてに転用可能であり、例えばデジタルカメラやスマートフォンに適用可能であることは言うまでもない。
(実施の形態9)
(サービス提供例)
以下、本実施の形態では、本発明の適用例として、図174を用いて、ユーザへのサービス提供例を説明する。図174は、実施の形態9におけるユーザへのサービス提供例を説明するための図である。図174には、ネットサーバ4000aと、送信機4000b、4000d、4000eと、受信機4000c、4000fと、建物4000gとが示されている。
受信機4000c、4000fが家屋内外にある複数の送信機4000b、4000d、4000eから信号を受信し、処理することでユーザへサービスを提供できる。なお、送信機、および、受信機は単独で信号を処理し、ユーザへサービスを提供できてもよいし、ネットワークを構成するネットサーバ4000aと連携してネットワークからの指示に従い、それらの挙動や発信する信号を変化させながら、ユーザへサービスを提供できてもよい。
なお、送信機、および、受信機は人や車両など動く物体に備え付けられていてもよいし、静止している物体に備え付けられてもよいし、既存する物体にあとから備え付けることができてもよい。
図175は、実施の形態9におけるユーザへのサービス提供例を説明するための図である。図175には、送信機4001aと、受信機4001bとが示されている。
図175のように、受信機4001bは複数の送信機4001aが発信した信号を受信し、信号に含まれる情報を処理することでユーザへサービスを提供する。なお、信号に含まれる内容には、機器を一意に示す機器ID、位置情報、地図、標識、観光情報、交通情報、地域サービス、クーポン、広告、商品説明、キャラクター、音楽、動画、写真、音声、メニュー、放送、緊急案内、時刻表、ガイド、アプリケーション、ニュース、掲示板、機器へのコマンド、個人を識別する情報、金券、クレジットカード、セキュリティ、URLなどに関する情報がある。
ユーザは、これら信号に含まれる情報を利用するための登録処理などを事前にネットサーバ上で実施しておき、実際に送信機4001aが信号を発信する場所でこれらの信号をユーザが受信機4001bで受信することでサービスの提供を受けることができてもよいし、ネットサーバを介在せずにサービスの提供を受けることができてもよい。
図176は、本実施の形態における受信機が送信機から受信した複数の信号を同時に処理する場合を示すフローチャートである。
まず、ステップ4002aで開始する。次に、ステップ4002bで受信機が複数の光源からの信号を受信する。次に、ステップ4002cで受信した結果から、それぞれの光源が表示される領域を判定し、それぞれの光源から信号を抽出する。
ステップ4002dで取得した信号の数分の処理を数が0個になるまでステップ4002eで信号に含まれる情報を元に処理を繰り返す。処理すべき数が0個になった段階で、ステップ4002fで終了する。
図177は、実施の形態9における相互通信により機器間のコミュニケーションを実現する場合の一例を示す図である。図175には送信機、および、受信機を持つ複数の送受信機4003a、送受信機4003b、送受信機4003cが相互に通信することにより機器間のコミュニケーションを実現する場合の一例が示されている。なお、送受信機は図175のように同一機器間でのみ通信できてもよいし、異なる機器間で通信できてもよい。
また、本実施の形態はアプリケーションを本実施の形態が提供する通信手段や他のネットワーク、着脱式のストレージを利用して、携帯電話、スマートフォン、パソコン、ゲーム機などへアプリケーションを配信し、それらアプリケーションから既に備え付けてある機器のデバイス(LED、フォトダイオード、イメージセンサー)を利用することで、ユーザへサービスを提供することができる。なお、アプリケーションははじめから機器に搭載されていてもよい。
(指向性を利用したサービスの例)
また、本発明の適用例として、本実施の形態の指向性の特性を利用したサービスについて説明する。具体的には、映画館、コンサートホール、博物館、病院、公民館、学校、会社、商店街、デパート、役所、フードショップなどのような公共施設で本発明を利用する場合の例である。本発明は、従来の可視光通信と比較して、送信機が受信機へ発生する信号の指向性を低くすることができるため、公共施設に存在する多数の受信機へ情報を同時に発信することができる。
図178は、実施の形態9における指向性の特性を利用したサービスを説明するための図である。図178には、スクリーン4004aと、受信機4004bと、照明4004cとが示されている。
図178のように、映画館で本実施の形態を利用することで、映画の上映中にユーザが他のユーザの快適な映画の視聴妨害に繋がる機器(携帯電話、スマートフォン、パソコン、ゲーム機など)の利用を抑制することができる。送信機は、映画を表示するスクリーン4004aに投影される映像内や施設に備え付けてある照明4004cなどが発する光を信号とし、それら信号内に受信機4004bを制御するコマンドを含ませる。受信機4004bがこのコマンドを受信することで、受信機4004bの動作を制御し、他のユーザの映画視聴を阻害するような行為を防止することができる。受信機4004bを制御するコマンドは電源や受信が発する音、通信機能、LEDの表示、バイブレーションなどのON、OFF、レベル調整などがある。
また、受信機が、送信機の送信する信号を光源の強さなどを利用して、フィルタリングすることで、指向性の強さを制御することができる。本実施の形態では、指向性を低く設定することで、施設に存在する受信機へ一斉にコマンドや情報を送信することかできる。
なお、指向性を高くしたい場合は、送信機側が光源の量を制限してもよいし、受信機側で光源を受光する感度を下げたり、受光した光源の量を信号処理したりすることで、制約をかけてもよい。
なお、本実施の形態をフードショップ、役所などのようにユーザからの注文を受け、その場で注文を処理するような店舗などで利用する場合は、ユーザの手元にある送信機で発信した注文を含む信号を、店舗を見渡せる場所に配置してある受信機が受信することで、どの席のユーザが何のメニューを注文したかを検出することができる。サービス提供者は時間軸を設けて注文を処理することで、ユーザへ公平性の高いサービスを提供できる。
なお、発信機と受信機間であらかじめ設定された秘密鍵や公開鍵を利用し、信号に含まれる情報を暗号化・復号化することで、信号を送信できる送信機、信号を受信できる受信機を制約してもよい。また、送信機、および、受信機間の送信路をインターネットにおいて標準で利用されるSSLなどのプロトコルを利用して、他の機器からの信号の傍受を抑制してもよい。
(実世界とインターネット上の世界の融合によるサービス例)
また、本発明の適用例として、カメラに撮像された実世界とインターネット上の世界の情報を重畳してユーザへサービスを提供するサービスについて説明する。
図179は、実施の形態9におけるユーザへのサービス提供例の別の例を説明するための図である。具体的には、図179は、携帯電話、スマートフォン、ゲーム機などに受信機に搭載されたカメラ4005aを利用して本実施の形態を活用する場合のサービスの一例を示している。ここで、図179には、カメラ4005aと、光源4005bと、重畳する内容4005cとが示されている。
カメラ4005aの撮像結果から複数の光源4005bが発信する信号4005dを抽出し、それらの信号4005dに含まれる情報をカメラ4005aへ重畳して表示する。なお、カメラ4005aに重畳する内容4005cは文字列、画像、動画、キャラクター、アプリケーション、URLなどがある。なお、カメラとの重畳だけでなく、音声、バイブレーションなどを利用して、信号に含まれる情報を処理してもよい。
図180は、送信機が発する光源に含まれる信号のフォーマット例を示す図である。図180には、光源の特性4006aと、サービス種別4006bと、サービスに関する情報4006cとが示されている。
受信機が受信した信号をカメラに重畳するサービスに関する情報4006cは、送信機が発する信号に含まれるサービス種別4006bなどの情報やカメラから光源までの距離に応じて、信号から取得できる情報をフィルタリングした結果である。なお、受信機がフィルタリングする内容は、あらかじめ設定された受信機の設定に従ってもよいし、ユーザが受信機に設定したユーザの嗜好に従ってもよい。
また、受信機は、信号を発する発信機までの距離を推定し、光源までの距離を表示できる。受信機がカメラに撮像された発信機が発する光量をデジタル信号処理することで発信機までの距離を推定する。
しかし、受信機がカメラで撮像したそれぞれの発信機の光量は、光源の位置や強さにより異なるため、撮像した発信機の光量のみで距離を推定すると、大幅にずれる場合がある。
これを解決するために、発信機が発する信号内に、光源の強さや色、種類などを示す光源の特性4006aを含ませる。受信機は信号に含まれる光源の特性を加味したデジタル信号処理を行うことで、精度の高い距離を推定することができる。受信機が撮像した発信機の光源が複数ある場合、全ての光源の強さが同一である場合は、光源の光量で距離を推定する。受信機が撮像した光源の強さが同一でない送信機がある場合は、光源量のみで距離を推測せず、その他の距離測定手段と組み合わせ、送信機から受信機までの距離を推測する。
その他の距離測定手段としては、二眼レンズで撮像される映像の視差を利用して距離を推定してもよいし、赤外線やミリ波レーダなどを用いて、距離を推定してもよいし、受信機の移動量を加速度センサや受信機に搭載されている撮像したなどで取得し、移動した距離と三角測量とを組み合わせ距離を推定してもよい。
なお、受信機が、送信機側で発生する信号の強さや距離を利用して、信号をフィルタリングし、表示するだけでなく、受信機が送信機から受信する信号の指向性を調整するための手段として利用してもよい。
(実施の形態10)
図181は、実施の形態10の原理を示す図である。図182〜図194は、実施の形態10の動作の一例を示す図である。
図181の(a)に示すようにカメラ用のCMOS型等のイメージセンサは、各ライン1の露光時間はライン毎に遅れを生じる。通常のシャッタ速度では時間的に各ラインは重なる部分を持つため、同一時間の光信号は各ラインに混合されるため判別できない。ここでシャッタの開時間を短くする場合、ある一定のシャッタ速度以下に露光時間が短くなると図181の(a)のように重ならなくなるため、ライン毎に光信号を時間的に分離して読むことができる。
この状態で図181の(a)の上部のような「1011011」の光信号を与えると、最初の「1」の光信号はライン1のシャッタ開時間に入光するためライン1で光電変換され、図181の(b)の電気信号2aの「1」として出力される。同様にして次の光信号「0」は(b)の電気信号「0」となり、7bitの「1011011」の光信号は正確に電気信号に変換される。
実際には、図181の(b)のように垂直ブランキング時間により不感時間があるため、一部の時間帯の光信号は取り出せない。これを解決するため、本実施の形態では「通常の撮影モード」から「光信号の読み出しモード」に切り換わった時にCMOS等の撮像デバイスのアクセスアドレスを変更して一番下にある最後の読み出しライン1hの次に、最初の読み出しライン1aを読み出すことによりブランク期間の問題を解決している。画質に若干悪い影響を与えるが、連続的に(シームレスに)読み出せるという効果が得られ伝送効効率が大幅に向上する。
本実施の形態では1ラインに最高で1個のシンボルを割り当てることができるため、後に述べるような同期方式をとった場合、1000ラインで30fpsの撮像素子を用いたとき、最大で30kbpsの伝送が理論上可能となる。
なお、同期をとる場合は、図182のようにカメラの受光素子の信号を見て、最もコントラストが得られるように、もしくは、データのエラーレートが低くなるようにラインのアクセス用のクロックを上下に変更することにより同期をとることができる。光信号よりイメージセンサのラインのクロックが速い場合は、図182のように2ラインもしくは3ラインのnラインで光信号の1シンボルを受信することにより、同期をとることができる。
また、図183のTVや図184の左図のTVのようなディスプレイや、縦にn個例えば10個分割された光源を、携帯電話のカメラで本発明の高速電子シャッタやブランキング無し等の検出モードに切り替えて撮影すると、図184の右図のように本実施の形態特有のストライプ状のパターンがそれぞれ独立して10本検出できるため、10倍(n倍)の転送レートとなる。
例えば30fps1000ラインのイメージセンサを10分割した場合、300kbpsとなる。HD映像では水平に1980ピクセルあるため、50本に分割できる。すると1.5Mbpsとなり、動画の映像データが受信可能となる。200本ならHD映像が伝送できる。
本実施の形態での効果を得るためには、検出できる最も長い露出時間をT0とすると、T0以下にシャッタ時間を短くする必要がある。図181の右上図のようにフレーム同波数をfpとすると、シャッタ時間は1/fpの半分以下にすれば、2値を検出できる。
しかし、チラツキを抑えるためには4値PPM等が必要なため、1(fp×2×4)分の1、つまり、8fp分の1となる。通常の携帯電話のカメラはfp=30、60であるため、1/240、1/480、つまり、1/480以下のシャッタ速度に設定すれば、互換性を保ちながら、本実施の形態の可視光の光通信が携帯電話等のカメラを用いて受信できる。
実際には、本実施の形態での同期方式を採用していない携帯電話が世の中に数多く存在するため、当初は非同期型の通信となる。この場合は、光信号のクロックの2倍以上、具体的な2〜10倍の走査ラインを用いて1シンボルを受信することにより、情報レートは落ちるが互換性のある通信が実現する。
チラツキを防ぐ必要がある照明機器の場合、4値PPM、つまり4つのbitのうち1つの時間帯に消灯もしくは減光して発光させる。この場合ビットレートは半分に落ちるが、チラツキがなくなるため、照明機器に使用でき明かりとデータを送ることができる。
図185は屋内で共通時間帯に全体の照明機から共通信号をおくり、個別時間帯に、個別の照明機L4から個別の副情報が送られている状況で、光信号を受信する状況を示している。L4は面積が狭いため大量のデータを送るには時間がかかる。従って個別時間帯に数ビットのIDだけ送り、共通時間帯にL1、L2、L3、L4、L5の全てが同じ内容の共通情報を送る。
図186を用いて詳しく説明すると、図186下の時間帯Aでは共通情報である、「部屋の基準位置の位置情報、各IDの個別機器の配置情報(基準位置からの差分位置情報)、サーバのURL、データ放送、LAN送信データ」を部屋の中の全ての照明である主領域Mの2本の照明と、その一部にあるS1、S2、S3、S4が一斉に同じ光信号を発信させる。部屋中が同一の光信号で照らされるため、共通時間帯に、携帯のカメラ部が確実にデータ受信できるという効果がある。
一方、時間帯Bでは、右上の上面図に示すように、主領域Mは点滅しないで、通常の1/nの光量で連続的に発光する。4値PPMの場合、通常の3/4つまり75%で発光すると平均光量が変わらないためチラツキが防げる。平均光量が変わらない範囲で点滅すればチラツキはないが、時間帯Bにおける部分領域S1、S2、S3、S4の受信にノイズとなるため好ましくない。時間帯Bにおいては、S1、S2、S3、S4が各々別のデータ内容の光信号を送る。主領域Mは変調信号を送らないため、右上の携帯の画面のように、位置的に分離されている。このため、例えばS1の領域の画像を取り出した場合、ノイズが少ないため、領域の中に発生するストライプを検出することが容易になるため、安定してデータが得られる。
例えば、図187に示すようにカメラが横方向(水平方向)の走査をしている時は4値PPMの場合、照明L2がフェースカメラにより撮影され、右側のように3本のストライプが見えると「0101」つまりフレームあたり4bitのデータが復調できる。この中にIDのデータがあるため、共通データの基準位置情報と、個別データの各IDとの距離差情報もしくは配置情報を演算することにより、高速つまり短時間に携帯端末の位置を検出できるという効果がある。このように例えば2bitのIDを送るだけで4つの光源のデータと位置を1枚のフレーム情報で瞬時に認識できる。
図188を用いて、この個別光源の低ビットのID情報を使った例を説明する。
本実施の形態では図188の共通データ101で、図に示すように基準位置、サーバのURL、各IDの配置情報。エリア別データ放送の大容量データが全ての照明を用いて共通時間帯に送られる。
前述のように図188の(a)のL1、L2、L3、L4〜L8の個別IDが3bit復調できる。
図188の(b)のように周波数f1と周波数f2の信号を送っても各照明部に本発明特有のストライプが検出され、周波数に対応したIDや変調データに対応したIDデータに変換される。このパターンを、配置情報を用いて演算するとどの位置から撮影したかわかる。つまり、L0から各IDの配置情報と基準位置情報が得られるため、端末の位置を特定できる。
図188の(b)のように、周波数f1,f2を各IDに割り当て、例えば、f1=1000Hz,f2=1100Hz,…,f16=2500Hzとすることで、16値つまり4ビットの値を周波数によって表現できる。送信周波数を一定時間ごとに変化させることで、さらに多くの信号を送信することができる。周波数を変更する際や変調を開始/終了する際には、変更の前後で平均輝度を一定に保つことで、人間の目にちらつきを感じさせないという効果を得る。
なお、受信機は信号の周期から周波数を求めるため、周波数を等間隔に信号に割り当てるよりも、周波数の逆数や対数が等間隔になるように信号を割り当てるほうが、受信エラーを低減できる。
例えば、1/15秒ごとに信号を変化させると、60ビット毎秒で送信できる。一般的な撮像装置は、1秒間に30フレームの画像を撮影するため、1/15秒間同じ周波数で信号を送信すると、送信機が撮像画像の1部にしか写っていなくても、確実に撮像を行うことができる。
また、1/15秒間同じ周波数で信号を送信することで、受信機の負荷が高く処理できないフレームがある場合や、1秒間に15フレームの画像しか撮影できない撮像装置の場合でも、信号を受信することができる。
露光ラインに垂直な方向に輝度値をフーリエ変換等により周波数解析を行うと、送信信号の周波数がピークとして現れる。周波数の切替部分など、複数の周波数が1フレーム内に撮像された場合は、単一周波数信号をフーリエ変換した場合よりも弱いピークとして、複数のピークが得られる。周波数の切替部分には、前後の周波数がまじりあうことをさけるために、保護部分を設けても良い。
この方法によれば、一つの画面内に複数の周波数で順次送信している光を撮像した場合でも、送信周波数を解析することができ、1/15秒や、1/30秒より短い時間で送信信号の周波数を変更しても、受信することができる。
送信信号の順序を認識するためには、1画面よりも短い範囲でフーリエ変換を行えば良い。また、撮像した画面を連結して、1画面より長い範囲でフーリエ変換を行なっても良い。この場合は、撮像のブランキング時間の輝度値は不明として扱う。保護部分は、特定の周波数の信号とするか、輝度変化をさせない(周波数0Hz)とする。
図188の(b)のように、周波数f2のFM変調信号を送信し、続けてPPM変調信号を送信し、FM変調信号とPPM変調信号を交互に送信することで、どちらかの方法にしか対応していない受信機でも受信が可能になり、また、重要度の高い情報を比較的受信の容易なFM変調信号に割り当てることで、重要度の高い情報を優先的に送信することができる。
本実施の形態では、各機器のIDと画面上の位置が同時に得られるため、照明とリンクしたURLにあるクラウド型のサーバのデータベースの中の、照明の各IDにリンクした画像情報、位置情報やアプリプログラムをダウンロードし、ARの手法を用いて関連した商品等の画像をIDの照明を持つ機器の映像上に重ねて表示することができる。この場合、本実施の形態の復調モードを撮影モードに切り替えることにより美しい映像の上に重量されたAR画像が得られるという効果がある。
さて、図185に示すように時間帯Aに、各IDの光源と基準位置との東西南北の距離差dを送ることにより、照明L4のcm単位の正確な位置がわかる。次に天井の高さH、携帯電話の持ち主の身長より高さhを求め、携帯電話の姿勢情報を磁気センサ、加速度センサ、角速度センサにより補正して、正確なカメラ方向の角度θ2と照明と携帯電話との角度θ1を求め、d=(H−h)×arctan・θ1等の演算により、dを算出する。
こうして、携帯電話の位置を高い精度で求めることができる。このように時間帯Aに共通光信号を送り、時間帯Bに個別光信号を送ることにより、確実に大容量の共通情報と、ID等の小容量の個別情報を、ほぼ同時に送ることができるという効果が得られる。
図186の右上部の携帯端末のように個別光源S1〜S4が撮影される。図186の下のタイムチャートのように、時間Cでは、S1のみが光信号を送る。図189のt=Cのように1つだけストライプが発生するため、ノイズの影響を受けることなく検出できるという効果がある。
また、t=D、Eのように2つの個別データを送ってもよい。t=H、Iのように、最も空間的に離れた個別データを送ることにより画面上で分離しやすいためエラー率が低くなるという効果がある。
図189のt=Cの状況下においては、S1だけ復調すればよいため、他の領域のイメージセンサの走査は不要である。従ってt=CのようS1の領域が入るように走査本数を減少させることにより、S1領域だけ走査され、データを復調できる。このため、高速化するだけでなくS1の狭い領域だけで大容量のデータを復調することができるという効果がある。
ただし、この場合、手振れにより領域S1がイメージセンサの走査範囲内からはずれる恐れがある。
従って、図190に示すような手振れ補正が重要となる。携帯電話に内蔵されているジャイロセンサは手振れのような範囲の狭い微細な回転は通常検出できない。
従って、図190の左図のようにL2の光信号をフェースカメラで受信する場合は、走査を限定した場合など、フェースカメラからの画像を使って画像から手振れを検出することは難しい。従ってインカメラをONにしてインカメラの画像から手振れを検出し、走査範囲もしくは検出範囲を補正することにより手振れの影響を軽減できる。これはフェースカメラの手振れとインカメラの手振れは同一だからである。
フェースカメラの光信号パターン以外の走査領域のシャッタ速度を遅くして、正常な画像をこの領域から得て、この画像から手振れ補正することができる。この場合、1つのカメラで手振れ検出と信号検出ができる。このことは図190、右図のインカメラを使った場合にも同様の効果がある。
図191は、フェースカメラで光信号検出を行ない、まず、端末の位置情報を入手する。
この時の地点から移動距離l2を求める場合、携帯電話用の加速度センサは精度が悪いため、実用的でない。この場合、フェースカメラと反対のインカメラを使って、端末の姿勢と床面の模様の変化から図191のようにして移動距離l2を求めることができる。フェースカメラで天井の模様を検出してもよい。
以下、実際の応用例を説明する。
図192は駅の構内で天井の照明から共通データであるデータ放送を受信し、個別データから自分の位置を入手している様子を示す図である。
図193に示すように、コーヒー店でバーコードの表示された携帯端末から認証情報を表示して、店の端末が読みとった後、店の端末の発光部から発光させ、携帯端末が本発明を用いて受信し、相互認証を行ない、セキュリティを向上させることができる。認証は逆に行っても良い。
その携帯端末を持った客がテーブルに座ると入手した位置情報を店の端末に無線LAN等で送信するため、店員の端末に客の位置が表示されるため、注文した飲物を注文した客の位置情報のテーブルへと店員は運搬することができる。
図194は、列車や航空機の中で乗客は自分の位置を、本実施の形態の方法を用いて知り、端末で食物等の商品を注文する。搭乗員はカートに本発明の端末があり、画面の注文した客の位置に注文した商品のIDナンバーが表示されるため客のところへ注文したIDの商品が的確に配達される。
図184はTV等のディスプレイのバックライトに本実施の形態の方法または装置を用いた場合を示す図である。蛍光灯やLEDや有機ELは低迷の輝度変調をかけることができるため、本実施の形態の送信が可能である。ただし、特性上、走査方向が重要である。スマートフォンのように縦で使う場合は水平方向に走査されるため、画面の下部に横長の発光領域を設け、TV等の映像のコントラストをうすく、白色に近づけることにより容易に信号を受信できるという効果がある。
デジタルカメラのように垂直方向に走査される場合は、図183の画面右側のようなタテ長の表示を設ける。
これらの2つをひとつの画面内に設け、両者から同一の光信号を発光させることにより、どちらの走査方向のイメージセンサでも信号を受信することができる。
なお、水平方向に走査するイメージセンサで垂直方向の発光部を受信しようとした場合、端末の画面に「横方向に回転させて撮影して下さい」のような表示を出すことにより、より的確で高速に受信することを使用者に促すことができる。
なお、図182のように発光部の発光パターンにカメラのイメージセンサの走査ライン読み取りクロックを制御して同期をとることにより通信速度を大幅に上げることができる。
図182の(a)のように発光パターンの1シンボルを2ラインで検出する場合、左のようなパターンでは同期している。中図のようなパターンの場合、イメージセンサの読み取りが早いため、映像素子の読み出しクロックを低速化して同期させる。右図のようなパターンの場合、高速化し同期させる。
図182の(b)の1シンボルを3つのラインで検出する場合は中図のようなパターンでは低速化し、右図では高速化させる。
こうして高速な光通信が可能となる。
なお、双方向通信する場合は、発光部の照明機器に人感センサとして赤外線受光部が設けられているので、これを受信に兼用することにより照明機において双方向受信が部品の追加なしでできる。端末側は、カメラ用のストロボライトを用いて送信することもできるし、別途安価な赤外発光部を設けても良い。こうして部品をあまり追加することなしに双方向通信が実現する。
(実施の形態11)
(位相変調による信号伝送)
図195は、実施の形態11の情報通信装置における送信信号のタイミング図である。
図195において、基準波形(a)は周期Tのクロック信号であり、送信信号のタイミングの基準となる。送信シンボル(b)は、送信するデータ列に基づいて作成されるシンボル列を示している。ここでは、一例として1シンボル当たり1ビットの場合を示しているため、送信データのバイナリと同一となっている。送信波形(c)は、基準波形に対して送信シンボルに従って位相変調した送信波形であり、この波形に従って送信光源が駆動される。位相変調は、基準波形についてシンボルに対応して位相をずらすことで実施されており、この例においては、シンボル0は位相0°、シンボル1は位相180°の割り当てとなっている。
図196は、実施の形態11における送信信号と受信信号の関係を示す図である。
送信信号は図195と同様であり、送信信号が1の期間だけ光源が発光しており、この発光期間が右下がり斜線の領域で示されている。右上がり斜線で塗られた帯は、イメージセンサの画素が露光される期間(露光時間tE)を表しており、発光期間を示す右下がり斜線と重なる領域でイメージセンサの画素の信号電荷が生成される。画素値pは、この重複領域の面積に比例している。ここで、露光時間tEと周期Tとの間には、式1の関係が成り立つ。
tE=T/2×(2n+1) n:自然数 (式1)
なお、図196〜図200は、n=2の場合を示す。即ちtE=2.5T。
受信波形は、各ラインの画素値pを示している。ここで画素値軸の値は、1周期分の受光量を1として正規化されている。上述の通り露光時間tEは、T(n+1/2)の区間を持つため、画素値pは、常にn≦p≦n+1の範囲に存在し、図196の例については、2≦p≦3となる。
図197〜図199は、図196とはそれぞれ異なるシンボル列について送信信号と受信信号の関係を示した図である。
送信信号は、(図示されていない)連続する同一のシンボル列(例えば連続するシンボル0の列)を含むプリアンブルを持ち、受信側は、このプリアンブル中の連続するシンボル列により、受信のための基準信号を作成して、受信波形からシンボル列を読み出すタイミング信号としている。具体的には、連続するシンボル0について、図196で示している通り、受信波形は2→3→2を繰り返す一定の波形を返し、この画素値3が出力されるタイミングを基にクロック信号を基準信号として生成する。
次に、受信波形からのシンボルの読み出しは、上記基準信号の1区間における受信信号を読み出して、画素値3の場合はシンボル0、画素値2の場合はシンボル1として読み出すことができる。図197〜図199においては、第4周期に位置するシンボルが読み出される様子を示している。
図200は、図196〜図199をまとめた図であり、ラインが密に並んだ状態であるため、ライン方向の画素の区切りは省略して連続化して作図されている。ここでは、第4周期から第8周期のシンボル値が読み出される様子を示している。
かかる構成により、本実施の形態においては、基準波の周期より十分長い時間について光信号の強度の平均を取った場合、常に一定となる。そして、基準波の周波数を適度に高く設定すれば、その時間を人が光量変化を知覚する時間より短く設定することができるため、人の目から送信発光源を観察した場合、光源は一定に光っているように知覚される。そのため、光源のちらつきとして知覚されることはなく、前実施の形態における人に煩わしさを感じさせることがなくなる利点を持つ。
また、各ラインの露光時間が長く、隣接ラインの露光期間と重複する時間が長くなる状況において、前述の実施の形態における振幅変調(オンオフ変調)では、信号の周波数(シンボルレート)を高めることができずに十分な信号伝送速度が得られない課題が生じるが、本実施の形態においては、このような状況においても信号の立ち上がり、立ち下りエッジを検出可能であるため、信号の周波数を高めることができ、高い信号伝送速度を実現することができる。
なお、ここで記述している「位相変調」は、基準信号波形に対する位相変調を意味している。本来の意味では、搬送波は光であり、これを振幅変調(オンオフ変調)して伝送しているため、この信号伝送における変調方式は振幅変調の一種である。
また、上述の送信信号は一例であり、シンボル当りのビット数は2以上に設定することも可能であり、また、シンボルと位相シフトの対応も0°、180°に限るものではなく、オフセットを有してもよい。
なお、上記では説明を省略したが、図1〜図77で説明した実施の形態1〜6で説明した光信号発生手段と光信号受信手段の構成および動作、効果は、図78以降の図面を用いて、実施の形態7以降で説明した、高速型の光発光手段と光信号受信手段と置き換えて構成し動作させても、同様の効果があることは言うまでもない。また、逆に実施の形態7以降の高速型の光発光手段や受信手段を低速型の光発光手段や受信手段に置き換えても同様である。
例えば、図191、で、携帯電話の表示部側のカメラであるフェースカメラと、図190では反対側にあるインカメラを使って照明機からの光信号からの位置情報等のデータを受信する例を示した。この場合、加速度センサを使うことにより、重力で上下方向を検出できる。
図193のように、レストランでテーブルの上にある携帯電話で光信号を受信する場合、加速度センサの信号に応じて携帯電話の表側が上を向いている場合は、フェースカメラを作動させ、下を向いている場合は、インカメラに切り替えて光信号を受信することにより、電力消費を削減したり、迅速に光信号を受信したりすることができ、無駄なカメラの動作を停止することができる。この場合、カメラの明るさから、テーブルの上にあるカメラの向きを検知し同様の動作をさせることもできる。また、カメラが撮影モードから光信号の受信モード時に切り替わるときにシャッタ速度を早くするコマンドを送るとともに、撮像素子の感度を高めるコマンドを撮像回路部に送ると感度があがり、画像が明るくなるという効果がある。感度を高めるとノイズが増えるがホワイトノイズである。一方、光信号は特定の周波数域にあるため、周波数フィルターで分離もしくは除去することにより、検出感度を高めることができる。このため、暗い照明機器からの光信号を検出することができる。
本発明は主に屋内にある空間の照明機器から光信号を発生させ、通信部と音声マイクと音声スピーカーと表示部とインカメラとフェースカメラのカメラ部を持つ携帯端末のカメラ部により光信号を受信し、位置情報等を得るが、屋内から屋外に出ると、衛星を利用したGPSにより位置情報を検知できる。このため、光信号領域からの境界の位置情報を得て、GPSからの信号受信を起動し、この切り替えを自動的に行うことにより、シームレスに位置検知ができるという効果がある。
屋外から屋内に移動する時は、GPS等の位置情報により境界を検知して光信号の位置情報への自動切り替えを行う。また、携帯電話の表示部にバーコードを表示させ商店や、航空機の搭乗口のPOS端末で認証を行う場合、サーバを使うと応答時間がかかるため、現実的でないため片方向の認証しかできない。
しかし、本発明を用いてPOS等の端末の読み取り機の発光部から携帯電話のフェースカメラ部に光信号を送信することにより相互認証が行えるため、セキュリティが向上する。
(実施の形態12)
本実施の形態では、上記実施の形態1〜11におけるスマートフォンなどの受信機と、LEDの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図201は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばレストランのサイネージである送信機7001aは、送信機7001aの識別情報(ID)を例えばスマートフォンとして構成される受信機7001bに送信する。受信機7001bは、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えばレストランまでの経路、空席状況、およびクーポンなどである。
図202は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば映画のサイネージである送信機7042bは、送信機7042bの識別情報(ID)を例えばスマートフォンとして構成される受信機7042aに送信する。受信機7042aは、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、映画の予約を促す画像7042c、映画の上映時刻を示す画像7042d、空席状況を示す画像7042e、および予約完了を通知する画像7042fである。
図203は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばドラマのサイネージである送信機7043bは、送信機7043bの識別情報(ID)を例えばスマートフォンとして構成される受信機7043aに送信する。受信機7043aは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、ドラマの録画予約を促す画像7043c、ドラマを録画するレコーダの選択を促す画像7043d、および予約完了を通知する画像7043eである。
図204は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば店舗の屋根看板または路上に置かれた看板として構成されるサイネージである送信機7044bまたは7044cは、送信機7044bまたは7044cの識別情報(ID)を例えばスマートフォンとして構成される受信機7044aに送信する。受信機7044aは、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、その店舗の空席状況およびクーポンなどを示す画像7044bである。
図205は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図201〜図204に示す適用例に対応するものである。
まず、送信機のIDと、IDを受信した受信機に渡す情報とを関連付けてサーバに記憶する(7101a)。ここで、受信機に渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。
次に、送信機からIDを送信する(S7101b)。受信機のカメラを送信機に向け、IDを受信する(S7101c)。
受信機は受信したIDをサーバに送信し、IDに関連する情報を受信機に記憶する(S7101d)。
受信機は、端末IDやユーザIDを合わせてサーバへ保存する(S7101e)。さらに、受信機は、受信機に表示するものとしてサーバに記憶されていた情報を表示する(S7101f)。
受信機は、受信機やサーバに保存されたユーザプロファイルに基いて、表示内容を調整する(S7101g)。例えば、文字の大きさを変更したり、年齢制限コンテンツを非表示としたり、過去のユーザの行動から好まれると推定されたコンテンツを優先的に表示したりといった制御を行う。
受信機は、現在位置から店舗や商品売場までの道順を表示する(S7101h)。受信機は、適宜サーバから情報を取得し、空席情報や予約情報を更新して表示する(S7101i)。受信機は、取得した情報を保存するためのボタンや、表示内容を保存することを取りやめるためのボタンを表示する(S7101j)。
ユーザは、受信機が取得した情報を保存するためのボタンをタップする(S7101k)。受信機は、ユーザの操作によって再表示できるように、取得した情報を保存する(S7101m)。店舗の読み取り機は、受信機の送信する情報を読取る(S7101n)。送信方法としては、可視光通信、wifiやbluetoothを介した通信、2次元バーコードによる通信などがある。送信情報には、受信機のIDやユーザIDを含めても良い。
店舗の読取り装置は、読み取った情報と店舗のIDをサーバへ保存する(S7101p)。サーバは、送信機と、受信機と、店舗とを関連付けて保存する(S7101q)。これにより、サイネージの広告効果を分析することが可能となる。
図206は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば複数の店舗を示すサイネージである送信機7002aは、送信機7002aの識別情報(ID)を例えばスマートフォンとして構成される受信機7002bに送信する。受信機7002bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得して、サイネージと同一の表示内容を表示する。ユーザが所望の店舗を選択するためのタップ選択や音声入力を行なうと、受信機7002bはその店舗の内容を表示する。
図207は、実施の形態12における受信機7002bと送信機7002aの処理動作の一例を示すフローチャートである。
送信機7002aのIDと、IDを受信した受信機7002bに渡す情報とを関連付けてサーバに記憶する(7102a)。受信機7002bに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。送信機7002aに表示する内容の位置関係をサーバに記憶する。
サイネージなどの送信機7002aからIDを送信する(7102b)。受信機7002bのカメラを送信機7002aに向け、IDを受信する(7102c)。受信機7002bは受信したIDをサーバに送信し、IDに関連する情報を得る(7102d)。受信機7002bは、受信機7002bに表示するものとしてサーバに記憶されていた情報を表示する(7102e)。その情報である画像は、送信機7002aに表示された画像の位置関係を保ったまま受信機7002bに表示されてもよい。
ユーザは、画面のタップや音声による指定で、受信機7002bに表示された情報を選択する(7102f)。受信機7002bは、ユーザに指定された情報の詳細を表示する(7102g)。
図208は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば複数の店舗を示すサイネージである送信機7003aは、送信機7003aの識別情報(ID)を例えばスマートフォンとして構成される受信機7003bに送信する。受信機7003bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機7003bのカメラの撮影画像の中心に近い部分(例えば最も近い部分)の内容を表示する。
図209は、実施の形態12における受信機7003bと送信機7003aの処理動作の一例を示すフローチャートである。
送信機7003aのIDと、IDを受信した受信機7003bに渡す情報とを関連付けてサーバに記憶する(7103a)。受信機7003bに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。送信機7003aに表示する内容の位置関係をサーバに記憶する。
サイネージなどの送信機7003aからIDを送信する(7103b)。受信機7003bのカメラを送信機7003aに向け、IDを受信する(7103c)。受信機7003bは受信したIDをサーバに送信し、IDに関連する情報を得る(7103d)。受信機7003bは、サイネージの表示内容のうち、撮像画像の中心または指定部分と位置的に最も近い内容を表示する(7103e)。
図210は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば複数の店舗を示すサイネージである送信機7004aは、送信機7004aの識別情報(ID)を例えばスマートフォンとして構成される受信機7004bに送信する。受信機7004bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機7004bのカメラの撮影画像の中心に近い部分の内容(例えば店舗「Bカフェ」の内容を示す画像)を表示する。ここで、ユーザが左方向にフリックすると、受信機7004bは、サイネージで店舗「Bカフェ」の右側にある店舗「C書店」の内容を示す画像を表示する。つまり、受信機7004bは、送信元のサイネージと同じ位置関係の画像を表示する。
図211は、実施の形態12における受信機7004bと送信機7004aの処理動作の一例を示すフローチャートである。
送信機7004aのIDと、IDを受信した受信機7004bに渡す情報とを関連付けてサーバに記憶する(7104a)。受信機7004bに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。送信機7004aに表示する内容の位置関係をサーバに記憶する。
サイネージなどの送信機7004aからIDを送信する(7104b)。受信機7004bのカメラを送信機7004aに向け、IDを受信する(7104c)。受信機7004bは受信したIDをサーバに送信し、IDに関連する情報を得る(7104d)。受信機7004bに表示するとしてサーバに記憶されていた情報を表示する(7104e)。
ユーザは、受信機7004bに対してフリック操作を行う(7104f)。受信機7004bは、ユーザ操作に応じて、送信機7004aに表示された情報と同じ位置関係となるように表示内容を変更する(7104g)。例えば、ユーザが画面を左方向にフリックして現在表示している部分の右側を表示しようとした場合は、送信機7004aの表示において、現在受信機7004bに表示している内容の右側に表示されている内容を、受信機7004bに表示させる。
図212は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば複数の店舗を示すサイネージである送信機7005aは、送信機7005aの識別情報(ID)を例えばスマートフォンとして構成される受信機7005bに送信する。受信機7005bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機7005bのカメラの撮影画像の中心に近い部分の内容(例えば店舗「Bカフェ」の内容を示す画像)を表示する。ここで、ユーザが受信機7005bの画面の左端(または左向きの矢印)をタップすると、受信機7005bは、サイネージで店舗「Bカフェ」の左側にある店舗「Aレストラン」の内容を示す画像を表示する。また、ユーザが受信機7005bの画面の下端(または下向きの矢印)をタップすると、受信機7005bは、サイネージで店舗「Bカフェ」の下側にある店舗「E事務所」の内容を示す画像を表示する。また、ユーザが受信機7005bの画面の右端(または右向きの矢印)をタップすると、受信機7005bは、サイネージで店舗「Bカフェ」の右側にある店舗「C書店」の内容を示す画像を表示する。つまり、受信機7004bは、送信元のサイネージと同じ位置関係の画像を表示する。
図213は、実施の形態12における受信機7005bと送信機7005aの処理動作の一例を示すフローチャートである。
送信機7005aのIDと、IDを受信した受信機7005bに渡す情報とを関連付けてサーバに記憶する(7105a)。受信機7005bに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。送信機7005aに表示する内容の位置関係をサーバに記憶する。
サイネージなどの送信機7005aからIDを送信する(7105b)。受信機7005bのカメラを送信機7005aに向け、IDを受信する(7105c)。受信機7005bは受信したIDをサーバに送信し、IDに関連する情報を得る(7105d)。受信機7005bに表示するとしてサーバに記憶されていた情報を表示する(7105e)。
ユーザは、受信機7005bに表示された端の部分、または、受信機7005bに表示された上下左右の方向を示す部分をタップする(7105f)。受信機7005bは、ユーザ操作に応じて、送信機7005aに表示された情報と同じ位置関係となるように表示内容を変更する(7105g)。例えば、ユーザが画面の右端や右方向を示す部分をタップした場合は、送信機7005aの表示において、現在受信機7005bに表示している内容の右側に表示されている内容を、受信機7005bに表示させる。
図214は、実施の形態12における受信機と送信機の適用例を示す図である。なお、図214は自動車を後ろから見た図である。
例えば車の2つのテールランプ(発光部またはライト)を有する送信機(車)7006aは、送信機7006aの識別情報(ID)を例えばスマートフォンとして構成される受信機に送信する。受信機は、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得する。例えば、その情報は、その車または送信機のID、発光部間の距離、発光部の大きさ、車の大きさ、車の形状、車の重さ、車のナンバー、前方の様子、または危険の有無を示す情報である。また、受信機はこれらの情報を送信機7006aから直接取得してもよい。
図215は、実施の形態12における受信機と送信機7006aの処理動作の一例を示すフローチャートである。
送信機7006aのIDと、IDを受信した受信機に渡す情報とを関連付けてサーバに記憶する(7106a)。受信機に渡す情報には、送信機7006aとなる発光部の大きさや、発光部間の距離や、送信機7006aを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、受信機から観察しづらい場所の様子や危険の有無などの情報を含めても良い。
送信機7006aは、IDを送信する(7106b)。送信内容には、前記サーバのURLや、前記サーバに記憶させるとした情報を含めても良い。
受信機は、送信されたID等の情報を受信する(7106c)。受信機は、受信したIDに紐付いた情報をサーバから取得する(7106d)。受信機は、受信した情報やサーバから取得した情報を表示する(7106e)。
受信機は、発光部の大きさ情報と撮像した発光部の見えの大きさから、または、発光部間の距離情報と撮像した発光部間の距離から三角測量の要領で、受信機と発光部との距離を計算する(7106f)。受信機は、受信機から観察しづらい場所の様子や危険の有無などの情報を基に、危険の警告などを行う(7106g)。
図216は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば車の2つのテールランプ(発光部またはライト)を有する送信機(車)7007bは、送信機7007bの情報を例えば駐車場の送受信装置として構成される受信機7007aに送信する。送信機7007bの情報は、送信機7007bの識別情報(ID)、車のナンバー、車の大きさ、車の形状、または車の重さを示す。受信機7007aは、その情報を受信すると、駐車の可否、課金情報、または駐車位置を送信する。なお、受信機7007aは、IDを受信して、ID以外の情報をサーバから取得してもよい。
図217は、実施の形態12における受信機7007aと送信機7007bの処理動作の一例を示すフローチャートである。なお、送信機7007bは、送信だけでなく受信も行なうとため、車載送信機と車載受信機とを備える。
送信機7007bのIDと、IDを受信した受信機7007aに渡す情報とを関連付けてサーバ(駐車場管理サーバ)に記憶する(7107a)。受信機7007aに渡す情報には、送信機7007bを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、送信機7007bのユーザの識別番号や支払いのための情報を含めても良い。
送信機7007b(車載送信機)は、IDを送信する(7107b)。送信内容には、前記サーバのURLや、前記サーバに記憶させる情報を含めても良い。駐車場の受信機7007a(駐車場の送受信装置)は、受信した情報を、駐車場を管理するサーバ(駐車場管理サーバ)に送信する(7107c)。駐車場管理サーバは、送信機7007bのIDをキーに、IDに紐付けられた情報を取得する(7107d)。駐車場管理サーバは、駐車場の空き状況を調査する(7107e)。
駐車場の受信機7007a(駐車場の送受信装置)は、駐車の可否や、駐車位置情報、または、これらの情報を保持するサーバのアドレスを送信する(7107f)。または、駐車場管理サーバは、これらの情報を別のサーバに送信する。送信機(車載受信機)7007bは、上記で送信された情報を受信する(7107g)。または、車載システムは、別のサーバからこれらの情報を取得する。
駐車場管理サーバは、駐車を行いやすいように駐車場の制御を行う(7107h)。例えば、立体駐車場の制御を行う。駐車場の送受信装置は、IDを送信する(7107i)。車載受信機(送信機7007b)は、車載受信機のユーザ情報と受信したIDとを基に、駐車場管理サーバに問い合わせを行う(7107j)。
駐車場管理サーバは、駐車時間等に応じて課金を行う(7107k)。駐車場管理サーバは、駐車された車両にアクセスしやすいように駐車場の制御を行う(7107m)。例えば、立体駐車場の制御を行う。車載受信機(送信機7007a)は、駐車位置への地図を表示し、現在地からのナビゲーションを行う(7107n)。
図218は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば店舗の屋根看板または路上に置かれた看板として構成されるサイネージである送信機7008aまたは7008bは、送信機7008aまたは7008bの識別情報(ID)を例えばスマートフォンとして構成される受信機7008cに送信する。受信機7008cは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、その店舗の空席状況、クーポンおよび2次元バーコードなどを示す画像である。
図219は、実施の形態12における受信機7008cと送信機7008aまたは7008bの処理動作の一例を示すフローチャートである。なお、以下、送信機7008aおよび7008bのうち、送信機7008aを例にあげて説明するが、送信機7008bの処理動作も送信機7008aの処理動作と同じである。
まず、送信機7008aのIDと、IDを受信した受信機7008cに渡す情報とを関連付けてサーバに記憶する(7108a)。受信機7008cに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。
サイネージなどの送信機7008aからIDを送信する(7108b)。受信機7008cのカメラを送信機7008aに向け、IDを受信する(7108c)。受信機7008cは受信したIDをサーバに送信し、IDに関連する情報を受信機7008cに記憶する(7108d)。受信機7008cは、端末IDやユーザIDを合わせてサーバへ保存する(7108e)。
受信機7008cは、受信機7008cに表示するものとしてサーバに記憶されていた情報を表示する(7108f)。受信機7008cは、現在位置から店舗や商品売場までの道順を表示する(7108g)。受信機7008cは、適宜サーバから情報を取得し、空席情報や予約情報を更新して表示する(7108h)。
受信機7008cは、座席や商品を予約、または、注文するボタンを表示する(7108i)。ユーザは、受信機7008cに表示された予約ボタンや注文ボタンをタップする(7108j)。受信機7008cは、予約や注文の情報を、これらを管理するサーバへ送信する(7108k)。
図220は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばスマートフォンとして構成される受信機(端末)7009bは、例えば店舗の座席の前のテーブルに置かれる。このとき、例えば照明機器である送信機7009aは、送信機7009aの識別情報(ID)を受信機7009bに送信する。受信機7009bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得する。そして、受信機7009bは、その座席の予約、仮予約の確認、または予約時間の延長などを行なう。
図221は、実施の形態12における受信機と送信機の適用例を示す図である。
サーバから情報を取得した受信機7009bは、例えば、店舗の空席状況と、「お会計」、「延長」および「追加注文」の何れかを選択させるためのボタンとを表示する。
図222は、実施の形態12における受信機7009bと送信機7009aの処理動作の一例を示すフローチャートである。
送信機7009aのIDと、IDを受信した受信機7009bに渡す情報とを関連付けてサーバに記憶する(7109a)。受信機7009bに渡す情報には、送信機7009aの位置や形状の情報を含んでも良い。天井照明などの送信機7009aからIDを送信する(7109b)。
ユーザは受信機7009bをテーブル等へ置く(7109c)。受信機7009bは、ジャイロセンサ、磁気センサ、加速度センサの情報から受信機7009bがテーブル等に置かれたことを認識して受信処理を開始する(7109d)。受信機7009bは、加速度センサの上方から上方を向いているカメラを判断し、そのカメラを使用してIDを受信する。
受信機7009bのカメラを送信機7009aに向け、IDを受信する(7109e)。受信機7009bは受信したIDをサーバに送信し、IDに関連する情報を受信機7009bに記憶する(7109f)。受信機7009bは、受信機7009bの位置を推定する(7109g)。
受信機7009bは、受信機7009bの位置を店舗管理サーバへ送信する(7109h)。店舗管理サーバは、受信機7009bの置かれた座席を特定する(7109i)。店舗管理サーバは、座席番号を受信機7009bへ送信する(7109j)。
図223は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば天井照明である送信機7011aは、送信機7011aの識別情報(ID)を例えばスマートフォンとして構成される受信機7011bに送信する。受信機7011bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得して自己位置を推定(確認)する。そして、その受信機7011bが電子機器7011cに置かれると、受信機7011bは電子機器7011cの操作端末として機能する。これにより、タッチパネルや音声出力などのリッチなインタフェースで電子機器7011cを操作することができる。
図224は、実施の形態12における受信機7011bと送信機7011aの処理動作の一例を示すフローチャートである。
電子機器の位置をサーバに記憶する(7110a)。電子機器のIDや、型式や、保有する機能や、操作のためのインタフェース情報(画面、入出力音声、対話モデル)を、位置情報に関連付けて記憶しても良い。
送信機7011aのIDと、IDを受信した受信機7011bに渡す情報とを関連付けてサーバに記憶する(7110b)。受信機7011bに渡す情報には、送信機7011aの位置や形状の情報を含んでも良い。
天井照明などの送信機7011aからIDを送信する(7110c)。受信機7011bのカメラを送信機7011aに向け、IDを受信する(7110d)。受信機7011bは受信したIDをサーバに送信し、IDに関連する情報を受信機7011bに記憶する(7110e)。受信機7011bは、受信機7011bの位置を推定する(7110f)。
ユーザは受信機7011bを電子機器に置く(7110g)。受信機7011bは、ジャイロセンサ、磁気センサ、加速度センサの情報から受信機7011bが静止したことを認識して以下の処理を開始する(7110h)。受信機7011bは、最後に受信機7011bの位置を推定してから一定時間以上経過している場合には、上記の方法で自己位置を推定する(7110i)。
受信機7011bは、ジャイロセンサ、磁気センサ、加速度センサの情報から、最後に自己位置推定を行なってからの移動を推定し、現在位置を推定する(7110j)。受信機7011bは、現在位置に最も近い電子機器の情報をサーバから取得する(7110k)。受信機7011bは、電子機器の情報を、bluetoothやwifiを介して電子機器から取得する(7110m)。または、サーバに保存された電子機器の情報を取得する。
受信機7011bは、電子機器の情報を表示する(7110n)。受信機7011bは、電子機器の操作端末として入力を受け付ける(7110p)。受信機7011bは、電子機器の操作情報を、bluetoothやwifiを介して電子機器へ送信する(7110q)。または、サーバを介して電子機器へ送信する。
図225は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばスマートフォンとして構成される受信機7012aのカメラが、テレビ受像機(TV)などの電子機器として構成される送信機7012bに向けられる。このとき、受信機7012aは、送信機7043bから送信される送信機7043bの識別情報(ID)を受信する。受信機7043aは、そのIDに対応付けられた情報をサーバから取得する。これにより、受信機7012aは、カメラが向けられた方向にある電子機器の操作端末として機能する。つまり、受信機7012aは、bluetoothやwifiなどによって送信機7012bと無線接続する。
図226は、実施の形態12における受信機7012aと送信機7012bの処理動作の一例を示すフローチャートである。
送信機7012bのIDと、IDを受信した受信機7012aに渡す情報とを関連付けてサーバに記憶する(7111a)。受信機7012aに渡す情報には、電子機器のIDや、型式や、保有する機能や、操作のためのインタフェース情報(画面、入出力音声、対話モデル)を含んでも良い。
電子機器に搭載された、あるいは、電子機器に関連付けられた送信機7012bからIDを送信する(7111b)。受信機7012aのカメラを送信機7012bに向け、IDを受信する(7111c)。受信機7012aは受信したIDをサーバに送信し、IDに関連する情報を受信機7012aに記憶する(7111d)。受信機7012aは、受信したIDをキーに電子機器の情報をサーバから取得する(7111e)。
受信機7012aは、電子機器の情報を、bluetoothやwifiを介して電子機器から取得する(7111f)。または、サーバに保存された電子機器の情報を取得する。受信機7012aは、電子機器の情報を表示する(7111g)。
受信機7012aは、電子機器の操作端末として入力を受け付ける(7111h)。受信機7012aは、電子機器の操作情報を、bluetoothやwifiを介して電子機器へ送信する(7111i)。または、サーバを介して電子機器へ送信する。
図227は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばスマートフォンとして構成される受信機7013bは、ユーザから入力される目的地を受け付ける。そして、この受信機7013bのカメラが、照明機器(明かり)として構成される送信機7013aに向けられる。このとき、受信機7013bは、送信機7013aから送信される送信機7013aの識別情報(ID)を受信する。受信機7013bは、そのIDに対応付けられた情報をサーバから取得する。その取得された情報に基づいて、受信機7013bは自己位置の推定(確認)を行なう。そして、受信機7013bは、音声などでユーザを目的地へナビゲートする。また、ユーザが視覚障害者の場合は、受信機7013bは障害物を詳細にユーザへ報告する。
図228は、実施の形態12における受信機7013bと送信機7013aの処理動作の一例を示すフローチャートである。
ユーザは、目的地を受信機7013bに入力する(7112a)。ユーザは、受信機7013bを明かり(送信機7013a)へ向ける(7112b)。視覚に障害があるユーザでも、強い明かりを認識可能であれば、受信機7013bをそちらへ向けることができる。
受信機7013bは、明かりに重畳された信号を受信する(7112c)。受信機7013bは、受信した信号をキーにサーバから情報を取得する(7112d)。受信機7013bは、現在地から目的地までの地図をサーバから取得する(7112e)。受信機7013bは、地図を表示し、現在地から目的地までのナビゲーションを行う(7112f)。
図229は、実施の形態12における受信機の状態を示す図である。
例えばスマートフォンとして構成される受信機(端末)7014aは、フェイスカメラ7014bを備えている。そして、受信機7014aは、そのフェイスカメラ7014bの撮像方向が地平面に対して一定角度以上上に向いているときに、そのフェイスカメラ7014bによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7014aは、フェイスカメラ7014b以外の他のカメラも備えている場合には、そのフェイスカメラ7014bの優先度を他のカメラよりも上げる。
図230は、実施の形態12における受信機7014aの処理動作の一例を示すフローチャートである。
フェイスカメラ7014bの撮像方向が地平面に対して一定角度以上上に向いているか判断する(7113a)。判断結果が真(Y)であれば、フェイスカメラ7014bによる受信を開始する(7113b)。または、フェイスカメラ7014bによる受信処理の優先度を上げる。そして、一定時間経過すると(7113c)、フェイスカメラ7014bによる受信を終了する(7113d)。または、フェイスカメラ7014bによる受信処理の優先度を下げる。
図231は、実施の形態12における受信機の状態を示す図である。
例えばスマートフォンとして構成される受信機(端末)7015aは、アウトカメラ7015bを備えている。そして、受信機7014aは、そのアウトカメラ7015bの撮像方向の地平面に対する角度が一定角度以下のときに、そのアウトカメラ7015bによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7015aは、アウトカメラ7015b以外の他のカメラも備えている場合には、そのアウトカメラ7015bの優先度を他のカメラよりも上げる。
なお、アウトカメラ7015bの撮像方向の地平面に対する角度が一定角度以下のときには、受信機7015aは縦にされている状態であって、受信機7015aにおけるアウトカメラ7015bが備えられた面の地平面に対する角度は一定角度以上になっている。
図232は、実施の形態12における受信機7015aの処理動作の一例を示すフローチャートである。
アウトカメラ7015bの撮像方向が地平面に対して一定角度以下であるかを判断する(7114a)。判断結果が真(Y)であれば、アウトカメラ7015bによる受信を開始する(7114b)。または、アウトカメラ7015bによる受信処理の優先度を上げる。そして、一定時間経過すると(7114c)、アウトカメラ7015bによる受信を終了する(7114d)。または、アウトカメラ7015bによる受信処理の優先度を下げる。
図233は、実施の形態12における受信機の状態を示す図である。
例えばスマートフォンとして構成される受信機(端末)7016aは、アウトカメラを備えている。そして、受信機7016aは、そのアウトカメラの撮像方向に移動された(突き出された)ときに、そのアウトカメラによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7016aは、アウトカメラ以外の他のカメラも備えている場合には、そのアウトカメラの優先度を他のカメラよりも上げる。
なお、アウトカメラの撮像方向に移動されたときには、移動方向と(移動終了時点での)撮像方向との間の角度が一定角度以下になっている。
図234は、実施の形態12における受信機7016aの処理動作の一例を示すフローチャートである。
受信機7016aが移動され、移動方向と、移動終了時点でのアウトカメラの撮像方向が一定角度以下であるかを判断する(7115a)。判断結果が真(Y)であれば、アウトカメラによる受信を開始する(7115b)。または、アウトカメラによる受信処理の優先度を上げる。そして、一定時間経過すると(7115c)、アウトカメラによる受信を終了する(7115d)。または、アウトカメラによる受信処理の優先度を下げる。
図235は、実施の形態12における受信機の状態を示す図である。
例えばスマートフォンとして構成される受信機(端末)7017aは、所定のカメラを備えている。そして、受信機7017aは、所定のカメラに対応するディスプレイ操作または専用ボタンの押下が行なわれたときに、その所定のカメラによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7017aは、所定のカメラ以外の他のカメラも備えている場合には、その所定のカメラの優先度を他のカメラよりも上げる。
図236は、実施の形態12における受信機7017aの処理動作の一例を示すフローチャートである。
受信機7017aに対してディスプレイ操作または専用ボタンの押下が行なわれたかを判断する(7115h)。判断結果が真(Y)であれば、ディスプレイ操作または専用ボタンの押下に対応するカメラによる受信を開始する(7115i)。または、そのカメラによる受信処理の優先度を上げる。そして、一定時間経過すると(7115j)、ディスプレイ操作または専用ボタンの押下に対応するカメラによる受信を終了する(7115k)。または、そのカメラによる受信処理の優先度を下げる。
図237は、実施の形態12における受信機の状態を示す図である。
例えばスマートフォンとして構成される受信機(端末)7018aは、フェイスカメラ7018bを備えている。そして、受信機7018aは、そのフェイスカメラ7018bの撮像方向が地平面に対して一定角度以上上に向き、且つ地平面に対して一定角度以下にある方向に沿って受信機7014aが移動しているときに、そのフェイスカメラ7018bによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7018aは、フェイスカメラ7018b以外の他のカメラも備えている場合には、そのフェイスカメラ7018bの優先度を他のカメラよりも上げる。
図238は、実施の形態12における受信機7018aの処理動作の一例を示すフローチャートである。
フェイスカメラ7018bの撮像方向が地平面に対して一定角度以上上に向けられており、地平面に対して一定角度以下で平行移動されているかを判断する(7116a)。判断結果が真(Y)であれば、フェイスカメラ7018bによる受信を開始する(7116b)。または、フェイスカメラ7018bによる受信処理の優先度を上げる。そして、一定時間経過すると(7116c)、フェイスカメラ7018bによる受信を終了する(7116d)。または、フェイスカメラ7018bによる受信処理の優先度を下げる。
図239は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばスマートフォンとして構成される受信機7019bのカメラが、テレビ受像機(TV)などの電子機器として構成される送信機7019aに向けられる。このとき、受信機7019bは、送信機7019a(送信機7019aのディスプレイ)から送信される、視聴中のチャンネルの識別情報(ID)を受信する。受信機7019bは、そのIDに対応付けられた情報をサーバから取得する。これにより、受信機7019bは、テレビ番組の関連商品の購入ページ、またはテレビ番組の関連情報を表示する。また、受信機7019bは、投票、またはプレゼントに応募することによってテレビ番組に参加する。なお、送信機(TV)7019aは、ユーザの住所を記憶している住所記憶部を備え、その住所記憶部に記憶された住所に関連する情報を送信してもよい。
図240は、実施の形態12における受信機と送信機の適用例を示す図である。
送信機7019aおよび受信機7019bは、図240の(a)に示すように、図239に示す適用例を実現するために必要な情報を直接送受信してもよい。
また、図240の(b)に示すように、送信機7019aは、視聴中のチャンネルのIDを受信機7019bに送信する。受信機7019bは、そのIDに対応付けられた情報、つまり、図239に示す適用例を実現するために必要な情報をサーバから取得する。
また、図240の(c)に示すように、送信機7019aは、送信機(TV)7019aのIDまたは無線接続に必要な情報を受信機7019bに送信してもよい。この場合、受信機7019bは、そのIDまたは情報を受信し、そのIDまたは情報に基づいて、送信機7019aまたはレコーダに対して、視聴中のチャンネルを問い合わせる。さらに、受信機7019bは、問い合わせによって得られたチャンネルに関する情報、つまり、図239に示す適用例を実現するために必要な情報をサーバから取得する。
図241は、実施の形態12における受信機と送信機の適用例を示す図である。
送信機7019bは、TV2021bとレコーダ2021aを備えていてもよい。この送信機7019bでは、レコーダ2021aが、図239に示す適用例を実現するために必要な情報を保存している。そして、再生時には、TV2021bは、そのレコーダ2021aに保存されている情報の一部または全部を受信機7019bに送信する。また、TV2021bとレコーダ2021aの少なくとも一方はサーバの役割を行なってもよい。レコーダ2021aがサーバの役割を行なうときには、レコーダ2021aは、サーバのアドレスをレコーダ2021aのアドレスに置き換え、そのアドレスをTV202bから受信機7019bへ送信させる。
図242は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばスマートフォンとして構成される受信機7022cのカメラが、テレビ受像機(TV)などの電子機器として構成される送信機7022bに向けられる。このとき、受信機7022cは、送信機7022b(送信機7022bのディスプレイ)から送信される情報を受信する。受信機7022cは、その情報に基づいて送信機7022bと無線通信を行なう。ここで、送信機7022bは、受信機7022cに表示させる画像などを含む情報をサーバ7022aから取得して受信機7022cに送信する際、その情報に含まれるサーバ7022aのアドレスを、送信機7022bのアドレスに書き換える。
図243は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばレコーダ7023bは、テレビ番組の録画時には、図239に示す適用例を実現するために必要な情報をサーバ7023aからまとめて取得する。
テレビ番組の再生時には、レコーダ7023bは、再生画面と、図239に示す適用例を実現するために必要な情報とを送信機であるテレビ7023cに送信する。テレビ7023cは、その再生画面と情報を受信して、再生画像を表示するとともに、その情報をディスプレイから送信する。例えばスマートフォンとして構成される受信機7023dは、その情報を受信すると、その情報に基づいてテレビ7023cと無線通信を行なう。
または、テレビ番組の再生時には、レコーダ7023bは、再生画面と、レコーダ7023bのアドレスなどの、無線通信を行なうために必要な情報とを送信機であるテレビ7023cに送信する。テレビ7023cは、その再生画面と情報を受信して、再生画像を表示するとともに、その情報をディスプレイから送信する。例えばスマートフォンとして構成される受信機7023dは、その情報を受信すると、その情報に基づいてレコーダ7023bと無線通信を行なう。
図244は、実施の形態12における受信機と送信機の適用例を示す図である。
例えばスマートフォンとして構成される受信機7045aのカメラが、テレビ受像機(TV)などの電子機器として構成される送信機7045bに向けられる。送信機7045bは、歌番組などのテレビ番組の映像を表示するとともに、ディスプレイから情報を送信している。このとき、受信機7045aは、送信機7045b(送信機7045bのディスプレイ)から送信される情報を受信する。そして、受信機7045aは、その情報に基づいて、その歌番組で視聴されている曲の購入を促す画面7045cを表示する。
図245は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図239〜図244に示す適用例に対応するものである。
テレビや録画機などに搭載された送信機は、サーバから、放映中の番組に関連する情報として、受信機に伝えたい情報を取得する(7117a)。送信機は、ディスプレイのバックライトに信号を重畳して送信する(7117b)。送信する信号には、送信機のURLや、送信機のSSIDや、送信機にアクセスするためのパスワードを含めても良い。
図246は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図239〜図244に示す適用例に対応するものである。
受信機は、ディスプレイから情報を受信する(7118a)。受信した情報に視聴中のチャンネル情報が含まれているかを判断する(7118b)。その判断結果が偽(N)であれば、受信した情報に含まれるIDを持つ電子機器から、視聴中のチャンネル情報を取得する(7118c)。
一方、上記判断結果が真(Y)であれば、サーバから、視聴中の画面に関連した情報を取得する(7118d)。テレビや録画機がサーバの役割を果たしても良い。受信機は、サーバから取得した情報を表示する(7118e)。受信機は、受信機やサーバに保存されたユーザプロファイルに基いて、表示内容を調整する(7118f)。例えば、文字の大きさを変更したり、年齢制限コンテンツを非表示としたり、過去のユーザの行動から好まれると推定されたコンテンツを優先的に表示したりといった制御を行う。
図247は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図239〜図244に示す適用例に対応するものである。
録画機は、番組録画と同時に、サーバから番組に関連する情報を取得して保存する(7119a)。関連する情報が時刻によって変化する場合は、その時刻も合わせて保存する。
録画機は、録画した画像を再生する際に、前記保存した情報をディスプレイに送信する(7119b)。前記保存した情報の中の前記サーバのアクセス情報(URLやパスワード)をディスプレイのアクセス情報に置き換えても良い。
録画機は、録画した画像を再生する際に、前記保存した情報を受信機に送信する(7119c)。前記保存した情報の中の前記サーバのアクセス情報(URLやパスワード)を録画機のアクセス情報に置き換えても良い。
図248は、実施の形態12における送信機の輝度変化を示す図である。
送信機は、輝度が急に上がるときから次に輝度が急に上がるときまでの間の時間の長さを符号(0または1)ごとに異ならせることによって、受信機に送信される情報を符号化する。これにより、送信される情報の内容を変えずに、PWM(Pulse Width Modulation)制御によって、人間が感じる明るさの調節を行なうことができる。なお、輝度の波形は正確な矩形波でなくてもよい。
図249は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図248に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
受信機は、送信機の発する光の輝度を観測する(7120a)。前に輝度が急激に上がってから、次に輝度が急激に上がるまでの時間を計測する(7120b)。あるいは、前に輝度が急激に下がってから、次に輝度が急激に下がるまでの時間を計測する。上記時間によって信号の値を認識する(7120c)。例えば、上記時間が300マイクロ秒以下のとき0、以上の時1と認識する。
図250は、実施の形態12における送信機の輝度変化を示す図である。
送信機は、輝度の増減を示す波長を変化させることにより、受信機に送信される情報の開始点を表現する。または、送信機は、その波長を変化させることにより、1つの情報に別の情報を重畳する。
図251は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図250に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
受信機は、送信機の発する光の輝度を観測する(7121a)。輝度が急激に変化する間の時間幅の最低値を求める(7121b)。上記最低値の整数倍ではない輝度変化幅を探す(7121c)。前記整数倍ではない輝度変化幅を信号の開始点として信号を解析する(7121d)。前記整数倍ではない輝度変化幅を持つ部分間の時間幅を求める(7121e)。
図252は、実施の形態12における送信機の輝度変化を示す図である。
送信機は、受信機の露光時間よりも短い間隔で輝度を変化させることにより、人間の目に見える明るさを調整することができる。また、時間経過に伴って蓄積された輝度変化をリセットすることができる。
図253は、実施の形態12における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図252に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
輝度、または、輝度を制御する電流が、一定値を下回ったとき、受信機の露光時間より十分短い時間幅で電流のオフオンを行う(S7125a)。これにより、電流を初期値に戻し、発光部の輝度が下がるのを防ぐことができる。また、輝度、または、輝度を制御する電流が、一定値を上回ったとき、受信機の露光時間より十分短い時間幅で電流のオンオフを行う(S7125b)。これにより、電流を初期値に戻し、発光部の輝度が上がるのを防ぐことができる。
図254は、実施の形態12における送信機の輝度変化を示す図である。
送信機は、輝度のキャリア周波数を異ならせることによって、異なる信号(情報)を表現する。受信機は信号内容よりもキャリア周波数を早い時点で認識することができる。したがって、キャリア周波数を異ならせることは、送信機のIDなど、優先的に認識すべき内容を表現するのに適している。
図255は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図254に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
受信機は、送信機の発する光の輝度を観測する(7122a)。輝度が急激に変化する間の時間幅の最低値を求める(7122b)。上記最低値をキャリア周波数として認識する(7122c)。キャリア周波数をキーとして、サーバから情報を取得する(7122d)。
図256は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図254に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
受信機は、送信機の発する光の輝度を観測する(7123a)。輝度変化をフーリエ変換し、最大成分をキャリア周波数として認識する(7123b)。キャリア周波数をキーとして、サーバから情報を取得する(7123c)。
図257は、実施の形態12における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図254に示す輝度変化を伴う送信機の処理動作を示す。
送信信号を輝度変化として表現する(7124a)。輝度変化をフーリエ変換した最大成分をキャリア周波数となるような輝度変化を作成する(7124b)。作成した輝度変化の通りに発光部を発光させる(7124c)。
図258は、実施の形態12における送信機の構成例を示す図である。
送信機7028aは、信号Aを送信する部分7028bと、信号Bを送信する部分7028dと、信号Cを送信する部分7028fとを有する。このように、受信機の撮像部(カメラ)が同時に露光する方向に沿って、互いに異なる信号を送信する部分があることによって、受信機は同時に複数の信号を受信することができる。なお、それぞれの部分7028b、7028d、7028fの間には、信号を発しない部分、または特別な信号を発する緩衝部分7028c,7028eを設けてもよい。
図259は、実施の形態12における送信機の構成例を示す図である。なお、この送信機の構成による発光の方式は、図258に示す構成による発光の方式を発展させたものである。
送信機には、図258に示す各信号を送信する部分7029aをそれぞれ図259に示すように配置してもよい。これにより、受信機を傾けた場合にも、受信機の撮像部(カメラ)は、信号A、BおよびCの多くの部分を同時に受信(撮像)することができる。
図260は、実施の形態12における送信機の構成例を示す図である。なお、この送信機の構成による発光の方式は、図258に示す構成による発光の方式を発展させたものである。
送信機の円形の発光部は、同心円状に配列された、各信号を送信する複数の円環状の部分7030a,7030b,7030cを備える。部分7030aは信号Cを送信し、部分7030bは信号Bを送信し、部分7030cは信号Aを送信する。このように、送信機の発光部が円形の場合には、上述のように各信号を送信する部分を配列することで、受信機は、各部分から発せられる信号A、BおよびCの多くの部分を同時に受信(撮像)することができる。
図261は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図258〜図260の何れかに示す発光装置を備えた送信機と受信機の処理動作を示す。
受信機は、同時に受光するラインのそれぞれの位置の輝度を計測する(7126a)。同時受光ラインと垂直方向に、別々に送信された信号を受信することで、高速に信号を受信する(7126b)。
図262は、実施の形態12における受信機と送信機による表示と撮影の例を示す図である。
送信機は、受信機の受像部(カメラ)が同時に露光する方向と垂直な方向に一様な画像として構成される複数の1次元バーコードを、それぞれフレーム1(7031a)、フレーム2(7031b)およびフレーム3(7031c)として順に表示する。なお、1次元バーコードは、上記同時に露光する方向と垂直な方向に沿う線(バー)からなる。受信機は、送信機に表示される画像を、上記各実施の形態のように撮像することによって、フレーム1(7031d)およびフレーム2(7031e)を取得する。受信機は,1次元バーコードのバーが途切れている部分で1次元バーコードを分割することで、連続的に表示された1次元バーコードを順に認識することができる。この場合、送信機による表示と受信機による撮像のタイミングを同期させる必要はなく、受信機は送信機で表示された内容を全て認識することができる。また、送信機による表示のフレームレートは、受信機による撮像のフレームレートより速くても良い。ただし,送信機による表示の1フレームの表示時間が、受信機によって撮像されるフレーム間のブランキング時間より長い必要がある。
図263は、実施の形態12における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図262に示す表示を行なう送信機が備える表示装置の処理動作を示す。
表示装置は、1次元バーコードを表示する(7127a)。表示装置は、受信機の撮像のブランキング時間より長い間隔で、バーコード表示を変化させる(7127b)。
図264は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図262に示す撮影を行なう受信機の処理動作を示す。
受信機は、表示装置に表示された1次元バーコードを撮影する(7128a)。バーコードのラインが途切れたところで、表示装置が次のバーコードを表示したと認識する(7128b)。この方法により、表示と撮像の同期を行わなくとも全ての表示内容を受信機が受信することができる。また、受信機の撮像フレームレートよりも速いフレームレートで表示された信号も受信可能となる。
図265は、実施の形態12における受信機と送信機の適用例を示す図である。
例えば照明機器である送信機7032aは、送信機7032aの暗号化された識別情報(ID)を送信する。例えばスマートフォンとして構成される受信機7032bは、その暗号化されたIDを受信すると、その暗号化されたIDをサーバ7032cに送信する。サーバ7032cはその暗号化されたIDを受信すると、その暗号化されたIDを復号する。または、受信機7032bは、その暗号化されたIDを受信すると、その暗号化されたIDを復号してサーバ7032cに送信する。
図266は、実施の形態12における受信機7032bと送信機7032aの処理動作の一例を示すフローチャートである。
送信機7032aは、一部または全部が暗号化された情報を保持する(7129a)。受信機7032bは、送信機7032aから送信されたその情報を受信し、受信した情報を復号する(7129b)。または、受信機7032bは、暗号化されたままの情報をサーバ7032cへ送信する。暗号化されたままの情報が送信された場合、サーバ7032cは、その暗号化されたままの情報を復号する(7129c)。
図267は、実施の形態12における受信機の状態を示す図である。
ユーザは、電話するために、例えばスマートフォンとして構成される受信機7033aを耳に当てる。このとき、受信機7033aのスピーカ付近に備えられた照度センサは、低い照度を示す照度値を検出する。その結果、受信機7033aは、受信機7033aの状態を通話中と推定し、送信機からの情報の受信を停止する。
図268は、実施の形態12における受信機7033aの処理動作の一例を示すフローチャートである。
受信機7033aは、照度センサのセンサ値などから、通話中と推定されるか判断する(7130a)。その判断結果が真(Y)の場合、受信機7033aは、フェイスカメラによる受信を終了する(7130b)。または、受信機7033aは、フェイスカメラによる受信処理の優先度を下げる。
図269は、実施の形態12における受信機の状態を示す図である。
例えばスマートフォンとして構成される受信機7034aは、送信機からの情報を受信(撮像)するための撮像装置であるカメラ(例えばフェイスカメラ)付近に照度センサ7034bを備えている。この照度センサ7034bによって、一定値以下の低い照度を示す照度値が検出されると、受信機7034aは、送信機からの情報の受信を中止する。または、受信機7034aが他のカメラを備えている場合には、その照度センサ7034b付近のカメラ(例えばフェイスカメラ)の優先度を他のカメラよりも下げる。
図270は、実施の形態12における受信機7034a処理動作の一例を示すフローチャートである。
受信機7034aは、照度センサ7034bのセンサ値が一定値以下か判断する(7131a)。その判断結果が真(Y)の場合、受信機7034aは、フェイスカメラによる受信を終了する(7131b)。または、受信機7034aは、フェイスカメラによる受信処理の優先度を下げる。
図271は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
受信機は、照度センサのセンサ値から、照度変化を計測する(7132a)。撮像装置(カメラ)で輝度変化を計測して信号を受信したように、受信機は、照度値の変化から信号を受信する(7132b)。撮像装置よりも照度センサのほうが安価であるため、受信機を安価に製造可能である。
図272は、実施の形態12における送信機の波長の一例を示す図である。
送信機は、図272の(a)および(b)に示すように、メタメリックな光7037a,7037bを出力することによって、受信機に送信する情報を表現する。
図273は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図272に示す波長の光を出力する送信機と受信機の処理動作を示す。
送信機は、人間には等色と認識されるが分光分布の異なる光(メタメリックな光)で異なる信号を表現し、発光部を発光させる(7135a)。受信機は、分光分布を計測し、信号を受信する(7135b)。この方式によれば、チラツキを気にすることなく信号を送信することが可能となる。
図274は、実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
このシステムは、ID解決サーバ7038a、中継サーバ7038b、受信機7038c、送信機7038dおよび送信機側制御装置7038eを備えている。
図275は、実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
ID解決サーバ7038aは、送信機7038dのIDと、送信機側制御装置7038eと受信機7038cが通信する方法を関連付けて記憶する(7136a)。受信機7038cは、送信機7038dのIDを受信し、送信機側制御装置7038eとの通信方法をID解決サーバ7038aから取得する(7136b)。受信機7038cは、受信機7038cと送信側制御装置7038eが直接通信可能か判断する(7136c)。その判断結果が偽(N)の場合、受信機7038cは、中継サーバ7038bを介して送信側制御装置7038eと通信する(7136d)。一方、その判断結果が真(Y)の場合、受信機7038cは、送信側制御装置7038eと直接通信する(7136e)。
図276は、実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
このシステムは、サーバ7039g、店舗側機器7039aおよび携帯機器7039bを備えている。店舗側機器7039aは送信機7039cと撮像部7039dとを備える。携帯機器7039bは受信機7039eと表示部7039fとを備える。
図277は、実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
携帯機器7039bは、表示部7039fに2次元バーコード等の形で情報を表示する(7137a)。店舗側機器7039aは、表示部7039fに表示された内容を撮像部7039dで撮像し、情報を取得する(7137b)。店舗側機器7039aは、何らかの情報を送信機7039cから送信する(7137c)。
携帯機器7039bは、送信された情報を受信機7039eで受信する(7137d)。携帯機器7039bは、受信した情報を基に、表示部7039fの表示内容を変化させる(7137e)。表示部7039fに表示する内容は、携帯機器7039bが決定しても良いし、受信した内容を基にサーバ7039gが決定しても良い。
店舗側機器7039aは、表示部7039fに表示された内容を撮像部7039dで撮像し、情報を取得する(7137f)。店舗側機器7039aは、取得した情報と、送信した情報との整合性を判断する(7137g)。この判断は、店舗側機器7039aが行なっても良いし、サーバ7039gが行なっても良い。整合している場合、正常に取引が完了する(7137h)。
この方法により、表示部7039fに表示するクーポン情報をコピーし、不正に使用することを防ぐことができる。また、この方法で暗号鍵交換を行うことも可能である。
図278は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
受信機は、受信処理を開始する(7138a)。受信機は、撮像装置の露光時間を設定する(7138b)。受信機は、撮像装置のゲインを設定する(7138c)。受信機は、撮像画像の輝度から情報を受信する(7138d)。
図279は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
露光時間を設定する(7139a)。露光時間を変化させるAPI(Application Program Interface)が存在するか判断する(7139b)。その判断結果が偽(N)の場合、光源など輝度が高い物体に撮像装置を向ける(7139c)。自動露光設定を行う(7139d)。自動露光設定値の変化が十分小さくなれば露光設定値を固定する(7139e)。
一方、上記判断結果が真(Y)の場合、APIを利用して露光時間の設定を開始する(7139f)。
図280は、実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
このシステムは、サーバ7036a、受信機7036b、および、少なくとも1つの送信機7036cを備える。受信機7036bは、受信機7036bの付近に存在する少なくとも1つの送信機7036cに関する情報をサーバから取得する。
図281は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
受信機7036bは、GPSや基地局などの情報から、自己位置推定を行う(7133a)。受信機7036bは、推定した自己位置と、推定誤差範囲をサーバ7036aに送信する(7133b)。受信機7036bは、受信機7036bの位置付近に存在する送信機7036cのIDと、そのIDに関連付けられた情報をサーバ7036aから取得し、記憶する(7133c)。受信機7036bは、送信機7036cからIDを受信する(7133d)。
受信機7036bは、受信したIDに関連付けられた情報を記憶しているか判断する(7133e)。その判断結果が偽(N)の場合、受信機7036bは、受信したIDをキーにサーバ7036aから情報を取得する(7133f)。受信機7036bは、サーバ7036aから受信した情報と、送信機7036bcの位置関係とから自己位置推定を行い、付近の他の送信機7036cのIDと、そのIDに関連付けられた情報をサーバ7036aから取得し、記憶する(7133g)。
上記ステップ7133eで真(Y)と判断された後、または、上記ステップ7133gが行なわれた後には、受信機7036bは、受信したIDに関連付けられた情報を表示する(7133h)。
図282は、実施の形態12における受信機と送信機の適用例を示す図である。
建造物a(7040a)には、例えば照明機器として構成される送信機7040cおよび7040dが配設され、建造物b(7040b)には、例えば照明機器として構成される送信機7040eおよび7040fが配設されている。送信機7040cおよび7040eは信号Aを送信し、送信機7040dおよび7040fは信号Bを送信する。例えばスマートフォンとして構成される受信機(端末)7040gは、何れかの送信機から送信される信号を受信する。
図283は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
受信機7040gは、建造物に入ったことを検出する(7134a)。受信機7040gは、推定した自己位置と、推定誤差範囲と、受信機7040gが存在すると推定する建造物の名称等とをサーバに送信する(7134b)。受信機7040gは、受信機7040gが存在する建造物中に存在する送信機のIDと、そのIDに関連付けられた情報をサーバから取得し、記憶する(7134c)。受信機7040gは、送信機からIDを受信する(7134d)。
受信機7040gは、受信したIDに関連付けられた情報を記憶しているか判断する(7134e)。その判断結果が偽(N)の場合、受信機7040gは、受信したIDをキーにサーバから情報を取得する(7134f)。受信機7040gは、IDを受信した送信機が存在する建造物と同一の建造物内に存在する他の送信機のIDと、そのIDに関連付けられた情報をサーバから取得し、記憶する(7134g)。
上記ステップ7134eで真(Y)と判断された後、または、ステップS7134gが行なわれた後には、受信機7040gは、受信したIDに関連付けられた情報を表示する(7134h)。
図284は、実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
例えば照明機器として構成される送信機7041aは信号Aを送信し、送信機7041bは信号Bを送信し、送信機7041cは信号Cを送信し、送信機7041dは信号Bを送信する。例えばスマートフォンとして構成される受信機(端末)7041eは、何れかの送信機から送信される信号を受信する。ここで、GPSや基地局などの情報(他手段)に基づいて推定される受信機7041eの自己位置の誤差範囲には、送信機7041a,7041b,7041cがある。
図285は、実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
受信機7041eは、送信機からIDを受信する(7140a)。受信機7041eは、自己位置推定を行う(7140b)。受信機7041eは自己位置推定に成功したか判断する(7140c)。その判断結果が偽(N)の場合、受信機7041eは、地図や入力フォームを表示し、ユーザに現在位置を入力させる(7140d)。
受信機7041eは、受信したIDと、推定した自己位置と、自己位置推定の誤差範囲とをサーバに送信する(7140e)。
サーバは、受信機7041eの推定自己位置から推定誤差範囲(推定誤差半径)以内に、受信機7041eが受信したIDを送信する送信機がひとつだけ存在するか判断する(7140f)。その判断結果が偽(N)の場合、受信機7041eはステップ7140dからの処理を繰り返し実行する。一方、その判断結果が真(Y)の場合には、サーバは、その送信機に関連付けられた情報を受信機7041eに送信する(7140g)。
図286は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
まず、受信機は、信号を発している発光装置(送信機)を検出し(7141a)、信号を受信する(7141b)。そして、受信機は、受信状況、受信済みデータ量、送信データ量、送信データ量に対する受信済みデータ量の割合を表示する(7141c)。
次に、受信機は、送信データを全て受信したかどうかを確認する(7141d)。受信したことを確認した場合(7141dのY)、受信機は、受信処理を中止し(7141e)、受信完了の表示を行う(7141f)。さらに、受信機は通知音を鳴らし(7141g)、バイブレーションを行なう(7141h)。
ステップ7141dで、受信していないことを確認した場合(7141dのN)、受信機は、受信機の撮像装置(カメラ)によって得られる映像において送信機がフレームアウトしてから一定時間経過したかどうかを確認する(7141i)。ここで、一定時間経過したことを確認した場合(7141iのY)、受信機は、受信済データを破棄して受信処理を停止する(7141m)。さらに、受信機は、通知音を鳴らし(7141n)、バイブレーションを行なう(7141p)。
ステップ7141iで、一定時間経過していないことを確認した場合(7141iのN)、受信機は、受信機の加速度センサによって得られるセンサ値が一定値以上の大きさで変化したか、または、受信機を別方向へ向けたと推定できるかどうかを確認する(7141j)。ここで、一定値以上の大きさで変化した、または、別方向へ向けたと推定できることを確認すると(7141iのY)、上述のステップ7141m以降の処理を行なう。
一方、一定値以上の大きさで変化していない、または、別方向へ向けたと推定できないことを確認すると(7141iのN)、受信機は、受信機の加速度センサのセンサ値が一定のリズムで変化したか、または、受信機がシェイクされていると推定できるかどうかを確認する(7141k)。ここで、一定のリズムで変化した、または、シェイクされていると推定できることを確認すると、受信機は、上述のステップ7141m以降の処理を行なう。一方、一定のリズムで変化していない、または、シェイクされていると推定できないことを確認すると(7141kのN)、受信機は、ステップ7141bからの処理を繰り返し実行する。
図287Aは、実施の形態12における送信機の構成の一例を示す図である。
送信機7046aは、発光部7046bと2次元バーコード7046cとNFCチップ7046dとを備える。発光部7046bは、2次元バーコード7046cおよびNFCチップ7046dの少なくとも一方と共通の情報を、上記各実施の形態の方法で送信する。または、発光部7046bは、2次元バーコード7046cおよびNFCチップ7046dの少なくとも一方と異なる情報を、上記各実施の形態の方法で送信してもよい。この場合、受信機は、発光部7046bから送信される情報の内容をキーとして、2次元バーコード7046cおよびNFCチップ7046dの少なくとも一方と共通の情報をサーバから取得してもよい。また、受信機は、発光部7046bから情報を受信する場合と、2次元バーコード7046cおよびNFCチップ7046dの少なくとも一方から情報を受信する場合とで、共通の処理を行なってもよい。上述のどちらの場合でも、受信機は、共通のサーバにアクセスして共通の情報を表示する。
図287Bは、実施の形態12における送信機の構成の他の例を示す図である。
送信機7046eは、発光部7046fを備え、その発光部7046fに2次元バーコード7046gを表示させる。つまり、この発光部7046fは、図287Aに示す発光部7046bおよび2次元バーコード7046cのそれぞれの機能を兼ね備える。
ここで、発光部7046b,7046fは、発光部7046b,7046fの大きさを示す情報を送信することで、受信機から送信機7046a,7046eまでの距離を受信機に推定させてもよい。これにより、受信機は2次元バーコード7046c,7046gをより簡単に、または鮮明に撮影することができる。
図288は、実施の形態12における受信機と送信機7046a,7046eの処理動作の一例を示すフローチャートである。なお、以下、送信機7046aおよび送信機7046eのうち、送信機7046aを例にあげて説明するが、送信機7046eの処理動作も送信機7046aの処理動作と同じである。
送信機7046aは、発光部7046bの大きさを示す情報を送信する(ステップ7142a)。なお、発光部7046bにおける任意の2点間の距離の最大値を、発光部7046bの大きさとする。なお、この一連の処理は速度が重要であるため、送信機7046aは、送信機7046aの発光部7046bの大きさを示す情報を直接送信し、受信機はサーバ通信を介さずに、この大きさを示す情報を取得することが望ましい。また、送信機7046aの明暗変化の周波数など、素早く受信できる方法で送信することが望ましい。
次に、受信機は、上述の情報である信号を受信し、送信機7046aの発光部7046bの大きさを取得する(ステップ7142b)。そして、受信機は、発光部7046bの大きさと、撮像された発光部7046bの画像の大きさと、受信機の撮像部(カメラ)の特性とに基づいて、受信機から発光部7046bまでの距離を計算する(ステップ7142c)。次に、受信機は、計算した距離に撮像部の焦点距離をあわせて撮影する(ステップ7142d)。受信機は、2次元バーコードを撮影した場合はその内容を取得する(ステップ7142e)。
(実施の形態13)
本実施の形態では、上記実施の形態1〜12におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図289は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
ステップ7201aで、送信機は、特定の周波数の音、または、特定のパターンで変化する音を発する(この周波数は、例えば2kHzから20kHzなど、人間には聞き取りづらく、一般的な集音器で集音可能な周波数の音であることが望ましい。また、一般的な集音器はサンプリング周波数が44.1kHz程度であるため、サンプリング定理により、その半分の周波数までしか正確には認識できないが、送信信号がわかっていれば、その信号を集音しているかどうかを高精度で推定することは可能である。そこで、この性質を利用して、20kHz以上の周波数の信号を利用しても良い。)。
ステップ7201bで、ユーザは、受信機のボタンを押し、電源OFF状態やスリープ状態から電源オン状態にする。ステップ7201cで、受信機は、集音部を起動する。ステップ7201dで、受信機は、送信機の発する音を集音する。ステップ7201eで、受信機は、近辺に送信機が存在することを、画面に表示したり、音を鳴らしたり、バイブレーションさせることで、ユーザに通知する。ステップ7201fで、受信機は、受信を開始して、終了する。
図290は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
ステップ7202aで、ユーザは、受信機のボタンを押し、電源OFF状態やスリープ状態から電源オン状態にする。ステップ7202bで、受信機は、照度センサを起動する。ステップ7202cで、受信機は、照度センサから、照度の変化を認識する。ステップ7202dで、受信機は、照度センサから、送信信号を受信する。ステップ7202eで、受信機は、近辺に送信機が存在することを、画面に表示したり、音を鳴らしたり、バイブレーションさせることで、ユーザに通知する。ステップ7202fで、受信機は、受信を開始して、終了する。
図291は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
ステップ7203aで、ユーザが、受信機を操作して、受信を開始させる。または、何らかのトリガで受信機が自動的に受信を開始する。ステップ7203bで、画面全体の平均輝度、または、輝度最大点の輝度が、明るい撮像部を優先的に受信させて、終了する。
図292は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
ステップ7204aで、撮像部は、同時撮像ラインまたは画素中に送信機が写っていない同時撮像ラインまたは画素の撮像は行わないことで、送信機が写っている同時撮像ラインまたは画素を高速に撮影する。ステップ7204bで、受信機は、ジャイロや加速度センサで受信機の動きや手振れを検出し、電子補正によって、常に送信機が映るように調整して、終了する。
図293は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
ステップ7205aで、受信機は、2次元バーコードAを表示する。ステップ7205bで、送信機は、2次元バーコードAを読み取る。ステップ7205cで、送信機は、表示変更命令を送信する。ステップ7205dで、受信機は、2次元バーコードBを表示する。ステップ7205eで、送信機は、2次元バーコードBを読み取り、終了する。
図294は、実施の形態13における送信機の適用例を示す図である。
送信機7211aは、送信機であることを示すマーク7211bを備える。人間は、送信信号と通常の光を区別することはできないが、これにより、7211aが送信機であることを認識することができる。同様に、送信機7211cは、送信機であることを示すマーク7211dを備える。同様に、送信機7211eは、信号を送信している間のみ、送信機であることを示すマーク7211fを表示する。
図295は、実施の形態13における送信機の適用例を示す図である。
テレビなどの送信機7212aは、バックライトや画面7212bの輝度を変化させて、信号を送信する。テレビなどの送信機7212cは、画面以外の部分、例えばベゼル7212dやロゴマークなどの輝度を変化させて信号を送信する。
図296は、実施の形態13における送信機の適用例を示す図である。
テレビなどの送信機7213aは、画面7213bに、緊急ニュースや字幕やオンスクリーンディスプレイ7213cを表示する際に、信号を送信する。また、7213cは、暗い色の文字に明るい色の背景とし、画面の横方向に大きく表示することで、受信機が信号を受信しやすくすることができる。
図297は、実施の形態13における送信機と受信機の適用例を示す図である。
ユーザが、受信機またはテレビなどのリモコン7214aの操作を行ったときに、7214aから送信機7214bに開始信号を送信し、送信機7214bは、開始信号を受け取った後の一定時間信号を送信する。送信機7214bは、送信中であることを示す表示7214cを表示する。これにより、テレビ本来の表示が暗い場合でも、受信機が信号を受信しやすくなる。表示7214cは、明るい部分が多く、横に広いほど、受信機が信号を受信しやすくなる。
なお、送信機7214bは、テレビの映像を表示する領域とは別に、信号送信のための領域7214cを備えても良い。なお、送信機7214bは、ユーザの動きやリモコン7214aの動きをカメラ7214dやマイク7214eで認識し、信号送信を開始しても良い。
図298は、実施の形態13における送信機と受信機の適用例を示す図である。
送信機7215a、7215bは、送信機のID番号を送信する。送信機のIDは、完全にユニークなものであっても良いし、地域内や建物内や部屋内でユニークなIDであっても良い。後者の場合は、数10m以内に同一IDが存在しないようにすることが望ましい。受信機7215cは、受信したIDをサーバ7215dへ送信する。サーバへは、GPSなどの位置センサで認識した7215cの位置情報や、7215cの端末IDやユーザIDやセッションIDなどを同時に送信するとしても良い。
データベース7215eは、送信機が送信するIDと関連付けて、別のIDや、送信機の位置情報(緯度、経度、高度、部屋番号)や、送信機の型番や形や大きさや、文字や画像や映像や音楽などのコンテンツや、受信機に実行させる命令やプログラムや、他のサーバのURLや、送信機の所有者情報や、IDの登録日や有効期限などを保持する。
サーバ7215dは、受信したIDに関連付けられた情報をデータベースから読み出し、受信機7215cに送信する。受信機7215cは、受信した情報を表示したり、受信した情報をもとに別のサーバにアクセスしたり、受信した命令を実行したりといった処理を行う。
図299は、実施の形態13における送信機と受信機の適用例を示す図である。
図298の場合と同様に、送信機7216a,7216bは、送信機のID1を送信する。受信機7216cは、 受信したID1をサーバA7216dへ送信する。サーバAは、ID1に関連付けられた、ID2と別のサーバBにアクセスするための情報(URLやパスワードなど)を送信する。受信機7216cは、ID2をサーバB7216fへ送信する。サーバB7216fは、ID2に関連付けられた情報を受信機7216cへ送信したり、ID2に関連付けられた処理を行う。
図300は、実施の形態13における送信機と受信機の適用例を示す図である。
図298の場合と同様に、送信機7217a,7217bは、送信機のID1を送信する。受信機7217cは、受信したID1をサーバA7217dへ送信する。サーバAは、ID1に関連付けられた情報と、ランダムに生成した鍵情報をサーバBに送信する。鍵情報は、サーバBが生成し、サーバAに送信するとしても良い。サーバAは、受信機に、鍵情報と、サーバBへアクセスするための情報(URLやパスワードなど)を送信する。受信機7217cは、鍵情報をサーバB7217fへ送信する。サーバB7217fは、ID2に関連付けられた情報を受信機7217cへ送信し、ID2に関連付けられた処理を行う。
図301Aは、実施の形態13における送信信号の例を示す図である。
信号は、ヘッダ部7218a、データ部7218b、パディング部7218c、End of Data部7218eで構成される。信号は、同じデータを1/15秒間繰り返して送信する。これにより、信号の1部だけ受信した場合でも、信号を復号することができる。受信機は、受信した信号からヘッダ部を抽出し、2つのヘッダ部の間の部分をデータ部としてデータを復号する。1フレームのデータ部を短くすれば、受信機の撮像部に送信機が小さく写っている場合でも復号が可能になり、データ部を長くすれば、通信速度を速くすることができる。同じデータが1/15秒繰り返されることで、1秒間に30フレーム撮影する受信機では、ブランキングがあっても確実にデータ部の信号を撮像することができる。また、隣接するどちらかのフレームでは同じ信号を受信するため、受信結果の確認に用いることができる。また、他のアプリケーションの動作によって連続しないフレームの処理がされなかった場合や、1秒間に15フレームしか撮影できない受信機であっても、信号を受信することができる。また、ヘッダ部に近いほどデータを受信しやすいため、ヘッダ部に近い部分に重要度の高いデータを配置するとしても良い。
図301Bは、実施の形態13における送信信号の他の例を示す図である。
信号は、図301Aの例と同様に、ヘッダ部7218a、データ部7218b、パディング部7218c、End of Data部7218eで構成される。信号は、同じデータを1/30秒間繰り返して送信する。これにより、信号の1部だけ受信した場合でも、信号を復号することができる。データ部を短くすれば、受信機の撮像部に送信機が小さく写っている場合でも復号が可能になり、データ部を長くすれば、通信速度を速くすることができる。同じデータが1/30秒繰り返されることで、1秒間に30フレーム撮影する受信機では、ブランキングがあっても確実にデータ部の信号を撮像することができる。また、隣接するどちらかのフレームでは同じ信号を受信するため、受信結果の確認に用いることができる。また、ヘッダ部に近いほどデータを受信しやすいため、ヘッダ部に近い部分に重要度の高いデータを配置するとしても良い。
図302は、実施の形態13における送信信号の例を示す図である。
2ビットの信号を5ビットの信号に変調する7219aの変調方式は、2ビットの信号を4ビットの信号に変調する2200.2aなどの変調方式よりも変調効率が劣るが、データ部分と同じ形式でヘッダパターンを表現できるため、異なる形式のヘッダパターンを挿入するよりもちらつきを抑えることができる。End of Dataは、データ部にヘッダを用いることで表現しても良い。
図303Aは、実施の形態13における送信信号の例を示す図である。
信号は、データ部7220a、バッファ部7220b、End of Data部7220dで構成される。バッファ部はなくても良い。信号は、同じデータを1/15秒間繰り返して送信する。発光周波数によって信号を伝送するFM変調などを用いる場合は、7218aのようなヘッダは不要となる。
図303Bは、実施の形態13における送信信号の他の例を示す図である。
信号は、図303Aの例と同様に、データ部7220a、バッファ部7220b、End of Data部7220dで構成される。バッファ部はなくても良い。信号は、同じデータを1/30秒間繰り返して送信する。発光周波数によって信号を伝送するFM変調などを用いる場合は、7218aのようなヘッダは不要となる。
図304は、実施の形態13における送信信号の例を示す図である。
周波数によって信号を割り当てる。受信機は信号の周期から周波数を求めるため、周波数を等間隔に信号に割り当てるよりも、周波数の逆数や対数が等間隔になるように信号を割り当てるほうが、受信エラーを低減できる。受信機の撮像部で、データ1とデータ2を送信している光を一つの画面内に撮像した場合は、露光ラインに垂直な方向に輝度値をフーリエ変換すると、データ1とデータ2の周波数に、一つのデータを送信している光を撮像した場合よりも弱いピークが現れる。
この方法によれば、一つの画面内に複数の周波数で順次送信している光を撮像した場合でも、送信周波数を解析することができ、1/15秒や、1/30秒より短い時間で送信信号の周波数を変更しても、受信することができる。
送信信号の順序を認識するためには、1画面よりも短い範囲でフーリエ変換を行えば良い。また、撮像した画面を連結して、1画面より長い範囲でフーリエ変換を行なっても良い。この場合は、撮像のブランキング時間の輝度値は不明として扱うと良い。
図305Aおよび図305Bは、実施の形態13における送信信号の例を示す図である。
送信信号の周波数が200Hz以下である場合、人間には点滅して感じられるが、それ以上の周波数であれば、連続して光っているように感じられる。カメラでは、500Hz(条件によっては1kHz)程度までの周波数では点滅が撮影される。そのため、信号周波数(搬送波の周波数)は1kHz以上であることが望ましい。カメラにちらつきが撮影されることによる影響が低い場合は、信号周波数は200Hz以上としても良い。照明装置の高調波ノイズは20kHz以上でおおきくなるため、これを避ける場合は、信号周波数は20kHz以下とすれば良い。また、500Hzから3kHzの範囲では、コイルの振動による音が発生するため、信号周波数を3kHz以上とするか、コイルを固定化するなどの対策を行う必要がある。信号周波数を1kHz(1ミリ秒周期)としたとき、非同期でこの信号を認識するためには、撮像装置の露光時間を半分の0.5ミリ秒(=1/2000秒)以下とする必要がある。信号の変調方式に周波数変調を用いる場合は、サンプリング定理により、同様に、撮像装置の露光時間は信号周期の半分以下とする必要がある。ただし、図304のように、周波数そのもので値を表現する変調方式の場合は、複数の時点での信号の値から周波数を推定できるため、撮像装置の露光時間は信号周期の4倍程度以下で良い。
図306は、実施の形態13における送信機の適用例を示す図である。
照明などの送信機7223aは、IDを送信する。パソコンなどの受信機7223bはIDを受信し、サーバ7223dへIDとファイル7223eを送信する。サーバ7223dは、ファイル7223eとIDを関連付けて記憶し、同一のIDを送信してきたパソコンに対して、ファイルへのアクセス許可を行う。この際、読み取りのみの許可や、読み書きの許可など、IDによって複数のアクセスコントロールを行なっても良い。パソコンなどの受信機7223cはIDを受信し、サーバ7223dへIDを送信し、サーバ上のファイル7223eへアクセスする。サーバ7223dは、ファイルへ最後にアクセスがあってから一定時間経過した場合や、パソコン7223bが異なるIDを送信してきた場合に、ファイルを削除、または、アクセスコントロールを初期化する。なお、パソコン7223bまたはパソコン7223cがIDを送信するとしても良い。
図307は、実施の形態13における送信機の適用例を示す図である。
送信機7224bは、自身のID情報をサーバ7224dに登録する。受信機7224aは、クーポンや入場チケットや会員情報やプリペイド情報を画面に表示する。送信機7224bは、IDを送信する。受信機7224aは、IDを受信し、受信したIDと、ユーザIDと、端末IDと、画面に表示している情報をサーバ7224dへ送信する。サーバ7224dは、受信機7224aが表示している内容が有効であることを確認し、その結果を表示装置7224cへ送信する。なお、サーバ7224dが時間によって変化する鍵情報を送信機7224bへ送信し、送信機7224bはその鍵情報を送信しても良い。なお、サーバ7224dは、送信機7224bや表示装置7224cと同一の装置として実装しても良い。受信機7224aは、クーポンや入場チケットや会員情報やプリペイド情報を2次元バーコードなどの形式で画面に表示し、それを読み取る方式では、画面をコピーした画像を表示することで容易に偽装できるが、この方式を用いることで、画面をコピーすることによる偽装を防ぐことができる。
図308〜図310は、実施の形態13における撮像素子を説明するための図である。
図308は、本発明の撮像素子800の前面図を示す。前の実施例の図を用いて説明したように、本発明の光通信速度を向上させるためには、図310のように、光信号発生部830をトラッキングさせながら、その領域の830aの走査ライン、例えば、n=4〜n=7の間のラインのデータのみを垂直アクセス手段802に走査ライン選択信号を送り、反復スキャンし、取得すれば、図310の下段の図のように連続的に本発明の光信号を取り出すことができる。具体的には4、5、6、7 そしてブランク期間、4、5、6、7 ブランク期間との連続的な信号が得られる。現在の撮像素子の工程ではこのブランキングは2μs以下に収めることができる。2μs以下にすれば、30fpsで1フレーム33ms、1000ラインで33μs/ラインであるので、データをほぼ連続的にデータを復調できる。
本発明では、ローリングシャッター方式の撮像素子(イメージセンサ)において、まずシャッタ速度を速くして、本発明のラインを表示させた後、信号を得るが、この後、光源の画像830はカメラの撮影者の手振れにより、上下左右に移動する。するとラインn=4〜7の中から画像830が一部でてしまう。信号が途切れてエラーが発生する。このため、まず、手振れ補正検出補正手段832を用いて補正すると画像830が固定される。もしくは/かつ、画像830の位置のラインNoを検出する手段834を用いて、画像830のライン番号nを特定し、ライン選択部835により、垂直アクセス手段を制御して、所望のラインn(例えば、n=7〜10)に変更すれば、画像830が得られ、連続的な信号が得られるため、エラーの少ないデータとなり、高速データ受信が可能となる。
図308に戻り、撮像素子800を説明すると、水平の画素はa〜kまであり、水平アクセス手段801により、アクセス可能となっている。垂直方向の画素は、n=1からn=12まで12列あり、803a〜803nまで列毎に読み出され、読み出し時にラインメモリ805に読み出されて、出力部808から出力される。
図309の示すように、本発明では、まず、通常撮影モードでは、(a)に示すように順次読み出されていく。通常のフレームとフレームの間には、ブランク期間821が設けてあり、この間に色等の映像信号に関する様々な調整作業が行なわれる。
撮像素子により異なるが、5%〜20%の時間帯は信号の信号を得ることができない。本発明特有の受信パターンが得られないため、ステップ820cにおいてデータ信号受信モードになった場合、まずシャッタ速度を高速にして、ゲインを上げてデータを受信する。Yesの場合、前記の色や明るさや感度などの映像撮影作業の一部を中止することにより、ブランク期間821を短縮したブランク期間821aとする。このことにより、調整作業を省略する短縮により、現在の工程で2μs以下にブランク期間821aを下げることができるため、入力信号のバーストエラーを大巾に少なくすることができるため、伝送速度を大きく上げることができる。
次に、図310のように画像の一部しか映像830が撮影されない時、n=4〜8以外のラインの情報が得られないため、大きなバーストエラーとなり、受信効率が低下し、伝送量が大巾に低下する。
図310の画像位置検出手段834により画像830の位置と大きさを検出し、画像が小さい場合は、ステップ820dで高速読みとりモードに切り替えて、画像830を撮影しているライン(n=4〜7)のみをスキャンする。(c)のようにライン信号803d、803e、803f、803gが何回も繰り返し読みとられ、本発明特有のパターンがシームレスに読みとられる。このため、バーストエラーの殆んどない連続的なデータ受信となり、大巾なデータレートの向上が可能となる。
具体的には現在の撮像素子で搬送波を4.8KHzとすると2400bps程度の伝送レートが得られる。将来的には撮像素子の高速化に伴ない、数十kbpsの伝送レートが得られる。
なお、ステップ820eでデータの読みとりが完了すると、シャッタ速度を低速化させ、ブランク期間を長くして(a)の通常撮影モードに戻る。
上記のブランク期間の短縮と特定ラインの繰り返し読み出しにより、同期信号やアドレスの読み出しが確実になり、本発明のパターン伝送方式の伝送速度を大巾に上げることができる。
(変形例)
ここで、上記各実施の形態についての変形例または補足について説明する。
図311Aは、受信装置(撮像装置)の処理動作を示すフローチャートである。なお、この図311Aは、図128の処理動作よりも詳細な処理動作を示す。
ここで、受信機の撮像部は、すべての受光素子を同時に露光させる方式(グローバルシャッター方式)ではなく、時間差をおいて受光素子の一部分ずつを順次露光させる方式(ローリングシャッター方式、フォーカルプレーンシャッター方式)を用いる。なお、本発明の解説で用いる「露光」とは、物理的なシャッターによって撮像素子に光があたる時間を制御する露光方式と、電子シャッターによって特定の時間内の撮像素子の出力のみを取り出す露光方式とを含む。
まず、ステップ7340aで、撮像モードがグローバルシャッターモードである場合は、ローリングシャッターモードに変更する。次にステップ7340bでは、5ミリ秒以上の時間幅の移動平均輝度が変化せず、5ミリ秒以下の領域では輝度を変化させている被写体を写した時に輝線が撮影されるように、シャッター速度を設定する。
ステップ7340cで、前記輝線の明るい部分と暗い部分の差が大きくなるように受光素子の感度を設定する。次にステップ7340dでは、撮像モードをマクロ撮像モードにする。または、送信機に焦点を合わせるよりも焦点距離を短く設定する。これにより、送信機がぼやけて大きく撮像されることで、輝線が撮像される露光ラインを増やすことができる。
ステップ7340eで、露光ラインに垂直な方向に、輝線の輝度の変化を観察する。次にステップ7340fでは、前記輝度が他の場所よりも急に高くなっている箇所の間隔、あるいは、急に低くなっている箇所の間隔を求め、この間隔から送信信号を読み取る。または、輝度変化の周期を求め、その周期から送信信号を読み取る。
図311Bは、通常撮像モードにより得られる画像と、マクロ撮像モードにより得られる画像とを対比して示す図である。この図311Bに示すように、発光する被写体をマクロ撮像モードで撮像することによって得られる画像7307bは、同じ被写体を通常撮像モードで撮像することによって得られる画像7307aよりも、明るい領域を多く含む。その結果、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
図312は、映像などを表示する表示装置を示す図である。
例えば液晶ディスプレイなどを備える表示装置7300aは、映像領域7300bに映像を表示し、情報表示領域7300cに各種情報を表示する。そして、表示装置7300aは、送信機(送信装置)として構成され、バックライトの輝度を変化させることで信号を送信する。
図313は、表示装置7300aの処理動作の一例を示す図である。
まず、ステップ7350aで、信号送信モードにする。次にステップ7350bでは、情報表示領域7300cのバックライトの輝度を変化させることで信号を送信する。
図314は、表示装置7300aにおける信号を送信する部分の例を示す図である。
表示装置7300aは、バックライトがオンになっている部分(7301d,7301f,7301g,7301i)の輝度を変化させることで信号を送信し、他の部分(7301c,7301e,7301h,7301j)からは信号を送信しない。
図315は、表示装置7300aの処理動作の他の例を示す図である。
まず、ステップ7351aで、信号送信モードにする。次にステップ7351bでは、動解像度の向上のために、画面切り替え時にバックライトをオフにする場合は、バックライトがオンになっている部分のみで信号を送信する。そして、ステップ7351cで、画面の全ての部分のバックライトがオフになっている間は、信号を送信しない。
図316は、表示装置7300aにおける信号を送信する部分の他の例を示す図である。
表示装置7300aは、各部分(7302b、7302e、7302g、7202j)の動解像度向上のためのバックライト制御をオフにして、これらの部分から信号を送信する。一方、表示装置7300aは、他の各部分(7302c,7302d,7302h,7301i)の動解像度向上のためのバックライト制御をオンにする。
図317は、表示装置による処理動作のさらに他の例を示す図である。
まず、ステップ7352aで、信号送信モードにする。次にステップ7352bでは、画面の一部(7302b、7302e、7302g、7202j)の動解像度向上のためのバックライト制御をオフにし、その部分から信号を送信する。
そして、ステップ7352cで、信号を送信している部分の明るさと信号を送信していない部分のバックライトの平均輝度が同等となるように、バックライトの平均輝度を調整する。この調整は、信号送信時のバックライトの明滅時間の比の調整によって行なっても良いし、バックライトの最大輝度の調整によって行なっても良い。
図318は、送信機および受信機を含む通信システムの構成を示す図である。
この通信システムは、送信機7303a,7303bと、制御装置7303cと、ネットワーク7303dと、ID管理サーバ7303eと、無線アクセスポイント7303fと、受信機7303g,7303hとを備える。
図319は、図318の通信システムの処理動作を示すフローチャートである。
まず、ステップ7353aで、ID管理サーバ7303eに、送信機のIDと、無線アクセスポイント7303fの情報(SSID、パスワード、無線アクセスポイントのID、無線周波数、アクセスポイントの位置情報、接続可能な位置情報など)と、制御装置7303cの情報(IPアドレスなど)とを関連付けて記憶させる。次にステップ7353bで、送信機7303aまたは7303bは、送信機7303aまたは7303bのIDを送信する。なお、送信機7303aまたは7303bは、さらに、無線アクセスポイント7303fの情報と制御装置7303cの情報を送信しても良い。そして、ステップ7353cで、受信機7303gまたは7303hは、送信機7303aまたは7303bのIDを受信し、無線アクセスポイント7303fの情報と制御装置7303cの情報をID管理サーバ7303eから取得する。あるいは、受信機7303gまたは7303hは、送信機7303aまたは7303bのIDと無線アクセスポイント7303fの情報を受信する。
次にステップ7353dで、送信機7303aまたは7303bは、無線アクセスポイント7303fに接続する。そして、ステップ7353eで、送信機7303aまたは7303bは、ネットワーク上のID管理サーバ7303eのアドレスと、そのID管理サーバ7303eへの命令と、送信機7303aまたは7303bのIDを、制御装置7303cへ送信する。
さらに、ステップ7353fで、制御装置7303cは、受付IDを受信機7303gまたは7303hへ送信する。次にステップ7353gで、制御装置7303cは、ネットワーク上のID管理サーバ7303eへの命令を行い、レスポンスを得る。このとき、制御装置7303cは、プロキシサーバとして動作する。
さらに、ステップ7353hで、制御装置7303cは、前記レスポンスと前記受付IDとを、送信機IDの示す送信機7303aまたは7303bから送信する。この送信は、受信機7303gまたは7303hから受信完了通知が送られるまで、または、一定時間が経過するまで繰り返しても良い。
次にステップ7353iで、受信機7303gまたは7303hは、前記レスポンスを受信する。さらに、ステップ7353jで、受信機7303gまたは7303hは、前記受付IDを制御装置7303cへ送信し、受信完了を通知する。
そして、ステップ7353kで、なお、受信機7303gまたは7303hは、送信機7303aまたは7303bの信号が受信できない位置にいる場合には、無線アクセスポイント7303fを経由してレスポンスを返すように制御装置7303cに通知しても良い。
図320は、上記各実施の形態における信号伝送の変形例を示す図である。
本発明の受信方式では、受信機の撮像部に送信機の発光部が大きく撮像されるほど信号伝送効率が高いため、小さな電球や高い天井に備え付けられた照明を送信機の発光部とすると信号伝送効率が悪い。そこで、送信機7313aの照明光を、壁や、天井や、床や、照明の傘などに当て、その反射光7313bを受信機7313cで撮像することで、信号伝送の効率を高めることができる。
図321は、上記各実施の形態における信号伝送の変形例を示す図である。
送信機7314dは展示品7314aに送信信号を含んだ照明光を投影し、その反射光7314bを受信機7314cで撮像することで、信号伝送を行う。
図322は、上記各実施の形態における信号伝送の変形例を示す図である。
送信機7315aが送信した信号を、照度センサを備えた受信機7315bで受信する。受信機7315bは、撮像素子ではなく照度センサを用いて信号を受信するため、消費電力が低く、常時信号を受信することに適しており、軽量で、安価に製造可能である。
受信機7315bは、眼鏡や、イヤリングや、髪飾りや、腕時計や、補聴器や、ネックレスや、杖や、手押し車や、ショッピングカートの一部として構成される。受信機7315bは、受信した信号に従って、映像表示や、音声再生や、振動を行う。また、受信機7315bは、受信した信号を携帯情報端末7315cに無線または有線伝送路を通じて送信する。
図323Aは、上記各実施の形態における信号伝送の変形例を示す図である。
プロジェクタ7316aは投影光を送信信号として信号を送信する。受信機7316cは、スクリーン7316bからの反射光を撮像して信号を受信する。受信機7316cは、プロジェクタ7316aが投影しているコンテンツとその付帯情報を画面7316dに表示する。画面7316dに表示するコンテンツは、送信信号として伝送されても良いし、送信信号に含まれるIDをもとにサーバ7316eから取得しても良い。
図323Bは、上記各実施の形態における信号伝送の変形例を示す図である。
受信機7317bは送信機7317aから送信された信号を受信する。受信機7317bは、受信機7317bに登録されているイヤホンまたは補聴器7317cへ音声を送信する。受信機7317bに登録されたユーザプロファイルに視覚障碍が含まれている場合には、受信機7317bは、視覚障碍者用の解説音声をイヤホン7317cに送信する。
図323Cは、上記各実施の形態における信号伝送の変形例を示す図である。
送信機7318a、7318bから送信された信号を、受信機7318cで受信する。受信機7318cは、照度センサを用いて信号を受信するとしても良い。受信機7318cは、指向性の高い照度センサを備えることで、送信機がある方向を精度よく推定できる。また、受信機7318cは、複数の照度センサを備えることで、送信信号を受信できる範囲を広くすることができる。受信機7318cは、受信した信号をイヤホン7318dや、ヘッドマウントディスプレイ7318eへ送信する。
図323Dは、ディスプレイまたはプロジェクタと受信機とを含む通信システムの処理動作を示すフローチャートである。なお、このフローチャートは、図323A〜図323Cに示す信号伝送の例に対応する処理動作を示す。
まず、ステップ7357aで、送信機のIDと、表示内容IDと、ディスプレイやプロジェクタに表示するコンテンツとを関連付けて、ID管理サーバに記録する。次にステップ7357bで、送信機は、ディスプレイやプロジェクタにコンテンツを表示するとともに、ディスプレイのバックライトやプロジェクタの投影光をもちいて信号を送信する。送信信号は、送信機のIDや、表示内容IDや、表示内容が格納されているURLや、表示内容そのものを含んでも良い。
さらに、ステップ7357cで、受信機は、前記送信信号を受信する。そして、ステップ7357dで、受信機は、受信した信号をもとに、送信機がディスプレイやプロジェクタに表示しているコンテンツを取得する。
次に、ステップ7357eで、受信機にユーザプロファイルが設定されている場合は、そのプロファイルに適したコンテンツを取得する。例えば、聴力が悪いというプロファイルが設定されている場合は字幕データや手元再生用の音声コンテンツを取得し、視力が悪いというプロファイルが設定されている場合は、音声解説用のコンテンツを取得する。
さらに、ステップ7357fで、受信機は、取得した画像コンテンツを受信機のディスプレイに表示させ、取得した音声コンテンツを受信機のスピーカやイヤフォンや補聴器から再生させる。
図324は、実施の形態12における送信信号の例を示す図である。なお。この図324は、図250の送信信号を詳細に説明したものである。
送信信号を図84〜87、302などの方法で符号化した場合、受信機は、輝度値が急に高くなる点7308c、7308d、7308eを検出すれば、送信信号を復号できる。このとき、送信信号7308aと7308bは等価であり、同一の信号を表現することになる。
そのため、送信信号7308aと7308bのように、輝度を下げる時間を調節することで、平均輝度を変化させることができる。送信機の輝度を変化させる必要がある場合には、このように平均輝度を調節することで、送信信号の内容に変化を加えることなく輝度の調節を行うことができる。
図325は、実施の形態7における送信信号の例を示す図である。なお、この図325は、図91の送信信号を詳細に説明したものである。
送信信号7309aや7309bは、7309d程度の長さの平均輝度をとると、送信信号7309cと等価とみなすことができる。送信信号7309aや7309bのように、他の受信機では観察できない時間幅で輝度を変化させることで、別の信号を重畳することができる。
図326は、実施の形態7における送信信号の他の例を示す図である。なお、この図326は、図91の送信信号を詳細に説明したものである。
送信信号7310aに、他の受信機では観察できない時間幅での輝度変化を加えて7310cとすることで、別の信号を重畳する。送信信号7310aで輝度が下がった区間で信号が重畳できない場合には、高速変調部分に7310eのようなスタート信号とエンド信号を加えることで、高速変調信号を断続的に送信することができる。
図327Aは、上記各実施の形態における受信機の撮像素子の一例を示す図である。
多くの撮像素子は、7311aのような配置になっているため、オプティカルブラックを撮像している間は送信機を撮像することはできない。しかし、撮像素子の配置を7311bのようにすることで、送信機をより長い時間撮像することができる。
図327Bは、上記各実施の形態における受信機の撮像装置の内部回路の構成例を示す図である。
撮像装置7319aは、グローバルシャッターモードとローリングシャッターモードを切り替えるシャッターモード変更部7319bを備える。受信機は、受信を開始するときに、シャッターモードをローリングシャッターモードに変更し、受信終了時に、シャッターモードをグローバルシャッターモードに変更する、または、受信開始前の設定に戻す。
図327Cは、上記各実施の形態における送信信号の例を示す図である。
カメラにちらつきが映らない周波数として、搬送波を1kHzとする場合、1スロットが1ミリ秒となる(7320a)。このとき、図85の変調方式(4PPM変調)では、1シンボル(4スロット)の平均が75%となる(7320b)。4ミリ秒間の移動平均の値域は、75%±変調度/4となる。変調度は小さいほうがちらつきは小さくなる。1シンボルを1周期として考えた場合は、人間がちらつきを感じない周波数として200Hz以上とする場合は、搬送波は800Hz以上となり、カメラにちらつきが映らない周波数として1kHz以上とする場合は、搬送波は4kHz以上となる。
同様に、搬送波が1kHzのとき、図302の変調方式(5PPM変調)では、1シンボル(5スロット)の平均が80%となる(7320c)。5ミリ秒間の移動平均の値域は、80%±変調度/5となる。変調度は小さいほうがちらつきは小さくなる。1シンボルを1周期として考えた場合は、人間がちらつきを感じない周波数として200Hz以上とする場合は、搬送波は1kHz以上となり、カメラにちらつきが映らない周波数として1kHz以上とする場合は、搬送波は5kHz以上となる。
図327Dは、上記各実施の形態における送信信号の例である。
ヘッダパターンは、データを表すパターンと異なっており、かつ、ちらつきをなくすためにはデータを表すパターンと平均輝度が等しくなければならない。2200.2aの変調方式のデータパターンと平均輝度が等しくなるパターンとしては、7321b、7321c、7321d、7321eなどのパターンがある。輝度値を段階的に制御可能な場合は、7321bが望ましい。7321eのように、受信機の撮像装置の露光時間に比べて輝度の変化が十分速い場合には、受信機には7321bのように観察される。7219aの変調方式では、ヘッダパターンを含んだ形で変調方式を定めている。
以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
図328Aは、本発明の一態様に係る情報通信方法のフローチャートである。
本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSA11、SA12、およびSA13を含む。
つまり、この情報通信方法は、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップ(SA11)と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する撮像ステップ(SA12)と、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップ(SA13)とを含む。
図328Bは、本発明の一態様に係る情報通信装置のブロック図である。
本発明の一態様に係る情報通信装置A10は、被写体から情報を取得する情報通信装置であって、構成要素A11、A12、およびA13を備える。
つまり、この情報通信装置A10は、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部A11と、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する前記イメージセンサである撮像部A12と、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する復調部A13とを備える。
なお、上述の輝線のパターンは、各輝線の間隔の違いと同義である。
図329は、本発明の一態様に係る情報通信方法によって得られる画像の一例を示す図である。
例えば、200Hz以上の周波数で輝度変化する被写体に対して、露光時間が10ミリ秒よりも短く設定される。ここで、イメージセンサに含まれる複数の露光ラインのそれぞれは互いに異なるタイミングで順次露光される。このような場合には、図329に示すように、イメージセンサによって得られる画像には、幾つかの輝線が生じる。つまり、その画像は露光ラインに平行な輝線を含む。また、情報取得ステップ(SA13)では、その輝線のパターンのうち、露光ラインに垂直な方向のパターンによって特定されるデータを復調する。
このような図328Aおよび図328Bによって示される情報通信方法および情報通信装置A10では、被写体の輝度変化によって送信される情報が、イメージセンサの露光ラインの露光によって取得されるため、例えば無線通信を行うための特別な通信デバイスを必要とすることなく、多様な機器間の通信を可能とすることができる。
図330Aは、本発明の他の態様に係る情報通信方法のフローチャートである。
本発明の他の態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップSB11、SB12およびSB13を含む。
つまり、この情報通信方法は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップ(SB11)と、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する第1の送信ステップ(SB12)と、前記発光体が、前記送信対象の信号を送信してから33ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する第2の送信ステップ(SB13)とを含む。そして、前記決定ステップ(SB11)では、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。
図330Bは、本発明の他の態様に係る情報通信装置のブロック図である。
本発明の他の態様に係る情報通信装置B10は、輝度変化によって信号を送信する情報通信装置であって、構成要素B11およびB12を備える。
つまり、この情報通信装置B10は、送信対象の信号を変調することによって、輝度変化のパターンを決定する輝度変化パターン決定部B11と、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信し、前記送信対象の信号を送信してから33ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する発光体B12とを備える。そして、前記輝度変化パターン決定部B11は、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。
このような図330Aおよび図330Bによって示される情報通信方法および情報通信装置B10では、輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、33ミリ秒以内に同じ信号が送信されるため、信号を受信する受信機にブランキングがあっても、確実に信号をその受信機に送信することができる。
図331Aは、本発明のさらに他の態様に係る情報通信方法のフローチャートである。
本発明のさらに他の態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップSC11、SC12、SC13およびSC14を含む。
つまり、この情報通信方法は、送信対象の信号を変調することによって複数の周波数を決定する決定ステップ(SC11)と、発光体が、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する送信ステップ(SC12)と、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に33ミリ秒以上の周期で順に変更する変更ステップ(SC14)とを含む。なお、送信ステップSC12が実行された後には、決定された全ての周波数が輝度変化に用いられたか否かが判断され(SC13)、全ての周波数が用いられていないと判断された場合に(SC13でN)、更新ステップSC14が実行されてもよい。また、前記送信ステップ(SC12)では、前記発光体は、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する。
図331Bは、本発明のさらに他の態様に係る情報通信装置のブロック図である。
本発明のさらに他の態様に係る情報通信装置C10は、輝度変化によって信号を送信する情報通信装置であって、構成要素C11、C12およびC13を備える。
つまり、この情報通信装置C10は、送信対象の信号を変調することによって複数の周波数を決定する周波数決定部C11と、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する発光体C13と、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に33ミリ秒以上の周期で順に変更する周波数変更部C12とを備える。また、前記発光体C13は、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する。
このような図331Aおよび図331Bによって示される情報通信方法および情報通信装置C10では、輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、FM変調された多くの信号を送信することができる。
また、情報通信装置は、自らのユニークなIDと機器の状態情報とを含む機器情報を管理する情報管理部と、発光素子と、前記発光素子の点滅パターンとして情報を送信する光送信部とを有し、前記光送信部は、前記機器の内部の状態に変化があった場合に、前記機器情報を光の点滅パターンに変換して送信してもよい。
また、前記情報通信装置は、さらに、自らの起動状態、またはユーザの使用履歴を示す、機器内部のセンシングされた情報を保存する起動履歴管理部を備え、前記光送信部は、利用するクロック発生装置のあらかじめ登録された性能情報を取得し、送信速度を変更してもよい。
また、前記発光素子は、第一および第2の発光素子を備え、光の点滅によって情報を送信するための前記第一の発光素子の周囲に、前記第二の発光素子が配置されており、前記第二の発光素子は、前記第一の発光素子の点滅による情報発信が一定回数繰り返される場合に、情報発信の終了と開始の間に発光してもよい。
また、前記情報通信装置は、時間差をおいて各撮像素子を露光させる撮像部と、前記各撮像素子の露光時間の違いを利用して、被撮像物の1ミリ秒以下の時間平均輝度の変化を、1枚の撮像画像中から読み取る信号解析部とを備えてもよい。
また、前記時間平均輝度は、3万分の1秒以上の時間平均輝度であってもよい。
前記情報通信装置は、さらに、送信情報を発光パターンに変調し、発光パターンによって情報を送信してもよい。
前記情報通信装置は、送信信号を1ミリ秒以下の時間平均輝度の変化で表現し、かつ、60ミリ秒以上の時間平均輝度は一様であるように発光部の輝度を変化させてもよい。
前記情報通信装置は、前記送信信号を3万分の1秒以上の時間平均輝度の変化で表現してもよい。
また、前記送信信号と、近接する同種の情報通信装置が時間平均輝度で表現している信号との共通部分は、前記同種の情報通信装置の発光部と同じタイミングで発光部を発光させることで送信されてもよい。
さらに、前記送信信号と、近接する同種の情報通信装置が時間平均輝度で表現している信号との非共通部分は、前記同種の情報通信装置が時間平均輝度で信号を表現していない時間帯に、発光部の時間平均輝度によって表現されてもよい。
また、前記情報通信装置は、前記送信信号を時間平均輝度の変化で表現している第1の発光部と、前記送信信号を時間平均輝度の変化で表現していない第2の発光部を備え、第1の発光部と第2の発光部の位置関係によって信号を送信してもよい。
また、集中制御装置は、上述の何れかの情報通信装置を集中制御する制御部を備えてもよい。
また、建造物は、上述の何れかの情報通信装置、または、上述の集中制御装置を備えてもよい。
また、列車は、上述の何れかの情報通信装置、または、上述の集中制御装置を備えてもよい。
また、撮像装置は、2次元画像を撮像する撮像装置であって、全ての撮像素子を露光させて撮像するよりも高速に、任意の撮像素子のみを露光させて撮像してもよい。
また、前記任意の撮像素子は、1ミリ秒以下の時間平均輝度の変化が最も大きい画素を撮像する撮像素子、または、その撮像素子を含む1列の撮像素子であってもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図328A、図330Aおよび図331Aのうちの何れかのフローチャートによって示される情報通信方法をコンピュータに実行させる。