以下本発明の実施の形態について、図面を参照しながら説明する。以下の実施の形態において、本発明に係る通信装置の様々な態様についての説明を行っている。
(実施の形態1)
本発明の実施の形態1について述べる。図1は本発明の概念図を示す。ここには、撮影装置(カメラ)1、TV(テレビ)45およびサーバ42から構成される通信システムが示されている。本図において、左側は撮影時の状況を示し、右側は撮影した画像を再生するときの状況を示す。
撮影装置1は、本発明に係る通信装置の一例(ここでは、デジタルカメラ)であり、撮影時に関連する構成要素として、第1電源部101と、映像処理部31と、第2のアンテナ20と、第1処理部35と、メディア識別情報111、撮影画像状況情報60およびサーバ特定情報48を記憶する第2メモリ52と、RF−IDのアンテナ21とを備える。また、この撮影装置1は、再生時に関連する構成要素として、第1電源部101と、第1メモリ174と、電源検知部172と、起動部170と、メディア識別情報111、撮影画像状況情報60およびサーバ特定情報58を記憶する第2メモリ52と、第2処理部95と、変調切部179と、通信部171と、第2電源部91と、RF−IDのアンテナ21とを備える。
TV45は、リーダ装置を通信路で接続された機器の一例であり、具体的には、撮影装置1で撮影された画像データを表示するのに使用されるテレビ受像機であり、表示部110と、RF−IDリーダライタ46とを備える。
サーバ42は、撮影装置1からアップロードされる画像データを保存するとともに、その画像データをTV45にダウンロードするコンピュータであり、データ50を保持するための記憶装置を備える。
景色などの被写体を撮影した場合、映像処理部31により撮影データに変換された画像データは通信が可能な条件下では、無線LAN、WiMAX用の第2アンテナ20を用いてアクセスポイントに無線で送られ、インターネットを介して、あらかじめ設定したサーバ42の中のデータ50として記録される。
このとき、第1処理部35は、撮影した画像データの撮影画像状況情報60をRF−ID47の第2メモリ52に記録する。この撮影画像状況情報60の中には、画像撮像日時と、画像撮影枚数、最終画像送信日時、画像送信枚数および最終画像撮影日時の少なくともいずれかと、アップロードされた画像、もしくは、アップロードされていない画像、最終撮影番号等が記録される。
また、サーバ42にアップロードしたデータ50を特定するためのURLを生成する。この情報画像データにアクセスするためのサーバ特定情報48が第2メモリ52の中に第1処理部35により記録される。また、このRF−IDが内蔵されているシステムが、カメラかカードか葉書か等を識別するためのメディア識別情報111も第2メモリ52に記録されている。
第2メモリ52はカメラの主電源(電池等の第1電源101)が入っているときは、カメラの主電源により動作する。カメラの主電源が入っていなくても、RF−IDのアンテナ21に外部のRF−IDリーダライタから、電力が供給されるので、電池等の電源を持たない第2電源部91が電圧を調整し、RF−ID回路部の第2メモリを含めた各ブロックに電力を供給し、それによって、第2メモリのデータを記録再生し、そのデータを送受信することができるようになる。なお、第2電源部91は、整流回路等からなり、第2アンテナ21で受信した電波から電力を作り出す回路である。第2メモリ52は主電源のオンオフにかかわらず、第2処理部95から読み書きでき、主電源がオンの場合は第1処理部35から読み書きできるように構成されている。つまり、第2メモリ52は、不揮発メモリから構成されるともに、第1処理部35と第2処理部95の双方から読み書きできる。
この撮影装置1を旅行等の撮影が終了した後、再生する場合は、図1の右側の再生時に示すように、撮影装置1をTV45のRF−IDリーダライタ46に近づける。すると、RF−IDリーダライタ46によりアンテナ21を介して、RF−ID47に電力が供給され第2電源部91により、撮影装置1の主電源(第1電源101)がオフであってもRF−ID47の各部に電源が供給される。第2処理部95により第2メモリ52の撮影画像状況情報60とサーバ特定情報58が読み出されアンテナ21を介してTV45に送られる。TV側はサーバ特定情報58に基づきURLを生成し、サーバ42のデータ50の画像データをダウンロードし、画像のサムネイル等を表示部110に表示する。撮影画像状況情報60によりアップロードされていない撮影画像があると判断された場合は、その旨を表示部110に表示するとともに、場合により撮影装置1を起動させ、アップロードされていない画像データをサーバ42へアップロードさせる。
図2の(a)と(b)と(c)は、内蔵本発明の撮影装置1の外観の正面図と背面図と右側面図を示す。
図2の(c)に示すように右側面には、無線LAN用のアンテナ20とRF−ID用のアンテナ21が内蔵され、電波非遮蔽材料からなるアンテナカバー22が取り付けられている。RF−IDは13。5MHzで無線LANは2。5GHzであり、同波数が大きく異なり互いに干渉することがない。このため2つのアンテナ20、21を図2の(c)に示すように、外部から見て、重なるように構成する。これにより設置面積を小さくできるため、撮影装置を小型化することができるという効果が得られる。また2つのアンテナのアンテナカバー22を、図2の(c)に示すように1つにまとめることができるため電波非遮蔽材料部を最小にできる。プラスチック等の電波非遮蔽材料は金属に比べると強度が低いため、この材料を最小にすることによりボディの強度の低下を軽減できるという効果がある。レンズ6と電源スイッチ3である。2〜16は後で説明する。
図3は撮影装置1のブロック図を示す。
撮像部30から得られた画像データは、映像処理部31を介して記録再生部32に送られ、第3メモリ33に記録される。このデータは脱着可能なICカード34に記録される。
これらの処理は、CPU等の第1処理部35により指示される。撮影された写真や動画等の画像データは暗号部36と通信部37の送信部38と第1アンテナ20により無線LANやWiMAZ等の無線でアクセスポイント等に送られ、インターネット40を介してサーバ42に送られる。つまり、写真等の画像データがアップロードされる。
通信状態が悪い場合や近くにアクセスポイントや基地局がない等の理由で、一部の画像データがアップロードできない場合がある。この場合、サーバ42にアップロードされた画像と、まだアップロードされていない画像が混在する。この場合、サーバ42の画像のデータと撮影した画像のデータに差異が生ずる。詳しくは後でするが、本発明の場合、TV45等に付いているRF−IDリーダライタ46で、撮影装置1のRF−ID47の第2メモリ52のサーバ特定情報48等を読み取り、このデータを用いてサーバ42のURL等を生成し、このURLを用いてTV45からサーバ42にアクセスし、撮影装置1がアップロードしたファイルやフォルダ等のデータ50にアクセスし、撮影装置1で撮影した画像のうちアップロードした画像をダウンロードしTV45に表示させる方式をとっている。
もし、実際撮影した画像の一部もしくは全部がサーバ42のデータ50の画像データの中にアップロードされていないと、TV45にダウンロードした場合、実際に撮影した画像の一部がTV45で視聴できないという課題が発生することが考えられる。
この課題を解決するため、本発明では、第1処理部35の撮影画像の状況データを記録再生部51により第2メモリ52の撮影画像状況情報55にアップロード状況等を記録する。
図4を用いて詳細に説明する。第2メモリ52には、サーバ42の画像データとカメラが撮影した画像データが一致しているか、言い換えると、同期しているかを示す同期情報56が記録される。本発明では、TV45が第2アンテナ21を介して、第2メモリ52の中の撮影画像状況情報55を読み取る。このためサーバのデータ50に不足した画像がないかどうかを即座に確認できる。もし、未アップロードの画像があるときはその結果をTV45の表示部に表示し、視聴者に「画像のアップロードをして下さい」の表示を出すか、RF−IDのアンテナ21経由でカメラに命令を出し、起動部170に起動信号を送り強制的に撮影装置1の第1電源部101を起動させ、撮影装置1の第1メモリ174等の中の未アップロード画像を無線LAN、もしくは有線LAN、もしくはRF−ID用の第2アンテナ21等を介してサーバ42にアップロードさせる。
RF−IDのアンテナ21経由の場合は伝送量が小さいため、元の画像データをそのまま、送ろうとするとアップロードと画像の表示に時間がかかり使用者に不快感を与える。これを避けるために、本発明では、アンテナ21経由の場合、未アップロード画像のサムネイル画像を送る。これにより、見かけ上のアップロード時間や表示時間を短縮でき、使用者に不快感を与えることを軽減できる。現在のHF帯のRF−IDでは数百kbpsの伝送量の場合が多いが、4倍速も検討されている。この場合、数Mbpsを実現できる可能性がある。未アップロード画像のサムネイル画像データを送れば、1秒間に数十枚の画像を送ることができる。一覧表示の場合は一般ユーザが容認できる時間内に未アップロード画像を含めた全画像をTVに表示させることができるという効果がある。この方法は1つの現実的な方法といる。
このように撮影装置を強制的に起動させ未アップロード画像を送る場合、無線LAN、RF−IDのアンテナ21、有線LANのうち、最も速度が速く、安定している経路を用いてアップロードやTVへの表示を行う。第2アンテナ21に信号を送る通信部171は第2アンテナ21を介して外部から電源供給を受ける状況においては低速の変調方式を用いて通信を行うが、第1電源部101等から電源供給を受けられる状況においては必要に応じて、変調方式をQPSK、16QAN、64QAN等の信号点数の多い変調方式に切り替え伝送を高速化させ未アップロードの画像データを短時間でアップロードする。なお、電源検知部172により第1電源等の余力が少ないことや外部電源が非接続であること等を検出すると第1電源部101からの電力供給を止め、変調方式切替部175により通信部171の変調方式を信号点数の少ない変調方式や、伝送レートの少ない変調方式に切り替える。このことにより第1電源部101の規定値以下の容量低下を未然に防ぐことができる。
また、別の電力対策として、電力に余裕がない場合は第2処理部95や通信部171等は第2アンテナ21を介してTV45のRF−IDリーダライタ46に電力増加要求信号を送り支援を要求する。これに応えてRF−IDリーダライタは送信電力をRF−ID読み取り時の電力の規定値より多い値に増加させる。RF−ID側はアンテナ21を介して受ける供給電力量が増加するので、通信部171もしくは第1処理部35へ電力を供給することができる。この方法により、第1電源部101の電池100の電力量がへることがなくなる。もしくは電池100がなくても送信作業を実質的に無限に継続できるという効果がある。
また別の方法として、図3のアップロード画像データ情報60を用いてもよい。アップロードした画像の情報61、例えば、写真番号等を記録する。この情報をハッシュした情報62を用いてもよい。この場合、情報量が減るという効果がある。
このデータを用いると、TV45がこのデータを読み取り、カメラの撮影した画像の情報と比較することにより、未アップロードの画像の情報を得ることができる。
別の方法として、未アップロード画像データの存在識別情報63を用いることができる。未アップロード画像データが存在するかどうかの存在識別子64により未アップロード画像の有無を知らせることができるので、第2メモリ52の情報を大幅に削減することができる。
未アップロード画像の枚数65でもよい。この場合、TV45に読み取らせることができるため、アップロードが必要な枚数を視聴者に知らせることができる。この場合、枚数に加えて、データ容量を撮影画像状況情報55として記録しておくと、未アップロード画像をアップロードするための予測時間をより正確にTV45に表示させることができる。
また、未アップロード画像情報をハッシュした情報67を用いてもよい。
また、第2メモリ52に最後に撮影した時間68を記録することにより後にTV45から読み出しサーバ42に接続したときにサーバ42の最終アップロードした画像の撮影日と比べることにより簡易的に未アップロード画像の有無を判定することができる。また、古い順から画像番号を付与していく方式において撮影した画像の最終番号69のみを記録していくことにより、サーバにアップロードされた画像の最後の画像番号と照合することにより未アップロード画像があるかどうかの情報を得ることができる。また、撮影した画像の情報70、例えば、撮影した画像の画像番号のすべてを第2メモリ52に記録しておく。すると、後でサーバ42にアクセスしたときにサーバ42にアップロードされた画像データと比較することにより未アップロードデータがあるかどうかを判断できる。この場合、撮影した画像情報をハッシュした情報71を用いることによりデータを圧縮できる。
第2メモリ52の他の情報として、RF−IDのUID75、カメラID部76、メディア識別情報111が記録されている。これらはカメラの主電源(時計のバックアップ等のサブ電源を除く)が入っていなくても、TV45から第2アンテナ21を介して読み取られ、カメラやユーザの識別や機器の認証に使われる。海外旅行等から帰ってきたときはバッテリの充電量が少ない場合が多いが本発明の場合、バッテリがなくても動作し情報を送るため利便性に優れている。メディア識別情報111はRF−IDを内蔵した機器、もしくは、メディアが、カメラ、ビデオ、葉書、カード、携帯電話であるかを示す識別子等が入っている。TV45側では、この識別子により機器、メディアを特定できるため、画面上にカメラや葉書のマークやアイコンを、後述する図22に示すように表示させたり、識別情報に応じて処理を変更したりすることができる。
また、画像表示方法指示情報77が記録されているが、例えば、図5の一覧表示78がONの場合は、TV45のRF−IDリーダライタ46に第2アンテナ21を近づけたときに写真等のサムネイルの画像データを一覧表示させる。
スライドショー79がONのときはTV45に画像データを新しい順、もしくは古い順から1枚ずつ、次々と表示させる。
第2メモリ52の図の下部には、サーバ特定情報48の記録領域が設けられている。
これにより、カメラ操作者の好みに合った表示方法でTV画面に表示される。
この中にはサーバURLを生成するための元情報となるサーバURL生成情報80があり、サーバアドレス情報81やユーザ識別情報82を記録するための領域が設けられており、具体的にはログインID83等が記録される。また、パスワード84を記録するための領域があり、場合により暗号化されたパスワード85が記録される。これらのデータは撮影装置1の内部やRF−ID47の内部、もしくは、カメラの内部、もしくは、TV45側に設けられたURL生成部90によりサーバ42の中の、この撮影装置、もしくは、ユーザに対応する画像データ群にアクセスするためのURLが生成される。このURL生成部90がRF−ID47の中にあるときは第2電源部91により電源供給される。
また、URL92を作成して直接、第2メモリ52に記録してもよい。
この第2メモリ52のデータはRF−ID側の第2処理部95とカメラ側の第1処理部35のどちらからでもデータを読める点が特長となる。
したがって、TV45がカメラのRF−ID47を読みにいった場合は、アップロード状況情報やサーバアドレスやログインID、パスワードが瞬時に得られるためのサーバ42の中のこのカメラに対応する画像データをダウンロードしてTV45に高速に表示できるという効果がある。
この場合、撮影装置1の主電源が入っていなくても、RF−IDリーダライタから電源が第2電源部91に供給されるため動作するという効果がある。したがって、撮影装置1の電池100の電力が減らない。
図3に戻ると、電池100から第1電源部101は電力の供給を受け、カメラの各部に電源を供給する。しかし、休止状態においては第3電源部102により、時計103等に微弱な電源を供給する。場合によっては第2メモリ52の一部のメモリにバックアップ電力を供給する。
RF−ID47は第2アンテナからの電力を受け、第2電源部91を動作させ、第2処理部95かデータ受信部105、記録部106、再生部107、データ転送部108(通信部171)や第2メモリ52を動作させる。
このためカメラの休止状態においては全く電力を消費しないため、カメラの電池100を永く持たせることができる。
カメラ、カード側の処理とTV、RF−IDリーダライタ側の処理を図7のフローチャートを用いて述べる。
図7のステップ150aで主電源がOFFのとき、ステップ150bで主電源OFF時のRF−IDリーダライタの起動設定がされているかをチェックし、Yesならステップ150cでRF−IDリーダライタ46をONにして、ステップ150eでRF−IDリーダライタの省電力モードに入る。
ステップ150fではアンテナ部のインピーダンス等を測定もしくは近接センサの測定をして、ステップ150gでRF−IDをRF−IDリーダライタのアンテナに近づけると、ステップ150gで近接もしくは接触したかを検地した場合は、ステップ150hでアンテナに電力の出力を開始し、ステップ150kで第2電源がONし、第2処理部が動作開始し、ステップ150mで交信を開始する。
ステップ150で受信すると、図8のステップ151aで相互認証を開始し、ステップ151fで相互認証を開始し、ステップ151b、151gで相互認証がOKなら、ステップ151dで第2メモリのデータを読み出し、ステップ151eで第2メモリのデータを送信し、ステップ151iでRF−IDリーダライタは第2メモリのデータを受信し、ステップ151jで第2メモリの識別情報等が正しいかをチェックし、OKならステップ151mでTV45側に自動電源ONの識別情報ありかを見て、Yesならステップ151rでTVの主電源がOFFかをチェックして、OFFならば図9のステップ152aでTVの主電源をONして、ステップ152bで第2メモリ52に強制表示命令がある場合は、ステップ152dでTVの入力信号をRF−IDの画面表示信号に切り替えるとともに、ステップ152eでフォーマット識別情報を読み、ステップ152fでフォーマット識別情報に応じて第2メモリを読み出し、データフォーマットを変えて該当するデータを読み、ステップ152gで第2メモリ部に「パスワード要求フラグ」がある場合はステップ152hで第2メモリの「パスワード入力不要のTVのID」を読み、ステップ152iで自機のTVのIDと「パスワード入力不要のTVのID」が一致しないときは、ステップ152qで第2メモリからパスワードを読み、ステップ152vでパスワードの暗号を復号し、ステップ152sでパスワードを送信する。なお、ステップ152q、152r、152sはサーバ42が保持するデータ50としてサーバ42が備える記憶装置にパスワードを記録してもよい。
ステップ152jでパスワードを入手、ステップ152kでパスワード入力画面を表示し、ステップ152mで入力されたパスワードが正しいかをチェックする。この作業はサーバ42で行ってもよい。OKならRF−IDの第2メモリの情報やプログラムに基づく表示を行う。
図10のステップ153aで、第2メモリのRF−IDのメディア識別情報111がカメラならステップ153bでカメラのアイコン(文字)をTVの表示部に表示し、カメラでなかったらステップ153cで、郵便葉書ならステップ153dで郵便葉書のアイコンを表示部に表示し、ステップ153eでICカードであることがわかれば、ステップ153fでICカードのアイコンを表示部に表示し、ステップ153gで携帯電話あることがわかれば、携帯電話のアイコンをTV画面の角に表示させる。
図11のステップ154a、154iでサーバもしくは第2メモリからサービス内容識別情報を読み取り、ステップ154cで画像表示サービスかをステップ154bでダイレクトメール等の葉書サービスか、ステップ154dで広告サービスか、をチェックし、ステップ154fと154jで第2メモリからサーバ特定情報48を得て、もし第2メモリにURL92がない場合はステップ154hと154kに進み、サーバアドレス情報81とユーザ識別情報82を得て、図12のステップ155a、155pでは第2メモリから暗号化されたパスワードを得て、ステップ155bで復号されたパスワードを得て、ステップ155cで上記情報からURLを生成して、第2メモリにURL92がある場合も含めてステップ155dで通信部とインターネットを介してURLのサーバにアクセス、ステップ155kでサーバ42と接続開始して、ステップ155qで動作プログラム存在識別子119を読み、ステップ155eで動作プログラム存在識別子が有りか、ステップ155fで複数の動作プログラムもある場合は、ステップ155rで動作プログラム選択情報118を読み、ステップ155gで動作プログラム選択情報が設定されている場合は、ステップ155hで特定の動作プログラムのディレクトリ情報を選択し、ステップ155sで第2メモリの動作プログラムのサーバ上のディレクトリ情報117を読み、ステップ155iでサーバ上の特定ディレクトリの動作プログラムにアクセスし、ステップ155mで動作プログラムを送出もしくはサーバ上で稼動させ、ステップ155jで動作プログラムの稼動を開始(TV側もしくはサーバ側)させ、図13のステップ156aで画像利用サービスかをチェックし、Yesならステップ156bで未アップロード画像データの確認作業を開始する。
ステップ156iで未アップロードデータ存在識別子64を読み、ステップ156cで未アップロードデータ存在識別子64がONの場合は、ステップ156dで未アップロード画像の枚数66とデータ容量65を読み、ステップ156eで未アップロード画像の枚数66を表示し、未アップロードデータ容量65からデータのアップロード予測時間をTVの表示部に表示し、ステップ156fで、もしカメラ側が自動画像アップロード可能状態にある場合は、ステップ156gでカメラを起動し、第1アンテナ20もしくは第2アンテナ21等を介して、無線もしくは、接点による有線で、サーバに未アップロードデータをアップロードし、完了すると図14のステップ157aへ進み、ステップ157aで課金プログラムがあるかをチェックし、NOの場合はステップ157nで図6の画像表示方法指示情報の識別子121を読み、ステップ157bで画像表示方法識別情報がサーバにあるかをチェックし、Yesならステップ157pで画像表示方法指示情報が記録されているサーバ上のディレクトリ情報120を読み出し、ステップ157cでUID等に対応した画像表示方法指示情報が記録されているサーバ上のディレクトリ情報120を読み、ステップ157dでサーバ上の画像表示方法指示情報をサーバから得て、ステップ157fへ進む。
ステップ157bがNOの場合はステップ157eに進み、画像表示方法指示情報をカメラより得て、ステップ157fに進む。
ステップ157fでは画像表示方法指示情報に基づいて表示を開始、ステップ157gで全画像表示識別子123を読み、ステップ157gで全画像表示ならステップ157rで全画像を表示し、NOならステップ157sの特定ディレクトリ124の一部画像をステップ157hで表示し、ステップ157iで一覧表示125ならステップ157tの表示順序識別子122を読み、ステップ157jで表示順序識別子に基づき、日付順、アップロード順に表示し、ステップ157vでスライドショー識別子126を読み、ステップ157kでOKならステップ157mで表示順序識別子122に基づき表示を行い、第2メモリから画質優先127を読み出し、図15のステップ158aで表示方法が画質優先でない場合はステップ158qで速度優先128かどうかをチェックし、ステップ158bで速度優先ならステップ158cで表示音声サーバにあるかを調べ、ステップ158sで音声のサーバのディレクトリ130を調べ、ステップ158aで表示音声のサーバ上のディレクトリにアクセスし音声を出力させる。
ステップ158eで優先表示画像が全画像でないならステップ158fで一部画像を選び、ステップ158vまたはステップ158wで特定ディレクトリ124の情報を入手(ステップ158g)し、ステップ158hで特定ディレクトリの画像を表示する。ステップ158iのように全画像表示してもよい。ステップ158jで表示が完了すると、ステップ158kで「別の画像を見るか」の表示をして、Yesの場合はステップ158mで別のディレクトリの画像のメニューを表示する。
図16のステップ159aで特定使用者の画像を要求されると、ステップ159mで特定使用者全画像132のデータと特定使用者のパスワード133を得て、ステップ159bで特定使用者のパスワードを要求して、ステップ159cで正しければ、ステップ159pで画像リストが入ったファイルのディレクトリ情報134を読み、ステップ159dで特定使用者の画像リストが入ったディレクトリをアクセスし、ステップ159rでサーバの特定ディレクトリから画像データをダウンロードし、ステップ159eで特定使用者の画像を表示する。
ステップ159fで色補正ルーチンを開始し、ステップ159gでカメラIDとカメラID部76からカメラ機種情報を読み出し、ステップ159hと159tでカメラ機種の特性データをサーバからダウンロードする。次に、ステップ159i、159uでTVの特性データをダウンロードする。ステップ159wでデータを演算し補正データを得る。ステップ159jでカメラとTVの特性データに基づき表示部の色や明るさを補正して、ステップ159kで正しい色と明るさで表示する。
図17のステップ160aで強制印刷命令がONであって、ステップ160bでカメラが近接した端末がプリンタ、もしくはプリンタに接続されている端末である場合は、ステップ160cで画像データごとのカメラ機種情報とプリンタの機種名を入手し、ステップ160dでサーバの各情報より補正データを算出し補正し、ステップ160pで印刷対象の画像データの入ったディレクトリ情報137を得て、ステップ160eで印刷対象の画像データ(ファイル名)が記録されたディレクトリのアドレスを用いてサーバにアクセスし、ステップ160mで特定のディレクトリの画像データを送出し、ステップ160fで印刷画像データを得て、ステップ160gで印刷し、ステップ160hで印刷を完了する。ステップ160iで1回印刷を完了したことを示す識別子を各画像データに記録し、ステップ160nで、サーバ上で印刷した画像データに印刷完了識別子を付与する。
次に、メディア(カメラ、葉書等)側のメモリに記録機能がない場合の実施例を述べる。
図8の丸3、丸4、丸5から繋がっている。まず、TV側では図18のステップ161aでTVの主電源をONにし、ステップ161kで第2メモリからUIDを読み、ステップ161bでUIDを入手し、ステップ161mでサーバ特定情報48を得て、ステップ161cでサーバのディレクトリにアクセスし、ステップ161dでこのUIDに対応したサービスの最終サーバを検索する。ステップ161eで最終サーバがある場合はステップ161gで最終サーバにアクセスし、UIDリストから使用者のIDとパスワードとサービス名を読み出し、もしステップ161hでパスワードを要求する場合はステップ161iで正しいかどうか判定し、図19のステップ162aで写真やビデオのサービスかをチェックし、Yesならステップ162bで前記UIDに関連付けられているサーバの特定ディレクトリの中から対応する課金等のプログラムや表示する画像データのアドレスやファイル名を含むリストと画像表示指示情報や強制表示命令や強制印刷命令やカメラIDを読み出し、これらのデータや手順に応じて表示や印刷作業を自動的に行う。
必要に応じてパスワード入力を要求し、ステップ162cで特定の画像を印刷したい場合はステップ162dで印刷したい特定の画像データを前記UIDに対応するサーバ上、もしくはTVの印刷ディレクトリに加え、ステップ162eでTVにプリンタが接続されているか、単独のプリンタがあるかをチェックし、Yesの場合はステップ162fでプリンタのRF−IDリーダライタにこの葉書等のメディアのRF−ID部を接近させると図20のステップ163aでプリンタは、前記メディアのUIDを読み込み、図の修正サーバ上の前記印刷ディレクトリから印刷すべき画像データもしくは画像データの場所を読み出し、その画像データを印刷させ、ステップ163bで印刷が完了し、終了する。
図19の23に続くステップ163iの次のステップ163bでショッピングサービスの場合はステップ163eで認証が正しいかチェックし、正しい場合はステップ163fで前記UIDに関連付けられているショッピング・課金プログラムをサーバから読み出し、プログラムを実行し、ステップ163gでプログラムが完了すると終了する。
次に葉書に内覧されたRF−IDのデータをRF−IDリーダなしで読み取る方法を述べる。
図21のステップ164aでは葉書等のメディアに付着もしくは内蔵されているとともに、中継サーバのURL情報が記録されている第2のRF−IDの外の面にはUIDと中継サーバの第1URLとを特定するデータが2次元バーコードで印刷され表示されている。
ステップ164bでは主サーバとの通信機能を持つとともに第1のRF−ID部を待ち、この中に主サーバの第1URL情報が記録されているカメラがあり、このカメラの撮影部により、前記2次元バーコードを光学的に読み取り、第2のRF−IDのUIDと中継サーバの第2URLを特定するデータに変換する。
ステップ164cで上記変換したデータをカメラのメモリに記録する。
ステップ164dではカメラで撮影した画像から特定の画像群を選び、主サーバ上の特定の第1ディレクトリに記録する。同時に第2URLの中継サーバ上の特定の第2ディレクトリに主サーバの第1URL情報とともに第1ディレクトリ情報をアップロードする。特定の第2RF−IDのUIDを前記第2ディレクトリに関連付けるための情報を前記第2URLの中継サーバにアップロードし、ステップ164eで葉書等のメディアを特定者に郵送する。
ステップ164fで葉書を受け取った者が葉書のRF−ID部をTV等のRF−IDリーダ部に近づけ、中継サーバの第2URLと葉書のUIDとを得る。
ステップ164gでは第2URLの中継サーバにアクセスし、前記UIDに関連付けられた第2ディレクトリの中のプログラムもしくは、かつ特定の画像データが記録されている主サーバの第1URLと第1ディレクトリ情報を取り出し、主サーバから画像データをダウンロードし、TV画面上に表示する。この場合、一般的に商品や葉書に印刷されている、サーバサーバ情報を記録した2次元バーコードを本発明の撮影装置の撮像部により読み取り、2次元バーコードの情報をデジタルデータとして、RF−ID部の第2メモリに記録し、TVのRF−IDリーダにこのデータを読み取らせることにより、2次元バーコード用の光学センサのないTVでも間接的に2次元バーコードのデータを読み取り、サーバ等に自動的にアクセスすることができる。
図22(a)はTV45のRF−IDのアンテナ138に撮影装置1を近づけたときの表示状態を示す。
撮影装置1をアンテナ138に近づけると、前述のようにカメラであることを認識するためのカメラのアイコン140を表示する。
次に、未アップロードの画像が何枚(例:5枚)あるかわかるので5枚の空白画像142a、142b、142c、142d、142eをカメラのアイコン140から出てきたが如く表示させる。
このことにより、「モノから情報」への「タンジブル」な画像が表示されるため、ユーザが、より自然な感覚で画像を見ることができる。
データがサーバにある実画像は143a、143b、143cのように、同様にタンジブルに表示される。
図22(b)は葉書139にRF−IDが埋め込まれている場合を示す。TV45のRF−IDリーダライタ46により、葉書の属性情報が読み込まれるため、図に示すようにTV45の左下の角に葉書のアイコン141が表示され、(a)と同様にサーバの画像やメニュー画面がタンジブルに表示される。
以下に、図4の中で示された動作プログラム116を、撮影装置1のRF−ID47の通信対象となる機器である図3のTV45に送信し、このRF−ID部の通信対象となる機器が、送信されたプログラムを実行する処理の詳細について説明する。
図23は、撮影装置1のRF−ID47の通信対象となる機器が、送信されたプログラムを実行する処理の行うブロック図である。本図には、撮影装置1の一部(RF−ID47、第2アンテナ21)、テレビ(TV)45、および、TV45のリモコン827から構成される通信システムが図示されている。ここで、撮影装置1は、赤外線通信路でTV45と接続されたRF−IDリーダライタ46との間で近接無線通信を行うRF−ID47を有するカメラであって、近接無線通信用のアンテナ21と、RF−IDリーダライタ46から供給される入力信号を、アンテナ21を介して受信する受信部105と、少なくとも通信装置を特定するための識別情報であるUID部75と、当該UID部75を参照してTV45によって実行される動作プログラム116とを記憶する不揮発性の第2メモリ52と、受信部105で受信された入力信号に応じて、第2メモリ52に記憶されたUID部75および動作プログラム116を、アンテナ21を介してRF−IDリーダライタ46に送信するデータ転送部108とを備え、データ転送部108から送信されたUID部75および動作プログラム116は、データ転送部108から、アンテナ21、RF−IDリーダライタ46および赤外線通信路を介して、TV45に転送される点に特徴を有する。以下、各構成要素を詳細に説明する。
撮影装置1のRF−ID47は、第2メモリ52を有し、第2メモリ52は、RF−ID部の通信対象となるテレビ45で動作する動作プログラム116を格納している。つまり、この動作プログラム116は、撮影装置1の識別情報を参照してTV45で実行されるプログラムの一例であり、例えば、後述するように、Java(登録商標)等の実行形式プログラム、あるいは、Java(登録商標)スクリプト等のスクリプト形式の仮想マシン用プログラムである。
RF−ID47の再生部は、第2メモリ52から撮影装置1に固有のUIDやURLを含むサーバ特定情報などの動作プログラムを実行するために必要な情報であるデータを、動作プログラム116とともに読み出し、データ転送部108および第2アンテナ21を介してテレビ45の遠隔操作を行うリモコン827のRF−IDリーダライタ46に送信される。
リモコン827のRF−IDリーダライタ46は、撮影装置1のRF−ID47から送信されたデータと動作プログラムを受信し、RF−ID記憶部6001に記憶する。
また、リモコン827のリモコン信号生成部6002は、撮影装置1のRF−ID47から送信されてRF−ID記憶部6001に記録されたデータと動作プログラムを、現在リモコン用の通信に広く利用されている赤外線方式等のリモコン信号に変換する。
リモコン信号送信部6003は、リモコン信号生成部6002で生成された動作プログラムを含むリモコン信号をテレビ45に対して送信する。
テレビ45のリモコン信号受信部6004は、リモコン827から送信されたリモコン信号を受信し、プログラム実行部6005は、例えば、Java(登録商標)等の仮想マシンであり、復号部5504を介してリモコン信号から、撮影装置1のRF−ID47から送信されたデータと動作プログラムを取得し、動作プログラムを実行する。
図24では、動作プログラムとして「撮影装置1の識別情報(ここでは、UID)を参照して、画像サーバから画像データをダウンロードし、スライドショー形式で画像を表示する」という動作を実行する処理の流れを示す。
リモコンを撮影装置1に近づけると、まず、撮影装置1のRF−ID47にリモコンのRF−IDリーダライタ46からRF−IDの通信を介して電源が供給され、第2メモリ52から、機器固有のUID75、画像サーバのURL48、動作プログラム116が読み出される(S6001)。読み出したUID、画像サーバURL、動作プログラムは、データ転送部108および第2アンテナ21によって、リモコン827に向けて送信される(S6002)。ここで、動作プログラムは、図25で示すように、サーバ接続命令6006、ダウンロード命令6008、スライドショー表示命令6010、ダウンロード完了時の処理設定命令6007、ダウンロード完了時命令6009で構成される。
リモコン827では、RF−IDリーダライタ46で撮影装置1から送信されたUID、画像サーバURL、動作プログラムを受信し(S6003およびS6004)、受信が完了すると、UID、画像サーバURL、動作プログラムをRF−ID記憶部6001に記憶する(S6005)とともに、UID、画像サーバURL、動作プログラムをリモコン信号として赤外線方式で送信できる形式に変換しておく(S6006)。そして、ユーザがリモコン827上で所定の操作入力を行い、リモコン信号を送信する指示を受け付けた場合(S6007)、UID、画像サーバURL、動作プログラムを含むリモコン信号をリモコン信号送信部から送信する(S6008)。つまり、リモコン827は、通常のリモコンとしての機能の他に、内蔵するRF−IDリーダライタ46によって、撮影装置1からTV45に向けて、UID、画像サーバURLおよび動作プログラムを転送する中継器として機能する。
次に、テレビ45では、リモコン827から送信されたリモコン信号を受信し(S6009)、復号部でリモコン信号に含まれるUID、画像サーバURL、動作プログラムを取得する(S6010)。そして、プログラム実行部6005が、UID、画像サーバURLを使用して動作プログラムを実行する(S6011〜6015)。動作プログラムは、まず画像サーバURLを用いて通信ネットワーク上の画像サーバ42と接続を確立する(S6012および図25の6006)。そして撮像機器に固有の情報であるUIDを用いて特定の撮像機器で撮影された画像データを、画像サーバ42記憶装置に保持された画像データ50の中から選択し、テレビにダウンロードする(S6013、S6014および図25の6008)。つまり、UIDは、画像サーバ42が保持する画像データのうち、UIDが示す撮影装置1に対応付けられた画像データを選択するために用いられる。画像のダウンロードが完了すると、画像をスライドショー形式で順次表示していく(S6015および図25の6007、6009、6010)。図25の6007は画像ダウンロード完了時の処理を設定する命令であり、図25では、画像ダウンロード完了時の処理として命令6009を設定している。さらに、処理6009の中で画像のスライドショー表示を実行する処理6010をコールしている。
なお、図23および図24では、リモコン827を介して動作プログラムや動作プログラムが使用するデータを撮影装置1からテレビ45に転送したが、リモコン827のRF−IDリーダライタ46についてはテレビが備える構成であってもよい。つまり、RF−IDリーダライタ46がTVに内蔵されていてもよい。言い換えると、リーダ装置と機器とを接続する通信路は、赤外線等の無線通信路であってもよいし、有線の信号ケーブルであってもよい。
なお、上述の動作例では、UIDは、画像サーバ42が保持する画像データから撮影装置1に対応する画像データを選択するために用いられたが、画像データが置かれている画像サーバを特定するのに用いられてもよい。例えば、複数の画像サーバが存在する通信システムにおいて、UIDと、そのUIDが示す撮影装置の画像データが保存されている画像サーバとが対応付けられている場合には、そのUIDを参照して画像サーバのURLを決定するように動作プログラムを作成しておくことで、動作プログラムを実行したTV45は、UIDを参照することで、複数の画像サーバから当該UIDに対応付けられた画像サーバを特定し、その画像サーバから画像データをダウンロードすることができる。
また、撮影装置1を特定する識別情報としては、UIDに限られず、撮影装置1のシリアル番号、製造番号、MAC(Media Access Control)アドレス、MACアドレスに相当する情報(IPアドレス等)、あるいは、撮影装置1が無線LANのアクセスポイントとしての機能を備える場合には、SSID(Service Set Identifier)、SSIDに相当する情報であってもよい。さらに、上述の第2メモリ52では、撮影装置1を特定する識別情報(UID75)は、動作プログラム116とは別個に格納されていたが、動作プログラム116の中に格納(記述)されていてもよい。
なお、リモコン信号(つまり、リーダ装置と機器とを接続する通信路)は赤外線方式を使用すると説明したが、これに限定されるものではなく、例えば、Bluetoothなどの無線通信方式であってもよい。一般的に赤外線通信よりも高速な無線通信方式を用いることで、動作プログラム等の転送に必要な時間を短縮することができる。
なお、動作プログラムは図25で示した書式のプログラムだけではなく、他のプログラミング言語でもよい。例えば、Java(登録商標)で動作プログラムを記述すれば、Java(登録商標)VMと呼ばれるプログラム実行環境は汎用性が高いため、多様な機器での動作プログラムの実行が容易になる。また、Java(登録商標)Scriptに代表されるスクリプト形式の小さい記憶容量に記憶できるコンパクトなプログラミング言語で記述すれば、第2メモリ52で示されるRF−IDの記憶容量が小さい場合でも動作プログラムをRF−ID内部に格納することができる。また、テレビのようなプログラム実行環境を備える機器の処理負荷を軽減するために、動作プログラムは図25で示したようなソースコードとしてではなく、コンパイル等の処理を施した実行形式のプログラムであってもよい。
さらに図26と図27を用いて、RF−IDリーダを備える表示装置の固有情報に応じて、プログラムの動作を変更する処理の詳細について説明する。
図26で示すテレビ45は言語コード保持部6013を備え、プログラム実行部6005は、リモコン信号として受信した動作プログラムがサーバ42に接続する処理を行う場合に、言語コード保持部6013から言語コードを読み出して、言語コードに対応するサーバ42に接続し、そのサーバ42からサーバプログラムをダウンロードし、さらにダウンロードしたサーバプログラムを実行する。例えば言語コードが日本語であれば日本語に対応した処理を含むプログラム記憶部6011を備えるサーバ42に接続し、そのプログラム記憶部6011から取得したサーバプログラムをテレビ上で実行する。すなわち、図23で説明したような撮影装置1のRF−ID47に格納された動作プログラムは、サーバ42への接続だけを実行し、それ以外の画像を表示するといった処理の実行には、サーバからダウンロードしたサーバプログラムを使用する。
このような処理の流れを図27で説明する。撮影装置1のRF−ID47から動作プログラムや動作プログラムに必要なデータをテレビが受信する処理は図24で説明した処理と同様である。ここで、テレビ45がリモコン信号として受信したサーバ特定情報は、英語に対応したサーバ42を示すサーバアドレスと日本語に対応したサーバ42を示すサーバアドレスの2種類を含み、テレビがリモコン信号として受信した動作プログラムは、図25の6006で示したサーバへの接続命令が記述されているものとする。
テレビ45の実行環境は、テレビ45の言語コードを取得し(S6016)、言語コードが日本語であればサーバ特定情報の中から日本語に対応した処理を含むプログラム記憶部6011を備えるサーバのサーバアドレスを選択し(S6017、S6018)、言語コードが日本語でなければサーバ特定情報の中から英語に対応した処理を含むプログラム記憶部6011を備えるサーバのサーバアドレスを選択する(S6017、S6019)。次に選択したサーバアドレスを用いてサーバ42に接続し(S6021)、サーバ42からサーバプログラムをダウンロードする(S6022、S6023)。取得したサーバプログラムはテレビのプログラム実行環境(例えば、仮想マシン)で実行される(S6024)。
なお、図26と図27では言語コードの使用について説明したが、製造番号やシリアル番号のように、表示装置が販売および/または設置されている国を示す情報であってもよい。
図28に撮影装置1とTV45が無線LANやPower Line Communication(以下、PLC)などを用いてホームネットワーク6500を構成している場合を示す。撮影装置1とTV45が無線LANを通して直接通信が可能な直接通信部6501、6502を保有する場合には、撮影装置1は画像をインターネット上のサーバを介さずにTV45に送信することが可能となる。すなわち、撮影装置1自身がサーバの役割を兼ねることができる。しかし、無線LANなどのホームネットワーク6500で用いられるいくつかの通信媒体は他者に容易に傍受可能であるという特性を持つ。そのため、安全なデータ通信を行うためには相互に認証し、暗号化されたデータをやりとりする必要がある。例えば、現在の無線LAN機器ではアクセスポイントを認証端末とし、認証してほしい端末の画面上に接続可能なアクセスポイントをすべて表示し、ユーザにアクセスポイントを選択させ、WEPキーを入力することによって暗号化された通信を行っている。しかし、一般のユーザにとってはこの処理は煩雑である。また、TVなどの家電機器に無線LANが内蔵された場合には、認証することが可能な端末が多数存在することになる。集合住宅などでは隣家の端末とも通信可能であるため、ユーザが認証端末を選択するということ自体が困難となる。例えば隣家で同機種のTV6503を使用していた場合には、画面に表示される情報からユーザが自宅のTV45を識別するのは極めて困難である。
本発明ではこの課題を解決することが可能となる。本発明ではRF−IDを用いて、認証処理を行う。具体的には、上記動作プログラムとして、撮影装置1のRF−ID部47の第2メモリ52にMACアドレス58を含んだ認証プログラムを格納し、TV45のRF−IDリーダライタ46に近づけることによって、TV45に認証プログラムを受け渡す。認証プログラムにはMACアドレスと共に、認証用の暗号鍵と認証コマンドが含まれており、RF−ID47より渡された情報に認証コマンドが含まれていると認識したTV45は認証処理を行う。RF−ID47の通信部171は物理的に近接させない限り通信ができないため、宅内では傍受することが極めて困難である。また、物理的に近づけることにより情報の受渡しを行うため、隣家のTV6503やDVDレコーダ6504などの宅内の他の機器と間違った認証を行うことを回避することが可能となる。
図29にRF−IDを用いない場合の認証方法の一例について示す。ユーザはカメラやDVDレコーダなどの認証したい端末のMACアドレスと各端末の認証用の暗号鍵6511を入力する。入力されたTV45は入力されたMACアドレスを持つ端末に向かって、チャレンジ6513といわれる適当なメッセージを送信する。チャレンジを受信した撮影装置1はチャレンジメッセージ6513を、認証用暗号鍵6511を用いて暗号化し、チャレンジを送信してきた端末であるTV45に向かって返信する。返信を受けたTV45は入力された認証用暗号鍵6511を用いてチャレンジを複合する。これによって、認証用暗号鍵6511の正当性を確認し、ユーザのミスや悪意を持ったユーザの介在を防いでいる。次に、データ用の暗号鍵6512aを認証用の暗号鍵6511を用いて暗号化し、撮影装置1に向けて送信する。これにより、TV45と撮影装置1間で暗号化されたデータ通信が可能となる。さらに、DVDレコーダ6504や他の機器(6505、6506)とも同様の処理を行い、共通のデータ暗号鍵6512aを持つことにより、ホームネットワークに繋がるすべての機器間で暗号化された通信ができるようになる。
図30にRF−IDを用いた場合の認証方法について示す。RF−IDを用いた認証処理では、認証プログラム6521aを撮影装置1内で作成し、カメラのRF−ID47からTVのRF−ID部46に受け渡す。認証プログラム6521aには認証コマンドと、カメラのMACアドレスとカメラの認証用暗号鍵が含まれている。認証コマンドを受けたTVはRF−IDよりカメラのMACアドレスと認証用暗号鍵を取り出し、データ用の暗号鍵を認証用暗号鍵により暗号化し、指定されたMACアドレスに対して送信する。この送信は無線LANデバイスを用いて行われる。RF−IDを用いた認証の場合には、機械的に行われるため、ユーザの入力ミスは発生しない。また、TV45に接近するという動作が必要なことから悪意のあるユーザによる介在を回避することが可能となる。そのため、チャレンジなどの前処理動作を省略することが可能となる。さらに、物理的に近接させるという動作はユーザにどの端末とどの端末を認証させたかということを用意に認識させることが可能となる。なお、認証用暗号鍵を認証プログラムに含まない場合には、一般の公開鍵認証と同様の手法を用いて認証処理を行ってもよい。また、通信デバイスは無線LANではなくPLCやEthernet(登録商標)などのホームネットワークを構成するデバイスであればなんでもよい。また、MACアドレスはホームネットワーク内で用いられる通信端末を識別することができる固有識別情報であればなんでもよい。
図31に各端末を近接させることが困難な場合のRF−IDを用いた認証方法について示す。冷蔵庫とTVなどのように、双方ともに移動させることが困難な端末の場合には、RF−IDを用いて直接認証プログラムを受け渡すことは極めて難しい。このような場合に、本発明ではリモコン6531などの端末に付属する装置を用いて認証プログラム情報を中継してもらってもよい。具体的には、リモコン6531に内蔵したRF−IDリーダライタで冷蔵庫に内蔵したRF−IDのプログラムを読み出し、リモコン6531のメモリに記憶させ、ユーザによって移動リモコン6531を移動させる。リモコン6531をTV45に近づけると、リモコン6531のメモリ内に記憶したプログラムをTVのRF−IDに転送する。なお、リモコンからTVへの転送はRF−IDではなく、赤外線やZigBeeなどのリモコン自身に元から内蔵されている通信手段を用いてもよい。既に通信の安全性を確定された媒体であればなんでもよい。
図32にカメラ(撮影装置1)側動作のフローチャートを示す。カメラは認証モードになると、認証用の暗号鍵を作成し、タイマを設定する(S6541)。次に、RF−IDメモリ部に自身のMACアドレスと作成した認証鍵と認証コマンドを書き込む(S6542)。ユーザによって、TVのRF−IDにカメラのRF−IDが近づけられると、カメラのRF−IDメモリ内のTVのRF−IDに転送する(S6543)。最初に設定されたタイマ時間内に応答が返ってきた場合には(S6544)、応答内に含まれる暗号化されたデータ用の暗号鍵を、認証用暗号鍵を用いて復号する(S6545)。データ用暗号鍵を用いて他の機器と通信を行い(S6546)、データ通信が可能であった場合には(S6547)、認証処理を終了する。データが正しく復号できなかった場合には、認証エラーを表示し、処理を終了(S6548)する。また、タイマ時間内にTVよりの応答がなかった場合には、認証モードを解除(S6549)し、タイムアウトエラーを表示する(S6550)。
図33にTV45側動作のフローチャートを示す。RF−ID部より受信した情報に認証コマンドが含まれるかどうかを判断(S6560)する。認証コマンドが含まれない場合には、受信した情報に応じた処理を実行する(S6561)。認証コマンドが含まれる場合には、RF−ID部より受信した情報が認証プログラムであるとし、認証プログラム内に存在する認証用暗号鍵を用いて自身の持つデータ用暗号鍵を暗号化する(S6562)。さらに、認証プログラム内に指定されたMACアドレスに対して暗号化済みのデータ用暗号鍵を送信する(S6563)。
以下に、図3にて説明した撮影装置1が、TV45にて動作可能なプログラムを生成または更新し、データ送信部173から、TV45にプログラムを送信し、TV45にてプログラムを実行する形態について図面を用いて詳細に説明する。
図34は、本形態における撮影装置1の第1処理部35と第2メモリ52のブロック図であり、第1処理部35は、第2メモリ読み出し部7002、URL生成部7004、プログラム生成部7005、プログラム部品記憶部7006およびプログラム書き込み部7007によって構成される。
第2メモリ読み出し部7002は、記録再生部51を通して、第2メモリ52に記憶されている情報を読み出す部分である。
URL生成部7004は、第2メモリ読み出し部7002を介して、第2メモリ52から、UID75、サーバ特定情報48、撮影画像状況情報55および画像表示方法指示情報77を読み出し、これらの情報から、画像がアップロードされているサーバ42のアドレスであるURLを生成する。
UID75は、撮影装置1を識別するための識別情報であり、撮影装置1台ごとにユニークな番号である。URL生成部7004で生成されるURLには、UIDが含まれており、例えば、画像をアップロードする画像サーバ42においてUIDごとにユニークなディレクトリに画像ファイルを保存するなどして、撮影装置1台ごとに異なるURLアドレスを生成するとことができる。
サーバ特定情報48は、画像がアップロードされているサーバを特定するためのサーバ名であり、DNS(Domain Name Server)を介することによって、サーバ42のIPアドレスが判定でき、サーバ42に接続することができる。よって、サーバ特定情報48も、生成するURLに含まれる。
画像表示方法指示情報77は、オプションとして、一覧表示78、スライドショー表示79などを選択できる情報である。URL生成部7004は、この画像表示方法指示情報77に基づいてURLを決定する。すなわち、一覧表示78であるか、スライドショー表示79であるかを示すURLを生成することによって、画像サーバは、URLに基づいて、一覧表示を行うか、スライドショー表示を行うかを決定することができる。
以上のように、本URL生成部7004は、第2メモリ52に記憶されているUID75、サーバ特定情報48、撮影画像状況情報55および画像表示方法指示情報77などから画像を視聴するための画像サーバへのURLを生成して、生成したURLをプログラム生成部7005に出力する。
プログラム生成部7005は、URL生成部7004にて生成したURlと、第2メモリ52に記憶されている強制表示命令7000、強制印刷命令136およびフォーマット識別情報7001によって、TV45にて動作可能なプログラムを生成する部分である。なお、プログラム生成部7005は、新たな動作プログラムの生成方法として、上述した情報に基づいて新たな動作プログラムを生成することもできるし、既に生成した動作プログラムを更新することで新たな動作プログラムを生成することもできる。
プログラム生成部7005で生成するプログラムは、TV45にて動作可能なプログラムであり、TV45の図示しないシステムコントローラで動作可能なように、前記システムコントローラ用の機械語にコンパイルしている必要がある。この場合は、本プログラム生成部7005内に、コンパイラを持っており、生成したプログラムを実行形式のプログラムに変換される。
一方、一般的なJAVA(登録商標)スクリプトのように、テキスト形式(スクリプト)のプログラムであってもTV45に搭載されたブラウザによって実行されるプログラムである場合には、上記のコンパイラは必要ない。
プログラム生成部7005に入力されるURLは、画像が記録されている画像サーバへの接続するためのURLであり、本プログラム生成部7005は、URLを用いてサーバへの接続プログラムを生成または更新する。
また、強制表示命令7000は、TV45にて例えば通常の放送波による番組を視聴中に、本撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46が通信可能になった場合に、画像サーバから画像情報を表示するためのブラウザ視聴モードに、TV45を自動的に設定するオプションであり、本オプションが選択されている場合には、TV45にて強制表示されるためのプログラムを生成する。
また、強制印刷命令136は、TV45にて例えば通常の放送波による番組を視聴中に、本撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46が通信可能になった場合に、画像サーバに保存されている画像データを、TV45に接続されている図示しないプリンタから自動的に印刷するオプションであり、本オプションが選択されている場合には、TV45にて強制印刷されるための印刷用プログラムを生成する。
また、フォーマット識別情報7001は、表示するためのフォーマット情報であり、本プログラム生成部7005は、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されていると、TV45に設定されている言語コードによって、サーバに接続するURLを選択するためのプログラムを生成する。例えば、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されている場合は、TV45の言語コードが日本語である場合には、接続するURLとして、日本語のサイトを選択し、言語コードが日本語以外の場合は、接続するURLとして、英語のサイトを選択して接続するためのプログラムを生成する。したがって、前記のURL生成部7004は、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されている場合、日本語サイト用のURLと英語サイト用のURLの2つのURLを生成して、本プログラム生成部7005に出力する。
プログラム部品記憶部7006は、プログラム生成部7005にてプログラムを生成するためのプログラムコマンド情報が記憶されている。本プログラム部品記憶部7006に記憶されているプログラム部品は、一般的なライブラリやAPIであってもいい。プログラム生成部7005は、サーバへの接続コマンドを生成する場合、プログラム部品記憶部からサーバ接続コマンドである“Connect”に、URL生成部7004で生成したURLをつなぎ合わせることによって、URLに記述されたサーバに接続するための接続プログラムを生成または更新する。
プログラム書き込み部7007は、プログラム生成部7005で生成したプログラムを、第2メモリ部に書き込むためのインタフェースである。
プログラム書き込み部7007から出力されるプログラムは、記録再生部51を介して、第2メモリ52のプログラム記憶部7002に記憶する。
本撮影装置1のRF−ID部が、TV45に接続されているRF−IDリーダライタ46に通信可能に接近した場合、再生部によって第2メモリ52のプログラム記憶部7002からプログラムを読み出し、データ転送部108、第2アンテナ21を介して、プログラムを示す送信信号をRF−IDリーダライタ46に送信する。送信された送信信号は、RF−IDリーダライタ46を介してTV45にて受信される。TV45は、受信したプログラムを実行する。
また、TV45には、製造番号7008、言語コード7009およびプログラム実行バーチャルマシン7010が存在する。
製造番号7008は、TV45の製造番号であり、これによってTV45が製造された日時、場所、製造ライン、製造者などが判定可能な情報である。
言語コード7009は、TV45に設定されているメニュー表示などに利用する言語コードであり、あらかじめ設定されている以外に、ユーザによって切り替えることも可能である。
プログラム実行バーチャルマシン7010は、受信するプログラムを実行するための仮想マシンであり、ハードウェアで構成されている場合もソフトウェアで構成されている場合も両方とも有効である。例えば、本プログラム実効バーチャルマシンは、JAVA(登録商標)バーチャルマシンで構成される。JAVA(登録商標)バーチャルマシンは定義された命令セットを実行するスタック型やインタプリタ型の仮想マシンである。このバーチャルマシンを搭載することによって、撮影装置1のプログラム生成部7005で生成されたプログラムは、その実行プラットフォームを選ぶことはなくなり、どんなプラットフォームでも実行可能なプログラムを生成することが可能となる。
図35は、撮影装置1のプログラム生成部7005の動作を示したフローチャートである。
まず、本プログラム生成部7005は、生成プログラム情報を初期化する(S7000)。
次に、第2メモリ52に記憶されているサーバ特定情報48を用いて、URL生成部7004で生成したURLを用いて、サーバ42への接続コマンドを生成する。接続コマンドを生成するためには、プログラム部品記憶部7006から、サーバ接続コマンド用の命令セット(例えば、図中の“Connect”)を選択して、URLと組み合わせることによってサーバ接続プログラム(例えば、“Connect(URL)”)を生成する。
次に、第2メモリ52の強制表示命令7000を確認して、強制表示命令がONかどうかを判定する(S7001)。ONになっている場合には、プログラム部品記憶部7006から強制表示プログラム用の命令セットを呼び出し、強制表示コマンドを生成する(S7002)。生成したコマンドは、プログラムに追加される(S7004)。
一方、強制表示命令がONではない場合には、強制表示コマンドを生成することはない。
次に、第2メモリ52の強制印刷命令がONに設定されているかを判定する(S7005)。ONになっている場合には、サーバに記憶されている画像ファイルを強制的に印刷するための印刷コマンドを生成する(S7006)。生成されたコマンドはプログラムに追加される(S7007)。
次に、第2メモリ52の画像表示方法指示情報77を確認し一覧表示78がONに設定されているかを判定する(S7008)。ONになっている場合には、サーバに記憶されている画像ファイルを一覧表示させるための一覧表示コマンドを生成する(S7009)。生成されたコマンドはプログラムに追加される(S7010)。
次に、第2メモリ52の画像表示方法指示情報77を確認しスライドショー79がONに設定されているかを判定する(S7011)。ONになっている場合には、サーバに記憶されている画像ファイルをスライドショー表示させるためのスライドショーコマンドを生成する(S7012)。生成されたコマンドはプログラムに追加される(S7013)。
以上のように、本撮影装置1のプログラム生成部7005は、第2のメモリ52に設定された内容に基づいて、プログラム部品記憶部7006に記憶されているプログラム生成用の命令コマンドセットを利用して、TV45で画像表示させるためのプログラムを生成する。
なお、本実施の形態では、強制表示命令、強制印刷命令、一覧表示、スライドショーの場合で説明したがこれに限られない。例えば生成するプログラムとして、強制表示命令コマンドを生成する場合には、プログラムを実行する装置において、表示機器、表示機能があるかどうかの判定プログラムを挿入して、表示機器、表示機能がある場合のみ実行されるようにすれば、プログラムを実行する機器側の混乱を無くすプログラムを生成することができる。強制印刷命令コマンドの場合も同様である。強制印刷命令コマンドを実行する機器に印刷機能を持っていたり、印刷機能を持つ機器が接続されていたりするかを判定するコマンドを挿入して、持っている場合にのみ、強制印刷命令コマンドを実行させるようにした方がよい。
次に、本撮影装置1におけるプログラム生成部7005で生成または更新するプログラムについて説明する。
図36は、本プログラム生成部7005で生成するプログラムの処理の流れを示したフローチャートであり、本プログラムは、本撮影装置1の第2アンテナ21を介して送信され、受信する本撮影装置1とは異なる機器が実行するプログラムである。本実施形態では、本撮影装置1とは異なる機器は、TV45であり、RF−IDリーダライタ46で受信したプログラムをTV45の図示しないコントローラ(あるいは、仮想マシン)によって実行される。
本プログラムは、まず、TV45に設定されている言語コードを、TV45の固有情報として読み出す(S7020)。言語コードは、TV45のメニュー表示などのときに使用する言語コードであり、ユーザが設定したものである。
次に、言語コードに設定された言語を判定する。本実施形態では、まず、言語コードが日本語であるかどうかを判定する(S7021)。言語コードが日本語であると判定された場合には、プログラム中のサーバへの接続コマンドのうち、日本語サイト用の接続コマンドを選択する(S7022)。一方、言語コードが日本語でないと判定された場合には、本プログラム中の英語サイトへの接続コマンドを選択する(S7023)。本実施形態では、言語コードが日本語であるかどうかのみを判定して、それぞれ日本語サイトへ接続するか、英語サイトへ接続するかを選択する形態を説明したが、2種類以上の言語コードにも対応できるよう、それぞれの言語コードに対応した接続プログラムを具備しておけば、2種類以上の言語コードへ対応することが可能となって、ユーザの利便性を向上させることができる。次に、選択した接続コマンドに従って、接続コマンド中に記されたURLに接続する(S7024)。
次に、接続コマンド中に記されたURLへ接続が成功したかどうかを判定する(S7025)。接続に失敗した場合には、TV45の表示部に、接続に失敗したことを示す警告表示を行う(7027)。一方、接続に成功した場合には、サーバに記憶されている画像ファイルをスライドショー表示させるためのコマンドを実行して、サーバに記憶されている画像ファイルをスライドショー表示させる(7026)。
なお、本実施形態では、動作プログラムが画像をスライドショー表示させるためのプログラムである場合について説明したが、本発明に係る動作プログラムはこの限りではない。一覧表示や強制表示、強制印刷を行うプログラムでもいい。強制表示させるプログラムの場合には、サーバに記憶された画像ファイルを表示する設定に自動的に変更するためのステップがコマンドとして挿入される。これによって、ユーザは、TV45の設定を手動で変更する手間を省いて、画像サーバからの画像ファイルを表示することができる。また、強制印刷の場合には、TV45の設定を自動的に印刷可能なモードに切り替えるコマンドが挿入される。また、強制印刷、強制表示の場合には、それぞれ、印刷機能を有しているかの判定コマンド、表示機能を有しているかの判定コマンドを挿入することによって、印刷機能のない機器で強制印刷コマンドが実行されることがないようにすることが必要である。さらに、本発明に係る動作プログラムは、他のプログラムを導くための接続プログラムであってもよい。例えば、ブートローダのように、他のプログラムをロードして実行させるためのローダ・プログラムであってもよい。
以上のように、本実施例で開示した発明の特徴は、RF−ID通信手段(データ転送部108、第2アンテナ21など)を有している機器である撮影装置1の第1処理部35の中に、プログラム生成部7005を有していることである。また、プログラム生成部7005で生成または更新するプログラムは、RF−IDを有する通信機器である本実施形態の撮影装置1以外の機器で実行されることも特徴である。
従来、RF−IDを搭載する機器は、RF−ID通信部から自身が持つID情報(タグ情報)を他の機器(例えば本実施形態のTV45)に転送して、他の機器では、ID情報(タグ情報)に応じて、RF−IDを持つそれぞれの機器でユニークな動作プログラムを他の機器の中に用意する必要があった。したがって、RF−IDを持った新しい商品が登場した場合には、その新しい商品に対応した動作プログラムを入手してインストールして実行するか、対応できない危機であるとして排除するしかなかった。また、動作プログラムのインストールには、専門的な知識が求められ、誰もが簡単に行えるものでもない。したがって、RF−IDを持つ機器が多数世に送り出されれば、本実施形態のTV45のような他の機器は陳腐化して、ユーザの財産価値を損ねるという問題がある。
本実施形態で説明した発明の開示によれば、RF−IDを持った機器が、プログラム生成部7005を有しており、TV45などの他の機器には、ID情報(タグ情報)ではなく、プログラムを送信する。TV45などの他の機器では、受信したプログラムを実行することによって、あらかじめRF−IDを持つ機器ごとに対応する動作プログラムを具備する必要がなくなり、例え、新しいRF−IDを持つ機器が登場した場合においても、新たなプログラムをインストールする必要がなくなり、ユーザ利便性を格段に向上させることができる。
よって、RF−IDを装備した物品の個体ごと、種類ごと、あるいは、応用システムごとに、対応するアプリケーションプログラムをTV等の端末が備えておく必要がなくなる。よって、TV等の端末は、多くの種類のアプリケーションプログラムを保持するための記憶装置を備える必要がなくなるとともに、端末が保持するプログラムの改訂等の保守も不要となる。
また、本プログラム生成部7005が生成するプログラムはJAVA(登録商標)言語のような実行プラットフォームを選ばないプログラムが有用である。よって、プログラムを実行するTV45のような機器にJAVA(登録商標)の仮想マシンを用意することだけで、どのような機器のプログラムであっても実行することができる。
また、本発明のプログラム生成部7005は、あらかじめ第2メモリ52のプログラム記憶部7003に記憶されているプログラムを更新する機能を有していてもよい。プログラムを更新する場合においても、プログラムを生成するのと同様の効果を有するためである。また、本プログラム生成部7005で、生成または更新するプログラムは、TV45にてプログラムを実行する場合に使用するデータの生成または更新であってもよい。通常、プログラムは、付随する初期設定データなどを有し、そのデータによって動作するモードを切り替えたり、フラグ設定をしたりするので、データを生成または更新する場合でも、プログラムを生成または更新するのと同様であり、本発明の範疇である。なぜなら、プログラムを実行するに当たって、そのモード切替などのパラメータをデータとして保持して読み出すのか、プログラム内部に埋め込んで実行させるかは設計事項であるためである。したがって、本発明のプログラム生成部7005で生成または更新するプログラムは、同時に前記プログラムが使用するパラメータ列などのデータも同時に生成することもできる。生成するパラメータとしては、第2メモリ52に記憶されている強制表示命令7000、強制印刷命令136、画像表示方法指示情報77あるいはフォーマット識別情報7001などに基づいて生成されるデータである。
次に、本発明におけるRF−IDを持った通信機器である撮影装置1の第2メモリ52および第1処理部の特徴的な構成と動作を説明する。本実施形態では、RF−IDを持った通信機器である本撮影装置1が、動作に関した不具合を検出したり、電力使用状況を検出したりする使用状況検出部を第1処理部35に持ち、検出した使用状況を本撮影装置とは異なる機器であるTV45に表示させるためのプログラムを生成する形態について説明する。
図37は、本発明の撮影装置1の第2のメモリ52、第1処理部35の特徴的な構成を示したブロック図である。
第2のメモリ52は、UID75、サーバ特定情報48、カメラID部135およびプログラム記憶部7002を持つ。
UID75は、本撮影装置1を識別可能な機器1台ごとに異なるシリアル番号である。
サーバ特定情報48は、本撮影装置1の通信部37から撮影した画像データをサーバ42に送信する、サーバを特定する情報であり、サーバアドレスや保存ディレクトリ、ログインアカウント、ログインパスワードなどを含んでいる。
カメラID部135は、本撮影装置1の製造番号、製造年月日、製造元、製造ライン情報、製造場所などが記録されるとともに、本撮影装置1の機種を特定するためのカメラ機種情報も含んでいる。
第1処理部35は、第2メモリ読み出し部7002、使用状況検出部7020、プログラム生成部7005、プログラム部品記憶部7006およびプログラム書き込み部7005で構成される。
第2メモリ読み出し部は、第2のメモリ52に記憶されている内容を記録再生部51と介して読み出す部分である。本実施形態では、第2のメモリ52から、UID75、サーバ特定情報48、カメラID部135を読み出して、プログラム生成部7005に出力する。なお、本第2メモリ読み出し部7002は、後に説明する使用状況検出部7020からの読み出し信号が出力された時点で、第2のメモリ52から上記内容を読み出す。
使用状況検出部7020は、本撮影装置1を構成する機能単位ごとに、その使用状況を検出する部分である。また、本撮影装置1を構成する機能単位ごとに動作不具合を確認するセンシング部を有しており、各機能単位のセンシング部でのセンシング結果を本使用状況検出部7020に入力される。例えば、撮像部30からは、撮像部の撮像動作に関する不具合が認められるかどうか(機能しているかどうか、本使用状況検出部からの呼びかけに対して正しく応答しているか)、映像処理部31からは、撮像部30が撮像した画像データのデータ処理において不具合が認められるかどうか(機能しているかどうか、本使用状況検出部からの呼びかけに対して正しく応答しているか)、電源部101からは、バッテリの電圧レベル、トータルの電力使用量が入力され、通信部37からは、サーバとの接続に成功しているか、インターネットへの接続ができているか(機能しているかどうか、本使用状況検出部からの呼びかけに対して正しく応答しているか)、表示部6aからは表示処理に不具合はないか、呼びかけに対して正しく応答しているか、機能しているか)といった機能単位ごとに不具合情報や電池寿命、電力消費量が入力される。本使用状況検出部7020では、機能単位ごとから送られてくる上記のようなステータス情報を基に、内部の不具合検出部7021で、機能単位ごとに機能動作に対する不具合があるかどうかを判定して、不具合が認められる場合には、不具合箇所を特定する情報、不具合内容を特定する情報をプログラム生成部7005に出力する。また、本使用状況検出部7020は、内部に使用電力検出部7022を持っており、電源部からのトータル使用電力情報に基づいて使用電力情報を生成してプログラム生成部7005に出力する。
プログラム生成部7005は、使用状況検出部7020からの不具合内容を特定する情報や使用電力情報をTV45で表示するためのプログラムを生成する。プログラム生成は、プログラムを構成するための命令セットがプログラム部品記憶部7006にあらかじめ記憶されているので、不具合や電力消費量を表示するための表示コマンド(図37では“display”)と、不具合箇所を特定する情報、不具合内容を特定する情報を表示するためのプログラムを生成する。なお、前述の電力消費量は、2酸化炭素の排出量に変換し、2酸化炭素排出量を表示するプログラムとして生成してもよい。
プログラム生成部7005で生成したプログラムは、プログラム書き込み部7007を介して、第2メモリ52のプログラム記憶部7002に記憶される。
第2メモリ52のプログラム記憶部7002に記憶されているプログラムは、データ転送部108を介して、第2アンテナ21から、TV45のRF−IDリーダライタ46に送信される。
TV45では、受信したプログラムを、プログラム実行バーチャルマシン7010にて実行される。
以上の構成によれば、撮影装置1の使用における使用状況検出部7020によって検知された不具合や使用状況情報をTV45にて表示するためのプログラムを第1処理部35内のプログラム生成部7005にて生成し、TV45に送信して、TV45にて撮影装置1の不具合情報や使用状況情報を表示する。これによって、TV45では、撮影装置1などの機器に依存した複数のプログラムをインストールすることなく、ユーザに不具合情報や使用状況情報を表示することが可能となる。
従来システムでは、TV45内に、撮影装置やビデオカメラ、電動歯ブラシ、体重計などの機器ごとに、簡単な液晶ディスプレイなどの表示機能を用意して、その表示機能に不具合情報や使用状況情報を表示していた。したがって、表示能力の低い表示機能しか搭載できず、不具合情報を記号列やエラーコードで表示することしかできなかった。したがって、ユーザは、不具合情報などが出力されると、取扱説明書を紐解き、どのようなエラーであるかを判断する必要があった。しかしながら、一部のユーザは、取扱説明書を紛失したりして、インターネットのサイトから情報を知りえた。
しかしながら、本発明にシステムにおいては、撮影装置1などの装置ごとに検知した不具合情報を表示するための本撮影装置とは異なる表示能力の高い機器であるTV45で実行可能な不具合報告表示プログラムを生成することができ、上記のような問題を解消することができる。
以下に、図3にて説明した撮影装置1が生成したプログラムが、TV45を含む複数の機器にて動作する形態について図面を用いて詳細に説明する。
図38は、本形態において、撮影装置1が生成したプログラムが、複数の機器で実行される様子を示したものであり、撮影装置1、TV45、表示機能付きリモコン6520、表示機能無しリモコン6530によって構成される。
TV45は、前記RF−IDリーダライタ46、無線通信装置6512から構成される。無線通信装置6512は、例えば、現在多くの家電のリモコンで利用されている一般的な赤外線通信装置や、Bluetooth(ブルートゥース)やZigBee(ジグビー)と呼ばれる、電波を用いた家電向け短距離無線通信装置などである。
表示機能付きリモコン6520は、TV45の無線通信装置6512に対して信号を送信するための送信部6521、映像を表示するための表示装置6523、ユーザからのキー入力を受け付ける入力装置6524、RF−ID47と通信するためのRF−IDリーダ6522、RF−IDリーダ6522で受信したプログラムを格納するためのメモリ6526、RF−IDリーダ6522で受信したプログラムを実行するための仮想マシンであるプログラム実行バーチャルマシン6525から構成される。例えば、近年の携帯電話は赤外線通信機能やBluetooth、RF−IDリーダ、液晶画面、キー入力部、JAVA(登録商標)バーチャルマシンなどを保持する、表示機能付きリモコンの一例である。表示装置6523と入力装置6524は、液晶画面と複数の文字入力ボタンであってもよいし、タッチパネル液晶のように一体となっていてもよい。
表示機能無しリモコン6530は、TV45の無線通信装置6512に対して信号を送信するための送信部6521、ボタンなどの、ユーザからの入力を受け付ける入力装置6533、RF−ID47と通信するためのRF−IDリーダ6532、RF−IDリーダ6532から受信したデータを一時的に格納するメモリ6535から構成される。
表示機能無しリモコン6530は、現在多くのTVに付属した一般的なリモコンに、RF−IDリーダを内蔵した機器などが考えられる。
本形態では、撮影装置1で生成したプログラムを、TV45のRF−IDリーダライタ46を介することにより直接TV45に送信し、TV45でプログラムを実行する第1のケース、撮影装置1で生成したプログラムを、表示機能無しリモコン6530を介することにより間接的にTV45に送信し、TV45でプログラムを実行する第2のケース、撮影装置1で生成したプログラムを、表示機能有りリモコン6520を介することにより間接的にTV45に送信し、TV45でプログラムを実行する第3のケース、撮影装置1で生成したプログラムを、表示機能有りリモコン6520に送信し、表示機能有りリモコン6520でプログラムを実行する第4のケースが考えられ、ユーザは4つのケースを選択的に実行する。
ここで第1のケースは、実施の形態1で既に述べているため説明を省略する。
下記に、第2〜第4のケースに関して、詳細を説明する。
第2のケースは、一般的なTVリモコンのように、液晶パネルなどのグラフィカルな表示装置を持たない表示機能無しリモコン6530を介して、撮影装置1で生成したプログラムをTV45で実行するケースである。
ユーザが、RF−ID47をRF−IDリーダ6532に近接させた場合、RF−IDリーダ6532は、撮影装置1で生成されたプログラムを読み出し、メモリ6535に保持する。
次に、ユーザが入力装置6533を押下すると、送信部6531からTV45の無線通信装置6512に対して、メモリ6535に保持されていたプログラムが送信され、TV45上のプログラム実行バーチャルマシン7010でプログラムが実行される。無線通信装置6512が指向性を持つ赤外線通信装置の場合、ユーザは表示機能無しリモコン6530を対応するTV45に向けた状態で入力装置6533を押下する。無線通信装置6512が指向性を持たないBluetoothやZigBeeなどの短距離無線通信装置であった場合は、事前にペアリングされているTV45に対して、プログラムが送信される。短距離無線通信装置の場合は、ユーザが入力装置6533を押下しなくとも、RF−IDリーダ6532がRF−ID47からプログラムを読み込んだ時点で、自動的にペアリングされたTV45に読み込んだプログラムを送信してもよい。
また、表示機能無しリモコン6530は、RF−IDリーダ6532で読み込んだデータをメモリ6535に保持していることをユーザに通知するための表示装置、例えばLED6534を構成要素に持ち、RF−IDリーダ6532からメモリ6535にプログラムを読み込んだ際にLED6534を点灯させ、ユーザが入力装置6533を押下し、TV45にプログラムを送信完了した際にLED6534を消灯させてもよい。これにより、表示機能無しリモコンがプログラムを保持していることをユーザに明確に通知することが可能となる。LED6534は、単体のLEDであってもよいし、入力装置6533と一体となっていてもよい。
第2のケースでは、ユーザとTV45の位置が離れていた場合であっても、手元の表示機能無しリモコン6530を利用することにより、TV45上でプログラムを実行するが可能となる。
第3、第4のケースは、例えばスマートフォンと呼ばれる高機能な携帯電話のように、表示機能付きリモコン6520がプログラム実行バーチャルマシンを持っている場合に、撮像装置1で生成したプログラムを表示機能付きリモコン上で実行することも、TV45にプログラムを送信することによりTV45上でプログラムを実行することも、ユーザが選択できるようにする場合の例である。
ユーザが、RF−ID47をRF−IDリーダ6522に近接させた場合、RF−IDリーダ6522は、撮影装置1で生成されたプログラムを読み出し、メモリ6535に保持する。
次に、表示機能付きリモコン6520の動作を、図39のフローチャートを用いて、詳細に説明する。
まず、RF−IDリーダ6522で読み出したプログラムが、プログラム実行バーチャルマシン6525に転送され、実行される(S6601)。
次に、リモコン6520が表示デバイスを持つか否かを判定する(S6602)。リモコン6520が表示機能を持っていない場合(S6602でN)は、送信部6521を用いてプログラムをTV45に送信し、処理を終える。この場合、プログラムはTV45上で実行される。
リモコンが表示機能を持っている場合(S6602でY)、リモコンと送信先のTV45とがペアリングされているか否かを判定する(S6603)。リモコン6520とTV45がペアリングされていない場合(S6603でN)は、リモコン6520の表示装置6523を用いてプログラムの続きが実行される。リモコン6520とTV45がペアリングされている場合(S6603でY)は、ユーザに選択を促すため、表示装置6523に「表示「TVに表示しますか?リモコンで表示しますか?」というダイアログ・メッセージを表示する(S6604)。
次に、入力装置6524からのユーザ入力を受け付け(S6605)、ユーザがTVに表示を選択したか否かを判定する(S6606)。ユーザがTV45で表示することを選択した場合(S6606でY)、送信部6521を用いてプログラムをTV45に送信し、処理を終える。この場合、プログラムはTV45上で実行される。ユーザがリモコンで表示することを選択した場合(S6606でN)、リモコン6520の表示装置6523を用いて、プログラムの続きが実行される(S6607)。
また、上記で示したプログラムの続きとは、前述した、撮影装置1のバッテリ状態、不具合状態、取扱説明書の表示などであり、本実施例に制限されるものではないことは当然である。
以上の構成によれば、撮影装置1で生成したプログラムが、表示機能付きリモコン機器に送信され、表示機能付きリモコンの能力を判定し、リモコン上でプログラムの続きをどの機器で実行するか否かが決定される。これによって、リモコン自身に複数の機器に対応したプログラムをインストールしておく必要がなく、ユーザは好みの形態でプログラムを実行することが可能となる。
また、本実施の形態においては、リモコンの表示機能の有無、ペアリング状態を判定条件として説明したが、これらに限るものではない。通信能力、音声・映像再生能力、入力デバイス、出力デバイスなど、機器の持ち得る能力に従ってどのような判定をプログラムが行ったとしてもよい。
以上、説明してきたように、RF−IDの記憶領域がデータだけでなく、機器の動作を記述したプログラムを保持することにより、従来では機器の動作を変更するために必要であったプログラムの変更や更新が大幅に容易なものとなり、多数の新機能の追加や連携機器の増加にも対応が可能である。また、RF−IDを用いた近接通信は、近づけるというユーザにわかりやすい操作であるので、従来はボタンやメニューを操作して面倒であった機器操作も簡単にすることができ、複雑な機器の動作を使いやすくすることができる。
(実施の形態2)
次に、本発明に係る通信システムの具体的な動作、つまり、カメラで取得した画像をアップロードしておき、その後に、簡単な操作で、その画像をTVにダウンロードして表示する通信システムについて、実施の形態2として、説明する。通信システムの全体構成は、実施の形態1と同様である。
図40に、カメラ(撮影装置1)が写真をアップロードする一連手続きのフローチャートを示す。カメラはまず画像を撮影すると(ステップS5101)、撮影画像を第3メモリに保存し(ステップS5102)、第2メモリ情報の更新処理を行う(ステップS5103)。この更新情報については後述する。次に通信部によってインターネットに接続可能かどうかを判断し(ステップS5104)、接続可能であれば、URLの作成処理を行う(ステップS5105)。この処理の詳細は後述する。URLを作成後、カメラは撮影画像のアップロードを行い(ステップS5106)、アップロードが完了すると、通信部の切断処理を行い(ステップS5107)、終了する。アップロード処理の詳細は後述する。
ステップS5103の第2メモリ情報の更新処理はサーバ42へアップロードした写真と、アップロードしていない写真の識別情報をサーバ42とカメラの間で共有するために利用される。アップロード処理S5105の動作は例えばcase1〜case4の動作が挙げられる。
第2メモリの最後に撮影した時間68を記録しておき、撮影画像を第3メモリに保存後、第2メモリの最後に撮影した時間68を更新する方法がある(ステップS5111)。
アップロードした時刻とカメラの最終撮影時刻を比較することで、サーバ42とカメラの間でアップロードした写真の識別情報を共有することが可能となる。
また、撮影した画像に対応してサーバ42への撮影した画像に対応して、サーバ42への未アップロード画像データの存在識別子64を生成し第2メモリに記憶するという方法でも同等の効果を得ることができる(ステップS5121)。
また、未アップロード画像情報をハッシュした情報67を第2メモリに記憶してもよい(ステップS5131)。これによって、第2メモリに保存する情報量が少なくなり、メモリの節約に繋がる。
また、撮影画像に時系列的に画像番号を生成して、第2メモリの画像の最終番号69を更新してもよい(ステップS5141)。これにより、カメラの時刻が正確でない場合でも、サーバ42とカメラの間のアップロード写真に関する同期を取ることが可能となる。
図41に、ステップS5105のURL作成処理の詳細を示す。カメラは、第2メモリからサーバアドレス情報81、ログインID83、パスワード84等含むサーバ特定情報48を読み出し(ステップS5201)、URLを生成する(ステップS5202)。
図42にステップS5106のアップロード処理の詳細を示す。
それぞれのcaseは図40で示された、第2メモリ情報の更新処理に対応している。
case1では、カメラはサーバ42から、サーバ42への最終アップロード時間を受信すると(ステップS5211)、最終アップロード時刻と、最後に撮影した時刻を比較する(ステップS52112)。最後に撮影した時刻が最終アップロード時刻より大きい、すなわち、最終アップロードした後に撮影した画像がある場合は、サーバ42からの最終アップロード時刻以降に撮影された画像をサーバ42にアップロードする(ステップS5213)。
case2では、カメラは、第2メモリから、未アップロード画像データ存在識別子64を確認し(ステップS5231)、未アップロードの存在を確認する(ステップS5232)。未アップロード画像が存在している場合、未アップロード画像をサーバ42へアップロードし(ステップS5233)、第2メモリのアップロードした画像の情報67を更新する(ステップS5234)。
case3では、カメラは、まず第2メモリから未アップロード画像情報をハッシュした情報67を確認し(ステップS5301)、第2メモリから未アップロード画像情報をハッシュした情報67はNULLをハッシュした情報と同じかどうかを判断する(ステップS5302)、同じでない場合、サーバ42にアップロードされていない画像があると判断し、第3メモリに記録され、サーバ42にアップロードされていない画像をアップロードする(ステップS5303)。
case4では、カメラは、サーバ42から最終アップロード画像の番号を受信する(ステップS5311)。次に、第2メモリの画像の最終番号69と同じかどうかを判断し(ステップS5312)、同じでない場合、サーバ42からの固有IDより新しい固有IDを持つ画像データをアップロードする(ステップS5313)。
図43は、撮影装置1とTV45とのRF−ID近接通信を行う処理を示したフローチャートである。
まず、撮影装置1に内蔵されている第2アンテナ21は、TV45のRF−IDリーダライタ46からのポーリングによる微弱無線電力を受信して、第2電源部91で動作するRF−ID47を起動する(S5401)。
ステップS5401で微弱電力を受信して起動した撮影装置1のRF−ID47は、TV45のRF−IDリーダライタ46のポーリングに応答を行う(ステップS5402)。
ステップS5402でポーリング応答を行った後、撮影装置1のRF−ID47とTV45のRF−IDリーダライタ部が互いに正規の装置であるかどうかの認証と、撮影装置1とTV45間でセキュアな情報通信を行うための暗号鍵の鍵シェアリング動作を含んだ相互認証を行う(ステップS5403)。この相互認証は、楕円暗号などの公開鍵暗号アルゴリズムを用いた相互認証処理であり、通常、HDMIやIEEE1394による通信の相互認証処理と同様の方法である。
ステップS5403で、撮影装置1のRF−ID47とTV45のRF−IDリーダライタ46で、相互認証処理を行い、互いに共通の暗号鍵を生成したのち、RF−ID47から読み出し可能な第2メモリ52に記憶されているサーバ特定情報58から、サーバURL生成情報80を読み出し、第2アンテナ21から、TV45のRF−IDリーダライタ46に送信する。サーバURL生成情報80の中には、サーバ42のアドレス情報を示すサーバアドレス情報81、サーバ42へのログインID83であるユーザ識別情報82およびサーバ42へのログインパスワードであるパスワード84が含まれる。パスワード84は、悪意ある第3者からの不正行為を防ぐために重要な情報であるので、あらかじめ暗号化された、暗号化されたパスワード85として記憶され、TV45に送信される場合もある。
ステップS5404で、サーバURL生成情報80をTV45のRF−IDリーダライタ46に送信された後、第2メモリ52に記憶されている撮影画像状況情報55を、サーバ特定情報58と同様に、第2アンテナ21からTV45のRF−IDリーダライタ46に送信する(ステップS5405)。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42の撮影画像の同期を確認するために必要な情報である。
Case1では、撮影画像状況情報55として最終撮影時間68を適用する。よって、TV45において、サーバ42への最終アップロード時間と最終撮影時間68を比較して、サーバ42への最終アップロード時間よりも最終撮影時間68が時系的に遅ければ、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case2では、撮影画像状況情報55として撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64を適用する。よって、TV45において、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case3では、撮影画像状況情報55として未アップロード画像情報をハッシュした情報67を適用する。よって、TV45において、未アップロード画像情報をハッシュした情報67を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case4では、撮影画像状況情報55として撮影画像に対して時系的に付与した画像番号の画像の最終番号69を適用する。よって、TV45において、サーバ42から受信するサーバ42へアップロードされた最終画像番号と、撮影装置1から送信される撮影画像に対して時系的に付与した画像番号の画像の最終番号69を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
ステップS5405で、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に撮影画像状況情報55が送信された後、第2メモリ52から、画像表示方法指示情報77を、撮影画像状況情報55と同様に、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に送信する(ステップS5406)。画像表示方法指示情報77は、TV45の表示部において、サーバ42からダウンロードした画像を、どのように表示するかを示した識別情報であり、画像の一覧形式表示することを示した一覧表示(指示子)78やスライドショー形式で表示するためのスライドショー(指示子)79で構成される。
以上、撮影装置1のステップS5401〜ステップS5406のステップによって、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に、撮影装置1の第2メモリ52に記憶されているサーバURL生成情報80、撮影画像状況情報55、および、画像表示方法指示情報77を送信する。また、これらは、すべて、相互認証時に撮影装置1とTV45でシェアリングした暗号鍵情報によって暗号化して送信することが望ましい。暗号化を行うことによって、撮影装置1とTV45間でセキュアな情報通信が可能となり、悪意ある第3者からの介入を防ぐことができる。
また、サーバURL生成情報80をTV45に送信することによって、撮影装置1の第1アンテナ20送信するサーバ42と、TV45から画像をダウンロードするサーバが共通のサーバおよびディレクトリとなるために、撮影装置1で撮影してアップロードした画像を、TV45で表示することが可能となる。
また、撮影画像状況情報55をTV45に送信することによって、撮影装置1の第3メモリ33に記録されている撮影画像と、第1アンテナ20によってサーバ42にアップロードされた画像の同期が判定可能となって、同期が取れていないことをTV45で判定可能となり、同期が取れていないことを示すTV45で注意情報を表示することによって、ユーザの無用な混乱を防止することができる。
また、画像表示方法指示情報77をTV45に送信することによって、TV45でユーザが画像の閲覧方法を指定することなく、TV45に撮影装置1を近づけることによって、設定された閲覧方法で画像を閲覧することが可能となり、TV45のリモコン等による複雑な操作を行うことなく、設定された閲覧方法で自動的に画像を表示することが可能となる。
図44は、本発明に係るTVシステムの特徴的な機能を示したブロック図である。
本TV45は、RF−IDリーダライタ46、復号部5504、URL生成部5505、通信部5506、送信部5507、通信インタフェース5508、受信部5509、データ処理部5510、メモリ部5511、表示部5512およびCPU5513から構成される。
RF−IDリーダライタ46は、撮影装置1のRF−ID47と第2アンテナ21を介して通信する部分であり、無線アンテナ5501、受信部5503、および通信可能装置検索部(ポーリング部)5502から構成される。
無線アンテナ5501は、撮影装置1の第2アンテナ21と近接無線通信を行う部分であり、汎用のRF−IDリーダライタの無線アンテナと同等の構成である。
通信可能装置検索部(ポーリング部)5502は、複数のカメラのRF−ID部に対して、送信(あるいは処理)要求がないか、一つ一つの相手に確認するポーリングを行う部分である。ポーリングに対して、撮影装置1のRF−ID47からポーリング応答があった場合には、相互認証動作を行い、TV45と撮影装置1で、共通の暗号鍵をシェアリングする。
受信部5503は、ポーリングに対してポーリング応答があり、相互認証が終了したとき、撮影装置1の第2アンテナ21から、撮影装置1の第2メモリ52に記憶されているサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77をそれぞれ受信する。
復号部5504は、受信部5503で受信したサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77を復号する部分である。復号は、通信可能装置検索部(ポーリング部)5502で相互認証後に撮影装置1とTV45で共通化した暗号鍵を用いて、暗号化されているサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77を復号する。
URL生成部5505は、サーバURL生成情報80から、サーバ42にアクセスするためのURL(Uniform Resource Locator)を生成して通信部に送信する。本URLには、サーバ特定情報の他に、サーバにログインするためのログインID83、パスワード85が含まれる。
通信部5506は、通信インタフェース5508によって、汎用のネットワークを介して、サーバ42と通信を行う部分である。
送信部5507は、通信インタフェース5508を介して、URL生成部5505で生成したURLを送信して、サーバ42と接続する。
通信インタフェース5508は、汎用のネットワークを介して、サーバ42と接続する通信インタフェースであり、有線/無線LAN(Local Area Network)インタフェースなどで構成される。
受信部5509は、通信インタフェース5508によって接続したサーバ42から画像情報や画像表示スタイルシート(CSS)を受信し、ダウンロードする部分である。
データ処理部5510は、受信部5509でダウンロードした画像情報のデータ処理を行う部分であり、ダウンロードする画像が圧縮されている場合にはその伸張を、暗号化されている場合にはその復号を行い、画像表示スタイルシートに基づいた画像表示スタイルで、ダウンロードした画像情報を配列したりする。また、本データ処理部5510は、復号部で必要に応じて復号して得る撮影画像状況情報55によって、撮影装置1に保存されている撮影画像情報と、サーバ42にアップロードされた画像情報とに同期が確認されない場合には、表示部5512に同期が取れていないことを示す注意情報を表示して、ユーザの無用な混乱を防ぐ処理を行う。また、本データ処理部5510は、復号部5504からの画像表示方法指示情報77に従って、ダウンロードした画像情報を表示する形態を設定する。例えば、画像表示方法指示情報77の一覧表示(フラグ)78がONのときは、ダウンロードした画像の一覧表示を生成して、メモリ部5511に出力する。また、画像表示方法指示情報77のスライドショーフラグ79がONのときは、ダウンロードした画像のスライドショーを生成して、メモリ部5511に出力する。
メモリ部5511は、データ処理部5510でデータ処理された画像情報を一時記憶するメモリで構成される。
表示部5512は、メモリ部5511に蓄積した、サーバ42からダウンロードして、データ処理部5510でデータ処理した画像データを表示する部分である。
以上のように、本発明に係るTV45は、撮影装置1のRF−ID47から受信するサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77に基づいて、サーバ42と接続し、サーバ42にアップロードされた画像情報をダウンロードして、表示部5512に表示する処理を行うことができる。これによって、撮影装置1のSDカードやフラッシュメモリによって構成される第3メモリ33を取り出し、TV45のカードリーダに装着して撮影済み画像の閲覧を行うという煩雑なユーザ処理を行うことなく、撮影装置1のRF−ID47をTV45のRF−IDリーダライタ46にかざし、近接通信させるという簡単なユーザ操作によって、撮影済みの画像情報を表示し、閲覧することが可能となり、デジタル機器の操作に不慣れなユーザであっても、簡単に画像情報を閲覧可能な撮影画像閲覧システムを実現することが可能となる。
図45は、撮影装置1とTV45のRF−ID無線近接通信動作を示したフローチャートである。
まず、TV45のRF−IDリーダライタ46の通信可能装置検索部5502によって、通信可能な撮影装置1のRF−ID47を検索するための呼びかけ信号を送信する(ステップS5601)。
撮影装置1のRF−ID47は、TV45のRF−IDリーダライタ46の通信可能装置検索部5502のポーリング信号を受信すると、第2電源部91を起動し、RF−IDリーダライタ46を起動する(ステップS5602)。このとき、少なくとも第2電源部91で動作可能なRF−ID47のみを起動すればよく、撮影装置1の機能をすべて起動する必要はない。
ステップS5602で、撮影装置1のRF−ID47の起動が完了すると、TV45のRF−IDリーダライタ46のポーリングに対するポーリング応答を第2アンテナ21から送信する(ステップS5603)。
ステップS5603で、撮影装置1からポーリング応答がなされた後、TV45のRF−IDリーダライタ46の無線アンテナ5501で、ポーリング応答を受信する(ステップS5604)。
ステップS5604で、ポーリング応答を受信した後、ポーリング応答を送信した撮影装置1が互いに通信可能な機器であるかどうかの判定を行う(ステップS5605)。判定の結果、互いに通信可能な機器ではないと判断した場合には、処理を終了する。一方、互いの機器により通信可能な機器であると判断された場合には、次の処理に進む。
ステップS5605によって、互いに通信可能な機器であると判断された場合、互いの機器が正規の機器であるかどうかの判定を行うための相互認証処理を行う(ステップS5606)。この相互認証処理は、HDMIやIEEE1394で行う一般的な相互認証処理と同様であり、TV45と撮影装置1でチャレンジデータの発行、レスポンスデータの確認を複数回行い、採取的には、双方で同じ暗号鍵を生成する処理であり、どちらかが不正な機器であれば、共通の暗号鍵が生成されず、以後の相互の通信が無効となる。
一方、撮影装置1のRF−ID47でもTV45と同様に相互認証処理を行う。互いの複数回のチャレンジデータの生成および送信、レスポンスデータの受信および確認を行い、TV45と同じ暗号鍵データを生成する(ステップS5607)。
ステップS5607で、相互認証処理が完了すれば、撮影装置1の第2メモリ52から、サーバ特定情報58であるサーバURL生成情報80を読み出し、TV45のRF−IDリーダライタ46に総合認証で共通化した暗号鍵で暗号化して送信する(ステップS5608)。
ステップS5608で、送信されたサーバURL生成情報80は、TV45のRF−IDリーダライタ46に受信部5503受信され、復号部5504で、共通化した暗号鍵で復号され、サーバ42にアクセスするためのURLをURL生成部5505によって生成すし、受信完了を撮影装置1に送信する(ステップS5609)。
ステップS5609で受信完了が送信された後、撮影装置1の第2アンテナ21で受信完了を受信し、第2メモリ52から、撮影画像状況情報55を読み出し、TV45に送信する(ステップS5610)。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42の撮影画像の同期を確認するために必要な情報である。
ステップS5610で撮影装置1から撮影画像状況情報55が送信された後、TV45のRF−IDリーダライタ46で撮影画像状況情報55を受信して、受信完了を撮影装置1に送信する(ステップS5611)。また、TV45のCPU5513では、受信する撮影画像状況情報55に応じて以下の処理を行う。
Case1では、撮影画像状況情報55として最終撮影時間68を適用する。よって、TV45において、サーバ42への最終アップロード時間と最終撮影時間68を比較して、サーバ42への最終アップロード時間よりも最終撮影時間68が時系的に遅ければ、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case2では、撮影画像状況情報55として撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64を適用する。よって、TV45において、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case3では、撮影画像状況情報55として未アップロード画像情報をハッシュした情報67を適用する。よって、TV45において、未アップロード画像情報をハッシュした情報67を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case4では、撮影画像状況情報55として撮影画像に対して時系的に付与した画像番号の画像の最終番号69を適用する。よって、TV45において、サーバ42から受信するサーバ42へアップロードされた最終画像番号と、撮影装置1から送信される撮影画像に対して時系的に付与した画像番号の画像の最終番号69を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
S5611で、撮影画像状況情報55の受信を完了し、受信完了を撮影装置1に送信した後、撮影装置1の第2メモリ52から画像表示方法指示情報77を読み出して、TV45に送信する(ステップS5612)。画像表示方法指示情報77には、一覧表示(フラグ)78やスライドショー(フラグ)79が含まれる。
ステップS5612で、画像表示方法指示情報77が送信された後、TV45のRF−IDリーダライタ46によって、画像表示方法指示情報77が受信され、受信完了を撮影装置1に送信する(ステップS5613)。TV45のデータ処理部5510は、受信した画像表示方法指示情報77に基づいて、サーバ42からダウンロードした画像の表示形態を作成する。例えば、画像表示方法指示情報77の一覧表示フラグがONのときは、ダウンロードした画像の一覧表示を作成してメモリ部5511に記憶し、表示部5512に一覧を表示する。一方、画像表示方法指示情報77のスライドショーフラグがONのときは、ダウンロードした画像のスライドショー表示を作成してメモリ部5511に記憶し、表示部5512にスライドショーを表示する。
ステップS5613で、画像表示方法指示情報77を受信した後、撮影装置1のRF−IDリーダライタ46との通信を遮断する(ステップS5614)。
次に、TVシステムを起動する(ステップS5615)。TVシステムの起動とは、表示部5512に、ダウンロードする画像データを表示するために、主電源をONにすることである。ステップS5615でTVシステムを起動する以前は、少なくとも、TV45のRF−IDリーダライタ46が起動している状態であり、表示部5512の電源はOFFでも構わない。
次に、通信部5506を起動して、URL生成部5505で生成したURLに基づいてサーバ42に接続を行う(ステップS5616)。
ステップS5616で、サーバ42に接続した後、アップロード済みの画像データをTV45にダウンロードする(ステップS5617)。
ステップS5617で、ダウンロードした画像を、データ処理部5510で、カメラからの画像表示方法指示情報77に従って表示用の画像データを生成して、メモリ部5511に蓄積して、表示部5512に表示する(ステップS5618)。TV45のデータ処理部5510は、受信した画像表示方法指示情報77に基づいて、サーバ42からダウンロードした画像の表示形態を作成する。例えば、画像表示方法指示情報77の一覧表示フラグ78がONのときは、ダウンロードした画像の一覧表示を作成してメモリ部5511に記憶し、表示部5512に一覧を表示する。一方、画像表示方法指示情報77のスライドショーフラグ79がONのときは、ダウンロードした画像のスライドショー表示を作成してメモリ部5511に記憶し、表示部5512にスライドショーを表示する。
ステップS5617で、サーバ42からダウンロードした画像の表示処理が完了すると、撮影装置1の第3メモリ33に記録されている撮影画像と、サーバ42からダウンロードした画像データとの間に同期が成り立っているかどうかの同期確認処理を行う(ステップS5619)。本処理は、撮影装置1からステップS5611で受信した撮影画像状況情報55に基づいて行われる。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42の撮影画像の同期を確認するために必要な情報である。
図46は、図45のサーバ同期確認処理(ステップS5619)の撮影画像状況情報55がCase1〜Case4のそれぞれにおける詳細な処理の流れを示したフローチャートである。
Case1は、撮影画像状況情報55が最終撮影時間68であるときのフローチャートである。
まず、TV45の通信部5506によって、サーバ42から、最終のアップデートに日時を取得する(アップデートされた画像の最終撮影日時でも、同様の効果)(ステップS5701)。
次に、サーバ42から取得した最終のアップデート日時と、撮影装置1からRF−IDリーダライタ46からの撮影画像状況情報55で示される最後に撮影した日時68を比較する(ステップS5702)。最終アップロード日時が、最後に撮影した日時68より以前の場合は、最終アップロードした時点の以後に画像を撮影し、撮影した画像がアップロードできていないと判定されるため、撮影装置1とサーバ42の画像の同期が取れていないと判断しステップS5703のエラー表示処理に移る。一方、最終アップロード日時が、最後に撮影した日時68が同等の場合には、撮影装置1とサーバ42の画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5702で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。この場合、最終アップロード日時と最後に撮影した日時68の比較によって、どの時点からの撮影画像がアップロードできていないのかを示す時間情報を同時にメッセージとして出力すれば、ユーザにとってわかりやすいメッセージとなる。
Case2は、撮影画像状況情報55が撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64であるときのフローチャートである。
まず、撮影装置1からRF−IDリーダライタ46からの撮影画像状況情報55で示される未アップロード画像の存在識別情報の存在識別子から撮影装置1の第3メモリ33に記録されている撮影画像のうち、サーバ42にアップロードできていない画像があるかどうかを判定する(ステップS5711)。ステップS5711でアップロードできていない画像があると判定された場合には、ステップS5712のエラー表示処理に移る。一方、アップロードできていない画像ないと判定された場合には、撮影装置1とサーバ42の画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5712で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
Case3は、撮影画像状況情報55が未アップロード画像情報をハッシュした情報67であるときのフローチャートである。
まず、撮影装置1からRF−IDリーダライタ46からの撮影画像状況情報55で示される未アップロード画像情報をハッシュした情報67から撮影装置1の第3メモリ33に記録されている撮影画像のうち、サーバ42にアップロードできていない画像があるかどうかを判定する(ステップS5721)。ステップS5721は、NULLのハッシュ値をTV45で生成し、その比較によって、未アップロード画像があるかないかを判定する。ステップS5721でアップロードできていない画像があると判定された場合には、ステップS5722のエラー表示処理に移る。一方、アップロードできていない画像ないと判定された場合には、撮影装置1とサーバ42の画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5722で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
Case4は、撮影画像状況情報55が撮影した画像に付与する番号のうち、最終の撮影画像の番号であるときのフローチャートである。
まず、TV45の通信部5506によって、サーバ42から、最終のアップデート画像の画像番号を取得する(ステップS5731)。
次に、サーバ42から取得した最終アップロード画像の番号69と、撮影装置1からRF−IDリーダライタ46からの撮影画像状況情報55で示される画像の最終番号69を比較する(ステップS5732)。最終アップロード画像の番号が、最後に撮影した画像の番号69より小さい場合は、最終アップロードした時点の以後に画像を撮影し、撮影した画像がアップロードできていないと判定されるため、撮影装置1とサーバ42の画像の同期が取れていないと判断しステップS5733のエラー表示処理に移る。一方、最終アップロード画像の番号が、最後に撮影した画像の番号69が同等の場合には、撮影装置1とサーバ42の画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5732で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
以上のCase1〜Case4のいずれの方法でも、撮影装置1で撮影した全画像がサーバ42にアップロードできていない、すなわち同期できていない場合には、表示部5512に撮影した全画像を表示することができないが、同期が取れていないことが判定可能となるため、ユーザにわかりやすいメッセージを表示することが可能となり、ユーザの無用な混乱を避けることができる。
図47は、(1)撮影装置1からサーバ42に撮影画像をアップロードする場合、(2)撮影装置1とTV45のRF−ID通信の場合のそれぞれのデータフォーマットである。
まず、(1)撮影装置1からサーバ42に撮影画像をアップロードする場合のデータフォーマット5940を説明する。本フォーマットには、カメラID5901、サーバアドレス5902、サーバログインID5903、サーバログインパスワード5904、画像ディレクトリ5905およびアップロード画像数5906が含まれる。
カメラID5901は、カメラごとに固有に付与されているカメラ固有IDであり、撮影装置1の第2メモリ52のカメラID部76に記録されているID情報である。本ID情報は、サーバ42へのログインIDとして用いることで、ユーザによってログインIDの入力を行うことなく、撮影装置1ごとに一意のサーバアドレスを付与することが可能となる。また、サーバ42で、撮影したカメラごとに、撮影画像を管理することも可能となる。
サーバアドレス5902は、撮影装置1の第2メモリ52のサーバ特定情報58のサーバアドレス情報81の内容である。これによって、アップロードしたサーバをTV45側で特定することができる。
サーバログインID5903は、撮影装置1の第2メモリ52のサーバ特定情報58のユーザ識別情報82であるログインID83の内容である。これによって、撮影装置1からアップロードしたサーバへの同一アカウントでのログインがTV45でも可能となる。
サーバログインパスワード5904は、撮影装置1の第2メモリ52のサーバ特定情報58のパスワード84の内容である。これによって、撮影装置1からアップロードしたサーバへの同一アカウントでのログインがTV45でも可能となる。
アップロード画像数5906は、サーバへアップロードする画像数である。これには、撮影装置1の第2メモリ52の未アップロード画像の枚数65に記憶されている画像数と同等の枚数であり、撮影後、サーバにアップロードされていない画像数が記載される。
本フォーマットの送信以後、撮影装置1の第3メモリ33に記録され、かつ、サーバにアップロードされていない画像がアップロードされる。
次に、(2)撮影装置1とTV45のRF−ID通信の場合のそれぞれのデータフォーマット5950について説明する。本フォーマットは、カメラID5911、サーバアドレス5902、サーバログインID5913、サーバログインパスワード5914、最終撮影日時5915、未アップロードであることが判定可能な識別情報5916、未アップロード画像情報をハッシュした情報5917、最終撮影画像の画像番号5918および画像表示方法指示情報5919から構成される。
カメラID5911は、カメラごとに固有に付与されているカメラ固有IDであり、撮影装置1の第2メモリ52のカメラID部76に記録されているID情報である。本ID情報は、TV45からサーバ42へのログインIDとして用いることで、ユーザによってログインIDの入力を行うことなく、撮影装置1ごとに一意のサーバアドレスを付与することが可能となる。また、撮影装置1のRF−ID47とTV45のRF−IDリーダライタ46との相互認証時に用いることもある。
サーバアドレス5912は、撮影装置1の第2メモリ52のサーバ特定情報58のサーバアドレス情報81の内容である。これによって、アップロードしたサーバをTV45側で特定することができる。
サーバログインID5913は、撮影装置1の第2メモリ52のサーバ特定情報58のユーザ識別情報82であるログインID83の内容である。これによって、撮影装置1からアップロードしたサーバへの同一アカウントでのログインがTV45でも可能となる。
サーバログインパスワード5914は、撮影装置1の第2メモリ52のサーバ特定情報58のパスワード84の内容である。これによって、撮影装置1からアップロードしたサーバへの同一アカウントでのログインがTV45でも可能となる。
最終撮影日時5915は、撮影装置1の第2メモリ52の撮影画像状況情報55の最後に撮影した時間68に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。
未アップロードであることが判定可能な識別情報5916は、撮影装置1の第2メモリ52の撮影画像状況情報55の未アップロード画像データ存在識別情報に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。また、本未アップロードであることが判定可能な識別情報5916は、各撮影画像を識別可能な画像ID5928に対して、サーバへのアップロードが完了しているかどうかを示すアップロードフラグ5926が付与されている形態である。これによって、撮影画像1枚1枚ごとにサーバにアップロードしているかどうかの判定が可能となる。
未アップロード画像情報をハッシュした情報5917は、撮影装置1の第2メモリ52の撮影画像状況情報55の未アップロード画像情報をハッシュした情報67に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。
最終撮影画像の画像番号5918は、撮影装置1の第2メモリ52の撮影画像状況情報55の撮影画像の最終番号69に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。
画像表示方法指示情報5919は、撮影装置1の第2メモリ52の撮影画像状況情報55の画像表示方法指示情報77に対応する情報であり、TV45側で、サーバ42からダウンロードした画像の閲覧方法を指定する識別情報で構成される。
画像表示方法指示情報5919は、画像ID5927ごとに、一覧表示フラグ5920、スライドショーフラグ5921、印刷フラグ5922、動画再生フラグ5923、ダウンロードフラグ5924およびセキュリティパスワード5925から構成される。
画像ID5927は、撮影画像に一意の情報であり、撮影装置1によって撮影時に時系列的に付与される。
一覧表示フラグ5920は、撮影装置1の第2メモリ52の一覧表示(フラグ)78に対応し、TV45においてサーバ42からダウンロードした画像情報の閲覧を一覧形式にするかどうかのフラグである。TV45のデータ処理部5510は、このフラグが“yes”の場合には、ダウンロードした画像の一覧表示を作成して、メモリ部5511に記憶し、表示部5512に一覧形式で表示する。
スライドショーフラグは、撮影装置1の第2メモリ52のスライドショー(フラグ)79に対応し、TV45においてサーバ42からダウンロードした画像情報の閲覧をスライドショーにするかどうかのフラグである。TV45のデータ処理部5510は、このフラグが“automatic”の場合には、ダウンロードした画像のスライドショーを作成して、メモリ部5511に記憶し、表示部5512にスライドショーで表示する。一方、本スライドショーフラグが、“manual”である場合には、ユーザ指示によってスライドショーを実施することを許可する。また、“disable”の場合には、スライドショー表示を許可しない。
印刷フラグ5922は、TV45にダウンロードして表示部5512にて表示する画像が、TV45に接続された図示しないプリンタによって印刷可能かを示すフラグである。これは、撮影装置1の第2メモリ52の画像表示方法指示情報77内に図示していないが、印刷フラグを設けることによって、印刷可能かどうかの設定を行うことができ、ユーザの画像使用に関する利便性を向上させることが可能となる。
動画再生フラグ5923は、撮影装置1で動画情報を撮影し、サーバ42にアップロードした場合、TV45にて動画をダウンロードし、閲覧することを許可するかどうかのフラグである。撮影装置1にて動画撮影機能が存在する場合には、第2メモリ52の画像表示方法指示情報77に本動画再生フラグ5923を付与することによって、動画像の再生を許可するかどうかの設定を追加することが可能となり、ユーザの煩雑な操作をすることなく、動画像の再生管理を行うことが可能となる。
ダウンロードフラグ5924は、サーバ42にアップロードされた画像や動画をTV45のメモリにダウンロード(コピー)することが可能かどうかを示す識別子である。このフラグを用いれば、撮影画像を許可されない第3者によって、コピーさせることがなくなるので、著作権の保護にも繋がることが可能となる。
セキュリティパスワード5925は、前述の画像の閲覧、印刷およびダウンロードを許可したユーザのみ可能とするためのパスワード情報である。本実施形態では、前述の画像の閲覧、印刷およびダウンロードに対して、同じパスワード設定をする形態で説明するが、それぞれ異なるパスワードを設定できるようにする方が、各レベルでのセキュリティ対策が実施できるのでなおよい。
以上のように、本発明のシステムを用いれば、撮影装置1は撮影画像を第1アンテナによって接続されるサーバにアップロードされる。また、撮影装置1をTV45のRF−IDリーダライタ46にかざせば、撮影装置1のRF−ID47から、サーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77をRF−ID通信によって、TV45に送信し、TV45は、撮影装置1によって撮影画像をアップロードしたサーバに接続し、撮影装置1にて撮影した画像をTV45にダウンロードして表示する。また、撮影画像状況情報55によって、サーバ42と撮影装置1の撮影画像情報の同期を確認して、同期が取れていない場合には、その旨をTV45の表示部5512に表示する。よって、ユーザは、従来までの記録メモリをカメラから抜き出し、TV45にセットして閲覧する必要のあった撮影画像の表示を、撮影装置1をTV45にかざすだけで対応できるようにすることが可能となる。これによって、デジタル機器の操作に慣れないユーザであっても簡単に撮影画像をTV45に表示することができる。
(実施の形態3)
本発明の実施の形態3について述べる。
まず、実施の形態3の概略を説明する。図48は実施の形態3の電子カタログ表示システムの概略構成図である。実施の形態3の電子カタログ表示システムは、RF−IDライタ部501を備えた電子カタログサーバ情報入力機500と、RF−ID47を備えた電子カタログ通知カード502と、RF−IDリーダ部504とネットワーク通信部509を備えたTV45と、電子カタログデータデータベース507と顧客属性データベース508を備えた電子カタログサーバ506を備える。
電子カタログサーバ情報入力機500は、ユーザ(電子カタログのサービス提供者)から入力された電子カタログサーバ情報を、RF−IDライタ部501から、電子カタログ通知カード502に貼付されたRF−ID47に書き込む。この電子カタログサーバ情報が書き込まれた電子カタログ通知カード502を、ユーザ(電子カタログのサービス利用者)が、TV45に近づけることにより、TV45が備えるRF−IDリーダ部504がRF−ID47に書き込まれた電子カタログサーバ情報を読み取る。さらに、TV45は、読み取った電子カタログサーバ情報を基に、ネットワーク通信部509を介してネットワーク上に設置された電子カタログサーバ505に電子カタログの取得要求を送信する。また、TV45は、電子カタログ取得要求を電子カタログサーバに送信する際に、あらかじめTV45に入力されていたユーザ情報も同時に電子カタログサーバ505に送信する。電子カタログサーバ505は、TV45からの電子カタログ送信要求およびユーザ情報を受信し、まずユーザ情報を基に、顧客属性データベース508から顧客属性データを取得する。次に、顧客属性データを基に、電子カタログデータデータベース507から対応する電子カタログデータを取得する。そして、取得した電子カタログデータを、電子カタログ要求を発したTV45に対して送信する。TV45は、電子カタログサーバ505から受信した電子カタログデータを画面に表示し、ユーザ(電子カタログのサービス利用者)からの電子カタログデータ内の商品の購入操作を受け付ける。
以下に、実施形態3の電子カタログ表示システムの詳細を説明する。
図49は実施形態3の電子カタログサーバ情報入力機の構成を示す機能ブロック図である。まず、キー入力受付部520が、ユーザ(電子カタログのサービス提供者)が操作する入力キーからの入力を受け取り、電子カタログサーバ情報を取得する。キー入力受付部520が取得する電子カタログサーバ情報は、URL等のサーバアドレスと、サーバログインIDと、サーバログインパスワードと、電子カタログ表示用パスワードと、電子カタログに含まれる商品の画像を一覧(サムネイル)表示するのかそれとも逐次(スライド)表示するのかを示す電子カタログ表示情報と、RF−IDが貼付先となるカードや葉書等の媒体を示すメディア識別情報である。キー入力受付部520が取得した電子カタログサーバ情報を、記憶部522に格納する。次に、電子カタログサーバ情報が入力された後に、RF−ID送信キー等が入力されると、RF−ID送信入力受付部521が送信部523に送信要求を通知し、送信部523は、記憶部522から電子カタログサーバ情報を読み出し、アンテナ部524から電子カタログサーバ情報を送信する。電子カタログサーバ情報入力機の処理の詳細を、図50のフローチャートで示す。
図51は、電子カタログ通知カード502が備えるRF−ID47の構成を示すブロック図である。RF−ID47の構成および処理は、実施の形態1および2で説明したものと同様である。第2アンテナ21から受信した信号から第2電源部91が電流を取り出して各部へ電源供給を行い、データ受信部105と第2処理部95と記録部106が、受信したデータを第2メモリ52へ記録する。
図52は、TV45の構成を示す機能ブロック図である。実施の形態3でのTV45の構成は、実施の形態2での構成に、ユーザ情報入力部588を追加した構成である。あらかじめユーザ(電子カタログのサービス利用者)が入力した、ユーザ自身の属性に関するユーザ情報をユーザ情報入力部588が受け付け、メモリ部583にいったん格納する。ユーザ情報として、例えばユーザの性別情報や年齢情報が好ましいが、これら以外にも、居住地や家族構成等のように電子カタログから提供される商品データの選別に利用可能な個人情報であってもよい。このユーザ情報は、URL生成部が生成した電子カタログサーバのURLとともに、通信部509を介して電子カタログサーバに送信される。実施の形態1と同様、本実施形態でも、電子カタログサービス利用者が、電子カタログ通知カード502をTV45のRF−IDリーダ部504に近づけることで、TV45が電子カタログサーバ情報を受信し、これを用いてサーバのURLを生成し、サーバに接続する。この処理の詳細は、第1の実施形態の図7〜図20で示した処理と同様である。
図53は電子カタログサーバ506の構成を示す機能ブロック図である。電子カタログサーバ506は、通信部600を介して、TV45から送信された電子カタログ送信先アドレス(TV45と電子カタログサーバ506が属するネットワーク上でのTV45のネットワークアドレス)とユーザ情報を受信する。次に、顧客属性データ取得部が受信したユーザ情報を基に、顧客属性データベース508から顧客属性データを取得する。例えば、ユーザ情報の中にTV45を使用するユーザの性別と年齢が含まれている場合は、図57に示すデータ構造を持つ顧客属性データベース508から年齢と性別に対応する商品ジャンルや商品価格帯の情報を顧客属性データとして取得する。そして、電子カタログデータ取得部602が、顧客属性データを基に電子カタログデータベース507から電子カタログデータを取得する。例えば、顧客属性データに商品ジャンルと商品価格帯が含まれている場合は、図58に示すデータ構造を持つ電子カタログデータベース507から商品ジャンルと商品価格帯に対応する商品データをまとめて電子カタログデータとして取得する。電子カタログデータ取得部602で取得した電子カタログデータは、通信部600を介して、電子カタログ送信先アドレスが示すTV45に送信される。電子カタログサーバ506の処理の詳細を図54のフローチャートで示す。
次に、図55に示したフローチャートを用いて、電子カタログデータをダウンロードした後のTV45の処理を説明する。S630〜S632におけるRF−IDから電子カタログサーバ情報を取得する処理は、電子カタログデータをダウンロードしていない場合もダウンロード完了後でも共通である。S633で、RF−IDから受信した電子カタログサーバ情報に対応する電子カタログデータの、ダウンロードおよび表示が完了しているかを判定し、ダウンロードが完了していない場合は、S634およびS635でサーバから電子カタログデータをダウンロードする。このデータのダウンロード処理は実施の形態1におけるデータのダウンロード処理と同様である。
S633で電子カタログデータがダウンロード済みであった場合は、あらかじめ設定した所定のキー、例えば確定キーのキー信号を発効し、表示している電子カタログデータに対する操作を実行する。例えば、図56に示した電子カタログデータの画面表示例のように、表示中の電子カタログデータに対してユーザが次に行うべき操作を2、3の少ない選択肢で提示する画面構成とし、さらに図56中の選択肢652と653で示されるように、一定時間経過ごとに選択候補を示すフォーカスが選択肢間を移動するような画面構成とする。このようにすれば、ユーザは自身が希望する選択肢にフォーカスがあるときに、RF−ID47を備えた電子カタログ通知カード502をTV45にかざすことで、電子カタログデータの選択や、各データにおける購入などの操作を実行することができる。
なお、本実施形態の電子カタログ通知カード502上のRF−ID47が内蔵する第2メモリ52は、ROM(ReadOnlyMemory)であってもよい。この場合、電子カタログサーバ情報入力機500は、RF−ID製造工程におけるRF−IDメモリデータ入力機、またはRF−ID製造システムにおけるRF−IDメモリデータ入力手段となる。一般的に、書き換え可能メモリを有するRF−IDよりもROMを有するRF−IDの方が安価に構成できるため、電子カタログ通知カードを大量に送付する電子カタログサービス提供者にとっては、ROM型RF−IDを利用することでコストを抑えることができる。
なお、本実施形態では、TV45の画面構成として、図56中の選択肢652と653で示されるように、一定時間経過ごとに選択候補を示すフォーカスが選択肢間を移動するとしたが、RF−ID47を備えた電子カタログ通知カード502を使用して、画面表示した電子カタログデータを操作する方法はこれに限定されない。例えば、TV45の受信部571が、RF−IDから送信される情報を連続して受信し、その連続する受信数を計測することによって、RF−IDがTV45に近づけられている時間を取得し、そのRF−ID近接時間を基に、画面表示された選択候補を示すフォーカスを移動させてもよい。このような構成とすることで、RF−IDをTVに近づけている間だけ、画面上に表示されたフォーカスが移動して選択候補を変更し、RF−IDをTVから離した所でフォーカスの移動も停止し、さらにフォーカスの移動停止後、一定時間が経過すると、フォーカスが停止していた選択候補の選択が確定するという、電子カタログの操作が可能となる。この電子カタログ操作方法では、一定時間ごとに自動的に選択候補を巡回するフォーカスが、ユーザの所望する選択肢までまわってくることを待つことなく、ユーザがRF−IDを用いて能動的に電子カタログを操作できるという効果が得られる。
なお、本実施形態で電子カタログサーバ情報入力機500は、キー入力受付部520が、ユーザ(電子カタログのサービス提供者)が操作する入力キーからの入力を受け取り、電子カタログサーバ情報を取得する構成としたが、電子カタログサーバ情報入力機が画像サーバとの通信インタフェースを備え、画像サーバが、電子カタログサーバ情報入力機に送信するサーバ情報を保持し、電子カタログサーバ情報入力機が画像サーバからサーバ情報を受信して取得する構成としてもよい。このような構成にすることにより、画像サーバにサーバ情報を入力しておけば、電子カタログサーバ情報入力機側で画像サーバを入力する必要がなく、特に1つの画像サーバに対して複数の電子カタログサーバ情報入力機を運用する場合において、利便性が高い。
従来はパソコン等の電子機器操作に精通していないユーザがネットショッピングを利用するために機器の操作を習得しなければならないことが課題であったが、以上のように、実施の形態3で述べたシステムを用いれば、電子カタログを利用するユーザは、受け取ったカードや葉書をTVに近づけるだけで、ネットショッピング等を利用することができ、パソコンや携帯電話等のインターネット端末に慣れ親しんでいないユーザであっても、容易にTV画面上でショッピングを楽しむことができるようになる。
(実施の形態4)
本発明の実施の形態4について述べる。
図59は実施の形態4の概略構成図である。本実施の形態では、画像サーバへアクセスするためのRF−IDが貼付された葉書を、遠隔地に送付する方法について説明する。まず、葉書の送付元となる第1ユーザが、RF−ID47を備えた撮影装置1をTV45のRF−IDリーダライタ46に近づけると、TV45が画像サーバ42に接続するためのサーバURLを生成し、画像サーバ42から画像データを取得し、画面に表示する。この処理は、実施の形態1と同様である。次に、第1ユーザが、TV45に表示された画像の中から、葉書に印刷したい画像と、葉書に関連付けて登録したい(遠隔地に居る第2ユーザに見せたい)画像を、TV45に対応するリモコン等の入力手段を用いて選択する。さらに第1ユーザは、葉書の送付先住所等の送付先情報もリモコン等を用いて入力する。TV45は、第1ユーザが選択した葉書に印刷する画像のIDと、葉書に登録する画像のIDと、葉書送付先情報を画像サーバ42に送信する。画像サーバ42は、受信した印刷画像IDに対応する画像データを取得し、画像データと葉書送付先情報をプリンタ800に送信する。プリンタ800は、画像データと葉書送付先住所を、葉書に印刷する。また、画像サーバ42は、画像サーバ情報入力機500に、Tv45から受信した登録画像IDを送信し、同時に、URL等のサーバアドレスと、サーバログインIDと、サーバログインパスワードと、画像表示用パスワードと、画像を一覧(サムネイル)表示するのかそれとも逐次(スライド)表示するのかを示す画像表示情報と、RF−IDの貼付先となるカードや葉書等の媒体を示すメディア識別情報を含む画像サーバ情報を送信する。画像サーバ情報入力機500は、画像サーバ情報と登録画像IDを、プリンタで画像と送付先情報を印刷した葉書のRF−ID47に書き込む。印刷とRF−IDへの書き込みが行われた葉書801は、印刷された送付先に郵送され、第1ユーザが送付先として指定した第2ユーザがこの葉書801を取得する。第2ユーザが、郵送された葉書を、第2ユーザのTV45のRF−IDリーダライタ46に近づけると、TV45は、RF−ID47が格納する画像サーバ情報と登録画像IDを取得し、登録画像IDに対応する画像データをサーバからダウンロードおよび表示する。
本実施の形態の撮影装置1の構成および処理は実施の形態1と同様である。
図60は、本実施の形態のTV45の構成を示すブロック図である。受信部811は、無線アンテナ570を介して撮影装置1もしくは葉書801のRF−ID47から画像サーバ情報を受信するが、葉書801のRF−ID47が登録画像IDを有する場合は、登録画像IDも受信する。また、画像選択部584は、キー部585および赤外線受光部586を介してユーザの画像選択操作を受け付け、第1ユーザが葉書に印刷するために選択した画像のID(印刷画像ID)と、葉書に登録するために選んだ画像のID(登録画像ID)を取得し、これらを通信部509へ送る。この画像選択操作時にTV45に表示する画面表示例を図61に示す。図61中の821が葉書に印刷する画像を選択する画面表示であり、図61中の820が葉書に登録する画像を選択する画面表示である。また、葉書送付先情報入力部810は、キー部585および赤外線受光部586を介してユーザの文字入力操作を受け付け、葉書の送付先となる住所および宛名を含む葉書送付先情報を取得し、通信部509へ送る。葉書送付先情報を入力する際の画面表示例を図61中の823に示す。通信部509は、送信部575および通信インタフェース576を介して、葉書送付先情報と印刷画像IDと登録画像IDを画像サーバに送信する。
図62は、画像サーバ42とプリンタ800と画像サーバ情報入力機500が、葉書801を送付できるように準備する処理を示すフローチャートである。印刷とRF−IDへの書き込みが行われた葉書801は、印刷された送付先に郵送され、第1ユーザが送付先として指定した第2ユーザがこの葉書801を取得する。第2ユーザが受け取った葉書801を、TV45にかざすと、受信部811が無線アンテナ570を介して、RF−ID47が送信した画像サーバ情報および登録画像IDを受信する。画像サーバ情報および登録画像IDの中で暗号化された情報は、復号部572で復号化される。次にURL生成部573が、画像サーバ42に格納された画像データの中から、登録画像IDに対応する画像データのみをTV45にダウンロードするURLを生成する。具体的には、生成するURLの中でサーバの内部ディレクトリを指定したり、URLオプションとして登録画像IDをURLに埋め込んだりする手法を利用することができる。URL生成部573で生成したサーバを指定するURLを用いて、TV45が画像サーバにアクセスして画像データを取得する処理の詳細は、実施の形態1で説明した処理と同様である。
なお、本実施の形態では、ユーザがTV45に送付先情報を入力する構成としたが、住所や宛名等の送付先情報だけでなく、葉書に画像とともに印刷するメッセージも入力してもよい。TV45が受け付けた入力メッセージは、送付先情報と同様に、TV45から画像サーバ42に送られ、さらにプリンタ800で葉書に印刷される。TV45での印刷用のメッセージの入力画面例を、図61の822に示す。このように葉書に印刷する葉書を選択できるだけでなく、画像に添えるメッセージを入力できるようにすることで、RF−ID付き葉書を作成する自由度が上がる。
なお、本実施の形態のTV45において、実施の形態3でRF−IDを用いて画面表示された電子カタログを操作する処理と同様に、RF−ID付き葉書を用いて、TV45に表示した画像を操作できる構成としてもよい。
以上のように、実施の形態4で述べたシステムを用いれば、手元にRF−IDが貼付された葉書を用意することなく、離れた所にいる相手にRF−ID付き葉書を郵送することができるとともに、画像サーバに格納した画像を葉書に印刷して送付したい場合も、TV画面上の操作で印刷したい画像を選択することができるので高い利便性が得られる。
従来は遠隔地にいる相手にテレビなどの大画面表示機器で画像を見せるためには、遠隔地側のユーザが機器操作を習得したり、遠隔地に操作習得者が赴いて機器を操作したり、遠隔地にある表示機器を遠隔操作する必要があったが、本システムでは、遠隔地のユーザがRF−ID付き葉書等、物理的な媒介物を表示機器に近づけるという簡単な操作で容易に画像を閲覧することができる。
(実施の形態5)
本発明の実施の形態5では、葉書等の郵送物に固定の情報が書き込まれており、撮影装置では書き込まれた固定情報とサーバに保存された画像または画像グループ(画像情報)とを紐付けし、再生側では葉書等に付けられたRF−IDから固定情報を読み出すことで、固定情報に関連付けられた画像の閲覧を可能にする構成について説明を行う(図63)。図63では、まず郵送物に記録された固定情報を撮影装置で読み取り、画像と郵送物固有IDとの関連付けを行いサーバに登録する。登録が完了した郵送物を受け取ったユーザは、郵送物をテレビのRF−IDリーダに近づけることで固定情報の読み出しを行い、固有情報を用いてサーバに問い合わせを行うことで郵送物に関連付けられた画像の閲覧を行う。
本実施の形態のポイントは、郵送物に付けられたRF−IDの情報が書き換えできない(ROM)または、書き換えできない環境であるという点であり、郵送物の固定情報の書き換えを行わずにサーバの画像情報と郵送物の関連付けを行う点である。
<撮影装置での画像のアップロードと郵送物との関連付け>
撮影装置により撮影した画像は、先の実施の形態で説明した方法によりサーバにアップロードされる。このとき、アップロードした画像または画像グループごとに識別子が付与され、この識別子によりサーバ上の画像または画像グループが識別可能となる。
以下、撮影装置により撮影されサーバへアップロードされた画像または画像グループと、郵送物のRF−IDにタグに記録された固定情報との関連付け方法について説明を行う。なお、郵送物のRF−IDに記録されている固定情報は図64のようになる。
図64(a)は、郵送物に固有の郵送物固有IDと画像サーバへアクセスするためのアドレス等の情報を、図64(b)は郵送物固有IDと中継サーバにアクセスするためのアドレス等の情報を、図64(c)は郵送物固有IDのみ記録されている例である。なお、これ以外にサーバにアクセスするためのログインIDやパスワード情報を格納していることもあるが、本実施の形態ではサーバにアクセスするために必要となる情報は、アドレス情報を含むURLに含まれているとする。
図65は、撮影装置がRF−IDリーダの機能を持つ場合のRF−IDとサーバに記録された画像情報との関連付けのフローチャートである。
撮影装置では、まず、郵送物のRF−IDに格納された情報をRF−IDリーダを用いて読み出す(S2500)。具体的には、図3の第2アンテナ21より、郵送物のRF−IDと通信を行い、データ受信部105により郵送物の固定情報を受信する。その後、第二処理部95により処理を行い、記録部106、第2メモリ52、記録再生部51を経由して第1処理部35へ読み出した郵送物の情報が転送される。第1処理部では、郵送物より読み出した郵送物固有IDと、画像または画像グループとの関連付けをユーザの指示により決定する(S2501)。その後、第1アンテナ20を経由してサーバ42へアクセスし(S2502)、郵送物固有IDとサーバに格納されている画像情報との関連付け情報をサーバに登録する(S2503)。
読み出した郵送物に格納された固定情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていた場合には、以上で処理は終了である。郵送物に格納された固定情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていない場合には、中継サーバへの設定を行う(図66)。
中継サーバへの設定では、まず中継サーバへのアクセスを行う(S2510)。なお、中継サーバのアドレスまたはアドレスを含むURLが郵送物から読み出した情報にある場合には、読み出した情報に含まれる中継サーバを、ない場合いは撮影装置側にあらかじめ設定されている中継サーバにアクセスする。
中継サーバと接続後、中継サーバのデータベースに郵送物固有IDをリダイレクト先(転送先)のサーバとの関連付け設定を行う(S2511)。これにより中継サーバのデータベースに郵送物固有IDと転送先のアドレスの対応が登録される。
撮影装置がRF−IDリーダの機能を持たない場合で、かつ、郵送物にRF−IDリーダの情報を記録した2次元コード等が印刷されている場合は、撮影装置の撮像部を用いて撮影を行い、2次元コードとして記録された情報を読み出すことで郵送物のRF−IDに記録されている固定情報と同じ情報を読み出す。2次元コードとしては、QRコード、PDF417、ベリコード、マキシコードなどがあるが、ここに書かれているもの以外のものでも撮影装置により撮影することで情報の取り込みが行えるものであればどのようなものを利用してもよい。また、印刷領域面積が増えてしまうが、1次元方向のみのバーコードを利用した場合でも本実施の形態と同様の効果が期待できる。
図67は、RF−ID部2520が取り付けられ、同一の情報が記録された2次元コード2521が印刷された郵送物の例である。2次元コードを撮影装置で読み込む場合のデータの流れを図3の構成図を用いて説明する。郵送物に印刷された2次元コードは、撮像部30により撮影され、映像処理部31により画像に変換された後、記録再生部32を経由して第一処理部35へ送られる。第一処理部35では、撮影された2次元コードを解析し、2次元コードに記録されている情報を取り出す。2次元コードに記録されている情報は、RF−IDに記録されている情報と基本的には同一であり、少なくとも郵送物固有IDを含んでいる。
以下、図68を用いて、2次元コードから情報を読み出してサーバの画像または画像グループと関連付けを行うまでの処理の流れを説明する。
まず、撮像部により2次元コードの撮影を行う(S2530)。次に撮影された画像が2次元コードであるかどうかの判定を行い(S2531)、2次元コードでない場合には、エラー処理を行う(S2532)。なお、2次元コードでない場合には、通常の撮影処理を行ってもよい。2次元コードである場合には、2次元コードの解析を行い(S2533)、解析結果から郵送物の情報を読み出す(S2534)。郵送物の固定情報が読み出された後は、郵送物固有IDとサーバの画像情報の関連付けを決定し(S2535)、サーバへアクセスし(S2536)、関連付け情報をサーバに設定する(S2537)。S2535〜S2537の処理は図65のS2501〜S2503の処理と同じである。なお、読み出した情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていない場合には、中継サーバへの転送設定処理を行う。中継サーバへの設定処理は、先に説明した図66の処理となる。
以上により、郵送物に印刷された2次元バーコードの情報を読み取ることで、RF−IDに記録された情報とサーバの画像情報との関連付けが完了する。
撮影装置がRF−IDリーダ機能を持たず、郵送物に2次元コード等のコードが印刷されていない場合、郵送物に印刷された郵送物固有IDやサーバアドレスなどのURLを直接撮影装置に手入力することで、郵送物の情報を撮影装置で情報を読み出すことも可能である。手入力は、図2の7〜15のボタン操作等により行う。なお、URLや郵送物の固有IDは、直接平文で印刷されていても、入力しやすいコードに符号化されていてもよい。符号化されている場合は、入力完了後に撮影装置でデコード処理を行い、郵送物のRF−IDの記録されている情報を取り出す。
以上により、RF−IDリーダ機能を持たず、かつ、2次元バーコード等が印刷されていない場合でも、郵送物とサーバの画像情報との関連付けを行うことができる。
<郵送物のRF−IDを用いた画像再生および閲覧>
次に、関連付けが完了している郵送物を用いて、テレビでサーバに記録されている画像を閲覧する手順について説明する。
図69は、郵送物のRF−IDを読み込んで画像サーバにアクセスするまでのテレビの処理フローを示す図である。
郵送物をテレビのRF−IDリーダに近づけると、郵送物のRF−IDの情報がテレビに読み込まれる(S2540)。読み込まれた情報にサーバアドレスまたサーバアドレスを含むURLが存在する場合には(S2541)、指定されたサーバへアクセスすし(S2542)、郵送物固有IDを送信する(S2543)。なお、相手が中継サーバであった場合には(S2544)、中継サーバにより指定されたサーバへのリダイレクトが行われ(2547)、画像サーバの画像または画像グループへのアクセスが行われる(S2548)。S2544において、相手が画像サーバであった場合には、リダイレクトは行われず、画像サーバへのアクセスが行われる(S2548)。また、郵送物に記録されていた情報にサーバアドレスが存在していない場合、テレビにあらかじめ設定されているデフォルトのサーバへのアクセスが行われ(S2545)、郵送物固有IDをデフォルトのサーバへ送信する(S2546)。その後、指定されたサーバ−へのリダイレクトが行われ(S2547)、画像サーバへのアクセスが行われる。
なお、中継サーバまたは、デフォルトのサーバのデータベースに郵送物固有IDと中継する先のサーバの対応付けが登録されていない場合は、エラーページへのリダイレクトが行われる。図70は、郵送物固有IDを受信した後の中継サーバおよびデフォルトのサーバの処理フローを示す図である。郵送物固有IDを受け取ると(S2550)、この固有IDに関連する情報がデータベースに記録されているか検索する(S2551)。データベースに記録されている場合は(S2552)、固有IDに関連付けられてデータベースに記録されているサーバへのリダイレクトを行う(S2554)。もし、関連付けがない場合には、エラーページへのリダイレクトが行われる(S2553)。
以上のように、あらかじめRF−IDの情報が固定されている郵送物と画像サーバの画像情報の関連付けが行い、関連付けが行われた郵送物をテレビにかざすことで、郵送物のRF−IDの書き換えを行うことなく、画像サーバに記録され郵送物固有IDに関連付けられた画像または画像グループを閲覧することができる。これは例えば、外出先などで郵送物のRF−IDの書き換えができない場合や郵送物のRF−IDが書き換え不能なものでであっても、サーバの画像と郵送物との関連付けが行えるようになり、郵送物を受け取った側に郵送物に関連付けた画像を閲覧させることができるようになる。
なお、本実施の形態では、サーバにアクセス後、郵送物固有IDを送信するとしたが、郵送物に記録された郵送物固有IDとサーバアドレスからURLを生成し、これを用いてサーバにアクセスしてもよい。この場合は、サーバへのアクセスと郵送物固有IDの送信を同時に行うことが可能となる。
本実施の形態によれば、例えば、観光先等のようにRF−IDの書き換えができない環境下でも、撮影した写真と葉書を関連付けることができ、関連付けた葉書を知人に送ることで、葉書を受け取った知人がテレビに葉書をかざすことで観光先での写真を閲覧させることが可能となる。このように、RF−ID書き換えができない環境であっても、サーバの画像情報と関連付けを行った郵送物を作成し、閲覧させたい相手に送ることができるようになる。
なお、撮影装置に郵送物のRF−IDを書き換えるためのRF−IDライタ機能が備わっている場合は、次に説明する実施の形態6のテレビ装置で郵送物とサーバの画像情報を関連付けるフローと処理は同じになるのでここでの説明は省略する。
(実施の形態6)
本発明の実施の形態6では、撮影装置にて撮影された画像が、画像サーバにアップロードされた後、画像送信側の利用者(以後、送信者と記載する)が画像サーバの画像から画像グループを選定し、この画像グループにアクセスするための情報が郵送物上のRF−IDに記録され、画像受信側の利用者(以後、受信者と記載する)の下へ郵送され、この郵送物上のRF−IDを用いて受信者による画像サーバの画像グループへのアクセスを実現する構成について説明する。
図71は、本発明の実施の形態6における画像送信側の構成を示す概略図であり、図72は本発明の実施の形態6における画像受信側の構成を示す概略図である。なお、図71と図72において、図1および図3と同じ構成要素については同じ符号を用い、説明を省略する。
図71と図72において、郵送物3001は、画像送信側から画像受信側へ郵送される葉書、または、封筒、便箋などの郵送物を示し、RF−ID部3002は、書き換え可能なRF−IDであり、その少なくとも一部の領域が書き換え可能なメモリ部3003を内包している。RF−ID部3002は、郵送物3001に貼り付け、あるいは漉き込まれており、郵送物と共に画像受信側へ送付されるものである。また、RF−ID部3002については、先の実施の形態で述べた通り、このRF−ID部が属する媒体が郵送物であることを識別するためのメディア識別情報が、メモリ部3003に記録されている。
図72において、テレビ3045は、先の実施の形態で述べた図71のテレビ45と同等の機能を有する画像受信側に設置されたテレビ表示装置であり、図71のテレビ45と同様に、RF−IDリーダライタ部3046(図71のRF−IDリーダライタ46に相当)と、表示部3047(図71の表示部110に相当)を有し、さらに図には示されていないネットワーク接続手段によってインターネット40と接続されている。
上記構成に関して、次にその動作を説明する。
〈画像送信側の画像グループ選定、郵送物への書き込み〉
図71の画像送信側において、撮影装置1で撮影された画像は、撮影装置1に搭載された無線LAN、あるいはWiMAXなどの無線通信用の第2アンテナ20を用いて無線アクセスポイントに送られ、インターネット40を介して画像サーバ42の画像データ50として記録される。そして、撮影装置1をテレビ45のRF−IDリーダライタ46に近づけて、撮影装置1に搭載されたRF−IDのための第1アンテナ21を介した無線通信により、テレビ45との接続を確立する。テレビ45は、画像サーバ42の画像データ50へのアクセスのための情報を撮影装置1より取得し、画像データ50の画像をダウンロードして表示部110への表示を行う。以上の動作は、先の実施の形態で述べた動作と同様であり、概要のみ述べたものである。
次に送信者は、テレビ45の表示部110に表示された画像を確認しながら、画像ごとに受信者へ送信する画像であるか否か、言い換えれば、受信者の閲覧を許可するか否かを示す送信画像選択情報を設定していく。さらに、先の実施の形態で述べた表示限定、スライドショー、プリントなどの利用形態情報を、受信者に対して設定することもできる。これら送信画像選択情報と利用形態情報は、画像サーバに送信、記録され、送信画像選択情報によって送信画像として選択された画像の集合を画像グループとして画像サーバで管理される。
以降、送信者により選定された画像グループに関する情報が郵送物3001に記録される過程を、テレビ45の動作フロー図73を用いて説明する。
送信者は、上述の通りの送信画像選択、利用形態情報を設定した画像グループの作成が完了している状態にて、RF−ID部3002を有する郵送物3001を、テレビ45のRF−IDリーダライタ46に近づけて、RF−ID部3002とRF−IDリーダライタ46が無線通信できるようにする。
テレビ45は、RF−IDリーダライタ46を介して郵送物3001上のRF−ID部3002と通信が可能となると、メモリ部3003に記録された情報の読み込みを行い(S3101)、その中のメディア識別情報から現在の通信対象が郵送物であること識別して、郵送物に対する書き込み処理の流れに移行する(S3102)。なお、ステップS3102での条件判断が成立しない場合については、特に触れていないが、各媒体に応じた処理に移行するものする。
郵送物3001に対する書き込み処理は、まず、インターネット40を介して画像サーバ42へアクセスし(S3103)、画像受信側が前述の画像サーバ42上の画像グループにアクセスするためのサーバURL、画像グループアドレスなどの画像グループ指定情報を、画像サーバ42より取得する(S3104)。
画像サーバより取得した画像グループ指定情報は、郵送物3001内のメモリ部3003に書き込みを行うために、テレビ45のRF−IDリーダライタ46を介して、郵送物3001のRF−ID部3002に送信され、RF−ID部3002によりメモリ部3003の書き換え可能領域へ記録される(S3105)。
以上のようにして、画像グループ指定情報が記録された郵送物3001は、送信者により投函され、画像受信側の利用者の下に郵送される。
〈画像受信側の画像再生および閲覧〉
次に、画像受信側について、画像受信側構成の概略図である図72と画像受信側テレビの動作フロー図である図74を用いて説明する。
図72において、受信者は、送信者から郵送されてきた郵送物3001を受け取り、受信者は、RF−ID部3002、あるいは、郵送物3001上に記載された文字情報、または意匠により、その郵送物に画像へのアクセスのための手段が組み込まれていることを認知する。ここで、受信者は郵送物3001により画像へのアクセスが可能であること理解しているだけでよく、RF−ID部3002の画像グループ指定情報についてなどを特に意識する必要はない。
受信者は、画像を再生および閲覧するにあたり、郵送物3001を画像受信側に設置されたテレビ3045のRF−IDリーダライタ部3046に近づけることで、画像の閲覧を開始することができる。
郵送物3001上のRF−ID部3002が、テレビ3045のRF−IDリーダライタ部3046に十分に近づくと、RF−IDリーダライタ部3046は、図示されていないRF−IDリーダライタ部3046とRF−ID部3002の双方のアンテナを介して電力供給を行い、それによりに郵送物3001のRF−ID部3002が起動され、テレビ3045と郵送物3001のRF−ID部3002との無線通信が開始される。無線通信が開始されるとテレビ3045は、RF−ID部3002のメモリ部3003に記録されている情報の読み込みを行う(S3151)。
読み込まれた情報の中のメディア識別情報から現在の通信対象が郵便物であることを識別した場合は、送信者により設定された画像グループを画像サーバ42より読み出す処理の流れに移行する(S3152)。
画像サーバ42へのアクセスは、先のステップS3151にてRF−ID部3002より読み込まれた情報の中の画像グループ指定情報、例えば、サーバURL、画像グループアドレスなどから画像サーバ42上の画像グループへのアクセスのためのURLを生成し、インターネット40を介してアクセスすることが可能となる(S3153)。
以上の過程で、画像サーバ42と接続されたテレビ3045は、画像サーバ42上の画像データ50から、画像サーバ42が管理する画像グループの送信画像選択情報に従って、表示許可された画像を読み込み(S3154)、読み込んだ画像を表示部110に表示する(S3155)。
さらに、テレビ3045を介して受信者は、画像サーバ42が管理する画像グループの送信画像選択情報と利用形態情報に従って、スライドショーの再生、画像の印刷、また、図示されていないテレビ3045に付属、あるいは外部接続された記憶媒体への画像のダウンロードなどの機能を利用することが可能となる。
加えて、上述の画像の印刷は、図示していないLAN上のプリンタでの印刷のみならず、インターネット40を介した写真プリントサービスに対しての印刷依頼を行うことも可能である。
以上の通り、本発明の上記構成によると、郵送物3001上のRF−ID部3002により画像グループ指定情報が画像受信側のテレビ3045に伝達されることで、画像を取得するためのネットワーク・アクセス先の文字入力作業などを行う手間をかける必要がなくなる。すなわち、郵送物3001をテレビ3045に近づけるという、直感的で平易な操作により画像サーバ42に格納された画像データ50へのアクセスが可能となり、受信者にメニュー選択や文字入力などの煩雑な手順を行う知識を要求することなく画像サーバを介した画像の受渡しを実現している。
なお、上述の本実施の形態において、郵送物3001は、あらかじめRF−ID部3002が貼り付け、あるいは、漉き込まれた状態として説明しているが、通常の葉書や便箋などの郵送物に、別途に提供される単体のRF−ID部3002を貼り付けることで作成されてもよく、これによれば、後からRF−ID部を貼り付けて、上述の効果を得ることができるため、送信側利用者の好みに応じた任意の郵送物に対して利用できるという新たな利点が生じる。
また、画像サーバ42へのアクセスにログイン操作が必要な場合は、郵送物3001上のRF−ID部3002のメモリ部3003の書き換え可能領域への書き込みの際(ステップS3105)にサーバログインIDとサーバログインパスワードを記録してもよい。さらに、ログインIDとログインパスワードは平文ではなく、暗号化された形式で記録することで安全性を確保することが望ましい。
また、上述の本実施の形態において、送信画像の選択、利用形態情報の設定、および、郵送物3001上のRF−ID部3002への画像グループ指定情報の書き込みは、画像送信側のテレビ45にて行っているが、これに替えて、RF−IDリーダライタ機能を有する撮影装置1で、送信画像選択情報と利用形態情報の設定、画像グループ指定情報の書き込みを行っても、上述と同様に、受信者の平易な操作による画像の受渡しを可能とする効果が得られる。
〈派生する他の一例〉
図75は、本発明の実施の形態6における別の一形態の画像送信側のテレビ45の動作を示すフロー図である。なお、図75において、図73と同じ処理となるステップは同じ符号を用い、その説明を略する。
本実施の形態においては、郵送物3001上のRF−ID部3002のメモリ部3003に、あらかじめ郵送物固有IDが記録されている。そして、この郵便物固有IDは、メモリ部3003のROM領域に記録されていることが、不慮の動作によるデータ破損やデータ改ざんなどのリスクを低減できる点で望ましい。このときのメモリ部3003のデータ構造の一例を示す構成図を図76に示す。
上述のRF−ID部によると、画像送信側のテレビ45にて、送信画像選択情報、利用形態情報の設定が行われ、画像グループが画像サーバ42上に設定されている状況において、図75(a)のフローに従って、テレビ45の動作次のようになる。
郵送物RF−IDの情報読み込み(S3101)、メディア識別情報による郵便物であることの認定(S3102)の後、テレビ45は、郵送物固有IDを取得する。郵送物固有IDについては、ステップS3101で読み込んだ情報を用いても、改めてRF−ID部3002より取得してもいずれでもよい。次に、テレビ45は、インターネット40を介して画像サーバ42へのアクセスを行い(S3202)、テレビ45より郵送物固有IDが画像サーバ42に送信され、画像サーバ42は、送られた郵便物固有IDと画像グループのアドレスとの関連付けを行い、その情報を記録および管理する(S3203)。
テレビ45は、画像受信側から画像サーバ42にアクセスするためのサーバURLを画像サーバ42より取得し(S3204)、取得したサーバURLは、RF−IDリーダライタ46を介して、郵送物3001のRF−ID部3002のメモリ部3003の書き換え可能領域に書き込まれる(S3205)。
以上の様に、画像サーバ側で画像グループと郵送物固有IDが関連付けされて記録および管理されると、郵便物固有IDごとに利用形態情報を分けて管理することが可能となり、複数の郵送物3001が存在する場合に、個々の郵便物ごとに、すなわち、異なる受信者ごとに画像受信時の動作を変更することが可能となる。
これは、本実施の形態の初めに述べた構成において、個々の郵便物ごとに画像グループをそれぞれ設定し、異なる画像グループアドレスを各々生成して、それぞれRF−ID部に書き込むことで画像受信側に対する同様の効果が得られるが、個別に画像グループを設定するという画像送信側の煩雑の操作が発生する。
そのため、同一の送信画像の選択であれば上述の様に郵便物の固有IDを用いて個別に利用形態情報を記録、管理することで送信者の操作の軽減、画像サーバ側においては、送信画像選択情報を別々に保管する必要がなくなる分の記憶容量低減のさらなる効果が得られる。
図75(b)について、図75(a)に対して異なる部分は、ステップS3214とステップS3215であり、ステップS3214では、サーバURLに加えて画像グループアドレスを取得し、ステップS3215では、サーバURLに加えて画像グループアドレスをRF−ID部3002のメモリ部3003の書き込み可能領域へ書き込んでいる。
これにより、画像受信側から画像受信の際に、画像サーバ42の画像グループを指定したアクセスが行われるが、こととき、画像サーバで記録および管理されている画像グループ内の郵送物固有IDとアクセスを要求している受信者が使用している郵便物の固有IDが一致した場合のみアクセス許可することで、安全性の向上を図ることができる。
従来は遠隔地にいる相手にテレビなどの大画面表示機器で画像を見せるためには、遠隔地側のユーザが機器操作を習得したり、遠隔地に操作習得者が赴いて機器を操作したり、遠隔地にある表示機器を遠隔操作する必要があったが、実施の形態4と同様に、本システムでも、遠隔地のユーザがRF−ID付き葉書等、物理的な媒介物を表示機器に近づけるという簡単な操作で容易に画像を閲覧することができる。実施の形態4では、RF−ID付き葉書の作成およびRF−IDへのデータ書き込みをユーザ(画像の撮影/送信者や画像の閲覧者)が行うのではなく、サービス事業者が行う形態であったが、本実施の形態では、画像送信側の利用者(送信者)がRF−ID付き葉書の作成およびRF−IDへのデータ書き込みを行う点で異なる。
(実施の形態7)
本実施の形態では、本発明のRF−IDカードを用いて機器の設定を変更する方法に関して述べる。
以下では、図77、図78を用いて、RF−IDカードを用いてレコーダの設定を変更する方法に関して説明する。
図77は、本発明のレコーダの構成を示すブロック図である。
レコーダ2000は、チューナ2001から取得した放送コンテンツのHDD2008や光ディスクドライブ2009への録画や、録画コンテンツや光ディスクドライブ2009で読み取った映像・音楽コンテンツのTV45での再生を行う。
入力信号処理部2002は、チューナ2001から入力されたアナログ信号をデジタル信号に変換するA/Dコンバータや、スクランブルされたコンテンツをデコードするデコーダ、MPEG−2などの映像フォーマットに変換するエンコーダを備え、入力された映像・音声信号を所定の映像・音声フォーマット形式に変換する。
出力信号処理部2003は、デジタル信号をアナログ信号に変換するD/Aコンバータや、MPEG−2などの映像フォーマットからのデコードを行うデコーダを備え、TV45への映像、音声出力を行う。
システム制御部2004は、レコーダ2000の動作を制御し、レコーダ2000の設定を切り替える設定情報処理部2011を備えている。設定情報処理部2011に関しては、後に詳細に説明する。
メモリ2005は、レコーダ2000の識別情報であるレコーダID2012や、レコーダ2000の設定情報である設定情報2013が格納されている。
操作入力部2006は、図示されていないリモコンやフロントパネルのボタンなどからのユーザ操作による入力を受け付ける。
通信部2007は、インターネットやLANなどにより、サーバ42への接続を行う。
HDD2008は、入力信号処理部2002から得られた録画コンテンツやコンテンツリストなどを記録する領域である。
光ディスクドライブ2009は、DVDやBlu−ray Discなどの光ディスクの記録再生を行うドライブで、入力信号処理部2002から得られた録画コンテンツやコンテンツリストなどの記録や、映像・音楽コンテンツの入った光ディスクの再生を行う。
レコーダ2000の入力信号処理部2002、出力信号処理部2003、システム制御部2004、HDD2008、光ディスクドライブ2009は、バス2010を介して相互接続されている。
ここで、設定情報処理部2011に関して詳細に説明する。
設定情報処理部2011は、メモリ2005に格納されている設定情報2013に応じて、レコーダ2000のメニュー画面などの表示設定や録画・再生モード設定、録画コンテンツのチャプター設定やユーザの嗜好などに応じた番組推薦などの設定を行う。具体的には、例えば、設定情報2013に格納されている“メニュー画面背景色:黒”などを示す識別子を読み取って、出力信号処理部2003へのメニュー画面出力要求を行う際に、背景色を“黒”で表示する指示を出力する。
なお、設定情報2013はHDD2008や、図示されていないSDカードなどの外部記録手段に格納してもよい。特に、HDD2008に格納されている録画コンテンツに関するチャプターなどの設定情報や、サイズの大きい情報などは、HDD2008に格納すると効率がよい情報である。
設定情報2013は、従来は、機器購入時に既に設定されているか、操作入力部2006からのユーザ操作によって設定されるが、本発明では、設定情報2013をRF−IDリーダライタ46から得られた情報を基に変更することができる。
図78は、レコーダ2000のRF−IDリーダライタ46で読み取ることで、レコーダ2000の設定を変更するRF−IDカードの構成を示すブロック図である。
RF−IDカード2100は、メモリ2101、アンテナ21、電源部91、データ受信部105、データ転送部108、処理部2102、記録部106、再生部107から構成される。
アンテナ21をRF−IDリーダライタ46に近づけると、RF−IDリーダライタ46よりアンテナ21を介して電源部91に電力が供給され、RF−IDカード2100の各部に電源が供給される。
RF−IDリーダライタ46からのデータ記録および再生などの情報は、データ受信部105で受信し、処理部2102に送られる。
処理部2102は、記録部106によるメモリ2101へのデータ記録や、再生部107によるメモリ2101からのデータの再生を行う。
データ転送部108は、処理部2102から送信されたデータを、アンテナ21を介してRF−IDリーダライタ46へと送信する。
メモリ2101には、UID75、メディア識別情報111、機器操作情報2103が格納されている。
UID75とメディア識別情報111は、RF−IDカード2100識別に用いられる情報である。
UID75は、RF−IDカード2100の固有IDである。
メディア識別情報111には、カードであるという識別子が記録されている。
機器操作情報2103は、RF−IDカード2100を用いて操作を行う対象の機器に関する情報と機器の操作に関する情報が格納されている。
操作機器識別情報2104には、操作を行う機器の種別を示す情報が格納されている。格納されている情報は、メディア識別情報111と同じ識別子を用い、図78では、レコーダであるという識別子が記録されている。
対象機器情報2105は、特定の機器に対してのみ操作を行いたい場合に用いる情報が格納されており、図78では、レコーダ2000の識別情報であるレコーダID2012が格納されている。なお、本発明のRF−IDカード2100を使用する機器が限られている場合、例えばレコーダのみで使用する場合、には、操作機器識別情報2104や対象機器情報2105は機器操作情報2103に含まれていなくてもよい。また、設定情報処理部2011がカードによって設定を変更することを想定した構成となっている場合は、メディア識別情報111も、メモリ2101に含まれていなくてもよい。
操作指示情報2106は、機器に行う操作内容を示す情報で、図78では、設定変更を示す情報2109、設定の変更を行う対象を示す情報2110、設定情報を取得する際に通信を実施することを示す情報2111が格納されている。
なお、操作指示情報2106は、1つの操作に対する情報だけとは限らず、複数の操作に関する情報から構成されていてもよいし、複数の操作を組み合わせたプログラムになっていてもよい。
通信情報2107は、操作指示情報2106で通信して取得することを指示された際にアクセスを行うサーバ等に関する情報である。図78では、URL2112、ログインID2113、パスワード2114が格納されている。なお、URL2112ではなく、IPアドレスなどが記録されていてもよいし、社内や家庭内ネットワークで他の機器にアクセスする場合には、MACアドレスなどの機器を特定する情報が記録されていてもよい。
以下では、図79を用いて、レコーダ2000の設定をRF−IDカード2100を用いてサーバに登録する手順に関して説明する。
ステップ2201で、ユーザによる操作入力部2006からの入力を受けると、設定情報処理部2011は、出力信号処理部2003に対して、TV45へのメッセージ出力要求を行い、TV45の画面に「RF−IDカードをかざして下さい」というメッセージが表示される。なお、メッセージの表示は、レコーダ2000の図示していないコンソール上に表示してもよい。また、ユーザによる操作入力を行う際に、パスワードや生体認証などの認証を要求し、認証後に登録処理に移行してもよい。さらに、TV45へのメッセージ出力を行わず、レコーダ2000の使用時に、RF−IDカード2100をRF−IDリーダライタ46にかざすことで、ステップ2203以降の処理を行ってもよい。なお、どの場所に設定情報2013を登録するかどうかの問い合わせメッセージを表示して、ユーザの選択した場所への登録を行ってもよい。例えば、RF−IDカード2200に設定情報2013を登録してもよいし、サーバ42とは異なるサーバへ登録を行ってもよい。
ステップ2203でRF−IDカードを検出すると、相互認証処理が実施される。
ステップ2204の認証判定がOKの場合は、ステップ2205に進んで処理を継続し、認証判定がNGの場合は、ステップ2202に戻ってRF−IDカード検出処理を繰り返す。
ステップ2205では、RF−IDカード2100のメモリ2101から、UID情報75を取得する。
ステップ2206では、RF−IDカード2100のメモリ2101から、通信情報2107を取得する。なお、RF−IDカード2100のメモリ2101に通信情報が登録されていない場合は、ユーザへの通信情報入力要求を出してもよい。また、ステップ2201で、RF−IDカード2100に登録されていない箇所への登録指示を行った際には、このステップでは何も行わない。また、RF−IDカード2100に複数の通信情報2107が登録されている場合は、通信情報を一覧表示して、ユーザが選択を行ってもよい。
ステップ2207では、メモリ2005から、レコーダID2012と設定情報2013を取得する。なお、設定情報は、現在の情報ではなく、設定登録実施時などに、ユーザの入力した情報であってもよい。
ステップ2208では、設定情報処理部2011は、通信部2007に対して通信情報2107のURL2112へのアクセス要求を出す。URL2112へのアクセス時には、ログインID2113とパスワード2114を使用する。
ステップ2209では、アクセスが成功したかどうかの判定を行い、アクセスが成功した場合は、ステップ2210に進んで処理を継続し、アクセスが失敗した場合は、そのまま処理を終了する。
ステップ2210では、UID情報75、メモリ2005から取得したレコーダID2012、設定情報2013をサーバ42に送信する。
ステップ2211では、2201で指定された操作や選択した設定情報2013の格納位置、ステップ2207で取得した設定情報2013、ステップ2206で取得した通信情報2107から、操作指示情報2106を生成する。
ステップ2212では、ステップ2202と同様の処理を行って、TV45の画面に「RF−IDカードをかざして下さい」というメッセージを表示する。
ステップ2213で、RF−IDカードを検出すると、相互認証処理が実施される。
ステップ2214の認証判定がOKの場合は、ステップ2215に進んで処理を継続し、認証判定がNGの場合は、ステップ2212に戻ってRF−IDカード検出処理を繰り返す。
ステップ2215では、RF−IDカード2100のメモリ2101から、UID情報を取得する。
ステップ2216では、ステップ2205で取得したUID情報75とステップ2215で取得したUID情報が一致するかどうか確認し、一致していればステップ2217に進んで処理を継続し、一致していなければ、ステップ2211に戻ってRF−IDカード検出処理を繰り返す。
ステップ2217では、メモリ2005に格納されている図示されていない操作機器識別情報2104と、レコーダID2012、ステップ2211で生成した操作指示情報2106、通信情報2107をRF−IDカード2100に送信し、メモリ2101に記録を行って処理を終了する。
上で述べた図79の手順でサーバ42登録した設定情報を、図80を用いて説明する。
設定情報2250は、UID情報75、対象機器情報2105に関連付けられて登録されており、具体的には、“メニュー画面背景色:黒”などの情報を示す識別子が登録されている。各設定情報の末尾の“A”、“B”は、異なった設定であることを示している。
UID0001のように、1つのUIDに対して複数の設定情報を登録することも可能で、対象機器情報2105がREC−0001の項目のように、1つの対象機器情報に対して、複数のUIDと関連付けられた設定情報が登録されていてもよい。なお、設定情報には、変更対象情報2110が含まれていてもよい。
次に、図81を用いて、図79の手順でRF−IDカード2100のメモリ2101へ登録された機器操作情報2103に関して説明する。
UID情報75として、“UID0001”が記録されており、メディア識別情報111として“カード”が記録されている。
機器操作情報2103には、操作機器識別情報2104、対象機器情報2105、操作指示情報2106、通信情報2107の組が登録されている。なお、通信情報2107は他の情報と関連のない情報として、登録されていてもよい。例えば、1つの通信情報が登録されており、RF−IDカード2100を使用する際には、常に同じサーバなどへのアクセスを行ってもよい。
操作指示情報2106は、指示内容情報2260、指示対象情報2261、通信実施情報2262から構成されている。指示内容情報2260には対象機器情報2105で指定された機器に対して実行する処理を示す識別子が記録されており、指示対象情報2261には操作を行う対象として、例えば、REC−0001に対しては、メニュー画面モード、録画モードなどの設定を示す識別子が記録されている。通信実施情報2262には、指示内容情報2260の処理を行う際に通信を行うかどうかを示す識別子が記録されている。なお、RF−IDカード2100を用いて行う操作が設定変更に限られる場合は、機器操作情報2103は、通信情報2107のみで構成されていてもよい。
通信情報2107には、通信実施情報2262に通信を実施することが指定されている場合に、通信を行うサーバなどのURL、ログインID、パスワードなどが記録されている。
次に、図82を用いて、レコーダ2000の設定をRF−IDカード2100を用いて変更する手順に関して説明する。図82は、レコーダ2000の設定情報処理部2011がRF−IDカード2100の情報を用いて設定情報2013を更新する手順を示したフローチャートである。
初めに、ステップ2301でRF−IDカード2100を検出すると、ステップ2302で相互認証処理を実施する。
ステップ2303の判定がOKならば、ステップ2304に進んで処理を継続し、判定がNGならば、処理を終了する。
ステップ2304では、RF−IDカード2100のメモリ2101からUID情報75と機器操作情報2103を取得する。
ステップ2305では、機器操作情報2103に含まれる操作機器識別情報2104を検索し、レコーダ2000のメモリ2005から取得した図示されていない機器識別情報と比較する。
ステップ2306では、ステップ2305で行った比較の結果が一致していれば、ステップ2307に進んで処理を継続し、一致していなければ、ステップ2314に進む。
ステップ2314では、操作機器識別情報2104をすべて検索したかどうかを判定し、すべての操作機器識別情報2104を検索した場合は処理を終了する。
ステップ2307では、対象機器情報2105を検索し、レコーダ2000のメモリ2005から取得したレコーダID2012と比較する。
ステップ2308では、ステップ2307で行った比較の結果が一致していれば、ステップ2309に進んで処理を継続し、一致していなければ、処理を終了する。
ステップ2309では、機器操作情報2103、対象機器情報2105に対応した操作指示情報2106を取得する。
ステップ2310では、機器操作情報2103、対象機器情報2105に対応した通信情報2107を取得する。
ステップ2311では、操作指示情報2106の指示内容情報2260から、設定変更処理であることを取得し、サーバ42にアクセスして、設定情報2250を取得する。このステップの処理は、後で図83を用いて詳細に説明する。
ステップ2312では、設定情報2250の取得が正しく行えたかどうかを判定し、正しく取得できた場合は、ステップ2313に進んで、設定情報処理部2011によってレコーダ2000のメモリ2005の設定情報2013を更新して処理を終了し、正しく取得できなかった場合は、そのまま処理を終了する。
以下では、図82のステップ2311の処理を、図83を用いて詳細に説明する。図82は、設定情報処理部2011がサーバ42にアクセスして設定情報2250を取得する手順を示したフローチャートである。
ステップ2351では、通信部2007で通信情報2107に含まれるURL2112に対してアクセスを行う。
ステップ2352では、設定情報処理部2011が通信情報2107に含まれるログインID2113とパスワード2114を通信部2007に対して送信し、ログイン処理を行う。
ステップ2353で認証OKと判定された場合は、ステップ2354に進んで処理を継続し、認証NGと判定された場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2354では、サーバ42のUID情報を検索し、ステップ2355で、図82のステップ2304で取得したUID情報75と一致するものがあった場合は、ステップ2356に進んで処理を継続し、一致するものがない場合は、ステップ2359でUID情報をすべて検索したと判定するまでは、ステップ2354に進んでUID情報の検索を繰り返し実施する。ステップ2359でUID情報をすべて検索したと判定した場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2356では、UID情報75に対応した対象機器情報を検索し、ステップ2357で、図82のステップ2305で取得した対象機器情報2105と一致するものがあった場合は、ステップ2358に進んで処理を継続し、一致するものがない場合は、ステップ2360で対象機器情報をすべて検索したと判定するまでは、ステップ2354に進んで対象機器情報の検索を繰り返し実施する。ステップ2360で対象機器情報をすべて検索したと判定した場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2258では、UID情報75、対象機器情報2105に対応した設定情報2250を取得して、処理を終了する。
以上に述べたように、RF−IDカード2100を用いれば、レコーダ2000の設定をユーザが複雑な処理を意識することなく実施することが可能となり、機器の操作に習熟していないユーザでも、容易にレコーダの設定の変更を行うことが可能となるという効果が得られる。なお、レコーダに対して行うことが可能な操作は、設定の変更だけではなく、例えば、指示内容情報に録画コンテンツリスト取得を指定すると、レコーダの録画コンテンツリストをRF−IDやサーバ上に登録し、他の機器から参照することも可能となる。
さらに、図84で示されるRF−IDカードを用いると、RF−IDカードをかざすだけで予約録画が行うことが可能になる。図84のIndex1に対応した変更対象情報を用いると、指示対象情報で指定した“番組ID”、“録画モード”の設定で予約録画を行うことで、サーバにアクセスすることなしに予約録画を行うことが可能になり、Index2に対応した変更対象情報を用いると、指示対象情報で指定した“番組コード”を指定して、サーバから番組IDまたは開始時間と終了時間、チャンネルの情報を取得し、“録画モード”の設定で予約録画を行うことが可能となる。
さらに、指示対象情報に“お奨め番組”の指定を行ってサーバから番組IDを取得することで、サーバからお奨めのコンテンツを取得して、予約録画を行うことが可能になる。この機能を用いると、例えば、RF−IDカードを番組ガイド雑誌の付録として予約録画の手間を軽減するというサービスも考えられる。また、指示内容情報として、ダウンロードを設定し、指示対象情報として、機能限定版の映像やソフトウェアを設定し、通信情報としてダウンロードサイトのURLを設定したRF−IDカードを用いると、無料配布したRF−IDカードで機能限定のコンテンツを試用し、気に入ったユーザが購入を行うというサービスも考えられる。
なお、本実施の形態では、レコーダを例に挙げて説明を行ったが、本発明の適用範囲は、レコーダには限らない。
例えば、TVにRF−IDカードのリーダライタと設定情報処理部を備えることで、電源を入れた直後の初期表示チャンネルや初期音量の設定、アダルト放送や暴力シーンなどを除外したチャイルドロック設定、お気に入りのチャンネルザッピング設定、画面のコントラストや明るさ設定、言語設定、連続使用時間設定などを変更対象情報として登録して、ユーザの使い勝手に応じた設定を行うことが可能になる。また、カーナビゲーションシステム(カーナビ)にRF−IDカードのリーダライタと設定情報処理部を備えた場合には、指示内容情報に“強調表示”を指定し、指示対象情報に“ランドマーク情報”を指定することで、指定したランドマークをカーナビで表示する際に、文字フォントやサイズを変更したり、色を変更したりするなどの強調表示を行うことが可能になる。なお、ランドマーク情報は、サーバから取得してもよい。これにより、例えば、図85で示される機器操作情報を記録したRF−IDカードを高速道路のサービスエリアやインターチェンジ、観光地などで配布し、現在イベントが行われているなどの、お奨めのランドマークを強調表示するなどの用途にも用いることが可能になる。さらに、ノートPCにRF−IDカードのリーダライタと設定情報処理部を備えると、画面の解像度やデスクトップ上のアイコンなどの配置、壁紙、スクリーンセーバー、常駐ソフトなどのスタートアップ設定、使用する周辺機器、マウスなどの利き手設定などを設定することが可能となり、RF−IDカードを持ち運ぶだけで、出張先などのPCでも、普段使用している設定で作業を行うことが可能になる。また、ゲーム機にRF−IDカードのリーダライタと設定情報処理部を備えて、例えば友人の家などで、指示内容情報として設定変更を設定したRF−IDカードでコントローラのキー配置やメニュー画面構成を設定したり、セーブデータなどを読み込ませたりすることも可能になる。さらに、指示内容情報としてダウンロードを設定したRF−IDカードを雑誌などの付録とし、追加シナリオや希少なアイテムなどのダウンロードを行うといったサービスも考えられる。
本発明のRF−IDカードは、家庭内の家電がネットワークで接続された際にも、例えば個人の好みに合わせたエアコン温度や風呂の湯沸しの設定などをRF−IDカードに登録しておき、家庭内に備えたRF−IDリーダライタにかざして家電の設定を一括して行うことや、冷蔵庫に保管してある食品の閲覧操作をRF−IDカードに登録しておき、あらかじめ食品に付けられたタグなどで冷蔵庫のメモリに登録された食品の情報や、冷蔵庫の中をカメラで撮影した映像を取得することで、TVのリーダライタで食品リストを確認することなど、様々な用途での使用が可能である。なお、機器を指定するRF−IDカード(例えば、“暖房”、“冷房”、“ストーブ”、“扇風機”を示す4種類のカード)と、機器の設定を指定するRF−IDカード(例えば、“弱”、“中”、“強”を示す3種類のカード)などを組み合わせる、または、前記機器指定、機器設定指定のそれぞれの機能を持った複数のRFタグを1枚のRF−IDカードに備えて、機器の設定をカスタマイズしてもよい。
なお、本発明の適用範囲は、これまでの実施の形態で述べた方法に限定されない。本発明の主旨を逸脱しない範囲で、上記実施の形態における構成要素および特徴を任意に組み合わせて得られる形態や、上記実施の形態に対して当業者が変形を施して得られる形態も、本発明に含まれる。
例えば、2人のユーザ(ユーザAとユーザBする)の間で、写真のやりとりを行う形態では、ユーザAの撮影した写真をユーザBが閲覧する方法として、ユーザBのTVの機器IDとユーザBが所有している中継サーバのURLがあらかじめ格納されているRF−ID(RFタグBとする)から生成した情報(機器生成情報Bとする)をユーザAにメールなどで伝えるとともにRFタグBに記録し、ユーザAが、機器生成情報Bに関連付けて中継サーバに写真を登録したサーバのURLを格納することで、ユーザBはRFタグBをTVのRF−IDリーダライタにかざすだけでユーザAの撮影した写真を閲覧することが可能となる。なお、タグBにはあらかじめユーザAのメールアドレスが登録されており、ユーザBがタグBをTVのRF−IDリーダライタにかざすだけで、タグBへの機器生成情報Bの書き込みと、ユーザAへの機器生成情報Bの通知が自動的に行われる方法を用いると、ユーザBが機器の使用方法に習熟していない場合でも、写真のやりとりを行うことが可能となる。また、ユーザAがURL、ログインID、パスワードの少なくとも1つを機器生成情報Bで暗号化してRF−IDに登録した葉書を送付することで、写真の閲覧をユーザBのTVに制限することが可能である。さらに、送信用のRF−IDと返信用のRF−IDの2つのRF−IDが付いた葉書をユーザAからユーザBに送信する場合には、ユーザAがあらかじめ返信用のRF−IDに自分のTVなどから生成した機器生成情報Aを記録することで、ユーザBが返信の際にユーザBが写真を登録するサーバのURLやログインIDやパスワードを機器生成情報Aで暗号化して返信用のRF−IDに記録したり、写真を登録する際にユーザBが機器生成情報Aに関連付けて登録したりすることで、ユーザBの登録した写真の閲覧を許可する機器を制限することが可能となる。
なお、郵送物に付けられたRF−IDの郵送物固有IDは、複数の郵送物で共通なグループID部と郵送物ごとに設定された固有ID部とが組み合わせられた構成となっていてもよい。サーバの写真を郵送物固有ID全体に関連付ける代わりに、前記グループID部と関連付けて登録することで、複数の対象に対して写真と関連付けたRF−ID付き葉書を送付する際に、複数の固有IDの登録を行う手間を省略することができる。また、グループID部と関連付けて登録したサーバの写真を固有ID部に応じて閲覧許可・禁止を切り替えてもよい。それにより、例えば、郵送物にプリンタで宛先住所などの印刷を行う場合は、プリンタにRF−IDリーダライタを備えて郵送物固有IDの固有ID部を印刷時に読み取ることで、住所録と固有ID部の対応付けを行うことが可能となり、住所録でサーバ上の写真閲覧の許可・禁止の管理を行うことが可能となる。
なお、葉書やカードに機能の異なるRFタグを複数備え、使用しないRFタグの通信を遮断することで、1枚の葉書やカードで複数の機能を切り替えてもよい。例えば、葉書の上部に写真をスライドショー表示する機能を持ったRFタグを備え、下部に映像を再生する機能を持ったRFタグを備えることで、葉書の上部、下部のどちらをRF−IDリーダライタに近づけるかで写真表示と映像再生機能を切り替えることが可能となる。なお、葉書の表裏に備えてもよいし、通信を遮断する素材を用いた蓋を備えて、蓋を開けた状態のRFタグのみを使用可能としてもよい。
なお、写真を複数のサーバに登録し、それぞれのサーバのURLをRFタグに格納することで、それぞれのサーバにアクセスして写真を取得し、一覧表示を行ってもよい。
なお、RF−IDリーダライタは、機器に備えているだけでなく、リモコンなどの機器操作を行う入力手段に備えていてもよい。例えば、ネットワークなどで複数の機器が接続されている場合には、複数の機器の操作を集中的に行う入力手段にRF−IDリーダライタを備え、それぞれの機器の操作を行ってもよい。さらに、リモコンなどの入力手段に指紋認証や顔認証といった生体認証やパスワードなどの個人認証手段を備え、個人認証が完了した場合のみ、RFタグの読み書きを行ってもよい。逆に、個人の認証情報をRFタグに記録しておき、RFタグによって機器やリモコンなどで個人認証を行ってもよい。
なお本発明の記載に関してRF−IDという用語を多用している。一般的にはRF−IDという用語は狭義では「識別情報を不揮発メモリに記録してあるタグ」のことを指し、デュアルインタフェースやセキュリティ機能を持つRF−IDは「ICカード」等の用語が用いられているようである。しかし、本明細書のRF−IDこの狭義の用語に限定されるものではない。本発明では「個体識別情報を不揮発メモリに記録し、個体識別情報を、アンテナを介して外部に送信できる電子回路」との広義の意味で用いている。
従来は機器操作の未習熟者が機器の複雑な設定を行うためには、機器の販売者や修理者、サービスマンが対象機器のある場所に赴いて設定を行うか、対象機器を遠隔操作する必要があった。つまり、遠隔操作する場合もやはり遠隔操作の設定のために気規模ある場所に赴く必要があった。しかし、以上に述べたように、RF−IDカード2100を用いれば、レコーダ2000の設定をユーザが複雑な処理を意識することなく実施することが可能となり、機器の操作に習熟していないユーザでも、容易にレコーダの設定の変更を行うことが可能となるという効果が得られる。
また、本発明は、画面を有する機器と、前記機器と通信路で接続されたリーダ装置と、前記リーダ装置と近接無線通信を行う通信装置を備える通信システムにおいて、前記通信装置に関する画像を前記機器に提示する画像提示方法として実現したり、通信装置の識別情報とともに当該通信装置内に保存されるプログラムであって、前記通信装置との間で近接無線通信を行う機器が備える仮想マシンによって実行されるコードで記述され、通信ネットワークで接続されたサーバ装置にアクセスするステップと、アクセスした前記サーバ装置に保存された画像のうち、前記識別情報に対応する画像を前記サーバ装置からダウンロードするステップと、ダウンロードした画像を表示するステップとを含むプログラム、あるいは、そのようなプログラムが記録されたCD−ROM等のコンピュータ読み取り可能な記録媒体として実現したりすることもできる。
また、本発明に係る通信装置は、識別情報および仮想マシン用プログラムを格納したRF−IDを備えるあらゆる機器、例えば、カメラ等の電子機器、炊飯器や冷蔵庫等の家電機器、歯ブラシ等の日常品にも、適用できるはいうまでもない。
ここで、TV等のリモコンにRF−IDリーダを搭載した場合の実施の形態を図86(a)、(b)のブロック図と図86(c)のフローチャートと図87のフローチャート図を用いて説明する。
まず、前述のようにカメラなどの子通信機5050はメモリ52とアンテナ21を持つ。このアンテナ21にリモコン5051のアンテナ5063を近づけるとアンテナ5063からアンテナ21に電源が供給され、メモリ52の中のデータがアンテナ21よりアンテナ5063に送られる。リモコン5051側では通信回路5064によりデジタルデータに変換してメモリ5061に蓄える(ステップ5001a:図87)。リモコン5051の送信部をTV45に向け、送信スイッチ5062を押すと(ステップ5001b)メモリ5061のデータは光出力部5062を介して光を用いて、TVの受発光部5058に送られTV等の親機45に送信される(ステップ5001c)。なお、ここでの通信は光でなく無線でもよい。
ここで図86(c)のフローチャートに戻ると、発明は社会的なシステムに用いられるため20年後、30年後に対応する必要がある。仮想マシン言語等のプログラムはJava(登録商標)等が知られているが、将来、拡張されたり、全く別の効率のよい言語等のプログラムになったりすることが予想される。したがって本発明では、TV等の親機45に親機の仮想マシン言語等の言語タイプやバージョンを示す親機バージョン情報5059、n1が記録されている(ステップ5060i:図86(c))。子機5050のメモリ21には(図86(a))、最初に子機のプログラムの言語等のバージョンを示す子機バージョン情報5052、n2が記録されている。その後にプログラム領域5053があり、バージョン5055a、5055b、5055cのプログラム5056a、5056b、5056cが記録され、その次にデータ領域5054がある。
図86のフローチャートのステップ5060iで親機45のバージョン情報n1を入手し、子機のメモリの中のバージョン情報n2を入手し(ステップ5060a)、n1≧n2の最大値のプログラムnを選択し(ステップ5060b)、その実行プログラムnを実行し(ステップ5060c)、ステップ5060dでインターネットへの接続がある場合、ステップ5060eでサーバに接続し、サーバに親機45に設定されている言語情報5065を送り(ステップ5060f)、サーバは送られた言語情報5065に応じて、その言語、例えばフランス語のプログラムを親機に送り、実行させる。もしくはサーバ上でそのプログラムを実行してもよい。
インターネットに接続されていない場合はステップ5060hに戻り、ローカルプログラムを実行して、子機5050の属性情報、例えば故障の場合を知らせる情報や記録した写真の枚数等の情報を親機45の画面に表示する。このように子機のメモリ52にバージョン情報5052が記録され、10年単位の周期で進化する各世代のプログラムや手順やURLがバージョンごとに記録されているため、20年30年経っても同じフォーマットで動作するという効果がある。図86(a)ではプログラムのバージョン、世代を記録する例を示したが、図86(b)のようにバージョン5055d、5055e、5055fに対応したURL等のサーバの中のデータのアドレス、URL5057a、5057b、5057cを記録することにより同様の効果が得られる。この方式により、将来にわたって、下位互換性を実現できる。例えば今年買った製品にRF−IDが搭載されている場合、バージョンを1とすると、20年後、30年後の親機45には例えばバージョン1、2、3に対応したJAVA(登録商標)等の仮想マシン言語などのプログラムが載っているので、子機バージョン情報5052を知ることにより、親機はそのバージョンに対応した親機のプログラムに切り替え動作を行う。また30年後の子機21ではバージョン1、2、3のすべてのプログラムが記録されているため、バージョン3の親機45では最高の機能を得る。そして、バージョン1の親機45では古いバージョンの少し限定された機能が得られ、完全な互換性が実現する。
図87のフローチャートを説明する。ステップ5001aでリモコン5051の読み取りスイッチ5063を押して、子機5050のアンテナ21に近づけると子機のメモリ52のデータがリモコン5051のメモリ5061に蓄積される。次にステップ5001bでリモコン5051をTV等の親機45に向け、送信スイッチ5062を押すと(ステップ5001b)、光により親機へメモリ5061のデータが送られる(ステップ5001c)。本実施の形態ではこのデータをタグデータと便宜上呼ぶ。タグデータから実行プログラムを抽出もしくは選択し(ステップ5001d)、抽出もしくは選択した実行プログラムを親機の仮想マシン言語を用いて実行し(ステップ5001e)、親機側のインターネット接続識別用情報を読み込み(ステップ5001f)、もしステップ5001まで識別用情報が「インターネットに接続可能」を示さない場合は実行プログラムの中に非接続時用のプログラムを実行し(ステップ5001t)、親機の画面の実行結果を表示する(ステップ5001u)。本発明ではメモリ52にインターネットに接続する情報だけでなく、非接続時に動作する実行プログラムが記録されているため、非接続時に要求される最低の動作が表示を行うことができるという効果がある。
ステップ5001gに戻り、Yesの場合は、上記プログラムの一部を含む接続プログラムを実行する(ステップ5001h)。
この場合、タグデータの中の実行プログラムに図86(a)のデータ領域5054にサーバのURLやユーザIDやパスワード等のデータを加えて接続プログラムを生成することによりタグデータの中の実行プログラムを拡張することができるとともに、メモリ52の中の不揮発性メモリの容量を小さくできる。この場合、メモリ52の接続プログラムをプログラム領域5053の書き換え不能なROMメモリ等のメモリに記録し、サーバのURLなどを書き換え可能なデータ領域5054に記録することにより、チップ面積やコストを下げることができる。
ステップ5001iにおいて特定のURLのサーバに接続し、ステップ5001jでサーバ側がデータのアップロードを要求するかどうかを判定し、Yesならステップ5001pでデータもしくは/かつプログラムをサーバにアップロードする。このデータを用いてサーバでプログラムを実行し(ステップ5001q)、サーバで実行した結果を親機に送り(ステップ5001r)、親機の表面に実行した結果等を表示する(ステップ5001s)。
ステップ5001jに戻り、Noの場合、サーバのURLの中の特定のプログラムを含む情報をダウンロードし(ステップ5001k)、このダウンロードしたプログラムを親機で実行する(ステップ5001m)。そして、その結果を親機の画面に表示する。
消費電力や体積やコストの制約により、RF−IDや子機側のメモリ容量には限界があり、通常のプログラムは記憶できない。しかし、本発明のように接続プログラムと、サーバを利用することにより、無限に大きなプログラムを動作させることができるという大きな効果がある。
サーバで巨大なプログラムを実行してもよいし、サーバからダウンロードしたプログラムを実行してもよく、これらは本発明の範疇に入る。
なお、本発明の図86を用いた実施の形態では、TV用のリモコンを想定して説明した。この場合、リモコンは、電池とTVチャンネルを切り替えるためのボタン、RF−IDを読み取るアンテナと通信回路、赤外の発光部から構成される。リモコンに代えて携帯電話を用いても同様の効果が得られる。携帯電話に搭載されている赤外の発光部などを共用できるため導入しやすい。携帯の通信回線を持つため、直接、サーバに接続されるため性能面では、変わらない。しかし、通信費用が発生するため、ユーザに負担をかけることになる。携帯電話の画面はTVに比べると圧倒的に小さい。したがって、図86で示した送信スイッチ5062を設け、TVが近くにある場合は、携帯電話の発光部をTVの方に向け、前述のメモリ52の中のタグデータをTVに直接送ることにより、解像度の高い大きな画面でデータを見ることができる。また、費用もかからないため、ユーザにとってメリットが大きい。読み取ったタグデータを用いた携帯電話回線を介しての交信は、この送信スイッチと連動して、中止される。
この場合には、図86で説明したリモコンと同様に、RF−ID(NFC通信部でもよい)の少なくともリーダ部を携帯電話に備える構成とする。今後、RF−IDなどのリーダ機能を携帯電話に持たせることが予想される。もしRF−IDのリーダが携帯電話に搭載されるようになれば、本発明を実施するに当たって追加するコストは非常に小さくなり、ユーザにとってのメリットは大きい。また、リモコン、携帯電話だけではなく、PDA端末、ノートPC、携帯メディアプレーヤなどでも本発明を実現することは容易である。
(実施の形態8)
図88に本実施の形態において想定しているホームネットワーク環境について示す。1つの家屋内部に2つのTV45、8001が存在し、それぞれのTVはRFIDタグリーダライタと画面の表示部110、8003を持つものとする。また、それぞれのTVには動画サーバ8004、8005が接続されており、動画サーバからTVに有線もしくは無線を用いて動画データを送信し、動画サーバの情報をTVに動画を表示させることができるようになっている。ここで、動画サーバとはNASなどのストレージデバイスもしくはBDレコーダなどの記録デバイスである。同様に、インターネットを通じて宅外の動画サーバにアクセスすることも可能としている。また、ホームネットワークのユーザは持ち運び可能かつ動画の表示が可能なモバイルAV端末8006を所有しているものとする。モバイルAV端末もTVと同様に、RFIDタグ8007と動画表示部8008を持ち、無線を通じて動画サーバにアクセス可能である。
本実施の形態ではこのような環境において、ユーザがTV1(45)で動画を見ているが、2階のテレビ2(8001)で見たくなったという状況を想定している。移動して動画を見る場合には、動画の続きがシームレスに見られることが望ましい。しかし、セキュリティを保ったまま、シームレスに動画を移動させるためには、ユーザの認証やタイミングの同期を取ることが必要であり、ユーザは複雑な操作をしなければならない。
本発明は上記課題を解決するため、RFIDを用いることにより、ユーザの認証やタイミングの同期といった処理を極めて単純なやりとりで行うものである。具体的にはモバイルAV端末8006のRFIDタグ8007をTV1のRFIDタグ46に近接させ、RFIDタグによって認証やタイミング同期のための情報のやりとりを行う。
本発明は、上記構成によって、モバイルAV端末とTVをタッチさせるという極めて単純な動作で動画の受渡しを可能とし、ユーザの利便性を大きく向上させるものである。
図89は、モバイルAV端末が実行する各機能を説明する機能ブロック図である。動画の受渡しを行うユーザは動画受渡しボタン8050を押す。動画受渡しボタンを押されたときに、動画受渡し要求作成部8051は表示情報管理部8052より現在、表示部8008に表示されている動画情報を取得し、動画受渡し要求を作成し、RFIDのメモリ8054に書き込む。動画が表示されていなかった場合には、動画をもらうモードに変更し、動画もらうコマンド動画作成要求とする。もし、動画を表示していた場合には、動画を渡すモードに変更し、動画渡すコマンドと動画の情報を動画受渡し要求とする。ここで、動画の情報とは表示情報管理部で管理されている動画表示時間の情報と通信・放送管理部8055で管理されている接続先情報のことである。通信・放送管理部8055では動画を、放送インタフェース8056を通して受信している場合には、チャンネル情報を管理し、通信インタフェース8057を通して受信している場合には、動画サーバの識別子および動画の識別子を管理している。ここで、動画サーバの識別子および動画の識別子とは例えばIPアドレスであり、URLであり、一意に識別できるものであればなんでもよい。なお、動画受渡しボタンは動画を受けるボタンと動画を渡すボタンに分けてもよい。また、動画受渡しボタンを押すことにより画面にもらうか渡すかの選択肢を表示させてもよい。RFIDのメモリ8054に記録された情報は他のRFIDタグに近接されると、送信部8058より無線アンテナ8059を通して送信される。なお、受渡しコマンドを作成後、一定時間経っても送信されない場合には、動画受渡しモードは解除されるものとし、メモリ内の情報も廃棄するものとする。RFIDの受信部8060は動画受渡し応答を受信する。動画受渡し応答とは、動画もらうコマンドもしくは動画渡すコマンドに対する可否の応答で、動画もらうコマンドに対する可の応答の場合には、動画の情報を含むものとする。動画受渡し応答は通信・放送管理部に送られ、応答に従った処理を行う。動画もらうコマンドに可の応答が返ってきた場合には動画もらう処理を行う。応答に含まれる動画情報がチャンネル情報だった場合には、放送インタフェース8056にその情報を通知し、そのチャンネルを受信する。また、表示管理部8061にそのチャンネルを表示する指示を出す。モバイルAV端末の放送インタフェースでは受信できないチャンネル情報(BS、CS、ケーブルTVのチャンネル)であった場合には、それらのチャンネルを受信し、通信インタフェースへ転送してくれる端末の探索を通信部8062に依頼する。なお、転送してくれる端末の探索は事前にやっておいてもよい。通信インタフェースで受信した場合でも通常と同様に表示部8008には表示される。受渡し応答に含まれる動画情報が接続先情報だった場合には、通信部8062にその情報を通知し、動画の送信要求を接続先に送信する。動画の送信要求には動画の表示時間が含まれており、その時間に合わせてデータの送信を要求する。なお、放送インタフェースでの動画受信と異なり、通信インタフェースでの動画の受信にはある程度の時間がかかる場合がある。それは、通信インタフェースで受信するための前処理や通信バッファ8063に一時的に動画データが蓄えられる時間に依存する。本方式ではその時間を予測し、あらかじめその時間に合わせた動画送信要求を通信部から行わせることで、余計なデータ送信およびそれに待ち時間の削減を行ってもよい。その場合には、表示時間補正部において、シームレスに動画表示ができるように補正を行う。これは、一般にデジタル動画のデータは表示バッファ8065に蓄えられ、表示処理部8053で処理をされながら表示部8008で表示されているから可能となる。動画を渡すコマンドに対して可の応答が返ってきた場合には、画面表示を消す。なお、画面表示は自動で消してもよいし、ユーザに選択させてもよい。また、渡した側の端末より画面表示を消す指示を受信してから消してもよいし、タイマを用意し、一定時間経過したのちに消してもよい。
図90は、TVが実行する各機能を説明する機能ブロック図である。RFIDタグのアンテナ8100より動画受渡し要求を受信した受信部8101は通信・放送管理部8102にデータを渡す。受信したデータが動画もらうコマンドであった場合には、動画受渡し応答作成部8103に管理している表示動画の接続先情報を送信する。受信した動画受渡し応答作成部8103は表示情報管理部8104より表示時間情報を取得し、動画受渡し応答を作成し、RFIDのメモリ8105に書き込む。このとき、所望の情報が得られなければ、受渡し不可の応答を作成する。書き込まれた受渡し応答は送信部8106によりモバイルAV端末のRFIDに送られる。送信後の動画の表示終了処理はモバイルAV端末と同様である。受信したデータが動画渡すコマンドであった場合には、通信・放送管理部8102において含まれる情報に応じた処理を行う。チャンネル情報の場合には、放送インタフェース8107に通知し、所望のチャンネルでの情報を受信し、表示管理部8108に通知し、表示を変更する。なお、既に動画を表示中に動画渡すコマンドを受信した場合、優先度判定部8109にてどちらの動画を優先すべきかの判定を行ってもよいし、選択コマンドを表示してもよい。接続先情報を含む場合には、通信部8110に通知して、動画送信要求を送信してもらう。その後の処理はモバイルAV端末と同様であり、その他の各部の機能も同様である。
図91は、TV1(45)が動画サーバ1(8004)から動画を受信している場合に、モバイルAV端末8006がその動画を受け渡してもらう場合のシーケンス図である。ユーザは動画を受け渡すために、モバイルAV端末8006の電源を入れる。モバイル端末は無線LANのアクセスポイント8009を探索し無線接続を確立する。さらに、DHCPなどによりIPアドレスを取得しIP接続を確立する。DLNA端末であった場合には、M−SEARCHなどのDLNA端末探索処理を行ってもよい。ユーザは動画受渡しボタンを押し、RFIDのメモリ内に動画受渡し要求を作成する。さらに、ユーザはモバイルAV端末のRFID8007とTV1のRFID46を近接させ、動画受渡し要求をTV1に送信する。TV1では要求コマンドを受信したことにより、動画受渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を作成し、モバイルAV端末8006に返信する。なお、TV1での動画受信手段が、HDMIケーブルなどの非IP接続の場合でも、TV1は動画サーバのIPアドレスを取得しておくものとする。また、動画が暗号化されていた場合には、必要なセキュリティ関連情報(鍵など)を同時に交換するものとする。動画受渡し応答を受信した、モバイルAV端末は、応答に含まれる動画サーバ1のIPアドレスに対して動画送信要求(動画の識別子、表示時間を含む)を送信する。動画送信要求を受信した動画サーバ18004は動画の送信先をモバイルAV端末8006に切り替える。動画のデータを受信しなくなったTV1(45)は動画表示をOFFにする。
図92は、モバイルAV端末8006が動画サーバ1(8004)から動画を受信している場合に、TV2(8003)がその動画を受け渡してもらう場合のシーケンス図である。ユーザはモバイルAV端末8006の動画受渡しボタンを押し、動画受渡し要求を作成する(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)。さらに、ユーザはモバイルAV端末のRFID8007とTV2のRFID8002を近接させ、動画受渡し要求をTV2に送信する。TV2(8003)は動画受渡し可の応答を作成し、モバイルAV端末8006に返信する。TV2(8003)は動画送信要求を動画サーバ1(8004)に送信する。その後の処理は図91と同様となる。
図93はモバイルAV端末の処理を説明するフローチャートである。モバイルAV端末はユーザに受け渡しボタンを押されると(S8300)、画面が空白の(もしくは動画表示でない)場合(S8301)には動画をもらうモードに移行する(S8302)。画面が空白でない場合には、選択画面を表示する(S8303)。もらうを選択した場合には(S8304)同様に動画をもらうモードに移行する。渡すを選択した場合には、動画を渡すモード(S8305)に変更する。動画をもらうモードの場合、モバイルAV端末は動画をもらうコマンドを含む動画受渡し要求を自身のRFIDのメモリ内に格納する。ユーザは他端末のRF−IDに自端末のRFIDを近接させ(S8306)、動画受渡し要求を他端末に送信する(S8307)。その際、他端末より動画受渡し応答を受信すると(S8308)、応答内に含まれる情報に応じて処理を行う。応答が得られなかった場合には、応答無しのエラー画面を表示し、処理を終了する(S8309)。応答内に地上波のチャンネル情報が含まれている場合には、モバイルAV端末が該当チャンネル受信可能であるかどうかを確認する(チューナ、アンテナを持ち電波的に受信可能な範囲にいる)。可能であった場合には(S8311)、指定されたチャンネルを画面表示する。不可能であった場合には、無線LAN転送モードに変更する(S8313)。また、応答情報にBSなどのモバイルAV端末では、そもそも受信することが不可能なチャンネル情報が含まれていた場合(S8314)でも同様に無線LAN転送モードに変更する。応答に含まれる情報がチャンネル情報でない場合には無線LAN受信モード(S8315)に変更する。
図94はモバイルAV端末の動画を渡すモードでの処理を説明するフローチャートである。動画を渡すモードの場合、モバイルAV端末は動画を渡すコマンドおよび渡したい動画の情報を含む動画受渡し要求を自身のRFIDのメモリ内に格納する。ユーザは他端末のRF−IDに自端末のRFIDを近接させ(S8320)、動画受渡し要求を他端末に送信する(S8321)。その際、他端末より動画受渡し応答を受信すると(S8322)、応答内に含まれる情報に応じて処理を行う。応答が得られなかった場合には、応答無しのエラー画面を表示し、処理を終了する(S8323)。応答が受け渡し不可の応答である場合には(S8324)、受渡し不可のエラー画面を表示し、処理を終了する(S8325)。受渡し可で、受け渡す動画を地上波で受信している場合には(S8326)、地上波放送の画面表示を停止する。そうでない場合には、無線LANで受信している動画の終了処理を受信している方式の種類に応じて行い(S8327)、画面表示を停止する。なお、画面表示の停止は動画を渡す側の端末の指示に従ってもよいし、初期画面等の別の画面に切り替えてもよい(S8328)。
図95はモバイルAV端末の無線LAN転送モードでの処理を説明するフローチャートである。モバイルAV端末は、地上波は受信可能であるが、衛星放送やケーブルTVの放送は受信不可能な端末を仮定している。これらの放送波を受信するためには、受信可能な別の端末で受信し、無線LANで転送してもらう必要がある。モバイルAV端末は、無線LAN転送モードになると、無線LAN転送対応機器の情報を呼び出す。もし、対応機器の情報を保持していなければ(S8340)、対応機器の探索を行う(S8341)。宅内に無線LAN転送対応機器を発見することができなければ、該当チャンネル受渡し不能のエラー画面を表示する(S8342)。無線LAN転送機器が発見されるもしくはそもそも対応機器情報を保持していた場合には、その機器に対して該当チャンネルの動画転送要求を送信する(S8344)。動画転送可能の応答が転送機器から返ってきた場合には、指定されたチャンネルの動画パケットを無線LANにより受信し(S8345)、指定されたチャンネルの動画を画面表示する(S8346)。
図96はモバイルAV端末の無線LAN受信モードでの処理を説明するフローチャートである。無線LAN受信モードで、動画受渡し応答の中に、動画サーバのIPアドレス、動画のIDおよび表示時間情報が含まれている場合(S8360)には、動画サーバにアクセスを行う。まず、動画サーバのIPアドレスが自端末のIPアドレスと同一サブネットであるかどうかを確認する(S8361)。自端末のIPアドレスと同一サブネットであった場合には、動画サーバに対して動画IDと表示時間を含む動画送信要求を送信する(S8364)。なお、遅延時間補正機能があった場合には(S8362)、動画送信要求内の表示時間情報を補正する(S8363)。ここで、表示時間補正機能とは、処理にかかる様々な遅延を考慮して、効率的な動画転送を行うために行う補正機能を指す。さらに、モバイルAV端末は動画サーバから動画を受信できなかった場合には(S8365)、動画送信要求を再送してもよい。再送タイムアウトが所定回数を超えても応答が得られなかった場合には(S8366)、サーバ応答無しエラー画面を表示する(S8367)。受信した動画データの時間が表示したい時間とあっていない場合(S8368)には、早送りや巻き戻しの制御パケットを用いて表示したい時間と合わせる(S8369)。その後、モバイルAV端末は動画の画面表示を行う。
図97は動画受渡し応答の中にURLが含まれていた場合の処理を説明するフローチャートである。URLが含まれている場合(S8380)には、DNSによる名前解決を行い、動画サーバのIPアドレスを取得する(S8381)。なお、動画のURLは動画サービス用に付けられた名前であればなんでもよい。また、名前解決はDNS以外のサービス識別子から端末識別子への変換も含むものとする。取得した動画サーバのIPアドレスが自端末のIPアドレスと同一である場合には、図96で説明した処理に戻る。同一サブネットでなかった場合には、サブネット外サーバへの接続処理へ移る。応答情報に所望の情報が含まれていなかった場合には、応答情報不正のエラー画面を表示する。
図98は動画サーバのIPアドレスが自端末のIPアドレスとサブネットが異なる場合の処理を説明するフローチャートである。サブネットが異なる場合には、別の無線アクセスポイントを探索する。宅内に別のアクセスポイントがなかった場合には、動画サーバは宅外サーバであるとして、宅外サーバの接続処理に移る。別のアクセスポイントがあった場合には(S8390)、そのアクセスポイントに再接続を行い、別のサブネットを持つIPアドレスを取得する(S8391)。動画サーバのサブネットが取得したIPアドレスのサブネットと同じならば(S8392)、宅内サーバの処理へ移る。自端末がアクセス可能な宅内アクセスポイントに接続し、IPアドレスを取得しても、サブネットが同じにならなかった場合には(S8393)、宅外サーバへのアクセス処理に移る。なお、すべてのアクセスポイントに対するIPアドレスの取得処理は、事前に行い、モバイルAV端末内で管理しておいてもよい。
図99は宅外サーバへアクセスする場合の処理を説明するフローチャートである。動画サーバのアドレスがグローバルアドレスでない場合には(S8400)、アドレスエラーを画面表示する(S8401)。指定された動画サーバへのアクセス方式を知らない場合には(S8402)、アクセス方式不明エラーを画面表示する(S8403)。なお、宅内動画サーバおよび宅内動画機器はDLNAに準拠していると仮定している。アクセス方式がわかった場合かつ、宅内サーバと同等の機能を備えている場合には、宅内サーバと同様の処理を行う(S8404)。そうでない場合には、アクセス方式に応じた処理によって動画を取得し(S8405)、受信した動画を画面表示する(S8406)。
図100はTVの処理を説明するフローチャートである。TVは自端末のRFIDに他端末のRFIDを近接され(S8410)、動画受渡し要求を受信する(S8411)。自端末が動画を受信中(S8412)で動画受渡し要求内に動画もらうコマンドが含まれている場合には(S8413)、自端末を、動画を渡すモードに移行する(S8414)。動画受信中でないにもかかわらず、動画受渡し要求内に動画もらうコマンドが含まれている場合には(S8415)、動画受渡し不可の動画受渡し応答を返信し(S8416)、受渡し不可のエラー画面を表示する(S8417)。受信している動画が地上波である場合には(S8418)、動画受渡し応答にチャンネル情報を入れて返信し(S8419)、画面表示を消す(S8420)。
図101は受信している動画が地上波ではない場合の処理を説明するフローチャートである。受信している動画が地上波以外の放送動画であった場合には(S8430)、動画受渡し応答にチャネル情報を入れて返信する。無線LAN転送モードがある場合、自端末のIPアドレスを入れてもよい(S8431)。返信したのち、画面表示を消す(S8432)。その他の動画の場合には、受渡し応答に動画サーバIPアドレス、動画ID、動画表示時間もしくは動画URL、動画表示時間を入れて返信する(S8433)。返信後に無線LANでの動画通信の終了処理を行い(S8434)、画面表示を消す。
図102は動画受渡し応答に動画渡すコマンドが含まれていた場合の処理を説明するフローチャートである。動画を表示している最中に、動画渡すコマンドを受信した場合には、2画面表示機能があった場合(S8440)には動画をもらうモードに移行する(S8441)。ない場合には、動画をもらうかどうかの選択画面を表示する(S8442)。動画をもらうを選択した場合には(S8443)、動画もらうモードに移行する。動画をもらわないを選択した場合には、動画受渡し不可の動画受渡し応答を返信する(S8444)。要求に含まれる情報がチャンネル情報だった場合には(S8445)、指定されたチャンネルを画面表示する(S8446)。要求に含まれる情報が動画サーバのIPアドレスもしくはURLであった場合には(S8447、S8448)、モバイルAV端末の動画もらうモードと同じ動作を行う。それらの情報が含まれていない場合には、情報エラー画面を表示する(S8449)。
さらに、本実施の形態の応用例として以下の方式が考えられる。
本実施の形態にかかる受信部8080にてTV1(45)から受取る動画受渡し応答は、動画情報を含む構成で実施するとしたが、必ずしもこのような構成である必要はない。動画受け渡し応答に動画サーバとTV間の動画再生遅延時間を含めることも可能である。
これによって、モバイルAV端末8006で動画再生を引き継ぐ際のTV1(45)との再生位置の差異を少なくしてよりシームレスな動画再生引継ぎが期待できる。
以下、本実施の形態における動画受け渡し応答において動画再生遅延時間を含めた構成の場合について示す。
図103は、TVで再生中の動画をモバイルAV端末へ引き継ぐ場合の概要図である。
図104〜図110を用いて、NFCにてTVからモバイルAV端末へ動画再生を引継ぐ手順に関して説明する。
ステップ7508aでユーザがリモコン等の操作をする、もしくは、ユーザが保持するモバイルAV端末が自端末の位置を検知して自動的にTVの電源がONとする。
ステップ7508bでレコーダに保存された動画を再生するかどうかを確認し、Yesの場合は丸1へ進む。
Noの場合はステップ7508cへ進み、Web上にある動画を再生するかどうかを確認し、Yesの場合は丸2へ進む。
Noの場合はステップ7508dへ進み、放送中の番組を再生するかどうかを確認し、Yesの場合は丸4へ進む。Noの場合はステップ7508bへ戻る。
TVは、丸1からステップ7508eでレコーダに対して保存された動画一覧テーブルを要求し、ステップ7508fで動画一覧テーブルを受信したかどうかを確認する。
Yesの場合はステップ7508gへ進み、再生する動画の送信要求をレコーダへ送信する。再生する動画は、ユーザが画面上にて再生したい動画を選択することで決定する。
ステップ7508fでNoの場合はレコーダから動画一覧テーブルが送信されるまで待機する。
ステップ7508hでレコーダから前記ステップ7508gにて要求した動画のストリーミングが開始されて、TVで受信し始めたかどうかを確認し、Yesの場合は丸4へ進む。
ステップ7508hでNoの場合は動画ストリーミングをTVで受信し始めるまで待機する。
レコーダは、ステップ7510aでTVから動画一覧テーブルの要求があったかどうかを確認し、Yesの場合はステップ7510bへ進み、TVに対してレコーダが保有する動画一覧テーブルを送信する。
ステップ7510cでTVからレコーダが保有する動画のストリーミング要求があった かどうかを確認し、Yesの場合はステップ7510dへ進み、TVに対して動画のストリーミングを開始して、丸7へ進む。
ステップ7510aでNoの場合はTVから動画一覧テーブルの要求があるまで待機する。ステップ7510cでNoの場合はTVから動画のストリーミング要求があるまで待機する。
TVは、丸2からステップ7509aでWeb上の動画サーバへアクセスするために認証が必要かどうかを確認し、Yesの場合はステップ7509bへ進み、Web上の動画サーバに対して、IDとパスワードを送信する。Noの場合は、動画サーバの認証が不要であるためステップ7509dへ進む。
ステップ7509cでTVは動画サーバから認証完了通知があったかどうかを確認し、Yesの場合は、ステップ7509dへ進み、動画サーバに対して動画一覧テーブルを要求する。ステップ7509eでNoの場合は、動画サーバから否認通知を受信しているためステップ7509dへ戻り、再度、動画サーバへの認証を実施する。
ステップ7509eでTVは動画一覧テーブルを受信したかどうかを確認し、Yesの場合はステップ7509fで再生する動画のストリーミング識別子と再生時間を動画サーバへ送信する。再生する動画は、ユーザが画面上に表示された動画一覧テーブルから選択することで決定する。
ステップ7509gでTVは動画サーバからの動画ストリーミング受信を開始したかどうかを確認し、Yesの場合は丸4へ進む。Noの場合は、動画サーバからの動画ストリーミングが開始されるまで待機する。
ステップ7513aでWeb上の動画サーバはTVから送信されるID・パスワードを受信したかどうかを確認し、Yesの場合はステップ7513bに進み、TVから受信したID・パスワードを確認して認証するかを確認し、Yesの場合はステップ7513dへ進み、認証完了通知をTV送信する。ステップ7513aでNoの場合はステップ7513aへ戻り、TVからID・パスワードが送信されるまで待機する。ステップ7513bでNoの場合はステップ7513cへ進み、TVに対して否認証通知を送信して、ステップ7513aへ戻る。
ステップ7513eでTVから動画一覧テーブルの要求があったかどうかを確認し、Yesの場合はTVに対してWeb上の動画サーバが保有する動画の一覧テーブルを送信する。動画一覧テーブルには、各動画のストリーミング識別子を含む。ステップ7513eでNoの場合は、TVから動画一覧テーブルの要求があるまで待機する。
ステップ7513gでTVから動画サーバが保有する動画のストリーミング要求あったかどうかを確認し、Yesの場合はステップ7513hへ進み、TVに対して動画ストリーミングを開始して、丸3へ進む。ステップ7513gでNoの場合はTVから動画サーバが保有する動画のストリーミング要求があるまで待機する。
TVは、丸4からステップ7508iで受信した動画の再生を開始して、ステップ7508jでモバイルAV端末からTVのNFCデータへアクセスがあったかどうかを確認し、Yesの場合はステップ7508kへ進み、TVのNFCメモリに記憶された内容をモバイルAV端末へ送信して、丸6へ進む。ステップ7508jでNoの場合はモバイルAV端末からTVのNFCデータへアクセスがあるまで待機する。TVのNFCメモリには、自機器IDと自機器の位置情報を含む。
モバイルAV端末は、ステップ7511aでTVのNFCデータ読込みのためにポーリング開始し、ステップ7511bでモバイルAV端末使用者がTVへモバイルAV端末をタッチすることにより、モバイルAV端末はNFCの読込みを検知したかどうかを確認し、Yesの場合は、ステップ7511cへ進む。ステップ7511bでNoの場合は、モバイルAV端末使用者がTVへモバイルAV端末をタッチすることで、モバイルAV端末がNFCの読込みを検知するまで待機する。
ステップ7511cでモバイルAV端末はTVが保有する自機器の位置情報をTVから取得するかどうかを確認し、Yesの場合はTVから受信したNFCメモリの記憶内容に位置情報が含まれるかどうかを確認し、Yesの場合はステップ7511gへ進み、位置情報をモバイルAV端末のメモリに記憶して、丸5へ進む。ステップ7511cでNoの場合は、TVが位置情報を保有していないため、ステップ7511eへ進み、モバイルAV端末が位置情報を持っているかどうかを確認し、Yesの場合はステップ7511gへ進む。ステップ7511eでNoの場合はステップ7511fへ進み、クラウドサービスから位置情報を取得できるかどうかを確認し、Yesの場合はモバイルAV端末が既知のクラウドサービスからTVの機器IDを元にTVの位置情報を取得して、ステップ7511gへ進む。Noの場合は丸5へ進む。
なお、ステップ7511eやステップ7511fにおいて位置情報取得に時間を要するためにステップ7511gを実施できない場合は、これらのステップの実施前に丸5以降のステップへ進み、位置情報取得後にステップ7511gを実施しても良い。
TVは、丸6からステップ7508mでモバイルAV端末から動画受け渡し要求を受信したかどうかを確認し、Yesの場合はステップ7508nへ進み、動画受け渡し応答を生成して、モバイルAV端末へ送信する。モバイルAV端末へ送信する応答内容は、動画サーバであるレコーダのIPアドレス、Webの動画の場合は動画取得用URLとTVで現在再生中の動画ストリーミング識別子と再生時刻PST1とTVと動画サーバ間の動画再生遅延時間D1、及び、動画サーバにアクセスするために必要な認証ID・パスワードを応答内容に含む。Noの場合は、モバイルAV端末から動画受け渡し要求を受信するまで待機する。
モバイルAV端末は、丸5からステップ7511hでTVにて再生中の動画を受け取るかどうかを確認し、Yesの場合はステップ7511iへ進み、動画受け渡し要求を生成してTVへ送信して、ステップ7511jでTVから動画受け渡し応答を受信したかどうかを確認して、Yesの場合はステップ7511kへ進む。
ステップ7511mでモバイルAV端末と動画サーバ間の動画再生遅延時間D2を図4016のテーブルより取得して、受け渡される動画の配信元がレコーダであるかどうかを確認して、Yesの場合は丸8へ進む。ステップ7511hでNoの場合は、動画の受け取りを行わず終了する。なお、遅延時間の算出方法は、この他にネットワーク遅延、送受信機器の実行状態による遅延、送受信機器の性能による遅延、受信する動画フォーマット毎の処理による遅延等を考慮して行っても良い。
ステップ7511jでNoの場合はステップ7511iへ戻り、再度、動画の受け渡し要求を生成してTVへ送信する。ステップ7511mでNoの場合は丸9へ進む。
モバイルAV端末は、丸9からステップ7511rで動画サーバへの認証が必要かどうかを確認し、Yesの場合はステップ7511sへ進み、TVから受信した動画サーバの認証ID・パスワードを送信する。ステップ7511rでNoの場合は、動画サーバへの認証処理を実施せずに丸8へ進む。
ステップ7511tで動画サーバから認証完了通知があるかどうかを確認して、Yesの場合は丸8へ進む。ステップ7511tでNoの場合は、ステップ7511sへ戻り、再度、動画サーバへの認証を実施する。
Web上の動画サーバは、丸3からステップ7513jでモバイルAV端末から認証ID・パスワードを受信したかどうかを確認してYesの場合はステップ7513kへ進み、モバイルAV端末より受信したID・パスワードを認証するか確認して、認証する場合はYesの丸7へ進む。ステップ7513jでNoの場合はステップ7513jへ戻り、モバイルAV端末から送信される認証ID・パスワードを受信するまで待機する。ステップ7513kでNoの場合は、ステップ7513mへ進み、否認証通知をモバイルAV端末へ送信して、ステップ7513jへ戻り、モバイルAV端末から送信される認証ID・パスワードを受信するまで待機する。
レコーダまたはWeb上の動画サーバは、丸7からステップ7510eでモバイルAV端末から送信される動画受け渡し要求を受信されたかどうかを確認して、Yesの場合はステップ7510fへ進み、モバイルAV端末に対して動画ストリーミングを開始する。ステップ7510eでNoの場合はステップ7510eへ戻り、モバイルAV端末から送信される動画受け渡し要求を受信するまで待機する。
ステップ7510gで再生中の動画が終端まで到達した、または、モバイルAV端末より再生終了通知があったかを確認して、Yesの場合はモバイルAV端末に対する動画ストリーミング処理を停止して終了する。Noの場合は、再生中の動画が終端まで到達した、または、モバイルAV端末より再生終了通知があるまで動画の再生を継続する。
モバイルAV端末は、丸8からステップ7511mでTVから受け渡された動画のモバイルAV端末における再生開始時刻PST2を算出(算出式は{(D2−D1)+D1}+PST1)して、ステップ7511nで動画サーバへ動画送信要求をする。要求内容には動画ストリーミング識別子と再生開始時刻PST2を含む。
ステップ7511pで動画サーバから動画ストリーミングを受信したかどうかを確認し、Yesの場合はステップ7511qへ進み、モバイルAV端末にて動画再生を開始する。Noの場合は、動画サーバから動画ストリーミングを受信するまで待機する。
ステップ7510gで再生中の動画が終端まで到達した、または、モバイルAV端末より再生終了通知をレコーダまたはWeb上の動画サーバに対して送信したかを確認し、Yesの場合はモバイルAV端末での動画再生を終了する。Noの場合は、再生中の動画が終端まで到達した、または、モバイルAV端末が再生終了を検知するまで動画の再生を継続する。
さらに、本実施の形態の応用例として以下の方式が考えられる。
本実施の形態にかかる受信部8080にてTV1(45)から受取る動画受渡し応答は、モバイルAV端末8006とTV1(45)のRFIDタグリーダライタにより近傍無線通信した際に実施されるとしたが、必ずしもこのようなで順序ある必要はない。
モバイルAV端末8006が自端末の位置とTV1(45)の位置を把握しており、モバイルAV端末8006とTV1(45)の位置が一定以上乖離した場合に動画受渡し応答を受信することも可能である。
これによって、動画再生機器の切替えが可能となり、ユーザの居場所に応じた端末や機器で動画再生を引き継いで視聴できることが期待できる。各機器の位置取得については、実施の形態19にて詳細を示すため、ここでは概要のみを示す。また、TV1(45)とモバイルAV端末8006間で行う動画受け渡し応答時に動画サーバと自機器における動画再生遅延時間を含めることも可能である。動画再生遅延時間を用いることで、TV1(45)とモバイルAV端末8006間で動画再生を引き継ぐ際の再生開始位置の差異を少なくしてよりシームレスな動画再生引継ぎが期待できる。
以下、本実施の形態における動画受け渡し応答においてを含めた構成の場合について示す。
図111は、TVとモバイルAV端末間での再生動画引継ぎを表す概要図である。モバイルAV端末の位置に従った再生先機器変更や各機器で引継ぐ内容(音声・映像)が変更されることを表す。
図113〜図118にて、TVで再生中動画をモバイルAV端末で引継ぐ手順について解説する。
リビングのTVは、ステップ7505aでTVでの動画再生開始し、ステップ7505bで動画再生開始通知をブロードキャストする。
ステップ7505cでモバイルAV端末のブロードキャストに対して応答を返えして、丸1へ進む。
モバイルAV端末は、ステップ7505dで自端末の移動検知待ちまたはTVから動画再生開始通知待ちを行う。ステップ7505eで移動を検知したかどうかを確認し、Yesの場合はステップ7505gに進み、自端末の移動先の位置を取得する。
ステップ7505eでNoの場合はステップ7505fへ進み、再生開始通知受信しているかどうかを確認し、Yesの場合はステップ7505gに進み、自端末の移動先の位置を取得する。Noの場合はステップ7505dへ戻る。
ステップ7505hで周辺にある機器に対して、動画再生中の機器を探索する。
ステップ7505iで動画再生中の機器を発見したかどうかを確認し、Yesの場合は丸2へ進む。ステップ7505iでNoの場合は丸3へ進む。
モバイルAV端末は、丸2からステップ7506aで発見した機器の位置情報を取得する。機器の発見方法は、ブロードキャスト以外に近傍接触通信によりタッチすることで発見できる。また、発見機器の位置情報取得は、7505cでTVからブロードキャスト応答に含まれる機器IDをもとに、TVへ再度問い合わせる、または、クラウドサービスへ問い合わせる方法で取得が可能である。
ステップ7506bで自端末の位置が発見した機器の動画引継ぎ対象範囲内にあるかどうか確認する。ステップ7506bでYesの場合はステップ7506dへ進み、動画引継ぎ元の機器として発見した機器を記憶し、丸6へ進む。ステップ7506bでNoの場合はステップ7506cへ進み、別の発見機器があるかどうか確認し、Yesの場合はステップ7506aに戻る。ステップ7506cでNoの場合は丸5へ進む。
モバイルAV端末は、丸3からステップ7507aで宅内に複数のアクセスポイントあるかどうかを確認し、Yesの場合はステップ7507bへ進む。
ステップ7507bで未探索のアクセスポイントあるかどうかを確認し、Yesの場合はステップ7507dへ進み、現在のアクセスポイントを探索済みとして記憶し、ステップ7507eで別のアクセスポイントへ切替えて、丸4に進む。
ステップ7507a、または、ステップ7507bでNoの場合はステップ7507へ進み、探索済みとして記憶したアクセスポイントをクリアし、丸5に進む。
リビングのTVは、丸1からステップ7508aで音声受渡し要求を受信し、ステップ7508bで受渡し応答を送信し、丸7へ進む。
モバイルAV端末は、丸6からステップ7508cで自端末の移動検知待ちして、ステップ7508dで自端末の移動検知した場合、ステップ7508eで自端末の位置をポーリングする。ステップ7508fで引継ぎ元TVが定義する音声引継ぎ範囲内かどうかを確認する。Yesの場合はステップ7508gへ進み、引継ぎ元TVに対して再生中動画の音声受渡し要求し、ステップ7508hで受渡し応答を受信し、丸9へ進む。
ステップ7508fでNoの場合はステップ7508iへ進み、引継ぎ元TVが定義する映像・音声引継ぎ範囲内かどうかを確認する。
Yesの場合は丸8へ進む。Noの場合はステップ7508eへ戻る。
リビングのTVは、丸7からステップ7509aで動画(映像音声)の受渡し要求受信し、ステップ7509bで受渡し応答を送信し、丸10へ進む。
モバイルAV端末は、丸8からステップ7509cで引継ぎ元TVに対して再生中動画の受渡し要求し、ステップ7509dで受渡し応答を受信し、ステップ7509eで受信情報の再生動画URLへ動画送信要求(再生位置を含め要求)し、ステップ7509fで動画サーバよりストリーミングの受信開始(この時点ではモバイルAV端末での再生は行わない)し、丸11へ進む。
TVは、丸10からステップ7510aでTV近辺に他のモバイルAV端末がいなければ動画再生終了しTVの電源をOFFとした後、ステップ7510bで終了する。
モバイルAV端末は、丸11からステップ7510でストリーミング受信している動画の音声と端末マイクから入力される引継ぎ元TVの音声を比較して時間差を求めて、ステップ7510dでTVの音声が先行して再生されているかどうかを確認する。
Yesの場合はステップ7510eへ進み、TVの再生位置に追いつくために、時間差の分だけモバイルAV端末再生位置を進めて、ステップ7510gへ進む。Noの場合はステップ7510fへ進み、TVの再生位置に戻るために、時間差の分だけモバイルAV端末の動再生位置を戻して、ステップ7510gへ進む。
ステップ7510gで、TVの音声との差分なしかどうかを確認する。Yesの場合はステップ7510jへ進み、モバイルAV端末でストリーミング受信中の動画を再生して、ステップ7510kで引継ぎ元TVに対して動画再生終了要求を出し、ステップ7510mで終了する。
ステップ7510gでNoの場合はステップ7510hへ進み、ストリーミング受信を開始してから一定時間以上経過しているかどうかを確認する。Yesの場合はステップ7510iへ進み、音声が小さくなったタイミングまたは効果音を鳴らし、ステップ7510jへ進む。ステップ7510hで、Noの場合はステップ7510cへ戻る。
図119〜図121にて、モバイルAV端末で再生中動画をTVへ引継ぐ手順を解説する。
モバイルAV端末は、ステップ7506aで動画再生開始し、ステップ7506bで周辺にある動画再生の引継ぎ可能な機器を探索する。
ステップ7506cで周辺に動画引継ぎ可能な機器を発見したかどうか確認して、Yesの場合は丸1へ進む。Noの場合はステップ7506dへ進み、終了する。なお、動画引継ぎ可能な機器の発見方法として、寝室のTVにタッチして近傍無線通信にて機器を発見する方法もある。
寝室のTVは、ステップ7506eでモバイルAV端末が送信したブロードキャストに対して応答して、ステッ7506fで動画引渡し要求を受信して、丸2へ進む。
モバイルAV端末は、丸1からステップ7506gで引渡し先機器の機器ID、機種を取得して、ステップ7506hで図112にて示すテーブル内に引渡し先機器IDが含まれるかどうかを確認する。ステップ7506hでYesの場合はステップ7506iへ進み、再生中の動画URLに該当する動画サーバが図112に存在するかどうかを確認する。
ステップ7506kで今回の再生引継ぎ情報の送信方法が図112に存在するかどうかを確認する。Yesの場合は、ステップ7506mに進み、図130の表より該当する遅延時間を取得する。
ステップ7506pで現在の再生位置に遅延時間を加えて、ステップ7506qで動画引渡し要求をして、丸3に進む。
ステップ7506hでNoの場合はステップ7506jへ進み、図112のテーブルに存在する機種かどうかを確認して、Yesの場合はステップ7506iに進む。
ステップ7506i、または、ステップ7506jでNoの場合はステップ7506nへ進む。
寝室のTVは、丸2からステップ7506rで引渡し要求受信して、ステップ7506sで受信情報の動画URLへ動画送信要求、再生開始位置を含めて要求する。ステップ7506tで動画サーバよりストリーミングを受信して画面へ表示して、ステップ7506uで終了する。
モバイルAV端末は、丸3からステップ7506vでモバイルAV端末のマイクにて、引渡した動画がTVで再生される音声を取得して、ステップ7506wで取得した音声より動画引渡し要求時点からTVで動画再生が開始されるまでの遅延時間を算出して、ステップ7506xで図112の該当する遅延時間を更新して、ステップ7506yで終了する。ステップ7506xで遅延時間を更新する際、既存のテーブルデータ内に更新する該当箇所がない場合、新規でテーブルの項目を作成して追加を行う。
さらに、本実施の形態の応用例として以下の方式が考えられる。
本実施の形態にかかる機器構成は、TV1(45)とモバイルAV端末8006によるデータの受け渡しで実施するとしたが、必ずしもこのような構成である必要はない。RFIDタグリーダライタを搭載した2台の異なるモバイルAV端末でデータの受け渡しを行うことも可能である。
これによって、RFIDタグリーダライタを搭載した機器間で動画再生データに限らず様々なデータ交換を実現できると期待できる。機器間で交換するデータの例としては、TV等の据え置き機器から位置情報を取得することで、モバイルAV端末は自端末の位置を特定や補正が可能となる。機器間での位置情報の交換については、実施の形態19にて詳細を示す。
以下、本実施の形態におけるモバイルAV端末間のデータ交換について示す。
図122は、NFCを用いたモバイルAV端末間のデータ交換を表す概要図であり、NFC通信、及び、高速無線通信によるデータの交換を示している。
図123〜図126は、NFC通信または高速無線通信を用いたモバイルAV端末間のデータ交換を表すシーケンス図である。
図123は、モバイルAV端末1でデータ交換用のアプリケーションを起動した後、モバイルAV端末間でNFC通信にて高速無線通信のコネクションを確立のためのデータを交換する。モバイルAV端末2は、モバイルAV端末1より指定されたアプリケーションの有無によってアプリケーションを起動、または、アプリケーションを所定の場所から取得した後にアプリケーションの起動を行う。その後、高速無線通信を用いて各モバイルAV端末が保有するデータを交換する。
また、図123において、モバイルAV端末1がモバイルAV端末2へ送信するデータは、モバイル端末2で起動するアプリケーションを指定する情報または、モバイルAV端末1から送信された交換データを処理することが可能なモバイルAV端末2が保持しているアプリケーション一覧を表示させるために必要なアプリケーションのカテゴリ情報を含む構成にすることも可能である。
この場合、モバイルAV端末2には図139のような画面が表示され、モバイルAV端末2の操作者は起動するアプリケーションを選択することが可能になる。
カテゴリ情報を送信することで、モバイルAV端末2の操作者が好きなアプリケーションで交換されたデータを処理することが可能である。
具体的には、例えば交換データに「URL」というカテゴリが含まれていればモバイル端末2では、URLを処理することができるアプリケーション一覧、例えば、ブラウザやテキストエディタなどが表示される。
また、このカテゴリ情報はモバイルAV端末1から明示的に、図138Aおよび図138Bに示されたデータタイプのように、「URL」「画像」といったカテゴリ情報を送信してもよいし、あるいはモバイルAV端末1は候補となるアプリケーションを起動しろというメッセージを送信し、モバイルAV端末2が受信した情報から、例えばURLだと判断した場合にはURLを処理可能なアプリケーション一覧を図139のように表示させてもよい。
図124〜図126は、図123と同じくNFC通信にてアプリケーションの起動を行う。アプリケーション起動後の、データ交換方法が異なるため以下で説明する。
図124は、NFC通信のみを用いて各モバイルAV端末が保有するデータの交換を行う。図125は、サーバ等に保存されたデータをモバイルAV端末1が取得した後、モバイルAV端末2へ送信する。図126は、NFC通信を用いてモバイルAV端末1からモバイルAV端末2へ受渡すデータが置かれたサーバ等のURLを送信し、モバイルAV端末2がサーバより受け渡しデータをダウンロードする。
図127および図128は、NFC通信、及び、高速無線通信を用いてデータ交換する際の端末画面フロー図である。図129および図130は、NFC通信を用いてデータ交換する際の端末画面フロー図である。
図131〜図136、図138Aおよび図138Bを用いてモバイルAV端末間のデータ交換手順を解説する。図137は、図138Aおよび図138Bに示すNFCを用いたデータ交換時の通信フォーマットを表す図である。
モバイルAV端末1は、ステップ7501aでデータ交換用アプリケーションの起動をさせて、ステップ7501bでNFCポーリング開始する。
ステップ7501cでモバイルAV端末2とタッチして、ステップ7501dでポーリング応答を受信して、ステップ7501eでデータ交換要求して、ステップ7501fで要求に対する応答を受信して、丸1へ進む。
モバイルAV端末2は、ステップ7501gでモバイルAV端末1とタッチして、ステップ7501hでポーリング応答して、ステップ7501iでデータ交換要求を受信して、ステップ7501jで画面に要求があったことを表示する。ステップ7501kでユーザが要求への応答内容を入力して、ステップ7501mで要求受入れるかどうかを確認する。Yesの場合はステップ7501nへ進み、データ交換要求受入れ応答して、丸2へ進む。
Noの場合はステップ7501pへ進み、データ交換要求拒否応答して、ステップ7501qで終了する。
モバイルAV端末1は、丸1よりステップ7502aで受入れ応答するかどうかを確認する。Yesの場合はステップ7502cへ進み、高速無線通信接続待ちして、ステップ7502eで接続要求を受信する。
ステップ7502fでデータ交換要求を出した端末であることを確認して、ステップ7502gでモバイルAV端末2かどうかを確認する。Yesの場合はステップ7502iに進み、接続許可を出して、丸3へ進む。
ステップ7502aでNoの場合はステップ7502bへ進み、画面に応答拒否を表示して、ステップ7502dで終了する。ステップ7502gでNoの場合はステップ7502hへ進み、接続拒否通知を出して、ステップ7502cへ戻るか、あるいは、ステップ7502pへ進む。
モバイルAV端末2は、丸2からステップ7502jで、受信したメッセージの各レコードの内容をメモリへ格納して、ステップ7502kで同一のネットワーク上にモバイルAV端末1がいるかどうかを確認して、Yesの場合は丸へ進む。
Noの場合はステップ7502mへ進み、図136に示す機器情報より対応している高速無線へ接続要求を出して、ステップ7502nで接続応答待って、ステップ7502pで接続応答受信して、丸4へ進む。
モバイルAV端末1は、丸3からステップ7503aで高速無線通信の接続を完了し、丸7へ進む。
モバイルAV端末2は、丸4からステップ7503bで高速無線通信の接続を完了する。ステップ7503cでNFC経由にて受信した図138Aおよび図138Bのデータを取り出して、ステップ7503dで指定されたアプリパッケージはインストール済みかどうかを確認して、Yesの場合は丸6へ進む。
Noの場合はステップ7503eへ進み、指定されたアプリグループに該当するアプリありかどうかを確認する。Yesの場合はステップ7503iに進み、該当するアプリが複数あるかどうかを確認し、Yesの場合はステップ7503jへ進み、ユーザにどのアプリを起動するか問い合わせと表示をする。
ステップ7503kでユーザが指定したアプリを受付けて、丸6へ進む。
ステップ7503eでNoの場合はステップ7503fへ進み、URL等のアプリ取得方法についてのデータあるかどうかを確認する。Yesの場合は丸8へ進む。Noの場合はステップ7503gへ進み、アプリ起動不可であることをユーザへ通知した後、終了する。ステップ7503iでNoの場合は丸5へ進む。
モバイルAV端末1は、丸7からステップ7504aで交換するデータを選択して、ステップ7504bで送信コマンド実施しているかどうかを確認する。Yesの場合はステップ7504cへ進み、データ送信する。
ステップ7504dで送信中表示を画面に出して、ステップ7504eで送信完了するかどうかを確認する。Yesの場合はステップ7504fへ進み、アプリを終了するかどうかを確認して、Yesの場合はステップ7504gで終了する。
ステップ7504bでNoの場合はステップ7504aへ戻る。
ステップ7504eでNoの場合はステップ7504dへ戻る。
ステップ7504fでNoの場合はステップ7504aへ戻る。
モバイルAV端末2は、丸5からステップ7504hでブラウザを起動して指定されたURLを開いて、ステップ7504iでアプリのダウンロードとインストールを実施する。そして、ステップ7504jでアプリ起動して、ステップ7504kでデータ受信待ちをする。
ステップ7504mでデータを受信しているかどうかを確認する。Yesの場合はステップ7504nへ進み、受信中表示を画面に出して、ステップ7504pで受信完了かどうかを確認して、Yesの場合はステップ7504qへ進む。
ステップ7504qでアプリ終了かどうかを確認して、Yesの場合はステップ7504rへ進み、終了する。
ステップ7504mでNoの場合はステップ7504kへ戻る。
ステップ7504pでNoの場合はステップ7504nへ戻る。
ステップ7504qでNoの場合はステップ7504kへ戻る。
モバイルAV端末2は、丸6からステップ7504jでアプリ起動する。
(実施の形態9)
図140はTV1(45)が動画サーバ1(8004)から動画を受信している場合に、モバイルAV端末8006がその動画を受け渡してもらう場合に、TV1(45)から動画送信要求を送信する場合のシーケンス図である。図91と同様に、ユーザは動画を受け渡すために、モバイルAV端末8006の電源を入れる。モバイル端末は無線LANのアクセスポイント8009を探索し無線接続を確立する。さらに、DHCPなどによりIPアドレスを取得しIP接続を確立する。ユーザは動画受渡しボタンを押し、RFIDのメモリ内に動画受渡し要求を作成する。このとき、動画受渡し要求に自端末のIPアドレスを入れて作成する。さらに、ユーザはモバイルAV端末のRFID8007とTV1のRFID46を近接させ、動画受渡し要求をTV1(45)に送信する。TV1は動画サーバのIPアドレスを含んだ、動画受渡し応答を返す。これはセキュリティ性を高める(無関係の端末からの勝手なアクセスを防ぐ)ためのものであり、省略することが可能である。なお、図91と同様に、動画が暗号化されていた場合には、必要なセキュリティ関連情報(鍵など)を同時に交換するものとする。動画受渡し要求を受信したTV1(45)は動画サーバ1(8004)に対して、モバイルAV端末8006のIPアドレスを含んだ動画送信要求を送信する。動画送信要求を受信した動画サーバ1(8004)は動画の送信先をモバイルAV端末8006に変更する。その後の処理は図91と同様となる。
図141は図92と同様の場合において、動画受渡し要求の中に動画サーバ1(8004)のIPアドレスを送る場合である。これは図102と同様に省略することが可能である。動画受渡し要求を受けたTV2(8003)は自端末のIPアドレスを含んだ、動画受渡し応答を返す。動画受渡し応答を受けたモバイルAV端末8006は動画サーバ1(8004)にTV2のIPアドレスを含んだ動画送信要求を送信する。動画送信要求を受信した動画サーバ1(8004)は動画の送信先をTV2(8003)に変更する。その後の処理は図91と同様となる。
(実施の形態10)
図142はモバイルAV端末8006ではなく、RFIDを備えたリモコン8200を用いた場合のシーケンス図である。ここでリモコンは表示部を持たないが、RFIDの送受信部とメモリを持つ端末を想定している。ユーザは動画受渡しボタンを押し、RFIDのメモリ内に動画受渡し要求を作成する。さらに、ユーザはリモコンのRFIDとTV1のRFID46を近接させ、動画受渡し要求をTV1に送信する。TV1では要求コマンドを受信したことにより、動画受渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を作成し、リモコンに返信する。リモコンからの動画受渡し要求を受けたTV1(45)は動画停止要求を動画サーバ1(8004)に送信する。ユーザは2Fに移動後、TV2のRFIDにリモコンのRFIDを近接させ、動画受渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を送信する。動画受渡し要求を受信したTV2(8003)は動画受渡し応答を返信し、動画サーバ1に動画送信要求(動画識別子、動画表示時間を含む)を送信する。動画サーバ1(8004)は指定された動画を指定された時間のデータから送信を開始する。
(実施の形態11)
図143は、動画サーバ1から同時送信が可能な場合のシーケンス図である。モバイルAV端末はTV間で所定のやりとりを行った後、動画送信要求を送っている。動画サーバ1(8004)は動画送信要求を受けた場合に、一時的にTV1(45)とモバイルAV端末(8006)の両方に動画データを送信している。これは完全にシームレスを目指す場合の処理である。モバイルAV端末とTV1は一時的に両方ともに画面表示を出してもよいし、何らかの同期処理を行い、完全シームレス処理を行ってもよい。動画サーバ1(8006)は、モバイルAV端末(8006)からの動画停止要求を基にTV側の動画データ転送を停止する。なお、停止要求はTV1(45)から出してもよいし、動画サーバ1(8006)が自動的に止めてもよい。
(実施の形態12)
本実施の形態は、実施の形態1〜10で説明したRFIDを付与した機器の工場出荷から使用環境までの流通形態においてトレーサビリティを確保するための方法の最良の形態を説明するものである。
昨今、流通の効率化や家電商品の老朽化が原因となった事故が多発している背景に基づいて、生産、流通から消費者による使用環境までをトレースする所謂、トレーサビリティを確保するための議論がなされている。
その1つとして、860〜900MHz帯の通信周波数を用いたパッシブ型のRFIDを梱包材や通い箱等に付与して、生産から小売店までの流通を管理可能にしようとする試みがなされている。860〜900MHz帯は、UHF(Ultra High Frequency)帯とも呼ばれ、UHF帯のRFIDは、パッシブ型(タグ側に外部から電源を供給するもの)の中では、最も通信距離を確保できる使用であり、出力の大きさにも依存するが、2〜3mの通信を可能とする。よって、運搬中に複数台を同時にRFID読出しゲートに入れることによって、効率的に複数台のRFID情報を瞬時に読み出すことが可能となり、特に流通現場での使用が期待されている。
しかしながら、このようなUHF帯のRFIDは、長距離を通信できる利点の一方で、梱包材や通い箱に付与されるため、消費者の手元に届いてしまった後は、その機器をトレースできなくなるという課題を含む。また、距離が長いということは、機器と機器を近づけることによってアクションを起こす所謂、実施形態1〜10で説明した実体インタフェース、実物インタフェースあるいは直感インタフェースには有効とはいない。
一方、実施の形態1〜10で説明したRFID(47)は、13。56MHz帯のHF−RFIDを想定している(無論、これだけに限定しているわけではない)。HF−RFIDの特徴は、近距離通信(出力によって異なるが概ね数10cm以内)であり、例えば、近づけることによって直感的にアクションを起こすアプリケーションである電子マネー、改札システムなどに幅広く利用されている。したがって、デジタルカメラで撮った写真をTVに写したいときなどは、デジタルカメラをTVのRFIDリーダライタ46に近づけることによって、実体(カメラ)と実体(TV)が連動して動作する実体インタフェースや、デジタルカメラの写真をTVに写すという直感的なインタフェースの実現が可能となる。
本実施の形態では、実施の形態1〜10と同様に機器にHF−RFIDを付与するとともに、機器の梱包材や通い箱にUHF−RFIDを付与して、商品のトレーサビリティを消費者の使用環境に届いてもなお行えるようにする開示である。
図144は、機器の工場出荷時にHF−RFIDとUHF−RFIDの動作を示した概念図である。
本実施の形態では、機器がレコーダである場合について説明しているが、機器は、デジタル家電、食品などどのようなものでも構わない。
製造ラインで組み立てられた機器M003には、HF−RFIDM001が付与されている。また、本HF−RFIDには、メモリを有しており、機器M003からとRFIDの通信部からのどちらからでもアクセス可能なデュアルインタフェースの構成である。また、HF−RFIDM001のメモリには、組み立て段階において、機器の製造番号と、機器の製造番号をUHF−RFIDに複製するためのプログラム(コマンド)が記録されている。
機器M003の組み立てが完了すると、梱包前にハンディ型リーダライタM002によって、HF−RFIDのメモリから製造番号を読み出すとともに、梱包材などにUHF−RFIDを付与することを示すUHF−RFIDのデバイスID(UHF−RFID固有情報)を記録する。
次に、機器M003が梱包された後、梱包材M004にUHF−RFIDM005を付与する。UHF−RFIDM005は、梱包材にそのまま付与されてもいいし、管理表などに付与されている形態でも構わない。UHF−RFIDM005が付与されると、機器M003のHF−RFIDM001から読み出した製造番号などをUHF−RFIDM005にハンディ型リーダライタM002によって記録する。本実施の形態のハンディ型リーダライタM002は、HF−RFIDおよびUHF−RFIDのともにアクセス可能な機器である。
このようにすれば、機器M003の製造番号が、HF−RFIDM001に記録されるとともに、それと同じ情報が梱包材M004のUHF−RFIDM005にも記録される。したがって、梱包後の流通においては、近距離しかアクセスできないHF−RFIDから製造番号等を読み出す必要がなくなり、UHF−RFIDから直接、複数同時にゲートを通すことによって読み出すことが可能となり、流通の効率化が可能となる。
また、機器M003が消費者の使用環境に届いた後も、HF−RFIDをTVリモコン等によって読み出すことが可能となるので、流通だけではなく、消費者の手元に至るまでの機器のトレースを可能とし、流通の効率化と機器使用中の経年劣化による事故等を未然に防ぐことが可能となるトータル的なトレーサビリティを実現することが可能となる。
図145は、UHF−RFIDM005からアクセス可能なメモリの記録フォーマットを示した概念図である。
UHF−RFIDM005のメモリには、UHFデバイスID1070、HF存在識別情報1071、機器製造番号、現品番号1072、日付1073、メーカ1074、型番、ロット番号、品名1075およびステータス1076が記録されている。
UHFデバイスID1070は、メモリの書き換え不能領域に記録されており、UHF−RFIDごとの個々に識別可能な識別情報である。UHFデバイスID1070は、機器M003が梱包される前に、ハンディ型リーダライタによって読み出され、HF−RFIDM001にも記録される。これによって、梱包材と機器の対応関係が間違っている場合にも、未然に確認して適切に処理を行うことができる。
HF存在識別情報1071は、機器M003にHF−RFIDM001が付与されているか否かを確認する識別情報である。HF−RFIDが機器に付与されている場合には、機器の梱包時にHF−RFIDから読み出した製造番号等をUHF−RFIDに記録する際に、HF−RFIDの存在識別情報を“存在する”という情報に書き換える。これによって、HF存在識別情報1071のみを確認することによって、UHF−RFIDとHF−RFIDの対応関係の確認工程を行うかどうかの判断が可能となる。
機器製造番号、現品番号1072は、HF−RFIDM001から読み出した製造番号あるいは、製造番号と対応付けられた現品番号の少なくともいずれか一方が記録される。現品番号とは、流通過程で使用される機器ごとの番号であり、製造番号と現品番号を同一の管理を行うことによって、製造番号と一意に対応付けを行うことは可能である。よって、本実施の形態では、この両者を明確に使い分けることをせず、一意な情報として説明する。
日付1073は、所謂製造年月日に相当する情報であり、機器M003が製造された日付、時間情報が記録される。これは、ハンディ型リーダライタM002によって、UHF−RFIDに製造番号を記録する時点で記録してもいいし、HF−RFIDに記録されている製造年月日情報を読み出してUHF−RFIDに記録する形態でも、どちらでも構わない。
メーカ1074は、機器M003を製造した製造メーカ識別情報であり、UHF−RFIDへ製造番号を記録する時点でハンディ型リーダライタによって記録してもかまわないし、HF−RFIDにあらかじめ記録されているものを読み出して記録する形態でも、どちらでも構わない。
型番、ロット番号、品名1075も日付1073やメーカ1074と同様に、HF−RFIDから読み出した情報を記録してもいいし、ハンディ型リーダライタで記録する攻勢でも構わない。ただし、ロット番号の場合には、ロット管理が生産から流通までの一元管理を行える場合には、上記、どちらの方法で情報を書き込んでもかまわないが、一元管理がなされておらず梱包時に生産ライン情報が不明な場合には、HF−RFIDからロット番号を読み出して、UHF−RFIDに記録する方が、厳密な管理が行えるという利点がある。
ステータス1076は、流通形態におけるステータス情報が記録される。すなわちステータス情報は、工場内保管、工場出荷、配送センター受領、配送センター出荷、小売店受領など、機器のトレースに必要なステータス情報が記録される。本ステータスは、各流通過程において、書き換えられる情報である。
また、UHF−RFIDM001には、管理サーバ特定情報1077が記録される。この管理サーバ特定情報1077は、HF−RFIDM001の第2メモリ52のサーバ特定情報48と同等の情報である。機器M003梱包時に、HF−RFIDM001から読み出し、UHF−RFIDM005に複製する。これによって、UHF−RFIDを用いる流通段階での管理と、機器が消費者の手元に届いた後の管理も同一の管理サーバによって一元管理することが可能となる。
よって、機器M003が消費者の手元に届いた後、HF−RFIDM001から管理サーバアドレス情報を読み出して、管理サーバにアクセスして、機器製造番号1072によって、問い合わせを実施すれば、管理サーバで管理している製造から流通までのトレース情報を消費者に可視化することが可能となり、消費者の安心・安全を高める要素となる。
図146は、機器M003の工場出荷時のHF−RFIDからUHF−RFIDに製造番号等を複製する処理の流れを示したフローチャートである。
まず、組み立てられた生産物(機器M003)にHF−RFIDを付与する(M020)。本フローチャートでは、機器M003が組み立てられた後にHF−RFIDを付与する形態であるが、機器とHF−RFIDが共有メモリをともにアクセスできるデュアルインタフェースを持つ構成の場合には、機器M003の組み立て段階でHF−RFIDが付与されている。
次に、HF−RFID1081に、機器M003の製造番号を記録する(M021)。ここでは、組立工程においてHF−RFIDM001に、ハンディ型リーダライタ機器M002を解して、製造番号を記録する工程である。製造番号は、生産ラインの管理サーバなどからハンディ型リーダライタ等によって取得して、HF−RFIDM001に近接無線通信によって記録する。
HF−RFIDM001に製造番号が記録された後、機器M003は梱包される(M022)。ここでの梱包とは、緩衝材などを伴う流通用の梱包や通い箱などへの収納を意味する。
梱包が完了すると、梱包材(通い箱表面、管理用ラベルを含む)にUHF−RFIDを付与する(M023)。
次に、ハンディ型リーダライタM002が管理サーバ1085と通信することによって、HF−RFIDM001から読み出した製造番号に対応付けられた現品番号を読み出す(M024)。現品番号とは、商品の流通に用いられる管理番号であって、管理サーバが発行する番号であり、製造番号と1対1に対応する番号である。
現品番号を管理サーバ1085から読み出した後、UHF−RFIDに、製造番号あるいは現品番号と、HF−RFIDが機器M003に付与されていることを示す存在識別情報をUHF−RFIDに記録する(M026)。
以上の工程によって、機器M003に付与されたHF−RFIDに記録されている製造番号が、機器の梱包後にUHF−RFIDに複製される。通常、HF−RFIDは、その通信距離が短いため、梱包後にHF−RFIDへアクセスすることは困難である。しかしながら、本実施の形態によれば、HF−RFIDより通信可能距離が長く梱包材に付与されたUHF−RFIDに製造番号あるいは現品番号を記録することによって、梱包後の機器の流通管理を可能にすることができる。
また、機器が消費者の元に届いて、例え梱包材などが廃棄されたとしても、機器に付与されているHF−RFIDにアクセスすることによって、製造番号などを読み出すことが可能となり、流通から消費者の手元までを一元的に管理することが可能となり、幅広い範囲でのトレーサビリティを実現することが可能となる。
図147は、機器M003の流通過程における処理の流れを示したフローチャートである。
まず、機器M003の工場出荷時には、UHF−RFIDからハンディ型リーダライタやUHF−RFID読出しゲートを通過させることによって、製造番号あるいは現品番号を読み出し、ハンディ型リーダライタやUHF−RFID読出しゲートと通信可能な管理サーバ1085に出荷済みを登録するとともに、ハンディ型リーダライタやUHF−RFID読出しゲートからUHF−RFIDにアクセスして、メモリ内のステータス(1076)も同様に出荷済みに書き換える(M030)。
工場出荷後、配送センターなどに貯留され、その後、配送センターを出荷するときには、ハンディ型リーダライタやUHF−RFID読出しゲートによってUHF−RFIDから製造番号あるいは現品番号を読み出し、配送センターから出荷済みであることを管理サーバ1085およびUHF−RFIDのステータス(1076)を書き換える(M032)。
また、小売店出荷時も同様に、小売店出荷済みであるという状態を管理サーバ1085およびUHF−RFIDのステータス1076を書き換える(M034)。
最終的に、機器M003が消費者の手元に届いた時点で、TVリモコンなどのRFID読み取り部46で、HF−RFIDから製造番号を読み出し、TVの識別情報に関連付けて管理サーバ1085に登録される(M036)。したがって、本実施の形態においてもHF−RFIDの第2メモリ52には、サーバ特定情報48があらかじめ記録されている。本実施の形態におけるサーバ特定情報48は、管理サーバ1085を示すサーバ特定情報であり、管理サーバ1085への接続のためのURLを含む。これによって、RFリーダライタを備えるTVリモコンなどで、機器M003のHF−RFIDM001を読み出せば、生産から流通までの管理情報を管理サーバ1085から取得することが可能となる。また、管理サーバ1085に、TVの識別情報に対応付けて管理することによって、例え使用者の個人情報を管理しなくても、所有しているTVに紐付けて、ユーザが保有している機器のリストを管理サーバに蓄積することができる。
よって、ユーザの所有している機器に、不具合が発覚した場合には、的確にユーザに危険を知らせるメッセージをTVにて表示させることが可能となって、重大な事故を未然に防止することが可能なる。
以上のように、本実施の形態では、生産段階で、機器にHF−RFIDと機器の梱包材にUHF−RFIDを付与し、互いの存在識別情報をそれぞれに持つとともに、HF−RFIDに記録されている製造番号や管理サーバ特定情報をUHF−RFIDにも持たせることによって、今まで流通のみのトレーサビリティであったものを、流通管理の利便性はそのまま保持しながらも、消費者の手元に届いてもなお、管理するシステムを提供することが可能となる。
本実施の形態では、製造からユーザの手元までの管理について説明したが、本発明は、ユーザが廃棄、あるいはリサイクルに出したときにも同様に効果を発揮する。その手順もまた、本実施の形態で説明した流れで実現することが可能である。
例えば、図144において、機器M003に付与されたHF−RFIDM001に記録されている製造番号等を梱包後の梱包材M004に付与するUHF−RFIDM005に付与して工場出荷する形態であるが、工場出荷を廃棄場への出荷、あるいはリサイクルセンターへの出荷としても同様である。廃棄場への出荷であれば、廃棄完了後、管理サーバに廃棄完了であることを登録すれば、商品が生産され、消費者に使用され、廃棄されるまでは一元的に管理することができる。昨今、廃棄コストの情報から不法廃棄の問題が指摘されているが、不法廃棄されている機器のHF−RFIDやUHF−RFIDを見れば、流通段階のどこで不法廃棄が行われたのかは一目瞭然であり、このような不法廃棄の問題を軽減することが可能となる。
また、リサイクルセンターへの出荷である場合には、HF−RFIDからアクセス可能な領域に使用状況検出部7020で検出した使用状況情報や不具合検出状況、トータル使用時間などが記録されており、リサイクル可能かどうかの判断や、値決めなどに利用することもかのうである。また、リサイクル可能と判断された場合には、管理サーバ1085に対応付けて管理されているTVの識別情報や、個人情報などの情報を更新して利用することが可能である。
(実施の形態13)
図148は全体のシステム構成図を示す。洗面所のミラー部には半透過式のミラー透過板が装着されている。その裏側の背面部にはディスプレイ、電源アンテナ、RFのアンテナ部が配置されている。ユーザはRFアンテナを有するモバイル端末を持ち、何らかの映像情報を表示している。この映像をミラーのディスプレイに移動させる手順を述べる。図149のフローチャートはこの手順を示す。まず、スタートし、端末の画像送出ボタンを押す。ネットワークやTVチャンネルを介して得た情報もしくはデータが端末に表示されているかどうかをチェックしYesなら映像やデータの送出元のサーバのURLやIPアドレス、表示中の映像のストリームID、ストリームの再生時間情報、TVチャンネル情報を入手する。そして、端末のアンテナから電源の送信、受信を開始する。端末のアンテナ部を装置側のアンテナ近傍に接触させると端末側から装置側のアンテナに電力もしくは信号が送られる。装置側の属性情報(映像表示能力、音声能力、インターネットの宅内と宅外の最大(平均)通信速度、TVチャンネル接続の有無、インターネットや通信回線の種類)を装置側のアンテナを介して端末が読み出す。
まず、映像ソースがTVで装置がTVアンテナに接続されている場合は、TVのチャンネル情報とTVの画像の再生表示時間を、アンテナを介して装置に送る。装置側ではそのTVチャンネルの映像を画面に表示する。TVの場合、画像の左右反転表示はしない。
端末側から給電可能フラグを受け取った場合、装置から端末へ電源を供給する。
ここで前のステップに戻り、インターネットに接続されている場合は、装置側の属性情報に応じて映像のレート速度、解像度を設定し、この設定に最適のサーバアドレス、DLNAネットワーク上のサーバID、サーバの中のストリームID、ストリームの再生表示時間情報を、RFアンテナを介して装置側に送る。
図150のフローチャートに移り、装置側ではサーバのIPアドレス、ストリームID、ストリームの再生表示時間を基にして端末側に表示されている映像ストリームと表示時間が一致するようにストリームを表示する。時間が一致した段階で、装置の前の表示から次の表示つまり端末の映像を装置側にシームレスに移す。
もし、著作権保護のため映像の端末と装置の2台同時表示が禁止されている場合は装置側の映像表示がシームレスに始まった時点で装置側から端末側に端末の映像中止命令を送る等の手段により端末側の映像表示を中止する。
また、ミラー時左右を反転させる「ミラー時反転識別子」を装置が端末から受け取った場合は、次のステップで映像の左右を反転する。文字の左右反転はしない。
以上の手法により、最初に端末より装置に電力を供給し装置が停止している場合は装置を起動させる。こうして省電力を図る。次に装置が動作を始めると今度は装置から端末に電力を供給する。端末がサーバ等から映像データを受け取り、端末をいったん経由してネット経由で迂回して装置側に映像を配信する場合、端末側が無線LANによりアクセスポイント経由で映像を長時間送信する必要がある。無線LANで大量なデータを送る場合電力消費が大きく端末の電池残量がなくなる恐れがある。しかし、実施例のように装置から端末へ電力を送ることにより電池の消耗を防げるという効果がある。また、ミラーのため人間の姿は左右反転で写る。通常であれば歯ブラシの指導ビデオ等のとき、右と左が逆になり学習効果が落ちる。しかし左右反転することにより学習しやすくなる。
(実施の形態14)
本発明の実施の形態14について述べる。図151に本実施の形態において想定しているホームネットワーク環境について示す。複数のホームネットワークがそれぞれの宅内M1001、M1002、M1003に構成され、各ホームネットワークはインターネットをM1004介して登録サーバM1005に接続されている。なお、ホームネットワーク内でのサービスが宅内に限定される場合には、登録サーバM1005は宅内に存在してもよい。また、ホームネットワークが別荘やオフィスなどの複数の場所に分割されている場合、もしくは寮やルームシェアのように1つの宅内で複数のホームネットワークが存在する場合でも本発明は有効である。宅内にはルータM1006や無線アクセスポイント(以下:無線AP)M1007などを介してインターネットに接続するTV(M1008、M1009)やDVDレコーダM1010などの常時接続家電と必要に応じて間接的にインターネットに接続するデジタルカメラM1011や電子レンジM1012、冷蔵庫M1013といった非常時接続家電が存在するものとする。さらに、本実施の形態では携帯電話M1014などのモバイル端末もホームネットワークを構成している端末とする。本発明における各機器は近接無線通信デバイスを通して相互に簡単なデータ通信が可能なものとし、各機器の情報を近接無線通信デバイスにより取得し、ホームネットワークデバイスを通して登録サーバM1005に登録するものとする。
図152に本発明を実施する端末のハードウェア構成図を示す。本発明における通信装置M1101は通信デバイスとして2つのデバイスを搭載しているものとする。1つは近接無線通信デバイスM1102であり、一般的にはNear Field Communicateion(以下:NFC)やRFタグといわれるものである。もう1つはホームネットワーク通信デバイスM1103であり、宅内機器連携に用いられる無線Local Area Network(以下:無線LAN)やZigBeeなどの無線通信デバイス、Ethernet(登録商標)やPower Line Communication(以下:PLC)などの有線通信デバイスおよびWiMaxや3GPPなどのモバイル機器に利用される通信デバイスである。さらに、通信装置はユーザインタフェースデバイスM1104を備えるものとする。ここでユーザインタフェースデバイスとはボタンなどの入力デバイスおよびディスプレイ、LEDなどの出力デバイスを示したものである。なお、TVやエアコンなどの機器では、入出力はリモコンで行うことが一般的であり、物理的には離れているものであるが、本発明では説明の簡単化のためユーザIFデバイスとしてあつかうものとする。
図153は、CPU(M1105)上で動作する機能説明する機能ブロック図である。通信装置M1101内の機器固有ID取得部M1202は登録機器M1201の機器固有IDを含む情報を取得する。登録機器は登録コマンドおよび機器固有IDを含む登録情報を近接無線通信デバイスM1102によって送信しているものとする。機器固有ID取得部M1202から機器固有IDを含む登録情報を取得して登録情報作成部M1204はホームID管理部M1205よりホームIDを取得し、登録機器から取得した登録情報にホームIDを付加して登録情報を作成する。登録情報として位置情報を付加する場合には、位置情報取得部M1206より位置情報を取得する。ここで、位置情報とはTVに入力されている郵便番号に基づく住所情報や携帯電話のGPSによって取得できる地理的な位置情報などを指しており、登録機器の設置位置情報などを登録することにより、家電トレーサビリティなどのサービス提供を容易にすることができる。登録情報送受信部M1206にする。ホームID管理部は前述したホームネットワークを構成する通信デバイスで用いられる通信デバイスIDとは異なるホームIDを管理している。現在、ホームネットワークでは各通信デバイスのマスター機器がそれぞれの通信デバイス単位で管理しており、その管理手法は通信デバイスの種別によって異なるため、ホーム単位での管理ができていない。また、サービス単位でのIDをユーザに入力してもらっている場合もあるが、ユーザにとっては極めて利便性が低い。本発明はホームIDという新しいIDの導入により、ホームネットワークを構成する機器の管理を通信デバイスやサービスによらずに可能とするものである。また、ホームID管理部は始めて機器登録を行う場合には、ホームIDを作成する。ホームIDは位置情報に基づいて作成されてもよいし、通信機器の固有IDに基づいて作成されてもよい。乱数を基に作成して、登録サーバで重複しないように確認してもよいし、ユーザに設定させてもよい。登録情報を登録情報作成部M1204より受信した登録情報送受信部M1207はホームネットワーク通信デバイスM1103を用いて登録サーバM1005に送信する。登録サーバM1005は登録情報を登録データベースM1208に照合して、登録の可否を判断し、登録応答を返信する。登録応答を受信した登録情報送受信部は結果を、ユーザインタフェースデバイスM1104を用いてユーザに通知する。不可の場合には登録情報作成部M1204に通知し、登録情報の変更を要請してもよい。これにより、通信用のユーザインタフェースデバイスを持たない白物機器などを含めたホームネットワーク機器の統一管理を行うことができる。
図154は、通信装置の登録処理を説明するためのフローチャートである。通信装置は登録コマンドと機器固有IDを受信する(M1301)と自端末がホームIDを保持しているかどうか(M1302)を判定する。ホームIDを保持していない場合にはホームID取得処理(M1303)に移行する。ホームIDを保持している場合には、登録データの作成処理(M1304)を行う。次に登録データを登録サーバに送信する(M1305)。登録サーバから登録応答を受信しなかった場合には(M1306)、ユーザに登録失敗通知(M1307)を表示して終了する。登録応答を受信した場合、ユーザに作成した情報で登録してもよいかどうかを表示し、OKの場合(M1308)には終了する。そうでない場合にはホームID取得処理に戻る。なお、他のホームIDを取得することが困難な場合には、登録失敗として終了するものとする。
図155はホームID取得処理を説明するためのフローチャートである。通信装置にホームIDの自動作成機能がある場合(M1401)には自動で作成を行い、ない場合にはユーザに手動入力を依頼する。手動入力をする方法がない、もしくはユーザに手動入力を拒否された場合には、登録不能をユーザに通知し(M1403)、ユーザに別手法でホームIDを取得するように促す。自動で作成する場合には、状況に応じて自動作成機能を選択(M1404)する。GPSによって地理的な位置情報が取得可能な場合やTVのように住所を登録することが一般的な端末の場合には、位置情報によってホームIDを作成する(M1405)。宅内に据え置きが一般的な端末では通信装置の固有識別子によるホームIDを作成する(M1406)。特に有効なホームID作成が困難な場合には、乱数によりホームIDを作成する(M1407)。ホームIDが作成されたら、サーバに作成したホームIDを送信する(M1408)。サーバから作成したホームIDに関する情報を受信し、そのホームIDを利用することができない場合(M1409)には、ホームIDの作成に戻る。利用することが可能な場合には、ユーザに確認し(M1410)OKの場合には、自端末にホームIDとして登録する(M1411)。そうでない場合にはホームIDの作成に戻る。
図156は機器登録を行う場合のフローチャートである。登録機器M1201は近接無線通信デバイスを通して、機器固有IDを含む情報を登録コマンドと共に通信装置M1101に転送する。通信装置はホームIDを保持していない場合には、仮ホームIDを作成して登録サーバM1005にホームネットワーク通信デバイスを通して送信する。登録サーバM1005は仮ホームIDに関する情報を添付して通信装置に返信する。ホームIDを通信装置が保持している場合、もしくは登録サーバより利用してもよいというホームID情報を取得した場合には、ホームIDおよび機器固有IDを含む登録情報を登録サーバに送信し。登録機器の登録処理を完了する。
(実施の形態15)
本発明の実施の形態15として、ホームIDを通信端末間で共有する形態について述べる。図157はホームIDを通信装置間で共有する場合の機能を表す機能ブロック図である。ホームネットワークを構成する通信装置はホームネットワークM1601およびホームネットワーク通信デバイスM1103を通してホームIDを共有するものとする。もしくは、近接無線通信デバイスM1102を通して共有してもよい。本発明における通信装置は共有コマンドとホームIDを、近接無線通信デバイスM1102を通して他の通信装置に送ることにより、ホーム内の通信装置間でホームIDを共有することが可能である。ホームID管理部M1205S内のホームID共有部M1602Sは共有コマンドと自端末のホームID記憶部M1209Sに記憶されたホームIDを近接無線通信デバイスM1102Sに記憶する。送信側の通信装置M1101Sの近接無線通信デバイスM1102Sと受信側の通信装置M1101Rの近接無線通信デバイスM1102Rが近接したときに情報が転送され、受信側通信装置M1101Rの近接無線通信デバイスM1102R内に送信側通信装置M1101SのホームIDが記憶される。受信側通信装置M1101R内のホームID共有部M1602Rは自端末のホームID記憶部M1209RにホームIDが記憶されていなければ、自端末のホームIDとして記憶する。これにより、通信装置間のホームIDが極めて簡単に行うことができる。ホームIDが記憶されている場合には、登録サーバに双方のホームIDを送信する。双方のホームIDを受信した登録サーバは双方のホームIDを仮想的に1つのホームのIDとして管理する。また、どちらかのホームIDに統一するために、すべての通信装置に対してどちらかのホームIDを通知してもよい。この場合でも、非常時接続機器が存在するため、登録サーバにおけるホームIDは双方を仮想的に1のIDとして管理する。なお、非常時接続機器のIDを接続するたびに更新し、すべての登録機器の更新が終われば仮想的な管理を終了してもよい。これにより、もともと複数のホームネットワークを1つのネットワークに統合することが可能となる。
また、ホームネットワークを用いて共有を行ってもよい。ホームIDを保持していない通信装置がホームネットワークM1601に接続されたことをホームネットワーク接続検出部M1603Sで検出した場合、ホームID共有要求をホームネットワークに接続する端末にブロードキャストする。ホームネットワークM1601に接続する端末のうち、ホームIDを保持する端末はホームIDを、共有要求を送信した端末に向かって返信する。これにより、通信を行う事前の段階でホームIDを完了することが可能となる。なお、ホームIDを保持する端末のうち、共有要求に応答するマスター端末をあらかじめ設定しておけば、複数端末から多数の共有応答が返信され、ホームネットワークに過剰な負荷がかかることを回避することが可能となる。また、応答がない場合には、自端末でホームID取得処理を行ってもよい。
図158は近接無線通信デバイスM1102を用いてホームIDを共有する場合における、受信側通信装置M1101Rの動作を表すフローチャートである。共有コマンドとホームIDを受信すると(M1701)、通信装置は自端末にホームIDを保持しているかどうかを判定する(M1702)。自端末に保持していない場合は、受信したホームIDを自端末のホームIDとして登録する(M1703)。自端末に保持している場合には、保持しているホームIDと受信したIDとを比較する。等しい場合には何もせずに終了する。等しくない場合には、ホームIDの選択を行う(M1705)。ホームIDの選択は自端末で行ってもよいし、登録サーバで行ってもよい。選択を登録サーバに依頼した場合には、登録サーバに自端末のホームIDと受信したIDを共有情報として送信する(M1706)。登録サーバにより選択されたホームIDを含んだ共有応答を受信し(M1707)、ユーザに確認して(M1708)、OKであった場合には終了する。OKでなかった場合には、ホームIDの選択に戻る。通信装置で自端末のホームIDを選択した場合には登録サーバに自端末のIDをホームIDとして受信したIDを共有IDとして送信する(M1709)。登録サーバは共有IDを持つ通信装置にホームIDが更新されたことを通知する。受信したホームIDを選択した場合には、自端末のホームIDを更新する(M1710)。さらに、登録サーバに自端末の旧IDを共有IDとして受信したIDをホームIDとして送信する(M1711)。登録サーバは同様に共有IDを持つ通信装置にホームIDが更新されたことを通知する。
図159は、近接無線通信デバイスM1102を用いてホームIDを共有する場合における、送信側通信装置M1101Sの動作を表すフローチャートである。共有コマンドとホームIDを送信した端末は登録サーバより共有応答が送られてくるかどうかを判定する(M1752)。共有応答を受信しなかった場合には終了する。ホームID更新通知を含む共有応答を受信した場合には、ホームIDを更新(M1753)して終了する。
図160は、登録サーバで選択する場合のシーケンス図である。通信装置M1101SはホームID_Aを、近接無線通信デバイスを用いて通信装置M1101Rに送信する。通信装置M1101Rは登録サーバM1005に自端末の保持するホームID_Bと受信したホームID_Aを合わせて送信する。登録サーバは受信したIDのうちから、ホームID_Bを選択し、ホームID_Aを持つ通信端末および通信装置M1101RにホームID_Bを記憶するように通知を送る。
図161はホームネットワーク通信デバイスM1103を用いてホームIDを共有する場合における、送信側通信装置M1101Sの動作を表すフローチャートである。ホームネットワークへの接続を検出(M1801)した通信端末はホームID共有要求をホームネットワーク内にブロードキャストする(M1802)。共有応答が返ってきた場合には、自端末に受信したホームIDを登録する(M1804)。返ってこなかった場合には、ホームID取得処理(M1303)を行う。
図162は、ホームネットワーク通信デバイスM1103を用いてホームIDを共有する場合における、受信側通信装置M1101Rの動作を表すフローチャートである。ホームID共有要求を受信(M1851)した通信端末は自端末がホームネットワークのマスター端末であるかどうかを判断し(M1852)、マスター端末であった場合には、自端末のホームIDを共有応答として送信する(M1853)。マスター端末でなかった場合には、何もしない。なお、ホームIDを持つ端末内でマスターという設定を行っていない場合には、マスターかどうかの判定をせずに、すべての端末から返信するものとする。
図163は、ホームネットワーク通信デバイスM1103を用いてホームIDを共有する場合のシーケンス図である。通信装置はホームネットワークに接続されたことを検出すると、ホームネットワークにホームID要求をブロードキャストする。ホームID共有要求を受信した通信装置のうち、マスター設定をされている端末M1854のみがホームID共有応答を返信する。共有応答を受信した通信装置は受信したホームIDを自端末のホームIDとして記憶する。
(実施の形態16)
本実施の形態は、端末装置からNFC(Nier Field Communication)の通信機能を介して、前記端末装置の端末装置情報を読み出し、汎用のネットワークを介してサーバに転送する通信装置について、図面を用いて詳細に説明する。
図164は、本実施の形態のシステムであり、端末装置Y01、通信装置Y02およびサーバY04で構成される。なお、本実施の形態の発明主題は、通信装置である。
端末装置Y01は、NFC通信機能(RFIDやICタグ、NFCタグエミュレーション)を有する機器であり、冷蔵庫、電子レンジ、洗濯機、テレビ、録画機器などの電子的な端末機器で、内部のメモリに、端末装置情報として、端末装置を示すIDである製造番号や、端末装置の使用履歴情報、エラー情報などを保持する。
通信装置Y02とは、端末装置のNFC通信機能と近接無線通信によって通信可能なNFC通信機能を有し、端末装置で保持している端末装置情報を読み出すリーダライタ機能を有する。また、通信装置とは、ポータブル機器であり、携帯電話端末などのポータブル機器や、テレビのリモコン端末を指す。
サーバY04は、インターネットなどの汎用のネットワークによって前記通信機器Y02と通信可能に接続されるサーバであって、内部にDB(データベース)を有し、前記DBには、端末装置Y01から通信機器Y02によって読み出された端末装置情報を蓄積する。
端末装置Y01は、CPU(Central Processing Unit)Y011、故障センシング部Y012、使用履歴ロギング部Y013、メモリY014、変調部Y017およびアンテナY018から構成される。
CPU(Y011)は、端末装置Y01のシステム制御を行う部分である。CPUは、端末装置の各構成要素である故障センシング部Y012、使用履歴Y013、メモリY014、変調部Y017の制御を行う。
故障センシング部Y012は、端末装置Y01の各構成要素の故障箇所、故障内容をセンシングする部分である。本故障センシング部Y012でセンシングした故障情報は、メモリY014のRAM(Random Access Memory)に蓄積される。センシングする故障情報とは、エラーコードのことであり、故障の生じた場所と症状によって一意に定められたコードである。
使用履歴ロギング部Y013は、本端末装置Y01がユーザに操作されるごとにその使用履歴情報をロギングする部分であり、ロギングされた使用履歴情報はメモリY014のRAM(Y016)に蓄積される。通常、使用履歴情報によって故障に至った経緯を調査するためには、故障が生じた数ステップ手前の履歴の優先度が高い。したがって、本実施の形態の使用履歴ロギング部Y013は、RAM(Y016)をFIFO(First In、 Fist Out)として利用することで、時系列的に新しい使用履歴情報をRAMに蓄積する構成が望ましい。また、故障に至った経緯を使用履歴から判別可能とするためには、故障センシング部Y012で故障を検知したタイミングを基点として、数ステップ前の使用履歴情報を優先的にRAMに保持する形態が望ましい。したがって使用中に5回の軽微な故障を検知した場合には、5回の故障に至った数ステップの操作履歴情報を優先的に保持する構成になっている。
メモリY014は、ROM(Read Only Memory)Y015とRAM(Random Access Memory)Y016から構成される。
ROM(Y015)には、少なくとも本端末装置Y01を位置に示す製造番号が出荷時にあらかじめ記録され、本端末装置の使用者からは本ROMに記録された内容を更新不可能に構成されている。また、製造番号とは、メーカや製造されたロット番号、製造日が判別可能な情報であることが望ましい。また、本ROMは、CPU(Y011)の半導体チップの内部に構成されていることが望ましい。この場合には、メモリアクセスの情報を簡単に見ることはできなくなり、この場合には、通信装置との近接無線通信時の認証や暗号化通信のための秘密鍵情報を出荷時に記録することが可能となる。
RAM(Y016)は、書き換え可能なメモリであり、故障センシング部Y012でセンシングした故障情報や、使用履歴ロギング部Y013でロギングした使用履歴情報が蓄積される。
変調部Y017は、通信装置Y02との近接無線通信時の通信データの変調を行う部分である。変調方式は、使用するNFC規格によって異なり、振幅変調(ASK)、周波数変調(FSK)や位相変調(PSK)などが用いられる。
アンテナY018は、ループアンテナが用いられ、通信装置Y02のアンテナから発信された電波から電磁誘導を起こし、少なくとも変調部やメモリを駆動するための電力生起を行うとともに、通信装置Y02から発信された電波の反射波に、前記変調部Y017で変調した信号を重畳して、メモリY014に記録されている端末装置情報を通信機器Y02に送信する部分である。
以上のように、本実施の形態の端末装置では、内部の各構成要素の故障を検知し、使用履歴をロギングしてメモリに蓄積して、通信装置Y02と近接して近接無線通信が可能となれば、メモリに蓄積している端末装置情報を通信装置Y02に送信することが可能となる。
次に、本実施の形態の通信装置Y02について説明する。なお、本実施の形態で開示する発明の主題は、本通信装置Y02である。
本通信装置Y02は、アンテナY021、CPU(Y022)、復調部Y023、メモリY024、位置情報測位部Y027、GPSアンテナY031、通信メモリY032、情報付与部Y035および通信部Y036で構成される。
アンテナY021は、本通信装置Y02と近接無線通信可能な端末装置を探索するために不特定な端末装置に向けて呼びかけを行うポーリングを行う。また、ポーリングに対して応答があった場合には、端末装置との近接無線通信を確立して、端末装置Y01から送信される変調された端末装置情報を受信して、復調部Y023に出力する。通常、ポーリング動作は、近接無線通信可能な端末装置がない場合においても、常時行う必要があるが、これには、電力消費を伴う。したがって、ポーリングを開始するタイミングを制御するための図示しないスイッチを設けて、スイッチがONにされた場合にポーリング動作を行うようにすれば、ポーリング時間を大幅に短縮することが可能となって、通信機器Y02の電力消費量を格段に下げることが可能となる。特に、通信装置がバッテリや電池など限りある電力で動作している場合には有効である。
CPU(Y022)は、本通信装置のシステム制御を行う部分であり、通信装置の各構成要素の動作を制御する。
復調部Y023は、端末装置Y01の変調部Y017に対応した変調を復調する部分である。復調した端末装置情報は、いったん、メモリY024に出力される。
メモリY024は、内部にROM(Y025)とRAM(Y026)を具備する。
ROM(Y025)は、外部からは書き換え不能に構成されたメモリであり、本通信装置出荷時に、本通信装置Y02を一意に識別可能な製造番号が記録されている。製造番号とは、本通信装置Y02のメーカや製造されたロット番号、製造日が判別可能な情報であることが望ましい。また、本ROMは、CPU(Y022)の半導体チップの内部に構成されていることが望ましい。この場合には、メモリアクセスの情報を簡単に見ることはできなくなり、この場合には、端末装置Y01との近接無線通信時の認証や暗号化通信のための秘密鍵情報を出荷時に記録することが可能となる。
RAM(Y026)は、アンテナY021で受信し、復調部Y023で復調した端末装置Y01の端末装置情報が蓄積される。前述の通り、端末装置情報とは、端末装置Y01を一意に識別可能な端末装置の製造番号や、端末装置Y01の使用履歴情報、故障コードが含まれる。
位置情報測位部Y027は、本通信装置Y02の場所を特定するためのセンサ群で構成され、経緯測位部(GPS)Y028、高度測位部Y029および位置補正部Y030で構成される。また、本位置情報測位部Y027は、アンテナY021から、本通信装置Y02と端末装置Y01が通信可能になった時点で、位置情報を取得する構成にすれば、常時位置情報を取得する必要がなくなり、本通信装置Y02の電力使用量を削減することが可能となる。
経緯測位部Y028は、一般的なGPS(Global Positioning System)であり、人工衛星からの電波を受信して、地球上の3次元測位が可能な部分である。
また、高度測位部Y029は、一般的な高度計であり、電波を受信して高度を抽出するもの、気圧をセンシングして高度を計測するものなど多数存在する。本高度測位部Y029は、GPS電波が受信できない室内においても高度をセンシング可能とするために具備している。
位置情報補正部Y030は、GPSで即位した位置情報をより精細にするために、GPSの測位値を補正する部である。通常、GPSは、室内など衛星からの電波の受信できない状況では、正しい位置情報を得ることが不可能になる。そこで、本位置情報補正部Y030では、内部に電子コンパスと6軸の加速度センサを具備して、GPS測位困難な場所では、本通信装置の移動方向を電子コンパスから、移動速度を加速度センサから抽出して、GPSで測位した位置情報を補正することを可能としている。
情報付与部Y035は、端末装置Y01から受信してメモリY024に記憶されている端末装置情報をサーバY04に送信するときに、メモリY024のROM(Y025)に記録されている通信装置Y02の製造番号と、位置情報測位部Y027で測定された位置情報を、端末装置情報に付与する部分である。これによって、サーバY04では、端末装置情報を、どの通信装置から送信されたか、どの位置で検出したかなどを判別可能に管理することができ、例えば、メーカ側で端末装置の重大事故の可能性がある場合において、サーバY04のDBを紐解けば、その端末機器がどこに存在するかがわかり、製品回収時間を短縮し、重大な事故の可能性を低減させることが可能となり、製品使用の安心、安全に繋がることが可能となる。また、通信装置Y02が携帯電話端末などのように表示機能がある場合には、事故の可能性がある端末機器がどの通信機器と近接無線通信が可能であったかがわかり、端末機器の事故情報を、対応する通信機器に表示させる構成とすれば、一般的に表示機能がなく、汎用のネットワークに接続されていない端末機器の事故情報を通信機器に送信することで、端末装置を使用するユーザに啓発を行うことができ、こちらも端末装置を使用するユーザの安心、安全に繋がる機器の提供を可能とする。
通信部Y036は、一般的なLANやワイヤレスLANや携帯電話通信網によってインターネットを介してサーバY04と通信を行う部分であり、通信装置情報として通信装置の製造番号や位置情報を付与された端末装置情報をサーバY04に送信する部分である。ここでは、通信制御用に、MAC(Media Access Control)アドレスやIP(Internet protocol)アドレスを、さらに付与して、サーバY04に送信する。
サーバY04は、インターネットなど汎用のネットワークを介して通信機器Y02と接続されるサーバである。本サーバY04は、内部に端末装置を管理する機器管理DB(Data Base)を具備する。
機器管理DB(Y041)では、通信装置情報に紐付けられた端末装置情報を受信する。本DBでは、通信機器を親機器、端末装置を子機器として親機器に紐付けて管理する。また、子機器には、通信装置で取得した位置情報が付与されており、端末装置がどこに存在するかの情報を同時に管理することが可能となる。
以上のように、本実施形態のシステムでは、端末装置の端末装置情報が、通信機器によって近接無線通信を介して読み出され、通信装置において、通信装置の製造番号や通信機器を端末装置にタッチして近接無線通信が可能となった位置情報を対応付けて、サーバに送信する。サーバでは、通信装置を親機器、端末機器を子機器として対応付けを行って管理することが可能となる。したがって、メーカ側で端末機器が重大事故を起こし得ると判定したときには、端末装置の回収が容易になったり、重大事故の可能性を対応する通信機器の表示部に表示したりするなどすることが可能となり、製品のトレーサビリティを実現し、安心、安全機器を提供することを可能とする。
図165は、図164で説明したシステムの各構成要素の動作を示したシーケンス図である。
まず、通信装置Y02から端末装置Y01に向けて、近接無線通信を確立するためのポーリングを行う。このポーリングは、前述のように、通信装置の電力使用量の観点から、ユーザが操作するスイッチを設けて、このスイッチが押されている、あるいは押された場合にポーリングを開始する方が望ましい(SY01)。
次に、端末機器Y01は、通信機器Y02のポーリングに応答することによって、端末装置Y01と通信装置Y02との近接無線通信を確立する(SY02)。この時点で、通信装置Y02の位置情報測位部Y027によって位置情報を取得して、端末機器の位置情報として抽出する。なお、位置情報の取得は、ポーリング完了時のみに限定されるものではない。ポーリング応答移行、近接無線通信が確立している間であれば、いつでも構わない。趣旨は、数センチメートルしか通信できない近接無線通信が確立している位置情報を取得することによって、端末装置の場所を高精度に抽出することが重要である。
SY02で近接無線通信が確立後、端末装置が通信機器を認証し、通信装置が端末装置を認証することを、一般的な公開化儀暗号を用いた認証を用いて実施するとともに、一時的に端末装置と通信装置間で生成する暗号鍵をキーシェアリングする(SY03)。以後、本近接無線通信が確立している間は、通信路をこの暗号鍵を用いて暗号化して通信することによって盗聴を防止することが可能となる。
キーシェアリングが完了すると、端末装置Y01のメモリY014に記録されている端末装置情報を端末装置Y01から通信装置Y02に送信する(SY04)。
通信装置Y02において、端末装置Y01から端末装置情報を受信すると、通信装置のメモリY024に記憶する(SY05)。
通信装置Y02において、端末装置Y01から端末装置情報の受信を完了すると、通信装置Y02からサーバY04に対して接続要求を出す(SY06)。
サーバY04では、SY06の接続要求に対して、応答を返し、通信を確立する(SY07)。
通信装置Y02とサーバY04の通信が確立すれば、サーバに端末装置の端末装置情報を送信するために、通信装置の通信装置情報を付与する(SY08)。なお、通信装置情報とは、通信装置の製造番号、端末装置と近接無線通信が確立している間の通信装置の位置情報、通信装置機器に登録されていれば登録されているユーザのメールアドレス、通信装置に登録されていれば登録されているサーバへの接続アカウントなどのことである。
SY08で、端末装置情報に通信装置情報の通信装置情報を付与した後、通信装置情報付きの端末装置情報をサーバY04へ送信する(SY09)。
サーバY04では、通信装置Y02から受信した通信装置情報付きの端末装置情報を機器管理DB(Y041)に登録することで処理を完了する。
これによって、サーバY04では、通信装置Y02でタッチして近接無線通信を確立した端末機器を、通信装置の識別情報(製造番号など)に紐付けて管理することによって、家丸ごとの機器管理を行うことが可能となる。また、端末装置の設置場所として登録する位置情報は、通信機器と端末装置とが近接無線通信を確立した位置情報を用いる。本実施の形態の近接無線通信は、一般的なHF帯域(13。56MHz帯)を用いるので、その通信可能距離は数センチメートルである。したがって、近接無線を確立した位置情報を端末機器の位置情報として設定することで、誤差が最大数センチメートルとなり、製品のトレーサビリティを実現するには十分の精度を確保することが可能となる。
図166は、サーバY04の機器管理DB(Y041)に通信端末Y02に対応付けて管理される端末装置群の概念図である。
通信機器Y02で、端末装置を購入時の愛用者登録などを行う場合には、端末機器を設置した後、通信機器で端末装置をタッチすることによって、端末機器の端末機器情報を通信機器に近接無線通信を介して読み出して、サーバに、通信装置情報を付与して送信する。すると、サーバ側の機器管理DBでは、通信装置を親機器、端末機器を子機器として関連付けて管理される。具体的には、DB内では、通信機器の製造番号(Y051)に紐付けて、通信装置でタッチされた端末装置1(例えば電子レンジ)Y052、端末装置2(例えば洗濯機)Y053、端末装置3(例えばテレビ)Y054として、各端末装置の端末装置情報としての所在情報(経緯、高度など)、使用状況情報(使用履歴、エラーコード、使用時間など)を通信機器に紐付けて管理することで、通信装置でのタッチを起因として家丸ごとの機器の管理を行うことが可能となり、端末装置のトレーサビリティを実現することが可能となる。
また、近接無線通信が確立したときに通信装置は位置情報を読み出し、端末装置の位置情報として検出するため、近接無線通信が通信可能な数センチメートル単位の誤差の範囲で端末機器の位置を登録することが可能となる。これを実現するために通信装置に搭載されているGPSを利用して、端末装置の位置情報を検出することで、端末機器ごとにGPSを持つ必要はなく、コストの削減が可能となる。
図167は、通信機器Y02で端末装置Y01をタッチしたときの通信機器の表示部に出力される表示画面を示した概念図である。
まず、端末装置に通信機器をタッチして機器登録する場合について説明する。
通信装置Y02を操作して、通信装置のリーダライタアプリケーションを立ち上げると、近接無線通信で通信する端末装置をタッチするように画面に表示する(Y060)。
タッチされると通信機器と端末装置との近接無線通信が確立して、通信装置は、端末装置から端末装置情報を読み出し、現在の位置情報を取得して、メモリに一時記憶し、サーバY04との通信を確立して、通信装置情報と付与した端末装置情報をサーバに送信する。サーバでは、送られてきた端末装置情報が、既に機器管理DBに登録されているかどうかを判定して、登録されていないと判定された場合には、機器の登録を促すメッセージを通信装置の表示部に表示させる(Y061)。
次にユーザが機器の登録を選択すれば、機器の位置情報の登録を促すメッセージをサーバから通信装置に出力して、ユーザが登録するを選択した時点で、通信機器からサーバに送信される端末装置情報に紐付けされている位置情報を登録する端末装置の位置情報としてサーバの機器管理DBに登録される(Y062)。
一方、端末機器の位置情報がサーバの機器管理DBで登録されているものと異なる場合について説明する。
通信装置Y02を操作して、通信装置のリーダライタアプリケーションを立ち上げると、近接無線通信で通信する端末装置をタッチするように画面に表示する(Y063)。
通信機器が端末装置にタッチされると近接無線通信を確立して、通信装置が端末機器から端末機器情報を読み出すとともに、位置情報を取得して、通信装置情報を付与した端末装置をサーバに送信する。サーバでは、機器管理DBから、タッチされた端末機器が既に登録されていることを、サーバに受信した端末装置情報に含まれる端末装置の製造番号と、機器管理DBに登録されている製造番号とを照合することによって確認するとともに、サーバで受信した通信装置情報から位置情報を抽出して、機器管理DBに登録されている位置情報とを照合して一致しているかどうかを判定する。無論、位置情報には誤差を伴うため、数センチメートルオーダー(近接無線通信可能な距離に応じた値)での閾値判定を実施することによって同じ位置か異なる位置かの判定を行う。異なる位置であると判定された場合には、既に登録されている位置情報を異なることを通知するメッセージを通信装置の表示部に出力する(Y064)。
次に、現在の位置情報で端末機器の位置情報を更新するかを促すメッセージを通信装置の表示部に表示される(Y065)。
ユーザが更新するを選択すれば、タッチを起因として通信装置が取得した位置情報を、端末装置の新たな位置情報としてサーバの機器管理DBに登録する。
したがって、本実施の形態では、いったん登録した位置情報が、端末装置の設置場所の移動に伴って変更された場合においても、タッチを起因として取得した新しい位置情報に更新することが可能となって、端末装置のトレーサビリティの精度を向上させることが可能となる。
(実施の形態17)
図168は本実施の形態におけるRF−IDの機能ブロック図である。
図168のRF−IDN10は、近接無線通信用のアンテナN11、アンテナN11からの電力で動作する電源部N12、個体識別情報を記録する不揮発メモリであるメモリN13、メモリN13に記録された内容を再生する再生部N14、メモリN13に記憶されたデータを、アンテナN11を介して送信するデータ転送部N15で構成される。
メモリN13は、RF−IDN10を搭載する製品を特定するUID部N13A、RF−IDN10を搭載する製品の品番を特定する品番ID部N13B、登録サーバN40のサーバ特定情報N13C、モバイル機器N20に実行させる動作プログラムN13Dで構成される。
図169は本実施の形態におけるモバイル機器の機能ブロック図である。
図169のモバイル機器N20は、RF−IDN10から送信されたデータを受信するRF−IDリーダライタN21、RF−IDN21から送信されたデータを記憶するRF−ID記憶部N22、データに含まれるプログラムを実行するプログラム実行部N23、データに含まれる画像情報のデータ処理を行うデータ処理部N24、データ処理部N24が処理した画像情報が出力されるメモリN25、メモリN25に一時記憶された画像を表示する表示部N26、汎用のネットワークを介して他の機器と接続する通信I/F部N27、通信I/F部N27を介してデータを送信する送信部N28、通信I/F部N27を介してデータを受信する受信部N29、通信I/F部N27によって汎用ネットワークを介して他の機器と通信を行う通信部N30、モバイル機器N20の絶対的位置情報を測定するGPSN31、モバイル機器N20の相対的位置情報を測定する6軸センサN32、GPSN31と6軸センサN32の測定結果を記憶する位置情報記憶部N33、位置情報記憶部N33に記憶された位置情報を解析するCPUN34で構成される。
図170は、本実施の形態における登録サーバの機能ブロック図である。
図170の登録サーバN40は、汎用のネットワークを介して他の機器と接続する通信I/F部N41、通信I/F部N41を介してデータを送信する送信部N42、通信I/F部N41を介してデータを受信する受信部N43、通信I/F部N41によって汎用ネットワークを介して他の機器と通信を行う通信部N44、通信I/F部N41から受信した製品情報を管理する製品情報管理部N45、モバイル機器N20に送信する画像データを記憶する画像データ記憶部N46、モバイル機器N20に送信するプログラムを記憶するプログラム記憶部N47、製品情報管理部N45に記憶された情報を組み合わせることによりRF−IDを搭載した製品の位置関係を示すマップを作成する位置情報作成部N48、制御情報管理部N45に記憶された情報とモバイル機器N20の現在の位置情報からRF−IDN10を搭載した製品の制御を行う製品制御部N49で構成される。
本実施の形態は、モバイル端末N20の位置情報とRF−IDN10を搭載した宅内の製品の位置情報から作成した製品マップの情報から宅内の製品を制御することが他の実施の形態と異なる。
図171は、本実施の形態におけるネットワーク製品の配置の一例を示す図である。
図171の配置図は、1階のリビングにはテレビN10AとBDレコーダN10BとエアコンN10CとFF暖房機N10K、1階の洋室にはエアコンN10Dと火災報知器N10E、1階の和室にはエアコンN10Fと火災報知器N10G、2階にはテレビN10IとエアコンN10J、屋根には太陽電池パネルN10Hが配置されている。
図172は、本実施の形態におけるシステムの一例を示す構成図である。図172は図171の配置図に設置された家電で構成している。
図168のRF−IDN10と汎用のネットワークを介して他の機器と接続する通信I/F部N18を搭載したテレビN10A〜FF暖房機N10K、図169のモバイル機器N20、図170の登録サーバN40、テレビN10A〜FF暖房機N10Kとモバイル機器N20を接続する宅内ネットワークN100、宅内ネットワークN100と接続し登録サーバN40に接続する宅外ネットワークN101で構成される。
図173〜図178を用いて、RF−IDN10を搭載した製品の情報を登録サーバN40への登録する方法の一例について示す。
図173は、テレビN10Aの情報を登録サーバN40に登録するシーケンス図である。
最初、ユーザがモバイル機器N20のRF−IDリーダライタN21をテレビN10AのアンテナN11近づけると、RF−IDリーダライタN21よりアンテナN11を介して電源部N12に電力が給電されRF−IDN10の各部に電源が供給される(図173丸1)。
RF−IDN10の再生部N14はメモリN13のUID部N13Aと品番ID部N13Bとサーバ特定情報N13Cと動作プログラムN13Dに記憶されている情報を含む製品データを作成する。
図174の(a)は、製品データの構成の一例を示す図である。図174の(a)の製品データは、品番IDとしてテレビN10Aの品番(色情報を含む)、UIDとしてテレビN10Aの製造番号、サーバ特定情報として登録サーバN40のアドレス情報とログインIDとパスワード、モバイル機器N20のプログラム実行部N23で実行する動作プログラムで構成されている。
RF−IDN10のデータ転送部N15は製品データを変調しアンテナN11を介してモバイル機器N20のRF−IDリーダライタN21へと送信する(図173丸2)。
モバイル機器N20のRF−IDリーダライタN21は、製品データを受信し、RF−ID記憶部N22に記憶する。
プログラム実行部N23はRF−ID記憶部N22に記憶された製品データに含まれる動作プログラムを実行する。
ここでは動作プログラムとして「製品データに含まれる登録サーバN40のアドレスに対して送信するサーバ登録データを作成する」という動作を実行する。
図174の(b)は、サーバ登録データの構成の一例を示す図である。図174の(b)のサーバ登録データは、品番IDとしてテレビN10Aの品番(色情報を含む)、UIDとして製造番号、サーバ特定情報として登録サーバN40のログインIDとパスワード、モバイル機器N20の位置情報で構成されている。
次に、モバイル機器N20の位置情報に関して説明する。
GPSN31はモバイル機器N20が起動中は常に動作しており測定した結果を位置情報記憶部N33に記憶する。
6軸センサN32はGPSN31が測定圏外であるときに動作し測定した結果を位置情報記憶部N33に記憶する。
プログラム実行部N23は位置情報記憶部N33に記憶されたGPSN31と6軸センサN32の測定結果からサーバ登録データの位置情報を作成する。
プログラム実行部N23は作成した位置情報とRF−ID記憶部N22に記憶された情報から図174の(b)に示すサーバ登録データを作成する。
次に、通信部N30はRF−ID記憶部N22に記憶された登録サーバN40のアドレスにサーバ登録データのあて先を設定する。
送信部N28は通信I/F部N27を介してサーバ登録データを送信する(図173丸3)。
登録サーバN40の受信部N43は通信I/F部N41を介してサーバ登録データを受信する。
通信部N44はサーバ登録データのログインIDとパスワードを確認する。
ログインIDとパスワードが一致していればサーバ登録データの品番IDとUIDと位置情報を製品情報管理部N45に記憶する。
図175の(a)は、製品情報管理部N45で記憶するテレビN10Aの製品情報の一例を示す。品番IDとUIDと位置情報で構成されている。位置情報は経度、緯度、高度で構成されている。
次に、登録サーバN40の通信部N44はテレビN10Aの登録が完了するとあらかじめ画像データ記憶部N46に記憶された画像情報とプログラム記憶部N47に記憶された動作プログラムを含むサーバ登録完了通知を作成しあて先をモバイル機器N20のアドレスに設定する。
送信部N42は通信I/F部N41を介してサーバ登録完了通知を送信する(図173丸4)。
モバイル機器N20の受信部N29は通信I/F部N27を介してサーバ登録完了通知を受信する。
通信部N30はサーバ登録完了通知のあて先アドレスを確認しプログラム実行部N23に転送する。
プログラム実行部N23はサーバ登録完了通知に含まれる動作プログラムを実行する。ここでは動作プログラムとして「表示部N26に画像データを表示する」という動作を実行する。
プログラム実行部N23はデータ処理部N24に画像データの処理を指示する。
データ処理部N24は画像データのデータ処理を行う。例えば、ダウンロードする画像が圧縮されている場合にはその伸張を、暗号化されている場合にはその復号を行い、画像表示スタイルシートに基づいた画像表示スタイルで、ダウンロードした画像情報を配列したりする。
データ処理部N24は処理が終了すると画像データをメモリN25に一時記憶する。
表示部N26は、メモリN25に蓄積した画像データを表示する。ここでは、メモリN25に蓄積した画像データは製品の登録が正常に完了したことを通知することを示す画像である。
図175の(b)は、テレビN10Aと同様の手順でBDレコーダN10B〜FF暖房機N10Kを登録サーバN40に登録後の登録サーバN40の製品情報管理部N45に管理される製品情報の一例を示す図である。図171の宅内から登録された製品情報は同じテーブルで管理される。ここでは、同じモバイル機器N20で登録した製品を同じ宅内から登録された製品と判定する。
図176にRF−IDN10の製品登録時の処理フローの一例を示す。
最初、RF−IDN10はモバイル端末N20からの給電待ち受け状態になる(N001)。
RF−IDN10はモバイル端末N20から給電を受けた場合はN002に移り、受けていないならばN001に戻る。
N002でメモリN13の情報を含む製品データを作成する。その後、N003で製品データをアンテナN11からモバイル機器N20へ送信して処理を終了する。
図177にモバイル機器N20の製品登録時の処理フローの一例を示す。
最初、N001でRF−IDリーダライタN21からRF−IDN10に給電する。
次に、モバイル機器N20はRF−IDN10からの製品データの待ち受け状態になる(N005)。
モバイル端末N20はRF−IDN10から製品データを受けた場合はN006に移り、受けていないならばN004に戻り、再度RF−IDN10に給電する。
N006で受信した製品データを解析する。次に、製品データに含まれる動作プログラムを実行する。
N007でモバイル端末N20は自機の位置を測定する。
N008で位置の測定結果を含むサーバ登録データを作成する。N009でサーバ登録データを通信I/F部N27から登録サーバN40へ送信する。
次に、モバイル機器N20は登録サーバN40からのサーバ登録完了通知の待ち受け状態になる(N010)。
モバイル端末N20は登録サーバN40からサーバ登録完了通知を受けた場合はN011に移る。
N011で、サーバ登録完了通知を解析する。その後、N012で表示部N25にサーバ登録完了通知に含まれる画像情報を表示して処理を終了する。
図178に登録サーバN40の製品登録時の処理フローの一例を示す。
最初、登録サーバN40はモバイル機器N20からのサーバ登録データの待ち受け状態になる(N013)。
登録サーバN40はモバイル端末N20からサーバ登録データを受けた場合はN014に移り、受けていないならばN013に戻る。
N014でサーバ登録データを解析し、ログイン名とパスワードが一致するか確認する。その後、N015でログイン名とパスワードが一致すれば製品情報を製品情報管理部N45に記憶する。
N016で動作プログラムと画像情報を含むサーバ登録完了通知を作成する。N017でサーバ登録完了通知を通信I/F部N41からモバイル機器N20へ送信し処理を終了する。
次に、図179と図180を用いて、モバイル機器N20の位置情報によるRF−IDN10を搭載した製品の制御する方法の一例について示す。
図179は、モバイル機器N20の1階から2階へ移動した場合にエアコンN10JとテレビN10Aの電源を制御する一例を示すシーケンス図である。
モバイル機器N20のCPUN34は、位置情報記憶部N33に記憶されている位置情報を監視し、あらかじめ設定している条件を満たすと現在の位置情報を含む位置情報データを作成する。
図180の(a)は位置情報データの構成の一例を示す図である。
非図示のメモリにあらかじめ製品登録時に取得し記憶していた登録サーバN40の第2サーバログインIDと第2のサーバログインパスワード、位置情報記憶部N33から取得したモバイル機器N20の現在の位置情報で構成されている。
通信部N30は位置情報データを製品登録した登録サーバN40のアドレスに設定する。
送信部N28は通信I/F部N27を介して位置情報データを送信する(図179丸1)。
登録サーバN40の受信部N43は通信I/F部N41を介して位置情報データを受信する。
通信部N44は位置情報データの第2サーバログインIDと第2のサーバログインパスワードを確認する。
通信部N44は第2サーバログインIDと第2のサーバログインパスワードが一致していれば製品制御部N49に位置情報データを転送する。
製品制御部N49は、位置情報作成部N48に第2サーバログインIDを転送する。
位置情報作成部N48は、製品制御部N49に指示に従い第2サーバログインIDから製品情報管理部N45に登録されている図175の(b)の情報を取得し、各製品の位置情報から図171の宅内の製品の位置を示す製品マップを作成し製品制御部N49に渡す。
図181に位置情報作成部N48が作成する製品マップの一例を示す。
製品マップは3Dマップで各製品の位置情報から各製品の位置する箇所に製品のイメージ図を配置する。
製品制御部N49は、位置情報データに含まれるモバイル機器N20の現在と位置情報作成部N48で作成した家電マップを用いて製品(テレビN10A〜FF暖房機N10K)の制御を行う。ここでは、製品制御部N49は、モバイル機器N20から受信した位置情報と最も近い商品の電源をONする。ここではエアコンN10Jの電源をONにする命令を含む機器制御データを作成する。
図180の(b)は第1機器制御データの構成の一例を示す図である。
エアコンN10Jの品番IDとUID、エアコンN10Jの電源をONする製品制御コマンドで構成されている。
通信部N44は第1機器制御データにモバイル機器N20のアドレスをあて先として設定する。
送信部N42は通信I/F部N41を介して第1機器制御データを送信する(図179丸2)。
モバイル機器N20は第1機器制御データを受信すると第1機器制御データに含まれる品番IDとUIDからエアコンN10Jに第1機器制御データを転送する(図179丸2´)。
エアコンN10Jは通信I/F部N18から第1機器制御データを受信すると自機の電源がOFF状態ならば電源をONする。
次に、製品制御部N49は、モバイル機器N20から受信した位置情報と最も遠い商品の電源をOFFする。ここではテレビN10Aの電源をOFFにする命令を含む機器制御データを作成する。
図180の(c)は第2機器制御データの構成の一例を示す図である。
テレビN10Aの品番IDとUID、テレビN10Aの電源をOFFする製品制御コマンドで構成されている。
通信部N44は第2機器制御データにモバイル機器N20のアドレスをあて先として設定する。
送信部N42は通信I/F部N41を介して第2機器制御データを送信する(図179丸2)。
モバイル機器N20は第2機器制御データを受信すると第2機器制御データに含まれる品番IDとUIDからテレビN10Aに第2機器制御データを転送する(図179丸3´)。
テレビN10Aは通信I/F部N18から第2機器制御データを受信すると自機の電源がON状態ならば通信機能以外の電源をOFFする。
以上説明したように、本実施例によれば、RF−IDの近距離無線通信と位置情報を用いることによりRF−IDN10を搭載した製品の位置を登録サーバで管理することが可能になる。これにより、モバイル機器N20の現在位置に応じた製品の自動制御が可能になる。
また、位置情報として相対的位置情報を測定する6軸センサN32(モーションセンサ)で測定した情報を位置情報として使用するため、GPSN31の測定圏外において6軸センサN32の測定結果を用いて位置情報を更新することが可能になりGPSN31の測定圏外でも正確な位置情報を取得が可能になる。
なお、本実施の形態のモバイル機器N20はGPSN31と6軸センサN32を保持したがこれに限定されるものではない。例えば、モバイル機器N20は6軸センサN32のみ保持する構成としてもよい。この場合、登録サーバN40の製品情報管理部N45は図145に示すように最初に登録したテレビN10Aを基準点に、テレビN10Aとの相対的位置情報を記憶する構成になる。また、この場合、位置情報作成部N48が作成する製品マップは図182に示すように軸がx座標、y座標、z座標で構成される。
なお、本実施の形態では、RF−IDN10に搭載した製品の品番IDとUIDとモバイル機器N20の位置情報を登録サーバN40に登録したがこれに限定されるものではない。例えば、登録サーバN40は登録済みの製品のサーバ登録データを再度受信した場合は、図184の表に示す処理を行ってもよい。
図184について説明する。図184は位置情報の精度を示す精度識別子と各識別子に該当する品番IDと、再度受信したサーバ登録データの位置情報と製品情報管理部N45に登録済みの位置情報が異なる場合の処理で構成されている。
登録サーバN40は、再度受信したサーバ登録データに含まれる品番IDとUIDから既に製品情報管理部N45に登録済みと判断すると品番IDを確認する。品番IDがテレビ、BDレコーダ、FF暖房機の場合は再度受信したサーバ登録データに含まれる位置情報に製品情報管理部N45を更新する。
また、品番IDがエアコン、太陽電池パネル、火災報知器の場合は、モバイル機器N20に製品情報管理部N45で記憶している位置情報を通知する。モバイル機器N20は自機の現在の位置情報を登録サーバN40から受けた位置情報に基づき修正する。
なお、図184では精度識別子は2種類だがこれに限定されることはなく2種類以上設けて精度識別子ごとに異なる処理を設けてよい。
なお、本実施の形態の製品制御部N49は登録サーバN40に搭載したがこれに限定されるものではない。例えばモバイル機器N20に搭載し、登録サーバN40から製品マップを取得して動作してもよい。また、モバイル機器N20以外で宅内ネットワーク100に接続された非図示の宅内サーバに搭載してもよい。この場合は、モバイル機器N20は位置情報を宅内サーバに送信し、宅内サーバから製品マップを取得する。
なお、本実施の形態のモバイル装置N20は汎用I/F部N27で宅内ネットワーク100と宅外ネットワーク101と経由して登録サーバN40と接続したがこれに限定されるものではない。例えばモバイル機器は携帯電話の機能を有しており汎用I/F部N27の代わりに携帯電話網(例えばLTE)に接続可能なインタフェースで少なくとも携帯電話網を経由して登録サーバN40に接続してよい(図185参照)。また、モバイル機器N20はWiMAXなどの回線網に接続可能なインタフェースを有し、少なくともWiMAXネットワークを経由して登録サーバN40に接続してよい。その他のいずれのネットワークを利用して登録サーバN40に接続してもよい。
なお、本実施の形態では位置情報作成部N48で作成した製品マップを製品制御の判定に利用したがこれに限定されるものではない。例えば、位置情報作成部N48で作成した製品マップの画像データをモバイル機器N20に送信し、モバイル機器N20の表示部N26に表示してもよい。
なお、本実施の形態では位置情報作成部N48は図8(b)の情報に基づいて製品マップを作成したがこれに限定されるものではない。例えば、位置情報から近接する宅内に設置されている製品情報を製品情報管理部N45から検出し、近接する宅内の製品マップを作成してもよい。この場合、製品制御部N43は図181の製品マップと近接する宅内の製品マップを組み合わせで製品の制御を行う。例えば本実施例ではモバイル機器N20から最も遠いテレビN10Aの電源をOFFにしたが近接する宅内に太陽電池パネルがあるならテレビN10Aの電源をONのままにするなどの制御を行う。
なお、本実施の形態では登録サーバN40の製品情報管理部N45では各製品の品番ID、UID、位置情報を記憶したがこれに限定されるものではない。例えば、各製品の通信I/F部N18を介して電源のON・OFF状態をリアルタイムに取得して管理してもよい。この場合、製品制御部N49はモバイル機器N20から最も遠いテレビN10A電源をOFFにしたが、あらかじめ設定した台数の製品が電源OFFの状態ならテレビN10Aの電源をONのままにするなどの制御を行う。
なお、本実施の形態では製品制御部N49は最も遠い製品の電源をOFFにして最も近い製品の電源をONにしたがこれに限定されるものではない。
モバイル機器N20の位置情報を基に複数台の製品の電源をON・OFFを制御してよい。
なお、本実施の形態では製品制御部N49は最も遠い製品の電源をOFFにして最も近い製品の電源をONにしたがこれに限定されるものではない。例えば、モバイル機器N20のCPUN34は非図示のメモリに位置情報を移動履歴として記憶し、定期的に登録サーバN40に移動履歴を通知してよい。この場合、登録サーバN40はモバイル機器N20の移動履歴からどの製品が同じ部屋・階にあるか推定して推定結果を管理する。また、製品制御部N49は推定結果に基づいて同じ部屋にある製品の電源のON・OFFを制御してもよい。例えば、移動履歴からテレビN10AとエアコンN10Cが同じ部屋にあると推定すると製品制御部N49はテレビN10Aの電源をOFFにする場合はエアコンN10Cの電源もOFFにする。
また、移動履歴に加え、各製品のON・OFF切り替えの時間情報を収集してどの製品が同じ部屋・階にあるか推定してもよい。
なお、本実施の形態では製品情報管理部N45は図175または図182の製品情報を管理し、位置情報作成部N48は図181または図183の製品マップを作成したがこれに限定されるものではない。例えば、ユーザが作成した宅内間取りの画像データをモバイル機器N20から登録サーバN40に送信し、製品情報管理部N45で管理する。この場合、位置情報作成部N48は図175または図182の製品情報と宅内間取りの画像データを組み合わせ図171のような製品マップを作成する。
また、宅内も間取りの画像データのような個人情報は製品情報と異なる暗号化の処理を行いモバイル端末N20から登録サーバN40に送信処理をしてもよい。
また、宅内間取りの画像データのような個人情報は製品情報と異なるサーバに送信し、登録サーバN40が製品マップ作成時に異なるサーバに参照する手順で製品マップを作成してもよい。
なお、本実施例と他の実施の形態を組み合わせでもよい。例えば、実施の形態16の端末装置Y01の機能をRF−IDN10に搭載し、実施の形態16の通信装置Y02の機能をモバイル端末N20に搭載することで図173の製品登録処理を行う事前に図165に示すポーリングから相互認証、キーシェアリングの処理を行ってもよい。また、他の実施の形態と組み合わせることも本発明の範囲内である。
また、上述の各実施の形態の構成は、典型的には集積回路であるLSI(Large Scale Integration)で実現されているものとしてもよい。これらは、個別に1チップ化されていてもよいし、すべての構成または一部の構成を含むように1チップ化されてもよい。集積回路は、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。また、集積回路の手法は、LSIに限定されるものではなく、専用回路または汎用プロセッサを用いて実現してもよい。さらに、FPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成することができるリコンフィギュアラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩により、または派生する別技術により現在の半導体技術に置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の応用等が考えられる。
(実施の形態18)
図186は本実施の形態における全体システム図である。
図186は、RF−IDO50、モバイル機O60、第1サーバO101および第2サーバO103で構成される。
RF−IDO50は、NFC通信機能を有する機器であり、冷蔵庫、電子レンジ、洗濯機、テレビ、録画機器などの電子的な製品に搭載され、製品のメモリに、製品情報として、製品を示すIDである製造番号や、製品の使用履歴情報、エラー情報などを保持する。
モバイル機器O60とは、RF−IDO50のNFC通信機能と近接無線通信によって通信可能なNFC通信機能を有し、RF−IDO50で保持している製品情報を読み出すリーダライタ機能を有する。また、モバイル機器とは、ポータブル機器であり、携帯電話端末などのポータブル機器や、テレビのリモコン端末を指す。
第1サーバO101は、インターネットなどの汎用のネットワークによって前記モバイル機器O60と通信可能に接続されるサーバであって、内部にDB(データベース)を有し、前記DBには、RF−IDO50からモバイル機器O60によって読み出されたRF−ID情報を蓄積する。
第2サーバO103は、インターネットなどの汎用のネットワークによって前記第1サーバO101と通信可能に接続されるサーバであって、内部にDB(データベース)を有し、前記DBには、RF−IDO50が設置されている座標の建築物情報を蓄積する。
RF−IDO50は、製品IDO51、第1サーバURLO52、サービスIDO53,精度識別子O54から構成される。
製品IDO51は、RF−IDを搭載した製品の識別するためのID、例えば製品の品番(色情報含む)、製造番号である。
第1サーバURLO52は、第1サーバO101のアドレス情報である。
サービスIDO53は、テレビ・エアコン・冷蔵庫など製品分類を示すIDが設定されている。
精度識別子O54は、RF−ID10を搭載した製品IDによって付与される位置情報の信頼性を表す情報である。
以上のように、本実施の形態のRF−IDO50ではモバイル機器O60と近接して近接無線通信が可能となれば、メモリに蓄積している品番、製造番号と第1サーバのURL、サービスID、精度識別子をモバイル機器O60に送信することが可能となる。
次に、本実施の形態のモバイル機器O60について説明する。
モバイル機器O60は、アンテナO61、RF−IDリーダライタO62、座標精度識別情報O63、CPUO64、プログラム実行部O65、データ処理部O66、メモリ部O67、表示部O68、通信アンテナO68、送信部O70、受信部O71、通信部O72、位置情報記憶部O73、RF−ID記憶部O74、RF−IDO75、URLO76、再生部O77、相対位置演算部O78、座標情報送出部O79、記録部O80、建築物座標データ出力部O81、登録座標O82、判断部O82、基準座標O84、位置情報出力部O85、位置情報O86、向き情報O87、磁気コンパスO88、向き情報O89、衛星用アンテナO90、位置情報演算部O91、位置情報O92、位置情報補正部O93、向き情報補正部O94、角速度センサO95、角速度センサO96、角速度センサO97、加速度センサO98、加速度センサO99、加速度センサO100、積分器O105、積分器O106、絶対座標演算部O107で構成される。
アンテナO61は、近接無線通信可能なRF−IDを探索するために不特定なRF−IDに向けて給電を行う。また、応答があった場合には、RF−IDとの近接無線通信を確立して、RF−IDO50から送信される変調された情報を受信する。
RF−IDリーダライタO62は、受信した情報を復調する。
座標精度識別情報O63は、受信した情報から精度識別子を抽出する。
CPUO64は、モバイル機器のシステム制御を行う部分であり、モバイル機器の各構成要素の動作を制御する。
プログラム実行部O65は、受信した情報に含まれるサービスIDに基づきプログラムを実行する。
データ処理部O66は、第1サーバから送信されるデータ処理を行う。
メモリ部O67は、データを一時記憶する。
表示部O68は、メモリ部O67に記憶された情報を表示する。
通信アンテナO68は、インターネットなどの汎用のネットワークと接続する。
送信部O70は、インターネットなどの汎用のネットワークへ送信するデータの変調を行う。
送信部O71は、インターネットなどの汎用のネットワークから受信するデータの復調を行う。
通信部O72は、インターネットなどの汎用のネットワークを介して他の機器と通信を行うデータを作成・解析する。
位置情報記憶部O73は、本モバイル機器で測定した位置情報を記憶する。
RF−ID記憶部O74は、RF−IDO50から取得した製品ID、サービスIDを記憶する。
RF−ID検出部O75は、RF−IDO10からの応答を検出する。
URLO76は、RF−IDO50から受信した情報から第1サーバのURLを抽出する。
再生部O77は、位置情報記憶部O73に記憶された情報を再生する。
相対位置演算部O78は、位置情報記憶部O73から再生した位置情報とモバイル機器O60の現在の位置情報から相対位置情報を算出する。
座標情報送出部O79は、RF−ID検出O75からトリガーを受けた時点のモバイル機器O60の位置情報を送出する。
記録部O80は、座標情報送出部O79から送出された位置情報を位置情報記憶部O73に書き込む。
建築物座標データ出力部O81は、通信アンテナで受信する建築物座標データを抽出する。
登録座標O82は、通信アンテナで受信する登録座標のデータを抽出する。
判断部O83は、登録座標O82で抽出した登録座標のデータの精度を判断する。
基準座標O84は、判断部O83の判断の結果、登録座標のデータが信頼できるなら登録座標のデータを基準座標と設定し、設定した基準座標データを位置情報補正部O93に渡す。
位置情報出力部O85は、向き情報O87と位置情報O86からの情報から位置情報を作成し出力する。
位置情報O86と向き情報O87は位置情報補正部O93と向き情報補正部O94で構成される絶対座標演算部O107から出力されるモバイル機器O67の位置情報である。
磁気コンパスO88は、方位を示す。
向き情報O89は、磁気コンパスO88の方位情報を作成する。
衛星用アンテナO90は、衛星と通信する。
位置情報演算部O91は、衛星との通信結果からモバイル機器O50の位置情報を演算する。例えば、緯度、経度、高度を求める。
位置情報O92は、位置情報演算部O91の演算結果から位置情報を作成する。
位置情報補正部O93は積分器O105と積分器O106から位置情報の結果を位置情報O92と基準座標O84と建築物座標データ出力部O81からの情報で補正する。
向き情報O94は積分器O105と積分器O106から向き情報の結果を向き情報O93からの情報で補正する。
角速度センサO95は、モバイル機器O60のx軸方向の角速度を計測する。
角速度センサO96は、モバイル機器O60のy軸方向の角速度を計測する。
角速度センサO97は、モバイル機器O60のz軸方向の角速度を計測する。
加速度センサO98は、モバイル機器O60のx軸方向の加速度を計測する。
加速度センサO99は、モバイル機器O60のy軸方向の加速度を計測する。
加速度センサO100は、モバイル機器O60のz軸方向の加速度を計測する。
積分器O105は、角速度センサO95と角速度センサO96と角速度センサO97の計測結果を積分する。
積分器O106は、加速度センサO98と加速度センサO99と加速度センサO100の計測結果を積分する。
絶対座標演算部O107は、位置情報補正部O93と向き情報補正部O94で構成されモバイル機器O60の絶対座標を算出する。
以上のように、本実施の形態のモバイル機器O60は、RF−IDO50の製品情報と製品情報を取得したときのモバイル機器O60の位置情報を測定することが可能になり、前記位置情報とRF−ID50の製品情報を関連付けて第1サーバ010に送信することができる。また、受信した登録座標から設定した基準座標や建築物座標データと位置情報O92で取得した位置情報や向き情報O89で取得した情報により本モバイル機器O60の現在の位置情報を補正することを可能にしている。また、第1サーバO101の登録座標データと第2サーバO103の建築座標データを組み合わせてモバイル機器O60で登録したRF−ID10の製品が設置された建築物の3D製品マップを作成することも可能になる。また、作成した3D製品マップ表示部O68に表示することも可能になる。
次に、本実施の形態の第1サーバO101について説明する。
第1サーバO101は、インターネットなど汎用のネットワークを介してモバイル機器O60と接続されるサーバである。本第1サーバO101は、内部にRF−IDO50を搭載した製品を管理する登録座標データO102を具備する。
登録座標データO102では、モバイル機器O60に紐付けられたRF−IDO10の情報を受信する。登録座標データO102では、モバイル機器O60を親機、RF−IDO50を子機器として親機器に紐付けて管理する。また、子機器には、モバイル機器O60で取得した位置情報が付与されており、端末装置がどこに存在するかの情報を同時に管理することが可能となる。また、第2登録サーバO103から受信する建築物座標データと登録座標データO102を組み合わせることによりモバイル機器O68同様に建築物に設置された3D製品マップを作成することも可能である。
次に、本実施の形態の第2サーバO103について説明する。
第2サーバO101は、インターネットなど汎用のネットワークを介して第1サーバO103と接続されるサーバである。本第2サーバO103は、内部には、現存する建築物の間取りと各建築物の座標(例えば緯度、経度、高度)を関連付けて管理する建築物座標データベースO104を具備する。
建築物座標データベースO104では、現存する建築物の間取りと座標情報を保持することにより、第1サーバの登録座標データと組み合わせモバイル機器O68同様に建築物に設置された3D製品マップを作成することも可能である。また、建築物座標データベースO104は個人情報として第1サーバO101と別にセキュリティ設定が高い(例えばモバイル機器O60から直接通信できない設定)サーバで管理することにより個人情報の漏洩を低減することも可能である。
以上のように、本実施形態のシステムでは、RF−IDO50の製品情報がモバイル機器O60によって近接無線通信を介して読み出され、モバイル機器O60においてRF−IDO50にタッチして近接無線通信が可能となった位置情報とRF−IDO50の製品情対応付けて、第1のサーバに送信する。第1のサーバでは、モバイル機器O60を親機器、RF−IDO50と搭載した製品を子機器として対応付けを行って管理することが可能となる。また、RF−IDO50と搭載した製品の位置情報を用いて各製品の相対位置を算出することにより製品の3Dマップを作成することが可能になる。
また、建築物の間取りと座標の情報をデータベースとして保持する第2のサーバを設けることにより、第1のサーバで管理している各製品の位置情報と組み合わせることにより各建築物でのRF−IDO50を搭載した製品の3Dマップを作成することが可能になる。
また、モバイル機器O60は、受信した登録座標から設定した基準座標や建築物座標データと位置情報O92で取得した位置情報や向き情報O89で取得した情報により本モバイル機器O60の現在の位置情報を補正することを可能とする。
次に、第1サーバO101にRF−IDO50の製品情報を登録する手順を説明する。
モバイル機器O60でRF−IDO50にタッチして近接無線通信が可能なる状態にすると、モバイル機器O60からの給電でRF−IDO50が動作する。
RF−IDO50は、給電されると記憶している、製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54の情報を変調してモバイル機器O60に送信する。
モバイル機器O60は、アンテナO61で製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54を受信するとRF−IDO62で復調する。
URLO75は、第1サーバURLを抽出して通信部O75に第1サーバURLの情報を渡す。
RF−ID記憶部O74は、製品IDO51とサービスIDO53の情報を記憶する。
座標精度識別情報O63は、精度識別子を抽出して判定部O83に渡す。
RF−ID検出部O75は、RF−IDO50から情報を受信したことを通知するトリガーを座標情報送出部O79と基準座標O84に送る。
座標情報送出部O79はトリガーを受けると位置情報出力部O85から受けたモバイル機器N60の位置情報を通信部O72に渡す。
ここで、位置情報出力部O85が出力するモバイル機器O60の位置情報について説明する。
まず、角速度センサO95〜O97で計測した結果を積分器O105で積分した結果と、加速度センサO98〜O100で計測した結果を積分器O106で積分した結果を絶対座標演算部O107に入力する。
絶対座標演算部O107では、衛星用アンテナO90を用いて位置情報演算部O91が演算した結果を保持している位置情報92の情報と磁気コンパスO88の示す方位の結果を保持している向き情報O89の情報を用いて積分器O105、O106から入力された結果に対して向き情報補正部O94と位置情報補正部O93で補正を行う。
次に、絶対座標演算部O107は、補正した絶対座標演算部O107向き情報O87と位置情報O86に出力する。
位置情報出力部O85は、向き情報O87と位置情報O86からの情報で位置情報を作成する。
以上手順でモバイル機器O60は位置情報を作成する。
次に、プログラム実行部O65はRF−ID記憶部O74に記憶された製品ID、サービスIDを通信部O72に渡す。
通信部O72は座標情報送出部O79からの位置情報とプログラム実行部O65からのされた製品ID、サービスIDを情報に含むデータを作成し、URLO76から受けた第1のサーバのURLをデータのアドレスに設定して送信部O70に渡す。送信部O70はデータを変調して通信アンテナO68を介して第1サーバO101に送信する。
第1サーバは、モバイル機器O60からデータを受信するとデータを復調する。
登録座標データO102では、モバイル機器O60を親機、RF−IDO50を子機として親機であるモバイル機器O60に子機であるRF−IDO50の製品IDO51とサービスIDO53とモバイル機器O60がRF−IDO50の情報を取得したときの位置情報を紐付けて管理する。
次に、モバイル機器O60でRF−ID10が搭載し、かつ第1サーバO101にモバイル機器O60で登録済みの製品の3Dマップを作成する手順を説明する。
図187は本実施の形態におけるRF−IDO50が搭載した製品の配置の一例を示す図である。
1階のリビングにはテレビO50AとBDレコーダO50BとエアコンO50C、1階の和室にはエアコンO50D、2階にはテレビO50EとエアコンO50Fが配置されている。全製品にRF−IDO50が搭載されている。また、前述した第1サーバO101にRF−IDO50の製品情報を登録する手順で全製品ともモバイル機器O60を用いて第1サーバO101の登録座標データに登録されているとする。
まず、モバイル機器O60の通信部72は、第1サーバO101にモバイル機器O60で登録した製品の情報を要求する製品情報要求データを作成する。
送信部O70は製品情報要求データに変調を行い、通信アンテナO68を介して第1サーバO101に送信する。
第1サーバO101は製品情報要求データを受信するとモバイル機器O60を親機として紐付けて管理している子機の製品情報を含む製品情報応答データを作成してモバイル機器O60に送信する。
ここでは、製品情報応答データにはテレビO50AとBDレコーダO50BとエアコンO50CとエアコンO50DとテレビO50EとエアコンO50Fの製品IDO51とサービスIDと位置情報が含まれている。
次に、第1サーバO101は第2サーバO103にも製品情報応答データと同じ情報を送信する。
第2サーバO103では製品情報応答データに含まれる各製品の位置情報から建築物座標データベースO104にある同じ位置にある建築物の位置(座標)情報を含む画像データを抽出する。
図188は、建築物座標データベースO104から抽出した建築物座標データである。建築物の間取りの画像と位置情報に含まれている。
第2サーバO103は、抽出した建築物座標データをモバイル機器O60に送信する。
モバイル機器O60の受信部O71は通信アンテナO68を介して製品情報応答データを受信すると復調して通信部O72に渡す。
通信部O72は、データの内容をプログラム実行部O65に渡す。
プログラム実行部O65は、製品情報応答データの内容である各製品の位置情報から図152に示すような製品の3Dマップの画像データを作成する。各製品の位置情報に基づいて座標にマッピングし、また製品ごとに異なるアイコンでユーザに一目でわかるよう3Dマップである。
プログラム実行部O65は、作成した画像データをデータ処理部O66に渡す。
データ処理部O66は、画像データをメモリ部O67に一時記憶する。
表示部O68は、メモリ部O67に記憶している図188に示す製品の3Dマップの画像データを表示する。
次に、モバイル機器O60の受信部O71は通信アンテナO68を介して第2サーバO103からの建築物座標データを受信すると復調して建築物座標データ出力部O81に渡す。
建築物座標データ出力部O81は建築物座標データを解析して表示部O68に渡す。
表示部O68は、図188の画像データと既に表示している図189の画像データを組み合わせた図190に示す製品の3Dマップの画像データを表示する。
以上のように、モバイル機器O60を保有するユーザに一目でわかる製品の3Dマップが作成できる。
次に、モバイル機器O60で建築物座標データを用いてモバイル機器O60の位置情報を補正する手順について説明する。
ここでは、第1サーバO101に図187のエアコンO50Dの製品情報を登録する場合を例に説明する。なお、第1サーバO101がモバイル機器O60からに製品ID、サービスIDを情報に含むデータを受信するまでの前述した手順と同様なので省略する。
第1サーバO101はエアコンO50Dの製品情報を取得すると取得したエアコンO50の位置情報を第2サーバO103に送信する。
第2サーバO103はエアコンO50Dの位置情報に該当する図188の建築物座標データを建築物座標データベースO104から抽出し第1サーバに送信する。
第1サーバは、登録する製品がエアコンなど壁に固定する製品の場合は建築物座標データとエアコンの位置情報を比較して、エアコンの位置情報が壁に近くない場合は建築物座標データをモバイル機器O60に送信する。
モバイル機器O60の受信部O71は建築物座標データで受信すると復調して建築物座標データ出力部O81に渡す。建築物座標データ出力部O81は建築物座標データとエアコンの位置情報から補正すべき位置情報を決定して位置情報補正部O93に渡す。
位置情報補正部O93は、建築物座標データ出力部O81から受けた位置情報を基に現在のモバイル機器の位置を補正する。
次に、モバイル機器O60は補正した現在位置の情報で第1サーバO101にエアコンO50Dの登録を行う。
以上のように、建築物座標データベースの位置情報とモバイル機器O60で測定した位置情報を比較し、モバイル機器O60で測定した位置情報がズレを判定してモバイル機器O60の位置情報を補正することが可能なる。
なお、上述の説明では第1サーバO101が第2サーバO103から建築物座標データを取得して判定したがこれに限定されるものではい。例えば、モバイル機器O60が第1サーバO101に登録するデータを送信する前に、モバイル機器O60が第2サーバO103から建築物座標データを取得してエアコンO50Dと建築物座標データを比較して補正の要否を判断してもよい。
次に、モバイル機器O60で精度識別子を用いてモバイル機器O60の位置情報を補正する手順について説明する。
ここでは、既に第1サーバO101に製品情報が登録済みである図187のエアコンO50Cにモバイル機器O60がタッチした場合を例に説明する。
モバイル機器O60は、アンテナO61でエアコンO50CのRF−IDO50の製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54を受信するとRF−IDO62で復調する。
モバイル機器O60は、この時点では第1サーバO101にエアコンO50Cの製品情報が登録されているかわからないので前述した商品登録の手順で第1サーバO101に位置情報と製品IDとサービスIDを情報に含むデータを送信する。
第1サーバは、モバイル機器O60からデータを受信するとデータを復調する。
登録座標データO102では、既にエアコンO50Cが商品登録済みであると判断すると、登録座標データO102のエアコンO50Cの位置情報を含むデータを作成してモバイル機器O60に送信する。
モバイル機器O60の受信部O71は通信アンテナO68を介してエアコンO50Cの位置情報を受信すると復調して登録座標O82に渡す。
登録座標O82は、エアコンO50Cの位置情報を含むデータから位置情報を抽出すると判断部O83に渡す。
判断部O83は、座標精度識別情報O63から受けるRF−IDO50の精度識別子O54を参照して、登録座標O82から受ける位置情報を基準座標とするか判断する。
図191に精度識別子ごとの判断部O83の処理を示す。
精度識別子は、あらかじめ図191に示すように製品ごとに異なる精度識別子O54がRF−IDO50に設定されている。
ここでは、エアコンO50Cの精度識別子O54なので「高」が設定されている。
判断部O83は、モバイル機器O60の位置補正を行うと判定し、登録座標O82から受けた位置情報を基準座標O84に渡す。
ここで、精度識別子O54なので「低」の場合は、モバイル機器O60は位置情報の補正は必要ないと判定し、判定結果を第1サーバO101に通知し、第1サーバでは新たなエアコンO50Cの位置情報を登録座標データに記憶して処理を終了する。
基準座標O84は、RF−ID検出部O75からトリガーを受けているなら登録座標O82から受けた位置情報を位置補正部O93に渡す。
位置情報補正部O93は、基準座標O82から受けた位置情報を基に現在のモバイル機器の位置を補正する。
次に、モバイル機器O60は位置情報が完了したことを、第1サーバO101に通知して処理を終了する。
以上のように、建築物座標データベースの位置情報とモバイル機器O60で測定した位置情報を比較し、モバイル機器O60で測定した位置情報がズレを判定してモバイル機器O60の位置情報を補正することが可能になり、不必要な位置情報の更新を回避できる。
また、座標の精度は高いグループは、一度設置したら設置場所を変更しない製品を設定することにより、精度の信頼性を高める。
なお、精度は高いグループでもあらかじめ設定した回数だけ位置情報がズレている場合はモバイル機器O60の位置情報を補正せずに、登録座標データO102に登録済みの位置情報を補正してもよい。
なお、上記の説明ではモバイル機器O60で精度識別子を用いて補正の判断をしたが、第1サーバO101に精度識別子を送信し、第1サーバO101で補正の判断をしてもよい。
次に、モバイル機器O60で製品の位置情報を相対位置で管理する手順を説明する。
ここでは、最初に登録するテレビO50Aの位置情報を基準点に、その後、商品登録する製品であるBDレコーダO50Bの相対的位置情報を作成する。
まず、モバイル機器O60はアンテナO61でテレビO50AのRF−IDO50の製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54を受信するとRF−IDO62で復調する。モバイル機器O60の座標情報送出部O79は、RF−IDO50を検出したときの位置情報を記録部O80に送出する。
記録部O80は位置情報を受けると位置情報O80に記憶する。
その後、モバイル機器O60は、上述した製品登録の手順に従い第1登録サーバO101にテレビO50Aの製品情報を登録する。
次に、モバイル機器はBDレコーダO50Bの製品登録を行う。
まず、モバイル機器O60はアンテナO61でBDレコーダO50BのRF−IDO50の製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54を受信するとRF−IDO62で復調する。
モバイル機器O60の座標情報送出部O79は、BDレコーダO50BのRF−IDO50を検出したときの位置情報を記録部O80と相対位置演算部O78に送出する。
記録部O80は、位置情報記憶部O73にはテレビO50Aの位置情報を記憶しているのでBDレコーダO50Bの位置情報を記録しない。
相対位置演算部O78は、座標情報送出部O79から位置情報を受けると、再生部O77を介して位置情報記憶部O73に記憶しているテレビO50Aの位置情報を取得する。
次に、相対位置演算部O78は再生部O77から取得したテレビO50Aの位置情報を基準にBDレコーダO50Bの相対的な位置情報を算出し、算出した結果を位置情報記録部に記憶する。
以上の手順である特定の製品の位置を基準にした相対的位置情報を求めることができる。
なお、上記の説明では、モバイル機器O73で相対位置情報を記憶したがこれに限定されるものではない。モバイル機器O73は相対位置情報を第1サーバO101に送信し、登録座標データO102で管理してもよい。
なお、上記の説明では、最初に製品登録したテレビO50Aの位置情報を基準位置としたがこれに限定されるものではない。
例えば、あらかじめユーザにより設定された位置を基準点としてもよい。例えば、建築物の玄関の位置などでもよい。また、モバイル機器O60がテレビのリモコン端末の場合は該当するテレビの位置を基準点としてもよい。
図191と図192に本実施の形態の3Dマップの処理フローの一例を示す。
なお、本実施の形態では、モバイル機器O60の位置情報記憶部O73は相対的な位置情報を記憶したがこれに限定されるものではない。例えば、モバイル機器O60の座標情報送出部O79は常にモバイル機器O60の測定した位置情報を記録部O80に送り、記録部O80は位置情報を位置情報記憶部O73に記録する。位置情報記憶部O73は本モバイル機器O60の位置情報を蓄積する。その場合、プログラム実行部O65は位置情報記憶部O73に蓄積された位置情報から本モバイル機器O60の軌跡情報を作成する。これにより、軌跡情報から本モバイル機器O60の行動が推定できる。
なお、本実施の形態では、図191の精度識別子の2種類の分類に従って判定部O83の処理を行ったがこれに限定されるものではない。例えば、2種類以上の製品分類を設けて分類ごとに異なる位置情報のズレの大きさの閾値を定義して補正の要否を判定してよい。
なお、本実施例と他の実施の形態を組み合わせでもよい。例えば、実施の形態15の通信装置M1101Sの機能をRF−IDO50を搭載した製品に組み込み、ホームIDを共有するときに3Dマップも共有してもよい。この場合、3Dマップをあらかじめモバイル機器O60からNFC通信機能で取得しておく。
なお、本実施の形態では、テレビ・BDレコーダ・エアコンなどのRF−IDO50を搭載したがこれに限定されるものではない。図194はRF−IDO50を搭載した製品O50G〜O50Nで構成されている。また、製品O50G〜O50Nは特定小電力無線通信デバイス(例えば、Zigbee)を搭載し、各製品間で電波が受信可能な範囲で直接通信が可能とする。また、製品O50G〜O50NはRF−IDO50を介してモバイル端末O60から製品の製品O50G〜O50Nで構成された製品配置の3Dマップを取得しているとする。また、別方法として製品O50G〜O50Nは通信アンテナO68を保持しインターネット経由で製品配置の3Dマップを取得してもよい。
ここで、製品O50Hが製品O50Kに特定小電力無線通信でデータを送信する場合について説明する。特定小電力無線通信デバイスは通常は省電力の観点からスリープモードで動作している。スリープモードは電源が定期的にON・OFFの切り替わるモードである。また各製品のON・OFF切り替えタイミングは同期が取れている。
製品O50Hの特定小電力無線通信デバイスは送信するデータが発生するとアウェイクモードに切り替える。アウェイクモードは常に電源をONするモードである。
製品O50Hはあらかじめ取得している製品O50G〜O50Nの製品配置の3Dマップを参照する。製品O50Hは製品配置の3Dマップから自機と製品O50Kの間に位置する製品を調べる。ここでは3Dマップの情報から製品O50Jをデータ中継する中継製品とする。
製品O50Hは、製品O50Jに対してアウェイクモードに切り替える指示を行う。
製品O50Hは、製品O50Jに製品O50H宛のデータを送信する。
製品O50Jは製品O50H宛のデータを受けると、製品O50Hに転送して、その後スリープモードに切り替える。
以上のように、製品O50Hは3Dマップを用いてデータを送信する場合の中継製品を決定し、決定した製品O50Jのみアウェイクモードに切り替える。これにより不必要な他の製品をアウェイクモードに切り替える必要がない。3Dマップがない場合は、製品O50Hは、製品O50Kまでの経路を確立するために全製品をアウェイクモードに切り替え経路探索を行う必要がある。
また、上述の各実施の形態の構成は、典型的には集積回路であるLSI(Large Scale Integration)で実現されているものとしてもよい。これらは、個別に1チップ化されていてもよいし、すべての構成または一部の構成を含むように1チップ化されてもよい。集積回路は、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。また、集積回路の手法は、LSIに限定されるものではなく、専用回路または汎用プロセッサを用いて実現してもよい。さらに、FPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成することができるリコンフィギュアラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩により、または派生する別技術により現在の半導体技術に置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の応用等が考えられる。
(実施の形態19)
本実施の形態では、近接通信機能を有する端末機器と、端末機器と近接無線通信を行う携帯機器と、携帯機器とインターネットや携帯電話通信網などの汎用のネットワークを介して接続されるサーバ機器から構成されるシステムにおいて、携帯機器のセンシング情報などを利用して、携帯機器が端末機器を指し示すことで端末機器を操作可能にするシステムについて図面を用いて詳細に説明する.
(全体のシステム構成)
図195は、本実施の形態に係る通信システムの全体像を表した概念図である。図195に示す通信システム100は、端末機器101、携帯機器102およびサーバ機器104を含む。
端末機器101と携帯機器102とは、近接無線通信によって通信可能である。本実施の形態における近接無線通信とは、(1)電磁誘導方式の13.56MHz帯(HF帯)、または電波方式の52〜954MHz帯(UHF帯)などを用いるRFID(Radio Frequency Identification、ISO 14443)タグとリーダライタ機器との通信、または、(2)13.56MHz帯のNFC(Near Field Communication、ISO/IEC 21481)による通信を想定している。通常、HF帯では数10cm、UHF帯では数cmの通信距離に限られるため、携帯機器を端末機器にかざす(またはタッチする)ことによって通信を確立する。
本実施の形態では、携帯機器102側にリーダライタ機能を実装し、端末機器101側にICタグ機能を有する構成を説明する。ただし、本実施の形態の主眼は、端末機器101と携帯機器102とが互いに近接無線通信によって情報のやりとりができる構成であればよい。つまり、携帯機器102側にICタグ機能を実装し、端末機器101側にリーダライタ機能を有する構成であっても、本発明の範疇である。また、NFCでは、PtoP通信機能、カードエミュレーション、およびリーダライタエミュレーションが規格化されている。この場合には、ICタグとリーダライタ機器との関係はどちらでもよいことになる。本実施の形態では便宜上、携帯機器102側にリーダライタ機能を実装し、端末機器101側にICタグ機能を有する構成で説明する。
端末機器101は、コントローラ105、メインメモリ106、近接無線通信部107およびアンテナ108を備える。
コントローラ105は、例えば、端末機器101のシステムコントローラであるCPUである。このコントローラ105は、少なくとも端末機器101の近接無線通信部107以外のシステムコントロールを行う。
メインメモリ106は、コントローラ105で動作するための制御ソフトウェア、および端末機器101でセンシングするあらゆるデータを記憶可能なメモリであり、通常は、コントローラ105のLSI内部に実装される(無論、外付けメモリの構成もありうる)。例えば、メインメモリ106は、RAMまたは不揮発性メモリ等である。
近接無線通信部107は、携帯機器102に実装されているリーダライタ機器と通信を行う。この近接無線通信部107は、リーダライタ機器への転送データを変調したり、リーダライタ機器からの転送データを復調したりする。また、この近接無線通信部107は、リーダライタ機器から受信した電波に基づいて、少なくとも近接無線通信を確立するための電力生起を行うとともに、リーダライタ機器からの電波に基づいてクロック信号を抽出する。よって、端末機器101の少なくとも近接無線通信部107は、リーダライタ機器からの電波で生起した電力とクロックとによって動作する。これにより、端末機器101の主電源がオフの状態においても、近接無線通信部107は、携帯機器102と近接無線通信を行うことが可能である。
アンテナ108は、携帯機器102に実装されているリーダライタ機器と近接無線を行うためのループアンテナである。
携帯機器102は、アンテナ109、表示部110およびキー111を備える。
アンテナ109は、端末機器101と近接無線通信を行うためのアンテナである。携帯機器102は、端末機器101が備えるICタグに向けてポーリングを行い、通信が確立した時点で、端末機器101から情報を読み出したり、端末機器101へ情報を書き込んだりする。
表示部110は、携帯機器102と端末機器101との近接無線通信の結果、およびサーバ機器104から送信されたデータを表示する。この表示部110は、例えば、液晶ディスプレイなどである。
キー111は、携帯機器102をユーザが操作するためのインタフェースである。また、表示部110がタッチパネルとなっており、表示部110がキー111を兼ね備えることも考えられる。
携帯機器102は、ユーザによるキー111へのキー入力に応じて、携帯機器102が備える近接無線通信部を起動させ、起動後、端末機器101に対して近接無線通信を行うためのポーリング動作を開始する。通常、ポーリング動作は、不特定の相手に対して電波を出し続けるので、バッテリ駆動の携帯機器102には電池寿命の観点で負担が生じる。したがって、携帯機器102にポーリング動作を行わせるための専用ボタンを配置すれば、無駄なポーリング動作を行わせないと同時に、ユーザの機器操作負担を軽減できる。
サーバ機器104は、データベースを備えたサーバである。通常は、サーバ機器104は、データベースを持ったWEBサーバで構成される。また、サーバ機器104は、インターネット103を介して、携帯機器102に接続されている。このサーバ機器104は、携帯機器102から転送されてくる情報をデータベースに登録して、その結果を示す情報を、携帯機器102に転送する。また、携帯機器102の表示部110は、当該情報を表示する。
以上のようなシステム構成によって、端末機器101でセンシングした情報を、携帯機器102を介してサーバ機器104のデータベースに登録できる。例えば、端末機器101から製造番号、型番またはメーカ識別情報といった端末機器を唯一に識別可能な情報を近接無線通信で携帯機器102に転送する。また、携帯機器102は、近接無線通信を介して端末機器101から受信した情報と、携帯機器102が保持しているユーザまたは携帯機器そのものを特定するための情報(メールアドレス、電話番号、携帯端末識別情報、またはSIMカードID)、および携帯機器が位置情報をセンシングできる場合には位置を特定するための情報(GPS情報、A−GPS情報、または携帯網の基地局から推定される位置情報など)とをサーバ機器104に転送する。また、サーバ機器104は、これらをデータベース登録する。これら一連の動作によって、ユーザに、様々な情報を入力する作業の負担を無くすことができる。つまり、実質、ユーザは、携帯機器102を端末機器101にかざすだけで、端末機器101の愛用者登録などを行うことができる。
また、端末機器101のセンシング情報として、不具合発生状況または使用履歴情報を送ることによって、メーカでは、特定ロットの初期不良を迅速に判断でき対処できる。さらに、メーカは、使用履歴情報からユーザごとに使用されている機能を特定することにより、特定した情報を次期商品開発に利用するなどのメーカのメリットを出すことが可能となる。
(携帯機器の構成)
次に、本実施の形態に係る携帯機器102について図面を用いて詳細に説明する。
図196は、本実施の形態に係る携帯機器102の構成を示すブロック図である。
携帯機器102は、近接無線通信部201、近接無線検出部202、機器情報取得部203、外部通信部204、センサ部205、位置センシング部206、方向センシング部207、指向空間取得部208、機器判断部209、移動判断部210、操作情報設定部211、リモコン情報取得部212、記憶部213、表示情報決定部214、操作情報送信部215、操作情報送信部、操作履歴取得部216、音声センサ217で構成される。
近接無線通信部201は、アンテナ109で受信した情報の復調や送信する情報の変調を行う。
近接無線検出部202は、近接無線通信部201で復調された情報を検出する。
機器情報取得部203は、近接無線検出部202で検出された情報から端末機器に関する情報である機器情報を取得する。
外部通信部204は、通信アンテナ219、受信部220、送信部221、通信制御部222で構成される。
通信アンテナ219は、インターネットなどの汎用のネットワークと接続する。
送信部221は、インターネットなどの汎用のネットワークへ送信するデータの変調を行う。
受信部220は、インターネットなどの汎用のネットワークから受信するデータの復調を行う。
通信制御部222は、インターネットなどの汎用のネットワークを介して他の機器と通信を行うデータを作成・解析する。
センサ部205は、加速度センサ223、GPSセンサ224、角速度センサ225、方位センサ226で構成される。
加速度センサ223は、携帯機器102の加速度を計測する。
GPSセンサ224は、GPS情報を取得し、位置情報を算出する。
角速度センサ225は、携帯機器102の角速度を計測する。
方位センサ226は、方位を計測する。
位置センシング部206は、絶対位置取得部227、相対位置取得部228、位置設定部229で構成される。
絶対位置取得部227は、GPSセンサ224で算出された位置情報や、外部通信部204を介して、サーバから取得した位置情報を絶対位置として取得する。
相対位置取得部228は、加速度センサ223と角速度センサ225で計測された加速度と角速度を積分し、初期設定値に対する携帯機器102の相対位置を取得する。
位置設定部229は、絶対位置取得部227で取得した絶対位置と相対位置取得部228で取得した相対位置とから携帯機器102の現在位置を算出する。
方向センシング部207は、角速度センサ225で計測された角速度と方位センサ226で計測された方位から携帯機器102の指向方向を算出する。
指向空間取得部208は、位置センシング部206で算出された携帯機器102の位置情報と方向センシング部207で算出された指向方向から携帯機器102の指し示す空間を指向空間情報として取得する。
リモコン情報取得部212は、外部通信部204を介して、サーバ機器104から取得した端末機器101を操作するためのリモコン情報を取得する。
記憶部213は、リモコン情報取得部212で取得した端末機器101のリモコン情報と位置センシング部206で取得される近接無線が検出された際の位置情報を対応付けて記憶する。
機器判断部209は、指向空間取得部208で取得された指向空間情報と記憶部213で保持されている端末機器101の位置情報とから携帯機器102が指し示す方向にある端末機器101を判断する。
移動判断部210は、センサ部205で計測されたセンサ情報から携帯機器102が静止したか、否かを判断する。
リモコン情報設定部211は、機器判断部209で判断された端末機器101のリモコン情報を記憶部から取得し、携帯機器102に前記リモコン情報を設定する。
表示情報決定部214は、リモコン情報設定部211で設定されたリモコン情報に基づき表示部110に表示するリモコンインタフェースを決定する。
操作情報送信部215は、携帯機器102の使用者がキー111を押下した際、押下されたキー111に対応する端末機器101のリモコンコマンドを端末機器101に送信する。
操作履歴取得部216は、操作情報送信部215で送信されたリモコンコマンド情報を取得し、使用者の端末機器101の操作履歴を取得する。
音声センサ217は、携帯機器102の周囲の音をセンシングする。例えば、音声センサ217はマイクである。
以上の構成により、端末機器情報、端末機器101の位置および端末機器101のリモコン情報を対応付けて記憶部213で保持することが可能となる。また、センサ情報を用いて携帯機器102が指し示す方向を算出することで、算出した指向空間に存在する端末機器101のリモコン情報を記憶部から呼び出し、その端末機器101のリモコン情報に基づいて、携帯機器102のリモコンコマンドを設定することが可能となる。例えば、携帯端末102の使用者がエアコンやテレビなどの操作したい家電機器に携帯端末を向けるだけで、使用者が向けた家電の操作が携帯機器102で可能となる。
また、移動判断部210で携帯機器102の静止判断をすることで、携帯機器102が静止をトリガーとして、携帯機器102が指し示している方向にある端末機器のリモコンにすることが可能となり、使用者のキー操作などをせずに、携帯端末102をリモコンにすることができる。
また、携帯機器102の方向センシング部207で指向方向を取得することが可能となり、携帯機器102で端末機器101を、赤外線通信を介して操作する際、赤外線通信の指向方向が端末機器101から外れた場合、「もう少し右に向けてください」などの警告メッセージをユーザに提示することが可能となる。
また、音声センサ217で、端末機器101の音声情報、例えば、テレビの場合、チャンネルの切り替え時に発生する音、エアコンなどの場合、ユーザにリモコン情報が適切に届いたことを示す反応音、を取得することが可能となり、端末機器101が信号を受信したことを示す特定のフィードバック信号を送信することなしに、携帯機器102は操作コマンドを正しく送信できたかどうかが認識可能となる。これにより、汎用ネットワークに繋がっていないような端末機器101からも、携帯機器102を介し、正しい端末機器101の操作履歴を収集することが可能となる。
また、近接無線検出部202で端末機器101が検出されたことをトリガーとして、相対位置取得部228で取得される相対位置情報を初期化し、絶対位置取得部227で絶対位置情報を機器情報、GPSセンサ224または外部通信部204を介して取得できる位置情報に設定する。これにより、加速度センサ223を用いて位置情報を補正した際に生まれる位置情報の累積誤差を軽減することができる。
(機器判断部の詳細)
次に、本実施の形態の機器判断部209の詳細について説明する。
図197の(a)、(b)、(c)は、実施の形態における機器判断部209の構成を示すブロック図である。
図197の(a)において、機器判断部209は、台数判断部301、機器方向算出部302、差分算出部303、機器決定部304を備える。
台数判断部301は、指向空間取得部208で算出された携帯機器102の指向方向と記憶部213で保持している端末機器101の位置情報から前記指向空間内に存在する端末機器101の台数を判断する。
機器方向算出部302は、前記台数判断部301で判断された端末機器101と携帯機器102との距離または前記台数判断部301で判断された端末機器101の方向角を算出する。
差分算出部303は、機器方向算出部302で算出された各端末機器101の方向角と携帯機器102の指し示す方向である指向角との差分を算出する。
機器決定部304は、差分算出部303で算出された差分が最小の端末機器101を、リモコン情報を設定する端末機器として選択する。
図197の(b)において、機器判断部209は、台数判断部301、空間情報記憶部305、機器決定部306を備える。
空間情報記憶部305は、端末機器101の存在する建築物の間取りと座標情報を保持する。
機器決定部306は、空間情報記憶部305から取得した間取り情報に基づいて、機器を決定する。例えば、台数判断部301で判断された端末機器のうち、携帯端末と同じ部屋に存在する端末機器が1台だけ存在する場合、その前記端末機器を、リモコン情報を設定する端末機器として選択する。
図197の(c)において、機器判断部209は、台数判断部301、機器候補表示部307、ユーザ入力取得部308、機器決定部309、ピッチ角取得部310を備える。
機器候補表示部307は、台数判断部301で判断された端末機器101を機器ピッチ角取得部に基づいて、候補端末機器リストとして表示部110へ出力する。
ユーザ入力取得部308は、機器候補表示部307で出力された候補端末機器リストの中からユーザがキー操作で選択した端末機器101を取得する。
機器決定部309は、ユーザ入力取得部308で取得した端末機器101を、リモコン情報を設定する端末機器101として選択する。
ピッチ角取得部310は、リモコン情報を設定する端末機器101が選択された際、携帯機器102のピッチ角を取得する。
機器ピッチ角記憶部311は、ピッチ角取得部310で取得したピッチ角と機器決定部309で選択した端末機器101とを対応付けて記憶する。
図197の(a)の構成により、指向空間取得部208で取得される指向空間に複数の端末機器101が存在する場合において、差分算出部303で最も携帯機器102が指し示す方向と近い端末機器101を選択することが可能となる。
図197の(b)の構成により、指向空間取得部208で取得される指向空間に複数の端末機器101が存在する場合において、建築物の間取り情報を取得することが可能となり、リモコン情報を設定する端末機器101を携帯機器102が存在する空間内の端末機器101に絞ることができる。
図197の(c)の構成により、ユーザが選択した端末機器101とピッチ角情報とを対応付けて記憶することで、指向空間取得部208で取得される指向空間に複数の端末機器101が存在する場合、ピッチ角情報に基づいて機器候補表示部307で出力される端末機器101を絞ることが可能となる。
(携帯機器102の記憶部)
次に、本実施の形態の記憶部213の一例について説明する。
図198は、本実施の形態における記憶部213のデータ構造の一例を示す図である。
同図に示されるように、記憶部213では製造番号と、製品番号と、位置情報と、リモコン情報とが対応付けて記憶され、製造番号記憶領域、製品番号記憶領域、位置情報記憶領域、リモコン情報記憶領域を有する。
製造番号記憶領域は、登録された端末機器101を唯一に決定するための情報として製造番号が記憶される。
製品番号記憶領域は、端末機器101の製品種別を識別するための情報として製品番号が記憶される。
位置情報記憶領域は、端末機器101に対応付けられた位置情報を記憶する。例えば、端末機器101が存在する緯度経度や、リビング、キッチンなどの部屋情報が記憶される。
リモコン情報記憶領域は、端末機器101に対応付けられたリモコン情報が記憶される。リモコン情報とは、端末機器101に対応付けられた端末機器101の操作情報と、キー111と操作情報が対応付けられた表示情報で構成される。
例えば、操作情報とは、電源の“ON”や“OFF”などの端末機器101の動作とその動作を実行するために携帯機器102から送信される操作コマンドが対応付けられた情報である。なお、前記操作情報は単一の端末機器101の動作に限らず、複数の動作であってもよい。例えば、電源をONし、録画リストを開き、特定の番組を選択し、再生する、といった一連の端末機器101の動作を1つの操作情報として設定することも可能である。
(携帯機器102の指向空間の決定法)
次に、本実施の形態の指向空間取得部208で取得する指向空間の取得法の一例について説明する。
図199は、本実施の形態における指向空間取得部208で取得する指向空間の取得法の一例を示す図である。
同図において、座標x0およびy0は携帯機器102の座標位置を表しており、携帯機器102の位置センシング部206で取得可能である。
座標軸に示されている“N”、“S”、“E”、“W”、はそれぞれ“北”、“南”、“東”、“西”、を表しており、携帯機器102の方位センサ226で取得可能である。
座標軸に対する携帯機器102の指向角を示す角度θは、携帯機器102の角速度センサ225で取得可能である。
角度αは、指向空間範囲を規定するためのしきい値であり、前記角度αを大きくすれば、指向空間は広くなり、前記角度αを小さくすれば、指向空間は狭くなる。なお、角度αは携帯機器102にプリセットされていてもよいし、ユーザが入力することで設定されてもよい。また、角度αは、建築物の広さ、部屋の広さ、壁と携帯機器102の距離などに基づいて設定してもよい。
同図において、指向空間は(x−x0)・tan(θ−α)+y0<y<(x−x0)・tan(θ+α)+y0となり、前記指向空間に存在する端末機器101を記憶部213の位置情報に基づき選択する。
(リモコン情報の登録フロー)
次に、本実施の形態における携帯機器102の記憶部213にリモコン情報を登録する処理の流れについて説明する。
図200は、本実施の形態における携帯機器102の記憶部213にリモコン情報を登録する処理の流れを示したフロー図である。
まず、S601では、ユーザは近接無線通信のリーダライタアプリケーションを起動する。
次に、S602では、携帯機器102はアンテナ109を介して、不特定への呼びかけ信号であるポーリング電波を送信する。
S603では、端末機器101からのポーリング応答が検出できたかどうか判断する。
前記S603において、ポーリング応答が検出できないと判断された場合には、再びポーリング電波の送信を行う。
前記S603において、ポーリング応答が検出できたと判断された場合には、端末機器101の機器情報を取得するための機器情報要求を送信する(S604)。
S605では、端末機器101から送信された機器情報を受信する。
S606では、機器情報から端末機器101の位置情報が取得できるか判断する。
前記S606において、位置情報が取得できたと判断された場合には、S607では、前記位置情報を絶対位置取得部227で取得される絶対位置情報として保持し、相対位置取得部228で取得される相対位置情報を初期化する。
前記S606において、位置情報が取得できないと判断された場合には、S608では、GPSセンサ224を起動し、絶対位置情報を取得し、相対位置取得部228で取得される相対位置情報を初期化する。
次に、S610では、前記S605で取得した機器情報に対応する操作情報を記憶部213で保持しているかどうか判断する。
前記S610で操作情報を保持していると判断された場合は、処理を終了する。
前記S610で操作情報を保持していないと判断された場合は、S611において、外部通信部204を介し、サーバへ前記機器情報に対応する操作情報要求を送信する。
続く、S612において、サーバから送信された操作情報を受信する。
さらに、S613では、前記S612で受信した操作情報とS607またはS609で取得した位置情報と対応付けて、記憶部213に保存する。
(リモコン情報の設定操作フロー)
次に、本実施の形態における携帯機器102にリモコン情報を設定し、リモコンとして操作する処理の流れについて説明する。
図201Aおよび図201Bは、本実施の形態における携帯機器102にリモコン情報を設定およびリモコンとして操作する処理の流れを示したフロー図である。
図201Aはユーザが携帯機器102を操作し、リモコンアプリケーションを起動する場合の処理の流れであり、図201Bはユーザのキー操作なしに自動的にリモコンアプリケーションが起動する場合の処理の流れである。
まず、図201Aにおいて、ユーザのキー操作により、携帯機器102はリモコンアプリケーションを起動する(S701)。
続くS702では、ユーザのキー操作によりユーザが選択した端末機器101を取得する。
S703では、前記S702で取得した端末機器に対応する操作情報を携帯機器102に設定する。
S704では、センサ部を起動し、位置センシング部206および方向センシング部207においてセンシングを開始する。
S705では、相対位置取得部228において相対位置を算出する。
続くS706では、ユーザのキー111入力によるリモコン操作に基づき端末機器101を操作するリモコンコマンドを送信する(詳細フローは後述)。
S707では、移動判断部210において携帯機器102が静止しているかどうかを判断する。
前記S707で携帯機器102が静止していないと判断された場合は、再び前記S705の相対位置情報の算出を行う。
前記S707で携帯機器102が静止していると判断された場合は、S708に移り、位置センシング部206および方向センシング部207において、位置情報および指向方向情報を取得する。
S709において、携帯機器102が指し示す方向に存在する端末機器101を判断し、リモコン情報を設定する(詳細フローは後述)。
次に、図201Bについて説明する。
まず、S710では、センサ部を起動し、位置センシング部206および方向センシング部207においてセンシングを開始する。
S711では、相対位置取得部228において相対位置を算出する。
S712では、移動判断部210において携帯機器102が静止しているかどうかを判断する。
前記S712で携帯機器102が静止していないと判断された場合は、再び前記S711の相対位置情報の算出を行う。
前記S712で携帯機器102が静止していると判断された場合は、S713に移り、リモコンアプリケーションを起動する。
S714では、位置センシング部206および方向センシング部207において、位置情報および指向方向情報を取得する。
S715において、携帯機器102が指し示す方向に存在する端末機器101を判断し、リモコン情報を設定する(詳細フローは後述)。
続くS716では、ユーザのキー111入力によるリモコン操作に基づき端末機器101を操作するリモコンコマンドを送信する(詳細フローは後述)。
上記図201Bの処理により、ユーザのキー操作を介することなく、携帯機器102にリモコン情報を設定することが可能となる。
(リモコン情報の設定操作フロー)
次に、本実施の形態における携帯機器102が指し示す方向に存在する端末機器101を判断する処理(S709、S715)の流れについて説明する。
図202は、本実施の形態における携帯機器102が指し示す方向に存在する端末機器101を判断する処理の流れを示したフロー図である。
まず、S801において、探索範囲角度をαとして探索範囲の設定を行う。
次に、S803において、携帯機器102の位置情報(X0、Y0)、指向方向情報θを用いて、(x−x0)・tan(θ−α)+y0<y<(x−x0)・tan(θ+α)+y0を満たす、端末機器101が存在するかどうか判断する。
前記S803において、端末機器101が存在すると判断された場合は、S804に移行し、指向空間に端末機器101が1台であるかどうかを判断する。
前記S804において、指向空間に端末機器101が1台であると判断された場合は、S810に移行し、当該端末機器101のリモコン情報を設定し、処理を終了する。
前記S804において、指向空間に端末機器101が1台でないと判断された場合は、S805に移行し、空間情報記憶部305から間取り情報を取得する。
続くS806において、前記間取り情報と前記S803で取得した指向空間を用いて、携帯機器102が存在する部屋内かつ前記指向空間内という条件を満たす端末機器101が1台かどうかを判断する。
前記S806において、1台と判断された場合は、S810に移行し、当該端末機器101のリモコン情報を設定し、処理を終了する。
前記S806において、1台でないと判断された場合は、S807に移行し、表示部へ前記S806の条件を満たす端末機器101のリストを機器候補リストとして、表示部110で表示する。
次に、S808において、前記機器候補リストの中からキー111を介し、ユーザが選択した端末機器101を取得する。
S809では、ピッチ角取得部310からピッチ角情報を取得し、前記S808で選択された端末機器101と前記ピッチ角情報を対応付けて記憶する。
前記S803において、端末機器101が存在しないと判断された場合は、S811に移行し、位置情報より携帯機器102が自宅などの操作端末機器が存在する空間にあるかどうかを判断する。ここで、一例として操作端末機器が存在する空間を自宅としているが、それに限るものではない。
前記S811において、端末機器101が、操作端末機器が存在する空間にあると判断された場合、S816に移行し、表示部へ端末機器101の登録を促す警告、例えば、「登録されていません、家電にタッチしてください」を出力する。
前記S811において、端末機器101が、操作端末機器が存在する空間にないと判断された場合、S812に移行し、自宅の経度緯度などの位置情報を取得する。
S813では、前記自宅位置情報と携帯機器102の指向方向情報、位置情報から携帯機器102が自宅の方向へ向いているかどうかを判断する。
前記S813において、自宅の方向を向いていないと判断された場合は、処理を終了する。
前記S813において、自宅の方向を向いていると判断された場合は、外部ネットワークに繋がっている端末機器など、インターネットを介して、操作が可能な端末機器101のリストを表示部へ出力する。
次に、S814において、前記機器リストの中からキー111を介し、ユーザが選択した端末機器101を取得する。
S810において、当該端末機器101のリモコン情報を設定し、処理を終了する。
(リモコン操作詳細フロー)
次に、本実施の形態における、携帯機器102をリモコンとして、端末機器101を操作する処理(S706、S716)の流れについて説明する。
図203は、本実施の形態における携帯機器102をリモコンとして、端末機器101を操作する処理の流れを示したフロー図である。
まず、S901では、ユーザがキー111を介したコマンドの入力があるかどうか確認する。
前記S901において、コマンドの入力がないと判断された場合は、本処理を終了する。
前記S901において、コマンドの入力があると判断された場合は、S902に移行し、入力されたコマンドがアプリケーションの終了コマンドかどうか判断し、終了コマンドであると判断された場合は処理を終了する。
前記S902において終了コマンドでないと判断された場合は、端末機器101に操作コマンドを送信する。
続くS904では、音声センサ217を用いて、端末機器101の音声情報を取得し、前記音声情報に基づき、操作コマンドを端末機器101が正しく受信したかどうかを判断する。ここで、音声情報とは、例えば、テレビの場合、チャンネルの切り替え時に発生する音、エアコンなどの場合、ユーザにリモコン情報が適切に届いたことを示す反応音などである。
前記S904において、正しく受信したと判断した場合、S905に移行し、外部通信部を介し、端末機器101の操作履歴をサーバ機器104へ送信する。なお、前記操作履歴は携帯機器102内の記憶部に保存しておいてもよい。
続くS906において、操作コマンドに応じた携帯機器102の表示部の画面が遷移する。例えば、テレビにおいて録画済み番組リストを表示する際に、ユーザが保持する携帯機器102の表示部にも録画済み番組リストを表示することができる。
前記S904において、正しく受信していないと判断した場合、S907に移行し、操作コマンドの再送し、一定の再送回数を超えたかどうかを判断する。
前記S907において、再送回数を超えたと判断された場合は、S908に移行し、表示部110へユーザにもう1度キー操作を促す警告、例えば、「もう1回お願いします」を出力する。
(リモコン登録シーケンス)
次に、本実施の形態における携帯機器102にリモコン情報を登録する際の、端末機器101と、携帯機器102と、サーバ機器104との、間のデータのやりとりについて説明する。
図204は、本実施の形態における携帯機器102にリモコン情報を登録する際の、端末機器101と、携帯機器102と、サーバ機器104との、間のデータのやりとりを示したシーケンス図である。
まず、ユーザは、携帯機器102の近接無線通信を行うリーダライタを起動するためのアプリケーションを立ち上げて、ポーリングを開始させる。
ポーリングを開始させた携帯機器102を端末機器101の近接無線通信のためのアンテナが実装されている領域へタッチする。
タッチされた後、端末機器101は携帯機器102からのポーリング電波を受信する。
ポーリング電波を受信した端末機器101は、ポーリング応答信号を携帯機器102に送信して、端末機器101と携帯機器102の近接無線通信を確立する。
次に、携帯機器102は、端末機器101からポーリング応答信号を受信すると、端末機器101から機器情報を読み出すためのリードコマンドを生成して、端末機器101に送信する。
端末機器101は、リードコマンドを受信すると、端末機器101の機器情報を携帯機器102に送信する。
携帯機器102は、端末機器101から受信した情報の中から機器情報を抽出する。
さらに、携帯機器102は、GPSセンサなどの各種センサ情報を利用して、タッチしたタイミングでの位置情報を取得する。
このタイミングで位置情報を取得するのは、近接無線通信を確立するために端末機器101と携帯機器102を数cm以内に近づける必要があることを利用し、前記通信確立時に携帯機器102で取得する位置情報は端末機器101の位置情報と同じとみなせるからである。
次に、抽出した端末機器101の機器情報に対応するリモコン情報をサーバ機器から取得するための、リモコン情報の要求コマンドをサーバ機器104へ送信する。
サーバ機器104は、リモコン情報の要求コマンドを受信すると、リモコン情報管理データベースから当該機器のリモコン情報を取得し、当該リモコン情報を携帯機器102に送信する。
最後に、携帯機器102は受信したリモコン情報、位置情報、機器情報を対応付けて記憶部213に記憶する。
(リモコン操作シーケンス)
次に、本実施の形態における携帯機器102をリモコンとして端末機器101を操作する際の、端末機器101と、携帯機器102と、サーバ機器104との、間のデータのやりとりについて説明する。
図205は、本実施の形態における携帯機器102をリモコンとして端末機器101を操作する際の、端末機器101と、携帯機器102と、サーバ機器104との、間のデータのやりとりを示したシーケンス図である。
まず、ユーザは表示部110に表示されているリモコンインタフェースに基づき、キー111を介し、操作コマンドを入力する。
次に、携帯機器102は、ユーザが入力した操作コマンドを、操作情報送信部215を介し、端末機器101に送信する。
端末機器101は、受信した操作コマンドに応じた、プログラムを実行し、電源、音量、温度、再生、テレビチャンネルの変更といった操作を実行する。
端末機器101は、テレビの場合、チャンネルの切り替え時に発生する音、エアコンなどの場合、ユーザにリモコン情報が適切に届いたことを示す反応音を発する。
携帯機器102は、音声センサ217により端末機器101が発した音を認識状況に基づき、サーバ機器104へ端末機器101の操作履歴を送信する。
また、携帯機器102は、操作コマンドに応じた携帯機器102の表示部の画面が遷移する。
再び、ユーザは表示部111に表示されているリモコンインタフェースに基づき、キー111を介し、操作コマンドを入力する。
次に、携帯機器102は、ユーザが入力した操作コマンドを、操作情報送信部215を介し、端末機器101に送信する。
このとき、端末機器101が操作コマンドを正しく受信できない場合、携帯機器102は端末機器101が発する音声を認識することができないので、端末機器101が正しく信号を受信したことを示す特定のフィードバック信号を送信することなしに、携帯機器102は操作コマンドの受信を完了していないことが認識可能となる。
この場合、携帯機器102は操作コマンドの再送を行う。
次に、携帯機器102は一定の再送回数を超えたと判断した場合は、表示部110へユーザにもう1度キー操作を促す警告、例えば、「もう1回お願いします」を出力し、ユーザの操作コマンド入力待ち状態となる。
なお、本実施の形態では、端末機器101の機器情報を取得する際、近接無線を用いて取得する例で説明したが、これに限るものではない。例えば、機器情報を持たせたバーコードなどを端末機器101に付加し、携帯機器102の持つデジタルカメラなどの光学読取装置を用いて読み取ることも可能である。図206は、本実施の形態における端末機器101の機器情報をバーコードから読み出す一例を示した図ある。図206は、エアコン1201と携帯機器1202で構成される。携帯機器1202は光学読取装置を持つ以外は携帯機器102と同様の構成である。エアコン1201は機器情報を持たせた2次元バーコード1203が付加されている。前記2次元バーコード1203を携帯機器1202の光学読取装置を用いて、2次元バーコードに付加されている機器情報を取得する。以上のようにして、近接無線を持たない端末機器101の機器情報も取得可能となる。これにより、エアコンなど設置場所が高くて近接無線を確立するための、端末機器101へのタッチが難しい場合においても、機器情報を取得することが可能となる。
また、携帯機器102の機器判断部209において、複数の端末機器101が近接しており、機器判断部209で判断が困難な場合や複数の機器を同時に操作したい場合は、携帯機器102で複数の端末機器101の操作をする。一例として、図207に、複数の照明を操作する例を示す。同図において、携帯機器102を照明スイッチ盤の方へ向けることで、前記照明スイッチ盤で操作可能な照明スイッチを一括で操作できるように表示する。例えば、図207の(a)のように、携帯機器102にキッチン照明とダイニング照明の操作情報を同時に設定し、かつ同時に操作することが可能である。また、LED照明など照度がアナログ的に変化させることが可能な場合は、図207の(b)のように、表示することも可能である。
さらに、テレビとレコーダのように端末機器101が近くにある場合、テレビやレコーダは操作するためのリモコンコマンドが多数あるため、複数の端末機器101のリモコンコマンドをすべて表示部に表示するのは難しい。そのため、リモコンコマンドが多数ある場合は、ユーザにどの端末機器101のリモコンとして、携帯機器102に設定するか選択できる表示を表示部110で行う。図208の(a)に、テレビとレコーダのユーザに選択を促す表示例を示す。同図の場合、テレビリモコンの設定を“ON”にすることで、携帯機器102はテレビリモコンとなり、レコーダリモコンの設定を“ON”にすることで、携帯機器102はレコーダリモコンとなる。
さらに、端末機器101の現在の動作状況を携帯機器102が取得できる場合、現在の動作状況に合わせて、携帯機器102のリモコン情報を設定することで、すべてのリモコンコマンドを表示する必要がなくなり、ユーザインタフェースを簡易化することが可能となる。例えば、この動作状況を取得する手段として、テレビなどの場合、インターネットなどの汎用ネットワークを用いることで取得可能である。図208の(b)に、現在の動作状況に合わせて、携帯機器102のリモコン情報を設定する一例を示す。同図において、テレビは電源ON状態であり、レコーダは電源OFF状態であったとし、この現在の動作状況を携帯機器102は取得している。このとき、テレビの操作として、少なくとも電源ONコマンドを使用することはないため、携帯機器102のリモコンに設定する必要ない。また、レコーダは電源OFF状態のため、最初にユーザが選択するリモコン操作として、電源ONであると考えられる。以上のように、端末機器101の動作状況に応じて、ユーザに提示するリモコンコマンドを絞ることが可能となる。
なお、本実施の形態において、携帯機器102において、携帯機器102の指向空間情報を算出し、指向方向に存在する端末機器101を判断するとしているが、前記判断をサーバ機器104で行ってもよい。例えば、携帯機器102は、角速度情報、加速度情報および位置情報を、外部通信部204を介し、サーバ機器104へ送信し、サーバ機器104は前記携帯機器102から受信した角速度情報、加速度情報および位置情報に基づいて、携帯機器102の指向方向に存在する端末機器101を判断し、判断された端末機器101のリモコン情報を携帯機器102へ送信する。
なお、本実施の形態において、携帯機器102の高度情報を用いることも可能である。例えば、気圧計から携帯機器102の高度情報を取得できる。
なお、本実施の形態において、テレビやエアコンなどの端末機器101を、移動性の高さや、操作緊急度の高さ、機器の大きさ等によって、リモコンの検出範囲を可変にしてもよい。これは、例えばエアコン等容易に移動しない端末機器101では、検出範囲を小さくすることで、別の端末機器101の操作中に誤動作を発生させてしまうことを防ぐとともに、例えば扇風機など設置場所が比較的変化しやすい端末機器101に関してはリモコンの検出範囲を大きくすることで、機器の場所がある程度変わった場合においても、機器を操作することが可能になる。
また、端末機器101と携帯機器102の距離が遠い場合、機器を操作できる範囲が狭くなってしまうため、端末機器101と携帯機器102の距離に応じて、指向空間範囲を規定するためのしきい値αを可変にしてもよい。
さらに、当然のことながら、図209のように建物の1階にいるユーザが2階の端末機器6002に向けて操作を行うことも可能であるが、その際に、階が異なる場合や、部屋が異なる場合、または、操作機器が所定の距離以上離れている場合においては、携帯機器102を向けると、その部屋にある機器一覧が表示されるようにしてもよい。これによって、隣の部屋の端末機器101の場所をユーザが正確に覚えていない場合においても、遠隔場所の端末機器101の操作が可能になる。
(実施の形態20)
本発明の実施の形態20について述べる。図210に本実施の形態において想定しているホームネットワーク環境について示す。本実施例では、様々な家電機器が家電制御装置5000と無線通信デバイスによって接続されているホームネットワーク環境を想定している。
図211は、各家電機器に搭載されるネットワークモジュールの構成図である。各ネットワークモジュールはNFCなどの近接無線通信が可能な第1無線通信部5001とZigBeeなどの近距離無線通信が可能な第2無線通信部5002を備えるものとする。
図212は家電制御装置の機能ブロック図である。家電制御装置も家電機器と同様に第1無線通信部5021と第2無線通信部5022を備えるものとする。ただし、各家電機器は物理層5023、MAC層5024は標準化されたプロトコルを使っていた場合でも、上位層5025は異なるプロトコルを用いている場合があるため、家電制御装置は複数のメーカ、機器に対応するプロトコルを保持するものとする。例えば、NFCで認証する機器5026、ボタンによって認証する機器5027などである。なお、家電機器はBlueToothや無線LAN(802.11)などの複数の近距離無線方式を搭載してもよい。その場合、物理層やMAC層も異なるが、上位層が異なる場合と同様に振る舞うものとする。
図213は、太陽電池パネルを設置するときのユーザの動作を表した図である。本実施の形態における太陽電池パネルは複数のパネルより構成され、それぞれのパネルが個別に家電制御装置と通信可能であるものとする。ここで、ユーザとは太陽電池パネルの設置業者、家電制御装置の設置業者などの、家電制御装置と太陽電池パネルの通信接続設定を行う人のことを指す。まず、ユーザは家電制御装置の近くで、モバイル端末を機器接続モードにし、家電制御装置にタッチする(ステップ丸1)。本明細書内において、タッチするとは近接無線により通信を行うことを指す。タッチすると、モバイル端末は家電制御装置から通信ID(MACアドレスなど)および機器ID(製造番号など)、利用可能な通信プロトコルおよび家電制御装置と接続しているサーバ、無線通信路の暗号鍵などを取得する。通信IDは家電機器が家電制御装置に接続するために、家電機器に受け渡される。機器IDはモバイル端末がサーバに問い合わせを行うために必要なIDとする。ここで、家電制御装置とモバイル端末は近接無線を介して、相互に情報を交換することにより、一定時間、サーバを介して安全なパスが確立可能であるものとする。ここで、安全なパスとはセルラーなどの別の無線パスを含んだ暗号化通信路を想定している。サーバを介した安全なパスは家電制御装置とモバイル端末間で家電機器に渡す秘密鍵の更新に用いられるものとする。太陽電池などの遠隔地にある機器とペアリング設定を行う場合、長期間有効な秘密鍵を受け渡すことにより、実現可能であるが、例えば日単位にて有効な秘密鍵を発行するとセキュリティ強度が低下する。また、本実施例のように遠隔地で連続して設定を行いたい場合にはさらにセキュリティ強度が低下する。本実施の形態ではモバイル端末のボタンを押すのみで新しい秘密鍵の発行を可能とする。これにより、秘密鍵の有効時間を短くし、セキュリティ強度を維持することができる。また、モバイル端末で新しく秘密鍵を発行してもらいつつ、家電機器にタッチすることで秘密鍵を受け渡すことにより、連続して複数の遠隔地の家電機器と家電制御装置で認証することが可能となる。なお、本方式の用途は宅内の無線通信のペアリング用に限るものではない。例えば、自宅の家電機器と親戚・友人宅の家電機器をペアリングする際に用いることも可能である。これにより、自宅でなくても、ペアリング処理が容易に行えるようになる。また、モバイル端末は移動中に6軸センサやGPSによって位置情報を取得するものとする(ステップ丸2〜丸7)。太陽電池パネルにタッチした瞬間の位置情報をサーバに送ることにより、サーバにおいて家電制御装置(SEGとも呼ぶ)と太陽電池パネルの3次元的な相対的な位置情報の管理を行うことが可能となる。
図214は、太陽電池パネルにタッチしたときのモバイル端末の画面遷移図である。太陽電池パネルより機器IDや通信プロトコルなどの情報もしくは太陽電池のメーカの製品のサーバアドレスを取得し、家電制御装置と通信可能であるかどうかの判断を行う。判断はサーバに送っていっていよいし、モバイル端末で行ってもよい。通信可能なプロトコルであった場合には、通信IDを用いて接続設定を行う。通信可能なプロトコルでなかった場合には、サーバよりモバイル端末がファームをダウンロードし、近接無線を用いてファームアップデートを行ってもよいし、モバイル端末から家電制御装置にファームアップデートの指示を出してもよい。なお、機器が近接無線による自動設定できない機器の場合には、手動で設定を行った後、家電制御装置から設定完了の信号を送ってもらうことにより、モバイル端末で設定完了を確認することが可能となる。ボタンの同時押しで設定する機器の場合には、携帯電話の設定ボタンと家電制御装置のボタンを安全パスによって連動させることにより、ボタン同時押しによる設定を行うことができる。それぞれの方式は家電制御装置と家電機器の双方の種別から自動的にモバイル端末にダウンロードされてくるものとする。これにより、ユーザは自動的に最適な方式で即座に設定を完了することが可能となる。
図215は、太陽電池パネル連続認証時のモバイル端末画面遷移図である。基本的には電池パネルNo1と同様の方式で認証することが可能であり、秘密鍵を再発行してもらうことにより連続して認証することが可能となる。また、各太陽電池パネル間の相対的位置をサーバに登録することにより、それぞれのパネルの挙動を一目で確認することのできる映像をコントローラの画面もしくはサーバを介してTVの画面に表示することが可能となる。
図216は、太陽電池パネルの発電状況を示すモバイル端末の画面図である。発電量とパネルの位置を同時もしくは交互に表示させることにより、どのパネルでどれだけの発電がされているかを確認することが可能となる。
図217は太陽電池パネルの温度状況を示すモバイル端末の画面図である。一般に太陽電池パネルが故障した場合には、温度状況が異常となる。その状況とパネルの位置情報を組み合わせることにより、即座に故障しているパネルがわかるため、迅速に修理を行うことが可能となる。サーバを介して修理業者に通知することにより、自動的に修理依頼も可能となる。
図218〜図222は、太陽電池設置のフローチャートである。ユーザはモバイル端末を機器接続モードにする(ステップ5081)。モバイル端末は「モバイル端末をタッチ(近接)して下さい」との表示を出し近接無線のポーリングを開始する。ユーザは、モバイル端末を家電制御装置(親機もしくは太陽電池コントローラ)にタッチさせる(ステップ5082)。タッチするまで、モバイル端末はポーリングを繰り返す(ステップ5083)。なお、ある一定の時間が経つとタイムアウトするものとする。タッチされた家電制御装置がスリープモードになっており、一部の回路が起動していない場合は起動させる(ステップ5084)。モバイル端末は近接無線通信により家電制御装置の機器ID、通信ID (MACアドレス、NFC−IDなど) 、使用可能な通信プロトコルとそのバージョンとサーバアドレスを取得する。さらにモバイル端末はサーバと接続し、「他の機器との接続との接続設定をする」のモードに入り、家電制御装置に対応した接続設定プログラムをサーバからダウンロードする。もし、通信プロトコルのバージョンが古い場合はバージョンアップする(ステップ5085)。設定モードは一定時間、有効であるものとし、その時間内にタッチしてくださいとの表示を出す(ステップ5086)。ユーザはモバイル端末を接続したい機器の所へ持っていく(ステップ5087)。このとき、家電制御装置の位置からモバイル端末の位置の相対位置を、角速度センサ、加速度センサ、磁気センサ、GPSを用いて、3次元空間上で測定する。このデータをサーバに送る。サーバではこのデータを用いて、モバイル端末の3Dの移動軌跡、移動後の座標を演算し、SEGとモバイル端末との距離を測定する(ステップ5087a)。移動時間や距離が短い場合には、モバイル端末は家電制御装置から発行された秘密鍵をタッチして家電機器に渡す(ステップ5088)。しかし、時間が長い場合には、設定モードをOFFにする(ステップ5089)。そして、モバイル端末が機器の位置に到着すると(ステップ5090)設定モードを再びONにし、サーバと接続して家電制御装置に秘密鍵を再発行してもらう。モバイル端末と家電制御装置では相互に通信を行い、設定情報を渡した端末と実際に家電制御装置が設定を完了した数およびそれぞれに割り振った番号を記録しておく(ステップ5092、5093)。これにより複数の端末を認証後に家電制御装置で不整合が起きていないか確認することが可能となる。次に、モバイル端末のアンテナ部を n番目の機器(太陽電池など)のアンテナ部にタッチさせる(ステップ5094)。NFCを介して機器のメモリの中のNFC−IDもしくはMACアドレスもしくはメーカID、無線通信の規格、バージョン、プロトコル、メーカ名、製品名、型番、エラー、履歴を読み出し、サーバに送る(ステップ5095)。モバイル側もしくはサーバ側で家電制御装置と通信可能なプロトコル等をチェックする(ステップ5096)。機器のプロトコルのバージョンが古い場合(ステップ5097)、モバイル端末がサーバから新しいバージョンのプロトコルをダウンロードして近接無線通信により機器のプロトコルをバージョンアップする(ステップ5098)。家電制御装置側の通信プロトコルと機器側のプロトコルが違う場合(ステップ5100)、モバイル端末から、家電制御装置側に、該当プロトコルのデータをダウンロードさせる命令を送る。もしくはモバイル端末がサーバより機器に対応した通信プロトコルデータをダウンロードし、モバイル端末を家電制御装置にタッチし、NFC経由で通信可能な新しいプロトコルを家電制御装置にインストールする。もしくはモバイル端末から無線LAN等のインターネット経由で家電制御装置にインストールする(ステップ5101)。ダウンロードからインストールのプロセスにおいてエラーが発生した場合には、繰り返し行うものとする(ステップ5102)。モバイル端末の「家電制御装置と機器との接続を開始」するスイッチ(ボタン)を入力する(押す)(ステップ5103)。家電制御装置もしくはモバイル、サーバが秘密鍵(時間限定型)を発行する(ステップ5104)。機器のネットワークIDもしくはMACアドレスや秘密鍵をインターネットのサーバ経由もしくは無線LANなどのイントラネット経由で家電制御装置に送る(ステップ5105)。家電制御装置のネットワークIDもしくはMACアドレスや秘密鍵と送信命令をNFCでモバイル末端から機器に送る(ステップ5106)。機器と家電制御装置がモバイル端末とは短距離無線(ZigBeeなど)で通信を直接行う(ステップ5110)。機器と家電制御装置との位置間の距離Lに応じて無線の電波強度を変え、セキュリティを高めるとともに省電力を行う(5111)。距離Lや障害が大きい場合は後述の中継器を介してSEGと通信することを推奨する画面表示をする。家電制御装置と機器との相互認証を行う(ステップ5112)。家電制御装置からサーバ経由でモバイル端末に認証結果を送る(ステップ5113)。もしくは、機器にタッチしてから認証結果を機器からモバイル端末に送る。もしくは、認証結果を機器に光の発光等で表示させる。もしくは、認証結果を機器に光等で表示させる(ステップ5115)。認証失敗の場合は、鍵発行からやりなおす(ステップ5114、5116)。すべての機器の認証を終了すると(5118)、モバイル端末がサーバに通知し、接続モードを解除し、終了する(ステップ5120)。そうでない場合には、次の機器の場所へモバイル端末を移動させる(ステップ5119)。複数の端末と設定した場合には、モバイル端末の物理的な相対もしくは絶対の3次元の位置情報を送る。サーバ側では n番目と n+1番目の機器(太陽電池パネルなど)の3次元空間上の配置関係をマッピングする(ステップ5121)。1 〜 n+1の機器の2次元もしくは3次元の位置情報を2次元もしくは3次元表示したイメージ情報もしくは座標情報をサーバからモバイル端末に送り、モバイル端末の画面上に表示させる(ステップ5122)。
図223は、本実施の形態における太陽電池パネル設置手順図である。太陽電池パネルは太陽光があたると直流の高電力を発生するため、アーク放電が起こり、危険である。このため、設置前の状態においては遮光シート5202を貼っておき、発電できない状態であることが好ましい。さらに、通信設定が完了するまでは安全のため、遮光シートを貼ったままの状態であることが好ましい。しかし、遮光シートを貼った状態では太陽電池のどこに通信用ICが存在するのかを判別することが困難である。そのため、遮光シートの近接無線のアンテナ部と同じ場所にアンテナ部マークを印刷し、設定時にはそのマークにタッチして、設定完了後に遮光シートをはがす。そうすることにより、安全性を確保しつつ、タッチによる通信設定が可能となる。
また、通信用IC5203eはZigBeeなどの無線ICとNFCの通信IC5203fを搭載し、外部とは電源線5203aのみ、接続線が出ているため、他の部分はシールドされているため、寿命が永く30年程度の寿命要求に応えられる。また、サーバ5203dからの指令をコントローラ5203cが受け、電源5203bを1時間に数回、数十秒間、電圧を間欠的に与えデューティ比を1/100程度にするため、半導体ICの劣化があまり進まないため、常時、印加電圧を与えておく方式に比べて、永い寿命を確保できるという効果がある。
ここで、SEGと機器のメーカやプロトコルが違う場合)を、図224を用いて説明する。
まず、ステップ5201aで、モバイルを読み取りモードに設定し、ステップ5201bで、モバイルをSEG(コントローラ)にタッチし、ステップ5201cで、モバイル端末からSEGのメーカ名、機器ID、製品番号、サーバアドレスなどのデータを読み取る。
次に、ステップ5201dにおいて、SEGからサーバアドレスを得たかどうかを判定し、Yesの場合はステップ5201eへ進み、モバイルはそのサーバアドレスにアクセスし、ステップ5201fで接続、ステップ5201i(図225)へと進む。
一方、ステップ5021dまたはステップ5201fでNoの場合は、ステップ5201gに進み、SEGのメーカ、品番のサーバアドレスにアクセスし、ステップ5201hで、メニュー画面でSEGのメーカ、品番を選択し、ステップ5201i(図225)へ進む。
また、SEGのソフトのバージョンアップ手段について図225を用いて説明する。
まず、ステップ5201iで、モバイルに初期メニューを表示し、ステップ5201jで、SEGと新しい機器を接続するメニューを選択する。
次に、ステップ5201kにおいて、SEGのソフトやファームウェアの新しいバージョンがあるか否かを判定し、Yesの場合はステップ5201mへ進み、モバイルもしくはSEGがサーバから新しいバージョンのソフトをダウンロードする作業を開始し、ステップ5201nで、モバイルの「インストール」ボタンを選択し、ステップ5201pで、SEGとサーバとモバイルが認証した上でSEGのバージョンアップを実施、ステップ5201q(図226)へ進む。
一方、ステップ5201k がNoの場合、またはステップ5201nでモバイルの「インストール」ボタンを選択しない場合は、ステップ5202q(図227)へ進む。
次に、図226について説明する。
まず、ステップ5201qで、SEGからサーバと接続されている場合(Yes)はステップ5201tへ進み、SEGとモバイルとサーバとが認証を行い、ステップ5201uで、OKであれば、ステップ5202aで、SEGがサーバからインストールし、ステップ5202bで完了して、ステップ5202g(図227)へ進む。なお、ステップ5202bで完了しなければ、ステップ5201tに戻る。
一方、ステップ5201qでNoの場合は、ステップ5201rへ進み、モバイルが新しいバージョンのソフトをサーバよりダウンロードし、ステップ5201sで、完了(Yes)の場合は、ステップ5202cへ進む。なお、ステップ5201sで、完了しない場合(No)は、ステップ5201rへ戻る。
ステップ5202cでは、モバイルをSEGに「m秒間タッチして下さい」と表示され、ステップ5202dで、モバイルをSEGのアンテナ部にタッチする。
ステップ5202dでYesの場合つまり、モバイルをSEGのアンテナ部にタッチできた場合は、ステップ5202eへ進み、モバイルから直接NFCなどでSEGに新しいバージョンのソフトを送り、インストールさせて、ステップ5202fで完了し、ステップ5202g(図227)へ進む。
一方、ステップ5202dでNoの場合、また、ステップ5202で完了しない場合(No)は、ステップ5202cに戻る。
次に、SEGのソフトのバージョンは最新の状態になっており、SEGの位置で事前に接続機器の情報を持っている場合のフローを、図227を用いて説明する。
ステップ5202gで『SEG(コントローラ)がサーバに接続されているか?』をチェックする。
そして、ステップ5202gでYesの場合、ステップ5202hへ進み、モバイルとSEGがサーバ経由で接続されて、ステップ5202jへ進む。一方、ステップ5202gでNoの場合は、ステップ5202iへ進み、モバイルとSEGが無線LANやZigBee等の無線のイントラネット経由で接続され、ステップ5202jへ進む。
ステップ5202jにおいては、メニュー画面等でモバイルを「機器接続モード」に設定する。そして「接続機器のメーカ名は?」と表示される。
次に、ステップ5202kで、もし、接続する機器(エアコン、洗濯機、TV.レコーダ等)のメーカ名や型番や製造番号がわかっている場合(Yes)はステップ5202mへ進み、モバイルの画面上でメーカ名や品名、型番を選択もしくは入力し、このデータはサーバに送られて、ステップ5202nで、サーバは機器の情報から機器の通信規格、ミドルウェア、アプリケーション等のプロトコル情報を調査する。
次に、ステップ5202pで、『SEGの通信プロトコルと接続対象の機器の通信プロトコルを用いて、正常な通信が可能か?(サーバが判断)』をチェックし、Yesの場合は、ステップ5203e(図229)へ進む。
ところで、上記ステップ5202kでNoの場合も、ステップ5203e(図229)へ進む。また、ステップ5202pで、Noの場合も、ステップ5202q(図228)へ進む。
次に、図228を説明する。
まず、ステップ5202qで、新しいバージョンの通信プロトコル(物理層、ミドルウェア、アプリケーション層)をサーバが探し、モバイルまたはSEGへ送り、ステップ5202rで、「新しいバージョンの通信プロトコルをダウンロードするか?」とモバイルに表示される。そして、ステップ5202sで、OKボタン?を押し、Yesの場合は、ステップ5202uへ進む。Noの場合は、ステップ5202tへ進み、「この機器とは通信接続できません」と表示される。
次に、ステップ5202uにおいて、『SEGとサーバが接続していて、かつ通信プロトコルのデータが大きいか?』を判定し、Yesの場合、ステップ5203aへ進み、方法1すなわちモバイルからSEGへ直接、インストールを命令や暗号通信用の鍵や認証データを送り、SEGが、サーバが設定した時間内に、サーバから接続機器用の通信プロトコルをダウンロードし、通信開始される。そして、ステップ5203bで成功すれば、ステップ5203e(図229)へ進み、成功しなければ、ステップ5202rへ戻る。
一方、ステップ5202uで、Noの場合、ステップ5203cへ進み、方法2すなわち通信プロトコルをいったん、モバイルがダウンロードして、(SEG)とサーバとモバイルが相互認証した上で、暗号鍵を共有して、モバイルからSEGへ、直接、NFC等で通信プロトコルを送り、SEGにインストールし、ステップ5203dで成功すれば、ステップ5203e(図229)へ進み、成功しなければ、ステップ5202uへ戻る。
次に、図229を説明する。
まず、ステップ5203eで、『利用者がモバイルの「新しい機器を接続設定する」モードを選択』するかを判定する。
ステップ5203eで、Yesの場合、ステップ5203fでタッチによりモバイル端末とSEGがインターネットもしくは無線LAN等のNFC以外の宅内ネットワークとの暗号通信を確立し、ステップ5203gで、「n分以内に機器の所へ移動して下さい」という表示が出て、ステップ5203hで、操作者(モバイル)が移動を開始し、ステップ5203i(図230)へ進む。
一方、ステップ5203eでNoの場合、再度、試みる。
次に、図230を用いて3Dマッピングについて説明する。
ステップ5203iで、角度センサ、地磁気センサ、加速度センサを用いてSEGの位置からモバイルの位置の変化を3次元で測定する。また、SEGとモバイルとの相対3D座標情報を得る。
次に、ステップ5203jで、機器(1階のエアコン、2階のエアコン、1階の電子レンジ、洗濯機、TV、レコーダ)に到着したか否かを判定し、Yesの場合は、ステップ5203kへ進み、Noの場合はステップ5203iへ戻る。
ステップ5203kで、機器に第1無線部(NFCなど)の機器があるかを判定し、Yesの場合は、ステップ5203nへ進み、モバイルを機器の第1アンテナ部にタッチし、ステップ5203pで、機器のMACアドレス、ネットワークIDを読み込み、サーバに送り、ステップ5203gで、機器の3D座標の位置情報をサーバに送る。
次に、ステップ5203rで、『機器とSEGの通信プロトコルが一致しているか?』をチェックする。ここで、Yesの場合はステップ5203sへ進む。一方、Noの場合は、ステップ5203zへ進み、SEGの通信プロトコルの変更ルーチンをして、ステップ5203sへ進む。
次に、ステップ5203で、SEGと機器の接続開始ボタンを押す。そして、ステップ5203でYesの場合すなわちSEGと機器の接続開始ボタンを押せた場合にはステップ5203tへ進み、Noの場合は再度、試みる。
次に、ステップ5203tで、モバイルもしくはサーバが秘密鍵(時間期限付)を発行し、機器に送信命令とともにNFCを用いて送る。SEGにも同様に送り、ステップ5203uで、SEGと機器が直接通信を行うと認証され、ステップ5203xで認証完了する。ここで、ステップ5203xで認証完了されなければ、ステップ5203nへ戻る。
なお、ステップ5203kで、Noの場合(NFCがない場合)は、ステップ5203lへ進み、機器のメーカ名、製品名、製品型番、製造番号をモバイルのバーコードリーダか目視で読み取り、モバイル端末に入力し、ステップ5203nで、モバイルが上記データをサーバに送り、ステップ5204a(図231)へ進む。
続いて、図231の説明をする。
まず、ステップ5204aで、サーバは機器の情報から機器とSEGの通信規格、ミドルウェア、アプリケーション等のプロトコル情報を調査し、ステップ5204bで、SEGの通信プロトコルと接続対象の機器の通信プロトコルを用いて、正常な通信が可能か否か(サーバが判断)をチェックする。
そして、Yesの場合は、ステップ5203c(図228)へ進む。Noの場合は、ステップ5204cへ進み、機器に適したバージョンのSEG用の通信プロトコル(物理層、ミドルウェア、アプリケーション層)をサーバが探し、ステップ5204dで、「機器に適した通信プロトコルをダウンロードするか?」とモバイルに表示されるので、ステップ5204eで『OKボタン?』を押す。このとき、Yesの場合(OKボタンを押した場合)は、ステップ5204g(図232)へ進み、Noの場合は、ステップ5204fで「この機器とは通信できない」と表示される。
次に、図232を説明する。
ステップ5204gでSEGとサーバが接続しているかどうかをチェックする。Yesの場合はステップ5204hへ進み、モバイルとSEGがインターネットもしくは無線を介した宅内ネットワーク(NFC以外)で暗号通信可能かどうかをチェックして、ステップ5204iへ進み、モバイルからSEGへインターネットもしくは無線LAN等のイントラネットを介して、インストール命令や暗号通信用の鍵や認証データを時間内に、サーバから接続機器用の通信プロトコルをダウンロードし、ステップ5204jで『成功』すれば、ステップ5204kへ進み、最適の通信プロトコルで機器とSEGがNFC以外の無線通信し、認証手順を開始する。この場合、SEGと機器の3D座標と建物の3D構造データから互いの距離と障害物を計算し、これらのデータに応じて必要最小限で最適の信号出力を設定するので、ステップ5204mで、「接続を開始可能です」「OKボタンと機器の接続開始ボタンをm秒以内に押して下さい」と表示され、ステップ5204n(図233)へ進む。
一方、ステップ5204gまたはステップ5204hでNoの場合は、ステップ5205a(図233)へ進み、ステップ5205aで、「SEGの場所に移動し、モバイルをSEGにタッチして下さい」と表示され、ステップ5205bで、移動し、SEGにタッチすると、ステップ5203c(図228)へ進む。
次に、図233を説明する。
まず、ステップ5204nで、モバイルの「OKボタン」を押し、ステップ5204pで、モバイルからの命令によりSEGが秘密鍵を発行して、暗号通信を一定時間継続し、ステップ5204qで、機器側の「接続開始ボタン」を押し、ステップ5204rで、機器が秘密鍵(時間限定型)を発行して暗号通信を一定時間継続し、ステップ5204sで、『SEGと機器が相互認証されたか?』をチェックする。
次に、ステップ5204tで、『成功』すればステップ5204uに進み、モバイルの画面上に「SEGと機器との接続完了」と表示する。もしくは機器に特定の表示等の動作をさせて、ステップ5204yで完了する。
なお、ステップ5204tでNoの場合は、ステップ5204xで「接続に失敗」と表示される。
次に、図234を説明する。
ステップ5206aで、モバイル等からサーバに接続したとき、サーバ(コントローラ)が接続したい機器の3D座標情報とSEGの3D座標情報から両者の間の距離や障害物が大きい場合、直接の通信は困難であると判断したかどうかを判定する。
そして、その判定がYesの場合、ステップ5206bに進み、サーバは中継器の3D座標情報から両者の間にある中継器PAN coordinatorをサーバが検索し、その中継器の位置情報をモバイルに通知し、ステップ5206cで、必要な場合、モバイルは機器に再度タッチして機器のMACアドレス、ネットワークID(PAN IDなど)、通信プロトコル、通信鍵や3D座標を入手し、ステップ5206dで、モバイルがSEGのMACアドレス、ネットワークID(PAN IDなど)などのネットワークコンフィギュレーション情報を持っているかを判定する。
そして、この判定がYesの場合には、ステップ5206f(図235)へ進む。一方、ステップ5206dでNoの場合は、ステップ5206eへ進み、SEGの所へ行きタッチしてMACアドレス、IPアドレス、ネットワークID、通信プロトコル、通信鍵、(3D座標、再度)入手する。このとき、サーバは各機器、AEG、中継器の3D座標情報を用いて、ネットワーク全体のコンフィギュレーション(各子機のMACアドレス、サブネットワークのネットワークID(PAN ID)の最適化を行い、このコンフィギュレーション情報をSEGに登録して、ステップ5206f(図235)へ進む。
次に、図235を説明する。
まず、ステップ5206fで、中継器(Zigbee等)の所へ操作者が移動して、タッチする。このとき、中継器の位置情報を再度入手するとともに、サーバ等で機器、中継器、SEGの3D座標情報と建物の3D座標から、最適の上記のネットワークのコンフィギュレーション情報つまり最適の中の中継器のサブネットワーク(PAN ID)間の中継点としての中継接続方法やトポロジーを算出し、このコンフィギュレーション情報をサーバもしくはモバイルからNFC経由もしくはSEG経由で記録する。少なくともNFC経由で記録命令を中継器に送る。この場合は、機器から中継器を介して、SEGと接続するように設定する。具体的には機器(複数でもよい)のMACアドレス、ネットワークID、通信鍵を中継器に登録する。
次に、ステップ5206gで機器と中継器の接続完了かどうかをチェックする。完了した場合(Yes)、ステップ5206hへ進み、Noの場合は再度ステップ5206fに戻る。
ステップ5206hで、中継器にモバイルもしくはサーバ、SEGのMACアドレス、ネットワークID、通信鍵、プロトコルなどの中継先の接続情報をNFCもしくはネットワークを介して記録する。こうして、MACアドレスが登録されている機器の属するPAN IDのサブネットワークとSEGの属するPAN ID 2つのサブネットワークの下にあるMACアドレスのSEGが中継器(PAN coordinator)を介して継続される。
次に、ステップ5206iで、中継器をSEGとの接続完了か否かをチェックする。Yesの場合は、ステップ5206jへ進み、機器とSEGとの中継接続認証が完了し、ステップ5206kで機器、中継器、SEGの中継が完了する。一方、ステップ5206iでNoの場合、また、ステップ5206jでNoの場合はステップ5206hへ戻る。
以上、図234と図235を用いて説明したように、本発明の3Dマッピングを使うと、モバイル端末は3Dの座標情報を常に持っているため、ZigBeeや無線LANの子機、親機、中継器の物質的な位置関係が、各装置にNFCで近接したときや、近接してモバイル端末の入力を行ったときに各装置と通信し、MACアドレス等のネットワークID情報を得ると同時に、そのときの3Dの位置情報が得られる。このデータをモバイル端末もしくは宅内もしくは宅外のサーバで処理することにより、物理的に最適のネットワークコンフィギュレーション構成を得ることができる。このネットワーク構成情報、具体的には図234の下部に示すようにPANID1には、MACアドレス1の機器と別の機器とMACアドレス3の中継器があり、PANID2にはインターネットプロトコルを搭載したMACアドレス2のSEGとMACアドレス5、6の別の機器2、3が無線で接続され、PANID1とPANID2とは中継器を介して接続される構成が最も省電力で安定して、ループが起こらない構成であることが、3Dの位置関係がわかっているために容易に演算により求めることができる。
ZigBee等の従来方式では、SEGと子機は1対1の構成が求められている。これは中継器を追加すると全体のネットワークコンフィギュレーションを最適設計し、設定する必要がある。しかし、各機器の3Dの位置関係を簡単に知る方法がなかったからである。企業内のネットワークにおいては、費用や手間をかけられるため、可能である。しかし、一般家庭のエアコンや電子レンジや太陽電池のような家電機器の場合は、このような費用や手間をかけることができない。このため中継器の導入は容易でなかった。
しかし、本発明では、NFCでタッチしたり、機器のごく近傍でモバイル端末に入力したりするだけで、機器の位置情報やMACアドレス等、ID情報が得られる。このため、手間、費用をかけることなく、サーバやモバイル端末でコンフィギュレーション情報が得られ、この情報をSEGや中継器にモバイル端末を操作して直接もしくは、間接的に記録することにより、簡単に最適のネットワークコンフィギュレーションが構成されるという効果がある。NFCを使った場合、暗号鍵や3D位置情報等で不正チェックできるため、高いセキュリティも得られる。こうして、中継器の導入が家庭でも可能となり、屋根の上の太陽電池と1階のSEGの間や、室内SEGと屋外のヒートポンプや充電システム等の長い距離の無線通信が安定して行われるという効果がある。この場合、サーバを使うことにより、3D座標を用いた高度の演算を行うことができるため、理想的なネットワークシステムが構築でき、ループなどの異常通信も防止できるため伝送効率を上げられる。
(実施の形態21)
実施の形態21では、建築物の3D製品マップを用いて、モバイル端末がリモコンとして機器を操作可能にするシステムについて図面を用いて詳細に説明する。
図189には本実施の形態における建築物の3D製品マップを用いた携帯機器102による機器制御の一例が示されている。また、図190にはさらに建築物データを加え、建築物のどの部屋に機器が存在するか認識可能な場合の本実施の形態における機器制御の一例が示されている。図189および図190に示すモバイル端末による機器制御の動作を、図236、図237、図238を用いて説明する。
まず、S6001において、モバイル端末はGPS情報を用いて自端末の位置情報を取得する。
次にS6002において、基準点となる位置情報を取得する。例えば、建築物の玄関鍵をモバイル端末が保持する近接通信により開閉する開錠システムと連動し、モバイル端末の近接通信で開錠した際に、その開錠システムの機器IDを、近接通信を介して取得し、取得した機器IDと紐付いている位置情報を基準点として設定する(図190の丸1)。機器IDと位置情報を紐付けたデータベースはサーバまたはモバイル端末が保持していてもよい。また、近接通信により直接位置情報を取得することも可能である。当然のことながら、開錠システム以外の他の機器から位置情報を取得してもよい。
S6003において、モバイル端末を保持したユーザが建築物に入る。このとき、ドアに付加されたセンサの出力情報からユーザの入室を察知し、基準点をドアの位置としてもよい。
次に、図190の丸1から丸2まで歩行する場合において、S6004で説明する。すなわちS6004において、モバイル端末ユーザの宅内での歩幅をデータベースより入手し、加速度センサ、地磁気センサまたは振動ジャイロなどにより当該区間の歩数nを検出する。このようにして、ユーザの歩幅および歩数nを取得し、歩幅×nにより移動距離を算出する。また、移動方向は振動ジャイロおよび地磁気センサで検出し、モバイル端末の3次元における基準点からの相対位置を算出し、データベースに記録する。また、このモバイル端末の位置情報や移動情報をサーバへ送信してもよい。
次に、図190の丸2にユーザがいる場合について、S6005で説明する。すなわち、S6005において、ユーザが1階のテレビの前に移動したとき、モバイル端末の方向をテレビへ向けると、モバイル端末の3次元座標とモバイル端末の測定した方向の法線にテレビが入ったとき、モバイル端末はそのテレビとネットワークで接続され、モバイル端末によってそのテレビをリモコン操作可能となる。
次に、図190の丸3から丸4へユーザが移動した場合についてS6006で説明する。すなわちS6006においては、ユーザは1階を移動して、和室に入り、エアコンの方向へモバイル端末を向けると、エアコンとモバイル端末はネットワークで接続され、モバイル端末はエアコンのリモコンとなる。このとき、S6004と同様に、ユーザの歩幅および歩数から移動距離を検出し、モバイル端末の3次元位置情報を算出する。この3次元位置情報はモバイル端末もしくはサーバのデータベースで保持する。
さらに、図237のS6007において、図190の丸4から丸5まで移動した際の、歩数により移動距離を計算し、モバイル端末もしくはサーバのデータベースで保持する。このようなデータベースに保存されたユーザごとの場所別歩行履歴によりユーザの歩幅を学習し、精度を向上させる。
S6008において、宅内の階段に到達すると、階段の1段の段差と1段の長さをそれぞれm、kとすると歩数×mが高さの変化、歩数×kが水平移動距離として算出する。m、kはデータベースに記録し、過去のデータより学習させ、精度を高める。
S6009において、エレベータにより階を上がる場合を考える。この場合、建築物のエレベータの特性データをデータベースに記録し、P階からQ階への所要時間rを取得し、所要時間から移動後の階数を測定する。P、Q、rは過去データからの学習により精度を上げることも可能である。また、エレベータの上昇開始と停止は加速度センサの情報から得る。
S6010において、階の移動が終了したと判断された場合、S6011に移行する。
S6011において、水平方向の移動距離を、歩幅×歩数で方向を振動ジャイロで得て、モバイル端末の3次元の位置情報を得る。建物の3次元構造データがあれば位置情報を校正し、精度を上げる。続くS6012において、2階のテレビの左前方位置(図190丸5の位置)でユーザはいったん停止する。
S6013において、3次元位置情報の累積誤差Eが設定された誤差許容値より大きいかどうか判断する。累積誤差Eは、移動距離×5%で算出される。累積誤差Eが誤差許容値より大きいと判断された場合、S6014に移行する。
S6014において、相対もしくは絶対の位置情報がデータベースに登録されている機器をデータベースから探し出し、最も近い機器をモバイル端末の画面上に提示する。操作者はこの機器にモバイルのカメラを向ける。カメラに撮影された画像より、機器を認識し、モバイル端末とその相対角度、距離を演算し、基準位置を補正する。
続く図238のS6015において、機器の機器IDから、機器のネットワーク情報(MACアドレス、IPアドレス、通信鍵など)を入手し、機器とモバイルとを接続する。モバイル端末が指し示す機器にLockボタンを押すとモバイル端末と機器の接続が固定され、リモコンとして用いたり、機器の映像データなどがモバイル画面に表示されたりする。
最後に、S6016においてモバイル端末のリモコン操作機能を終了する。
以上のような処理により、モバイル端末は、基準点からの相対位置を取得することが可能となり、正確な絶対位置情報を必要とせずに、機器へ向けるだけでモバイル端末を機器のリモコンとすることができる。
また、加速度センサによる移動距離測定の誤差が大きい場合、歩幅や機器の位置情報などを用いて、位置情報の誤差を軽減することが可能となる。
図239は、本実施の形態においてモバイル端末の基準点情報が不正確な場合に正確な基準点を取得する処理を示すフロー図である。
まず、S6020において、モバイル端末の基準点が取得できていないと判断された場合、S6021に移行する。S6021において、モバイル端末で機器を撮影する。撮影画像をサーバへ送信してもよい。
次に、S6022、S6023において、モバイル端末は撮影画像から機器の種類を認識する。続くS6024、S6025において、機器のみの画像をフィルタリングし、サーバへ送信する。
次に、S6026において、モバイル端末の基地局情報やGPS等でおおよそのモバイル端末の位置を取得し、現在いる建築物を特定し、その建築物と紐付いている機器リストから撮影された機器を特定する。モバイル端末の現在の位置が不明のときはモバイル端末の所有者に紐付いている機器リストから特定する。また、機器の大きさや3D形状情報を得、データベースに保存する。
次に、S6027において、画像中の機器の向いている角度からモバイル端末と機器との相対角度を算出する。また、S6028において、モバイル端末の光学特性情報からズーム倍率等を取得し、モバイル端末と機器との距離を算出する。
S6029において、モバイル端末と機器との距離および相対角度より、モバイル端末と機器との3次元の相対座標で表される位置情報Prが取得できる。
S6030において、機器の相対もしくは絶対位置の3次元座標情報Pdをサーバもしくはモバイル端末のメモリから読み出し、PrとPdからモバイル端末のその建築物内の相対もしくは絶対位置のPmを演算する。
最後に、S6031において、モバイル端末の基準点となる位置情報としてPmを設定する。
以上のような処理により、モバイル端末の電源投入直後など基準点が設定されていない場合においても、モバイル端末の基準点が撮影画像を用いて取得することが可能となる。また、撮影画像から機器のみの画像にフィルタリングすることで、ユーザは宅内の情報などプライバシーを気にすることなく、機器の画像をサーバへ送信することが可能となる。
図240、図241に、機器と機器が属するネットワークの親機との接続手順の処理フローを示したフロー図を示す。
まず、S6111において、モバイル端末を接続したい機器の方向へ向ける。
次に、S6112において、モバイル端末は自分の位置情報(3Dの座標情報など)を持ち、モバイル端末のカメラで機器の映像を撮影した画像を処理して機器を認識する。認識すると機器の種類、型番とラフな機器の位置情報(3D座標など)を得る。サーバもしくはモバイル端末のデータベースを用いて得た位置情報の近傍に登録されている機器の候補機器の情報を取得し、この候補の機器と撮影された機器との画像のマッチングを行い、登録機器かを確認する。
S6113において、接続しようとしている機器が既にサーバもしくはモバイル端末のデータベース内に登録されている機器と判断された場合、S6114に移行する。
S6114において、サーバもしくはモバイル端末のデータベースから機器ID、接続プロトコル、通信鍵、サーバアドレスを取得して機器とモバイル端末をネットワークで接続する。続くS6115において、モバイル端末と機器の位置情報とモバイル端末の方向により、様々なコマンドを発生させる。
前記S6113において、接続しようとしている機器が既にサーバもしくはモバイル端末のデータベース内に登録されていない機器と判断された場合、S6116に移行する。
S6116において、機器にネットワーク機能を有するか、およびモバイル端末が機器の型番を認識可能か、を判断する。S6116において、機器にネットワーク機能を有さず、モバイル端末が機器の型番を認識可能でないと判断された場合、S6117に移行する。
S6117において、ユーザが機器の蓋を開け、機器が保持する2次元バーコードを露出させ、モバイル端末のカメラで撮影する。
続くS6118において、モバイル端末で2次元バーコードを読み取り、2次元バーコードの暗号データを解読し、機器ID、接続用通信プロトコル、通信規格、リモコン機能(赤外線リモコン用もしくは無線ZigBee用など)、ネットアドレス(MACアドレス、IPアドレス、通信鍵)やサーバアドレスなどを読み出す。読み出したデータをサーバもしくはモバイル端末のデータベースに記録する。
次に、S6119において、サーバから機器の3次元の形状情報を得てモバイル端末で撮影映像とモバイル端末の撮影時の3次元位置情報から機器の3次元位置情報を演算し、データベースに記録する。
また、前記S6116において、機器にネットワーク機能を有し、モバイル端末が機器の型番を認識可能であると判断された場合、S6120に移行する。
S6120において、機器がAOSS機能を有するかどうか判断する。
S6120において、機器がAOSS機能を有すると判断された場合は、S6121に移行する。
S6121において、モバイル端末が親機と通信できるかどうか判断する。
S6121において、モバイル端末が親機と通信できると判断された場合は、S6122へ移行する。
S6122において、機器が赤外線通信受信もしくは無線リモコン(ZigBeeなど)受信機能を保持するかどうかを判断する。
S6122において、機器が赤外線通信受信もしくは無線リモコン(ZigBeeなど)受信機能を保持しないと判断された場合、S6123に移行し、使用者がモバイル端末上の「接続開始ボタン」を押し、機器の親機にAOSS命令を送り、登録可能モードに切り替えさせる。同時に機器のAOSSボタンを押し、親機と接続認証を開始させ、一定時間続ける。この場合、親機の3Dの位置情報と機器の3D位置情報から両間の距離と障害物から必要最小限の電波出力に制御し、通信の安全性を高める。
続くS6124において、接続認証ができているかどうか判断し、接続認証ができていると判断された場合は、S6126に移行する。
また、S6122において、機器が赤外線通信受信もしくは無線リモコン(ZigBeeなど)受信機能を保持すると判断された場合、S6125へ移行する。
S6125において、使用者がモバイル端末の接続開始ボタンを押すと、通信鍵とモバイル端末が、機器と同じ通信プロトコルの親機に「AOSS開始命令」を送る。同時にモバイル端末はリモコン送信機能を用いて機器に通信鍵と「AOSS命令」を送り、相互認証を開始させる。
続くS6126において、相互認証が完了したかどうか判断し、完了していないと判断された場合は、S6125へ移行する。S6126において、相互認証が完了したと判断された場合は、S6127に移行し、親機と機器を接続するかどうか判断する。
そして、S6127で接続すると判断された場合、S6128に移行する。
S6128において、機器IDや製品番号、アドレス、エラーコード、使用時間、履歴、3次元の位置情報を親機経由でサーバに送る。
続くS6129において、機器の製品番号から機器の3次元の形状情報をデータベースから得て、撮影した画像からモバイル端末からの距離、3次元の方向とモバイル端末の撮影時の位置情報から機器の3次元位置情報を演算する。この位置情報をサーバもしくはモバイル端末のデータベースに記録する。
以上のような処理により、機器に近接通信機能が付加されていない場合においても、2次元バーコードを用いて、簡単に機器と親機が接続可能となり、機器のサーバ登録や3次元位置情報のサーバ登録ができる。
続いて、図242に示すフローチャートについて説明する。
まず、ステップ6140aで、3D座標マッピングを行う。
次に、ステップ6140bで、モバイルを土地境界点の位置に移動し、ステップ6140cで、モバイルのGPS情報をサーバに送りモバイルの近傍の土地境界線マークもしくは測量基準点とのIDもしくは3D絶対座標を入手する。モバイルは、相対位置の3D座標と絶対位置の3D座標の2つを持つが絶対位置の3D座標データベースに入力する。
次に、ステップ6140dで、GPSからモーションセンサにより位置検出に切り替える。歩数と歩幅により距離を振動ジャイロにより方向を入手し3D座標を演算する。
次に、ステップ6140eで、建物の鍵のNFC部にタッチして、鍵を開けるとともにそのときの3D座標をモバイルやサーバのデータベースや鍵のNFCに記録する。
次に、ステップ6140fで、建物の中に入ると歩数と歩幅と方向により3日座標を演算する。このとき、3軸の磁気センサの精度が雑音等により悪くなった場合は、振動ジャイロの方向情報に切り替えて、ステップ6140g(図243)へ進む。
続いて、図243、図244に示すフローチャートについて説明する。
まず、ステップ6140gで、基準点を入力してから移動した距離が短い場合は、位置精度が高いため、既に3D位置情報が登録されている機器のNFCのアンテナ部にタッチして、その機器の3D位置情報を更新するとともに3D位置情報の精度が高いことを示す高精度位置情報識別子をNFCもしくはサーバもしくはモバイルのデータに3D座標とともに記録する。
次に、ステップ6140hで、3D座標の累積誤差 PE>一定値のときかどうかをチェックする。
Yesの場合は、ステップ6140iへ進み、TVやエアコンや電子レンジや冷蔵庫の家の中のNFCが付いた機器の中でも、前記の高精度位置識別子が付与されている機器をモバイルの近傍から探し出し、この機器(TVなど)をモバイルの画面に表示し、「この機器のNFCのアンテナ部にタッチして下さい」という命令を画面上に表示させて、ステップ6140j(図244)へ進む。
一方、ステップ6140hで、Noの場合は、ステップ6140n(図244)へ進み、階段の1段目を登るときや最終段が終わったとき、閉まっているドアの前で止まったとき、エレベータが昇り始めたとき、止まったとき、閉まっている玄関ドアの前で止まったとき、玄関の段差を上がったとき、はしごを登り始めたとき、廊下の曲がり角を曲がったとき、家の出張った壁を迂回したとき、加速度センサで明らかに検知することができる。この時点のモバイルの3D座標情報を建物の3D座標情報とマッチング処理をすることにより、3Dの基準座標を更新し、精度を高めることができる。このとき高精度位置識別子をDBに記録する。
次に、ステップ6140jで、使用者が機器のアンテナ部にタッチしたかを判断し、Yesの場合は、ステップ6140kへ進む。
次に、ステップ6140kで、機器の3D座標がモバイルの3D座標と大幅に異なるか否かをチェックする。Yesの場合は、ステップ6140pへ進み、機器が前回測定した座標から移動したと判断し、誤情報識別子をその機器のデータベースに記録する。続くステップ6140qで、もし近くに高精度位置識別子が付いた機器があると、その機器にタッチして3D座標を更新し、元の位置用法が違っている機器にタッチして、正しい位置情報をデータベースに記録し、高精度を示す位置精度識別子を付与する。
一方、ステップ6140jで、Noの場合はステップ6140nへ進む。
また、ステップ6140kで、Noの場合は、ステップ6140mへ進み、その機器の2Dもしくは3Dの座標をモバイルの3D位置座標として更新する。こうしてモバイルの3座標が正確になると、ステップ6140nに進む。
(実施の形態22)
図245は、本発明の実施の形態22における機器構成を示した図である。
図245において、モバイル機器の表示画面9001、9002、9003はすべて同一のモバイル機器9000の表示画面を示す。モバイル機器表示画面9001は、使用者がモバイル機器9000を手に持ち、モバイル機器9000をTV機器9004に向けたときの様子を示した図である。同様に、モバイル機器表示画面9002、9003はそれぞれ、使用者がモバイル機器9000をレコーダ機器9005、または電子レンジ9006に向けたときの様子を示した図である。
図246は、本発明の実施の形態22におけるモバイル機器9000と連携機器の一例であるTVのそれぞれの表示画面を示した図である。
図247〜図251は、本発明の実施の形態22における手続きを示したフローチャート図である。
まず、図247を用いて実施の形態22について説明する。
最初に、モバイル機器9000は、モバイル機器位置の取得を行う(S9302)。モバイル機器位置の取得についての詳細は、図236を用いて既に説明しているため、ここでは省略する。
次に、使用者(ユーザ)がモバイル機器9000を、機器(ここではTV9004)の方向に向ける(S9303)。
このとき、モバイル9000とTVの3D(相対もしくは絶対)座標情報、モバイル9000の向いている方向を示す方向情報、機器の姿勢情報、機器の面積情報から、向いている機器の候補をデータベースより抽出する(S9304)。
モバイル9000が向いている機器の候補が複数ある場合(S9305のYES)、複数の機器のリストを位置関係と共にモバイル9000機器の画面に表示する(S9306)。そして、使用者がモバイル9000機器の向きを変えた場合(S9307のYES)、それに応じてモバイル9000の向きの中心にあるらしさに従い、モバイル9000画面上の機器の表示を変化させる(S9308)。モバイル9000画面上の機器の表示は、モバイル9000の向きの中心にある程、中央に表示される。中央に表示される変わりに、上部に表示される、または、または最も中央にある機器にターゲットカーソルが表示されるなどであってもよい。
使用者は、使用者が希望する機器が中央に表示されたときに、LOCKボタンを押す(S9309)。LOCKボタンは、モバイル9000機器上の物理的スイッチであってもよいし、タッチパネル上に表示される仮想的なボタンであってもよい。また、モバイル9000機器と論理的に接続された、別の機器であってもよい。このときの様子を、図246の9222に示す。
S9309がYESの場合、モバイル9000が向けられている特定の機器(例:TVや電子レンジ)を決定し、サーバ上、またはモバイル9000上のデータベースからその機器のネットワーク接続情報(MACアドレス、IPアドレス、通信鍵、通信規格、通信プロトコル)、機器の能力、機器用のプログラム、スクリプトなどを取得もしくはダウンロードする(S9310)。LOCKボタンが押されると、モバイル9000はモバイル9000が向けられている特定の機器との接続状態を示すフラグ(ロックフラグ)を内部に保持する。前記ロックフラグが立っている間は、使用者がモバイル9000機器の向きを変えたとしても、S9304の処理は実行されない。そのため、モバイル9000機器とTVなどの機器とを接続した状態で、使用者がモバイル9000機器の向きを変えたとしても、接続された機器との接続が切れて、使用者が選択した機器の画面が消えてしまわないという効果がある。
次に、使用者がモバイル機器9000を特定の機器(TVやレコーダ、電子レンジなど)に向ける方向について図255を用いて説明する。
本発明は、使用者が手に持ったモバイル機器9000と、特定の機器(TVやレコーダ、電子レンジなど)との3D(相対もしくは絶対)座標情報と、モバイル機器の方向を用いて対象機器を特定する。モバイル機器の形状が直方体に近い場合、機器特定に用いるモバイル機器の方向は、筐体を構成する仮想的な直方体の辺のうち、長い辺と平行の方向とする。モバイル機器が、図255のモバイル機器9000のようなボタンとディスプレイとを有し、一般的に、使用者がディスプレイ側ではなくボタン側を持つことが想定される場合、特定の機器を指し示すのに用いるモバイルの方向は、ディスプレイ側の方向9111とする。モバイル機器がアップル社のiPhone4のような殆どボタンを有しないスマートフォンであり、使用者が様々な持ち方をする場合は、モバイル機器の重力センサやジャイロセンサ、カメラ、近接センサなどを用いて、モバイル機器上の使用者の手の重心点を判定し、重心点からモバイル機器の外周までの距離が最も長い方向を、モバイル機器の距離として用いるとしてもよい。
モバイル機器9000が、ディスプレイ裏面に裏面カメラ9113を保持する場合、裏面カメラの向きとの平行方向9112をモバイル機器9000の方向としてもよい。この場合、カメラを起動していない場合は、方向9111をモバイル機器の方向として用い、カメラを起動した場合は方向9112をモバイル機器の方向としてもよい。カメラを起動して方向9112をモバイル機器の方向とした場合、モバイル機器と対象機器との3D座標情報とモバイル機器の方向情報とを用いて、対象機器を特定する際に、使用者はモバイル機器9000のディスプレイに表示される機器を見ながら対象機器をロックすることも可能となる。
また、モバイル機器の形状、モバイル機器の重力センサやジャイロセンサ、カメラ映像、ユーザ近接センサ、カメラの起動状態、および使用者によるモバイル方向の選択、使用者の視線、使用者の姿勢などを用いて、モバイル機器の方向を動的に変更するとしてもよい。
係る構成によれば、使用者はモバイル機器の持ち方を意識することなく、直感的にモバイル機器を特定の機器に向けるだけで、対象の機器を選択可能となるという効果がある。
さらに、モバイル機器は機器を特定するための方向を、同時に複数有するとしてもよい。これにより、使用者のモバイル機器の持ち方によらず広範囲の機器を対象とすることが可能になるという効果がある。
以降は、フローチャート図247、図248を用いて実施の形態22の続きを説明する。
次に、モバイル9000はS9301で取得したネットワーク接続情報を用いて、ネットワークを介して機器との接続を試みる(S9401)。接続が成功した場合(S9401のYES)でかつ、データベースから通信情報しか入手しなかった場合(S9402のYES)、モバイル9000は機器もしくはサーバに能力を問い合わせ、モバイル9000上での制御表示プログラムを取得し(S9403)、制御表示プログラムを実行する(S9404)。
機器がTVであった場合、モバイル9000はTVのチャンネル放送番組の番組数、タイトル、サムネイルなどを機器から取得し、モバイル9000に表示する(S9405)。このときの様子を、図246の9223に示す。
使用者がモバイル9000画面上で特定の番組のサムネイルを選択(ボタンのプッシュ、タッチパネル上のクリックやピンチアウトジェスチャーなど)した場合(S9406:YES)、モバイル9000は機器(TV)に対して選択した番組の表示要求命令を送る(S9407)。このときの様子を、図246の9224に示す。
TVは、指定された番組を表示すると共に、モバイル9000機器の能力に応じた品質の映像データをモバイル9000に送信する(S9408)。
モバイル9000は、TVから送信される映像データを受信し、表示する(S9409)。このときの様子を、図246の9224に示す。
使用者が、モバイル9000上で右にフリックすると、次のチャンネルの番組に対してS9407〜S9409が実行され、モバイル9000とTV画面上に次のチャンネルの番組が表示される(S9410)。このときの様子を、図246の9225に示す。
係る構成によれば、使用者はモバイル機器を使用したい機器に向けるだけで、直感的に機器の機能をコントロールすることができるという効果がある。
また、機器の姿勢、形状情報を用いることにより、モバイルが指す機器を特定する場合に、大型テレビのような機器中心位置と機器の端までの距離が大きな場合でも、機器が指す機器を特定することが可能であるため、使用者が指し示したい機器を正確に判断することができる。
以降は、フローチャート図249、図250を用いて実施の形態22の続きを説明する。
モバイル9000上に特定の番組が表示されている状態(S9501)において、使用者がMOVEボタンを押しながら、保存もしくは表示したい機器(レコーダ、またはテレビなど)の方向にモバイル9000を向ける(S9502のYES)。
このとき、モバイル9000と機器の3D(相対もしくは絶対)座標情報、モバイル9000の向いている方向を示す方向情報、機器の姿勢情報、機器の面積情報から、向いている機器の候補をデータベースより抽出する(S9503)。
モバイル9000が向いている機器の候補が複数ある場合(S9504のYES)、複数の機器のリストを位置関係と共にモバイル9000機器の画面に表示する(S9505)。使用者がモバイル9000機器の向きを変えた場合(S9506のYES)、それに応じてモバイル9000の向きの中心にあるらしさに従い、モバイル9000画面上の機器の表示を変化させる(S9507)。モバイル9000画面上の機器の表示は、モバイル9000の向きの中心にある程、中央に表示される。中央に表示される変わりに、上部に表示される、または、または最も中央にある機器にターゲットカーソルが表示されるなどであってもよい。
使用者は、使用者が希望する機器が中央に表示されたときに、MOVEボタンを話す(S9508)。MOVEボタンは、モバイル9000機器上の物理的スイッチであってもよいし、タッチパネル上に表示される仮想的なボタンであってもよい。また、モバイル9000機器と論理的に接続された、別の機器であってもよい。
モバイル9000が向けられている特定の機器(例:レコーダやTV、電子レンジ)が決定されたとき、サーバ上、またはモバイル9000上のデータベースからその機器のネットワーク接続情報(MACアドレス、IPアドレス、通信鍵、通信規格、通信プロトコル)、機器の能力、機器用のプログラム、スクリプトなどを取得もしくはダウンロードする(S9510)。
特定された機器に記録能力がある場合(S9601のYES)、モバイル9000は機器に対して、コンテンツのソース情報(チャンネル番号、コンテンツのアドレス、コンテンツのURIなど)、録画範囲(時間、単位など)、コンテンツのサーバアドレス、ソースの範囲)、認証情報(認証プロトコル、鍵)などと記録命令を送信する(S9602)。
モバイル9000から記録要求を受信すると、機器は要求に従って記録データを接続、受信し、記録を行う。
機器は、モバイル9000に記録したコンテンツのタイトル、内容、静止画サムネイル、動画サムネイルなどを送信する(S9604)。
モバイル9000は、機器が記録する内容を、モバイル9000上に表示し、使用者に記録を継続してよいか否かを確認するダイアログを表示し(S9605)、機器は、使用者が了承した場合(S9606のYES)、記録を継続し、使用者が否認した場合(S9606:NO)、記録を中止する(S9607)。
次に、モバイル9000と記録機器(レコーダ)との接続が切れて、再びモバイル9000の表示は元の機器(TVなど)の情報に戻る(S9609)。
係る構成によれば、使用者は見ている番組を録画したい場合、レコーダのリモコンに持ち替え、見ている番組情報をレコーダのリモコンで再度入力する必要なく、番組を録画することができる。また、上記実施例では機器がレコーダであり、見ている番組をレコーダに記録する例で説明したが、機器がディスプレイ装置などの表示装置の場合、機器で記録する代わりに機器に現在見ていた番組やコンテンツを表示させるとしてもよい。その場合、使用者が見ている番組やWebページ、コンテンツ情報をディスプレイ装置のリモコンのキーボードで再度入力する必要なく、異なる機器でも視聴することができる。モバイル端末で見ていたWebページを、ディスプレイ機器で表示させることも可能である。
以降は、フローチャート図251を用いて実施の形態22の続きを説明する。
S9609の続きとして、モバイル9000でTV機器と同じ映像を見ている状態であるとする(S9701)。
ここで使用者がモバイル9000を機器のリモコンとして使用したい場合、モバイル9000上に表示されたリモコンモードボタンを押した場合(S9702のYES)、モバイル9000の画面は機器のリモコンモードに切り替わる(S9703)。リモコンモードボタン表示機能、およびTV機器用リモコンモード制御プログラム(またはスクリプト)とは、S9510で取得していたTV機器制御プログラムに含まれていた機能である。
係る構成によれば、使用者はTV機器のリモコンを用いなくとも、モバイル機器で制御したいTV機器に向かってリモコンを向けることで、TVリモコンモードを表示し、TVのチャンネルや音量などをコントロールすることができる。また、従来の携帯電話でTVリモコンアプリケーションをダウンロードして対応するTV用のプログラムを選択する必要などがなく、自動的にリモコンを向けたTV用のプログラムがダウンロードされるため、リモコンモードへの移行への手間を低減することができる。
次に、リモコンと機器間の通信レートや使用頻度が低い場合(S9704のYES)、リモコンはZigBeeや赤外線通信プロトコルをサーバから取得し、より低消費電力の無線規格に切り替える。
係る構成によれば、機能に応じた最適な通信規格を自動的に選択することで、モバイルおよび周辺機器の消費電力を低減する効果がある。
次に、使用者がモバイル9000画面に表示されたロック解除ボタンを押した場合(S9706のYES)、モバイル9000機器は機器(TVなど)との接続を解除し(S9707)、モバイル9000画面を初期画面に戻す(S9708)。このときの様子を、図246の9228に示す。
係る構成によれば、使用者は異なる機器の機能をモバイルで使用したいと考えたときに、選択的に切り替えることができるという効果がある。
以降は、フローチャート図253、図254を用いて実施の形態22の続きを説明する。
最初に、モバイル機器9000は、モバイル機器位置の取得を行う(S9912)。モバイル機器位置の取得についての詳細は、図236を用いて既に説明しているため、ここでは省略する。
次に、ユーザはモバイル9000上のWebブラウザなどで料理レシピを表示する(S9901)。
モバイル9000上に特定のレシピが表示されている状態において、使用者がMOVEボタンを押しながら、調理に利用したい機器(電子レンジ、クッキングマシンなど)の方向にモバイル9000を向ける(S9902:YES)。このときの様子を、図245のCで示す。
このとき、モバイル9000と機器の3D(相対もしくは絶対)座標情報、モバイル9000の向いている方向を示す方向情報、機器の姿勢情報、機器の面積情報から、向いている機器の候補をデータベースより抽出する(S9903)。
モバイル9000が向いている機器の候補が複数ある場合(S9904のYES)、複数の機器のリストを位置関係と共にモバイル9000機器の画面に表示する(S9905)。使用者がモバイル9000機器の向きを変えた場合(S9906のYES)、それに応じてモバイル9000の向きの中心からの距離などに従い、モバイル9000画面上の機器の表示を変化させる(S9907)。モバイル9000画面上の機器の表示は、モバイル9000の向きの中心にある程、中央に表示される。中央に表示される変わりに、上部に表示される、または、または最も中央にある機器にターゲットカーソルが表示されるなどであってもよい。
使用者は、使用者が希望する機器が中央に表示されたときに、MOVEボタンを話す(S9908)。MOVEボタンは、モバイル9000機器上の物理的スイッチであってもよいし、タッチパネル上に表示される仮想的なボタンであってもよい。また、モバイル9000機器と論理的に接続された、別の機器であってもよい。
モバイル9000が向けられている特定の機器(ここでは電子レンジ)が決定されたとき、サーバ上、またはモバイル9000上のデータベースからその機器のネットワーク接続情報(MACアドレス、IPアドレス、通信鍵、通信規格、通信プロトコル)、機器の能力、機器用のプログラム、スクリプトなどを取得もしくはダウンロードする(S9910)。
特定された機器に調理能力がある場合(S9001:YES)、モバイル9000は機器に対して、レシピ情報(調理内容・方法(レンジ、オーブン、混ぜる、こねる、焼く、蒸す、解凍、暖める、蒸らすなど)、調理加減(温度、時間など)など)、もしくはレシピソース情報(URLなど)、認証情報(認証プロトコル、鍵)などと記録命令を送信する(S9002)。
モバイル9000から記録要求を受信すると、機器は要求に従って記録データを接続、受信し、記録を行う(S9003)。
機器は、モバイル9000に記録したレシピの調理内容などを送信する(S9004)。
モバイル9000は、機器の調理内容を、モバイル9000上に表示し、使用者に調理を継続してよいか否かを確認するダイアログを表示し(S9005)、機器は、使用者が了承した場合(S9006:YES)、調理を継続する。
次に、モバイル9000と調理機器(例:電子レンジ)との接続が切れて、再びモバイル9000の表示は元の機器(TVなど)の情報に戻る(S9009)。
係る構成によれば、使用者はモバイル上で見ている料理レシピを調理したい場合、電子レンジやクッキングマシンに再度入力する必要なく、調理をすることができる。さらに、電子レンジやクッキングマシンには内蔵されていないレシピに関しても、複雑な操作を行うことなく、機器にレシピを登録することができる。また、調理機器にはブラウザやタッチパネルなどの機器を搭載する必要がなく、調理機器のコストを低減することができる。
図249のS9502の図246の9227以降の図を用いて詳細を説明する。
使用者がLOCKを解除した場合(9227a:YES)、モバイル機器は元の画面(ここではTV画面)に戻る。
使用者がLOCKを解除せず(9227aのNO)、使用者がこの画面をレコーダに記録したいと考えた場合(9227bのYES)、使用者はMOVEボタンを押しながら図245Aの方向から図245Bの方向にモバイル機器の方向を向ける(9227c)。
モバイルの3D方向センサにより、向いている3D方向にある機器を3D座標より検出し、機器(レコーダ)と接続する(9227d)。このとき、モバイル画面上には図9227eが表示される。
9227eの状態で使用者がMOVEボタンを離した場合(9227f)、モバイル機器は機器(レコーダ)に対して現在表示している番組の録画要求を送信し、モバイル機器の画面は図9227gが表示され、レコーダはモバイル上に表示されている番組の録画を開始する。
さらに、使用者がモバイル機器を図245のBの方向から、図245のAの方向に向け直した場合(9227h)、モバイル機器には図9227iが表示される。
ここで、図245を用いて、本願の効果を述べる。図245において、実線の矢印は、モバイル9001を正面からTVやレコーダや電子レンジに向けた場合にモバイルが向いている方向をA、B、Cで示している。そして、点線は、モバイル端末9001をTV、レコーダ、電子レンジの背面、つまり後側から向けた場合のモバイル端末の向いている方向を表している。ゲーム等に用いられている従来の単なるモーションセンサを用いた方式では、モバイル端末9001をTVの正面から向けた場合、方向Aから方向Bは左側、つまり反時計回りに回るため、操作者の意図通り、TVからレコーダに切り替わる。しかし、モバイル端末9001をTVの裏側から方向AのTVから方向Bのレコーダに向けた場合、モバイル端末は、正面の場合とは逆の時計回り方向に回転するため、モーションセンサだけでは、TVから電子レンジに向けたと判断して電子レンジを選択しモバイルの画面に電子レンジを表示するため、操作者の意図とは反した誤った動作をする。
しかし、本発明では、3DマッピングによりTV、レコーダ、電子レンジの座標がNFCとサーバにより事前に登録されている。また、モバイル端末は自分の3D座標情報を持っているため、広い部屋の中央においてあるTVの裏側にモバイル端末を移動させ、点線の矢印で示すように方向AのTVから方向Bのレコーダに時計回りにモバイル端末を回転させても、TV、レコーダ、モバイルの3D座標情報と、モバイルが向いている方向から、レコーダを選択して表示し、モバイルの画面にレコーダを表示せるとともに、レコーダにリンクする。こうして誤動作が起こらないという本発明の独特の効果がある。
また、一般的な家庭の家の中には数十点の家電製品がある。本発明では家の中の家電製品にタッチしNFC通信を行うとき、5〜10cmの距離範囲内にモバイルと家電製品がある。もし、モバイルが正確な位置情報を持っていれば、5〜10cm以内の精度で、位置情報がサーバに送られる。つまり、本発明により家の中の数十点の家電製品が位置測定の基準点になる。建物内で正確な位置情報を得る場合、基準を設定するための基準点がないという課題があった。しかし本発明では家電製品の多くが基準点になるという大きな効果がある。
(複数の伝送路を持つ通信方式における位置情報の入手方法)
図256を用いてMIMOのように、複数のアンテナを用いて複数の伝送路を確保し、伝送する通信方法がある。この方法において親機9306とモバイル端末9308が通信する場合に位置情報を得る方法を述べる。親機9306は伝送路9308a、9308b、9308cの3つを用いてモバイル端末9308と交信する。実際の伝送路は3X3の9本であるが省略する。この場合、MIMOのようにモバイルはステップ9307gまで伝達関数Aを図の式を用いて求める。固有ベクトルXやWi、固有値λ等の伝送情報を求めて、通信を行う。このとき9つの伝送路は、それぞれ異なる固有ベクトル、位相や振幅の特長を持つ。ステップ9307aで、この伝送路の特長を抽出し、ステップ9307bで電波強度を求め、ステップ9307cでモバイルが持つ、自分自身の3Dの座標情報、モバイルの方向の状態にあるときの伝送特性9307dと電波強度9307eを3D座標、方向情報とともにサーバ9302に送る(ステップ9307f)。
図257に移り、サーバではステップ9350でモバイルの特定時間の3D座標とモバイルの方向と伝送特性(伝送路の伝達関数、固有値、固有ベクトル)、強度をパターン化し、ステップ9351aに示すように、各3D座標1、2、3に対応した伝送パターン9352a、9352b、9352、具体的には、例えばAAA、ADA、CABとパターンを圧縮して、3D座標空間にマッピングしていく。そして、ステップ9353aでサーバの3D座標位置のデータベースに記録する。この場合、モバイルの一定時間内の移動時の伝送情報の変化の特長を記録してもよい。
こうして、サーバのデータベースに伝送情報が記録される。この場合、個人ごとに異なるモバイル端末9308の伝送データを記録する。精度が低い位置情報をモバイル端末が送ってくるが、入力された伝送情報のデータを何度も学習させることにより、さらに位置精度を高めた伝送データをデータベースに記録することができる。
この状態でステップ9353bのようにモバイル端末が現在の位置情報を得るため、現在の伝送データを送ってきた場合、ステップ9353cで、サーバでモバイルから送られてきた伝送パターンとサーバのデータベースに記録された伝送パターン、例えば、“AAA”をパターンマッチング方式で探す。ステップ9353dで、もし、モバイル端末から送られてきたパターンに近いパターンと強度の候補データがあった場合で、かつ、こう補が1コの場合(ステップ9353e)は、サーバはデータベースから、そのパターンが該当する3D座標の位置情報をモバイル端末に送る。
しかし、候補が1コでない場合はステップ9353hに進む。この場合、図257に示すように、AAAの伝送パターンが、9355a、9355b、9355cと3カ所に存在する場合がある。この場合、ステップ9353hでモバイル端末の持つ精度の低い3D座標9357を用いて、候補のデータをモバイルの近傍にある候補のみに絞り、フィルタリングすることにより、候補数を減らすことができる。この結果、もし1コにならなければ、ステップ9353fで、モバイルの持つ精度の低い3D座標を使うように指示する。もし、1コになれば(ステップ9353i)この伝送パターンに該当する3D座標をモバイルに送る(ステップ9353j)。
モバイル端末9308は、部屋内では衛星からのGPSの位置情報の精度がとれない。このため、3軸の振動ジャイロや加速度センサ、磁気センサを用いて、部屋内のモバイル端末の位置検出を行う。しかし、基準点から離れるに従って差が累積するため、精度が落ちる。
しかし、本発明のMIMO等の複数の伝送路を使う方式の場合、伝達関数等のパターンの数が増える。このため、1つの伝送路に比べると部屋の中に多くの伝送パターンが存在する。このパターンは、λ/2移動すると変わる。逆にいうと、伝送路の特徴を抽出したパターンがわかれば、λ/2の高い精度で位置検出ができるという効果がある。例えば1GHzの場合、15cmの精度で検出できる可能性がある。この方式の問題点は、同じ伝送パターンが1つの部屋に複数存在する可能性があることである。しかし本発明の場合、モバイル端末は位置検出部を持っているため、この精度の低い位置精度情報から、誤ったパターンを排除できる。このため、高い精度の位置情報を得ることができる。
また、MIMOでは複数のアンテナのビームの方向を変えることができる。モバイル端末と親機のビーム方向を変えると、受信機の伝送路の強度など、例えば受信信号のレベルを変えることができる。モバイル端末を移動させることにより、伝送路の状況が変わるため、親機の3D座標位置がわかっている場合、モバイルの位置を演算することもできる。
以上のように、本発明によれば、携帯電話やスマートフォンなどの携帯機器(通信装置)を用いて、携帯機器のRFIDとGPSやモーションセンサなどの各種センサを利用して、携帯機器が簡単にマルチリモコン、家電コンテンツダウンロードなどの拡張ユーザインタフェースを実現することができる。
(実施の形態23)
本発明の実施の形態23について述べる。
図258は、自宅など一般的な家のフロアと、その中でモバイル機器を持った使用者が、フロア内を移動した場合の処理に関係する機器の例を示した物である。宅内にはテレビ(TV−A、TV−B)などの家電機器が各部屋にあり、使用者の居場所は、モバイルの保有する宅内の位置情報である座標値を把握する技術により判明し、テレビの座標値も登録されているため、使用者が寝室でテレビ(TV−A)を制御する場合は、モバイル機器をテレビの方向を向けてテレビの制御に必要なコマンドを送ることで制御が出来る。図258において、モバイルが位置を把握する為に利用する宅内のマップ情報は、モバイルが保有していても良いし、SEG(401c)のような宅内サーバに保有していても良いし、インターネットで接続されたサーバでも良い。宅内サーバはモバイルの公衆網を経由するか又は、無線LANアクセスポイント(401e)を経由してモバイルと接続される。好ましくは、宅内サーバに保存してあれば、インターネット回線が接続されていない状況でも、モバイル機器にマップ情報を提供できる。また、モバイル機器の保存領域を必要以上に使用せずにマップ情報を管理することが出来る。
まず、モバイル(401a)を持った使用者が、建物(自宅等)の周辺(401g)に近づいたところから、モバイルが建物内でのモバイルの位置をモバイルの保有するセンサを用いて検出する処理の流れを説明する。
図259建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、開始して、ステップ402aでモバイルがモバイルの有するGPSセンサ、又は宅内の無線電波を検出する機能が起動中であるかどうかを確認し、起動中の場合(Yes)、ステップ402cへ進み、GPSで検知したモバイルの現在地座標が、予め登録された建物の近傍であるか、又は無線LAN等の建物内の機器が発する電波を検出することで、自宅周辺にいることを検出した場合(Yes)、ステップ402dへ進む。ステップ402cでNoの場合はYesになるまで繰り返す。ステップ402aでNoの場合はステップ402bへ進み、使用者が、建物(自宅前)の玄関でモバイルのUI上で、屋内での位置検知を開始することを現す「屋内位置検知モード」を選択、ステップ402dへ進む。ステップ402dで角速度センサ,地磁気センサ,加速度センサが起動していなければ起動し、ステップ402eに進む。ステップ402eでクラウド上のマップ管理サーバ、もしくはSEG(宅内にあるサーバ等)からマップ及び基準点情報が入手可能であれば(Yesの場合)、ステップ402fに進み、マップ及び基準点情報取得を取得する。
なお、モバイルが十分なストレージを持つ場合は、マップや基準点情報をモバイル内部に保有していてもよく。保存や入手場所は問わない。また、SEGやクラウド上のサーバにマップと基準点情報を置いたまま、モバイルがモバイルの保有センサによるセンシング結果を用いてSEGやクラウド上のサーバに問い合わせることで、モバイルがマップや基準点情報を保持している状態と同様の処理をネットワーク経由で実現しても良い。
また、モバイルの位置に応じてマップや基準点情報を、モバイルの位置の周辺部分だけに限るなど、部分的にモバイルに取り込みつつ利用しても良い。
ステップ402eでNoの場合は、ステップ402gへ進み、あらかじめ設定された特徴的な変化パターン(予め測定された角度変化の繰り返しによる引き戸、垂直方向の加速度変化による階段等)を検出(Yesの場合)し、ステップ402hに進み、モバイル内部に「類似する特徴の変化パターン」が登録されていれば、丸1(図260)に進む。ステップ402gでNoの場合はYesになるまで繰り返す。
なお、ステップ402gでの特徴的な変化パターンとは、例えば3秒以内に階段を3段上ったことをZ軸(垂直)方向の加速度の上方へのGの変化を検知することから認識し、玄関の床の高さに達したと判断する。さらにその先例えば5秒以内に、角速度センサでYew方向の向きが90度変化するという検知結果から人間が玄関の方向を向いたと判断する。
この場合玄関ドアを開けるいつもの動作であると認識することで玄関ドア近傍の基準点にモバイルがあることが認識できる。この時に例えば5秒間使用者が略々静止状態を続けた場合は、玄関の鍵を開けていると判断する。この玄関の前の位置の座標情報がサーバもしくはモバイルにあれば、座標情報を用いてモバイルの位置情報を書きかえる。ここで外部のGPS情報の緯度.経度の絶対座標系から家内の相対座標系に切り替える。相対座標系に切り換えることにより、緯度経度への座標変換処理が不要になるとともに、変換誤差を少なくすることができる。
玄関ドアにRF−ID(NFC)方式の錠がついている場合
本発明のRF−IDには座標情報と座標精度評価点のVsが錠もしくはサーバに記録されている。タッチした時点ではモバイルと錠のアンテナ部の距離は5cm以内である。このため、もし、モバイルの持つ座標の座標精度評価点VmよりVsが評価点が高い場合は、錠の座標データをモバイルの座標情報に置きかえる。もしVsの方が高い場合は置きかえない。座標精度評価点により、本発明ではエアコンやTVのRF−IDもしくは対応するサーバに座標情報と、その座標精度評価点が記録されているため、タッチする度に精度が高い方の座標情報と高い精度評価点に書きかえられていくため、タッチする度に各機器の座標精度が向上していくという効果がある。
図260建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、ステップ403aで変化パターンから、対象となる基準点(例えば玄関等)を特定し、基準点の座標値(任意の基準点を初期位置とした相対座標、緯度経度、海抜に基づく絶対座標値等)を取得し、ステップ403bで、モバイルの現在位置を基準点としてモバイル内部で保存してある現在位置情報を上書きし、ステップ403cで角速度センサ,地磁気センサ,加速度センサを用いて基準点からの移動情報の計測を開始し、ステップ403dで、基準点からの移動情報により現在座標を3D位置として特定することを繰り返し、ステップ403eで、基準点からの移動情報により、現在座標がマップ上の階段やエレベータなどによる明確な上昇行動を伴わない状態であったかどうかを判定し、ステップ403fでモバイルに所有者の身長が設定されているか、またはサーバ(SEG、クラウド上のサーバ等)から取得できた場合はその高さを用い、所有者の身長情報が取得できなかった場合は、例えば170センチといった国や地域による平均身長情報を、SEG、サーバ又は端末内のプリセット情報から取得し、身長情報を超える位置に座標が来た場合は、身長情報以内になるように補正し、丸2(図261)に進む。
なお、ステップ403cにおいて、角速度センサ、地磁気センサ、加速度センサを用いることで、使用者の移動量を計測し、3D位置を特定できるが、さらに音センサ、気圧センサなどによって、特定の音のする場所や階数を判定することで位置特定の制度をさらに上げることも可能である。
また、モバイル機器のセンサを建物の外と中の両方でONにし続けることに比べ、本実施例で示す例のように建物の近傍を検出し、宅内での位置特定に必要なセンサをその時点でONするようにし、建物の近傍ではない所にいるときは、他の用途で必要ないばあいはスリープモード、又はOFFにしておくことでモバイルの省電力化を実現できる。
さらに、建物内のマップから、直線移動しか出来ない通路など、マップ上で直線部の時は角速度センサを切るか、又はスリープモードにする。もしくは、地磁気センサを使用して方向を求める。そして、曲線部、もしくはルート上の分岐点の手前で角速度センサをONにする。例えば現行の一般的なモバイル向け3軸角速度センサは約5mA〜10mA消費するが、こまめにON,OFFすることにより電力消費を削減できる。さらに、現行の一般的な地磁気センサは、約1mA近辺となり、角速度センサに比べて消費電力が少なく、角速度センサが必要なほど高精度の角速度検出、姿勢検出が必要ない時は、地磁気センサのみで姿勢を判定することで消費電力の削減効果を期待できる。
図261建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、ステップ404aで、マップ情報に予め、リビング、寝室といったエリアを示すエリア情報(座標値)が設定されていれば(Yesの場合)、ステップ404bに進み、モバイルに保存されたマップ情報を参照し、マップ上のエリア情報(部屋を示す情報)を取得し、ステップ404cで、モバイルの座標とエリア情報からモバイルの存在する部屋を特定(X1、Y1、Z1<Xm、Ym、Zm<X2、Y2、Z2)し、ステップ404dで、モバイルの画面に特定された部屋名(リビング等)を表示し、ステップ404eで、モバイルに保存されたマップを参照しモバイルの先端が向いている方向ある制御可能な機器を取得し、ステップ404fで、取得した機器に対して、モバイルがいる部屋と同じ部屋に設置された機器かどうかを、予め設定された機器の取り付け位置の座標値から判定、又は予め設定されている部屋名がある場合はその情報から、判定し、ステップ404gで、モバイルと同一の部屋の機器に対して枠の色などの表現を変えることで、モバイルと同一の部屋の機器と、そうでない機器を分けるUIとして、機器リストを使用者へ提示し、丸3(図265)へ進む。ステップ404aで、Noの場合、ステップ404hへ進み、モバイルに保存されたマップを参照しモバイルの先端が向いている方向ある制御可能な機器を取得し、404iで、機器リストを使用者へ提示し、丸3(図265)へ進む。
このようにモバイルがどの部屋にいるかを認識することで、モバイルが向いている方向に、異なる部屋にある2つのテレビが置かれていた場合に、モバイルの使用者がいる部屋のテレビが制御できるようにすることが可能となる。
図262は3Dマップ上の部屋のエリアを表す情報の例を表す図である。
部屋の形が複雑で単一の立方体でない場合は、複数の立方体の組み合わせで一つの部屋として設定する。
図262は基準点の近傍でのモバイルの挙動を示す図である。
図に示すとおり、角速度センサがスリープ状態(406b)であるモバイル(406a)が、基準点の3メートル以内に入ったことをモバイルが検知した場合、より高精度な基準点の検知をするため、モバイルの角速度センサがON状態(406c)になる。基準点の近傍に入るまでは、例えば加速度センサと地磁気センサによって、一つ前に通過した基準点からの移動量計測結果を持ち言って、マップ上から認識する。
図264はモバイルの進行方向で高精度に検知したい場所を示す図である。
例えば図に示す寝室からみて、玄関とリビングの両方の入り口が直線方向にそれほど離れずにあった場合など、マップ上、歩行時に曲がったことを高精度に検知できないと、現在位置が部屋の単位で異なってしまうようなマップマッチングが難しいポイント(407b)の近傍(例3メートル以内)にモバイルが入った場合、角速度センサを一定時間(10秒間)起動することで、マップマッチングの精度を高める。
図265建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、ステップ408aでモバイルの現在座標値を取得し、ステップ408bで、マップを参照し、周辺3m以内に基準点またはマップ上の注意点がある場合(Yes)、ステップ408cへ進む。ステップ408bで、Noの場合、ステップ408aへ戻る。ステップ408cで、基準点または注意点の近傍で使用すべきセンサのリストを参照し、ステップ408dで、対象となるセンサの情報「角速度センサ」と時間情報(10秒、到達後5秒)を取得し、ステップ408eで角速度センサのスリープモードを解除し、計測開始しステップ408fで、基準点または注意点に関するセンサの検知結果のパターンを検知した場合(Yes)、ステップ408gへ進み、ステップ408gで、指定時間5秒経過(Yes)で終了。ステップ408gで、Noの場合はYesになるまで繰り返す。ステップ408fで、Noの場合は、ステップ408hへ進み、ステップ408hで10秒経過の場合(Yes)、408iに進み、ステップ408iで時間内発見率をカウント(−1回分)し、ステップ408jで、リスト上の時間情報を延長し上書きする。サーバから取得したリストの場合は、サーバに通知して上書きし、ステップ408aへ戻る。
図266は基準点及び注意点の近傍でのモバイルの挙動を示す表である。
図266に示す表(409a)では、マップ上の基準点や、例えばマップマッチングのミスが置きやすいポイントである注意点の近傍において、基準点や注意点の特徴に応じて、モバイルが起動すべきセンサを優先度順に記載していることと、起動時間と、基準点又は注意点を検知した後起動し続ける時間が記載されており、より高精度な基準点又は注意点の検知を行う。さらに、基準点又は注意点の近傍に入って、表にあるセンサ起動してからの起動時間内に基準点又は注意点を発見できたパーセントを示す時間内発見率と、マップマッチングをした後の、その後のセンサデータから実際の位置とマップマッチングした結果が異なっていた場合の比率を示すミス率を記載しておく。これにより、時間内発見率が低い場合は、起動時間を長めに設定し、時間内発見率が高い場合は起動時間を低めに調整することで、センサの起動時間を少なくし、省電力化を実現できる。また、マップマッチミス率が高い場合は、センサの起動時間を長めに取る以外に、近傍を認識するときの距離である近傍とする距離を伸ばす(3メートル→5メートル)ことで基準点又は注意点の発見精度をあげることが出来る。マップマッチミス率が低い場合は、近傍とする距離を短くすることで、センサの起動時間を少なくし、省電力化を実現できる。
図267建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、開始し、ステップ410aで、モバイルがGPSで自宅周辺の座標を検知又は、自宅無線LANのアクセスポイントを検知又は、自宅であらかじめ計測した時に取得した自宅周辺の無線LANのアクセスポイントのどれかを検知したかを判断し、Noの場合モバイルは検知するまで待ち続ける。Yesの場合、ステップ410b家に入る時の基準点を検知するためのセンサを図268に示す基準点を検知するためのセンサの優先度を表すリストである基準点検知センサ優先度リストから取得し、ステップ410c加速度センサの場合、登録されている加速度の検知パターン(例、3段分の階段)を検知するZ軸方向のGを検出した場合、あらかじめ登録されている基準点の座標値にいると判断しモバイルに座標値をセットし、丸4(図269)に進む。
なお、この時、410cの処理に加えて地磁気センサのデータから進行方向軸(X軸)のG(加速度)と地磁気センサにより階段の向きを検知し、過去に検知するなどしてマップ上に登録された階段の方向と同じかどうかを判断し、同じでない場合は対象となる基準点である階段ではないと判断してもよい。
図268は基準点を検知するためのセンサの優先度を表すリストである。
リスト(411a)に示すように、基準点の種類によって、起動すべきセンサの優先度が異なり、例えば、玄関ドアの検知においては、音センサによって鍵穴の音の類似性を検知することで正確な判定をすることができるが、リビングのドアは静かで床の高さが一段上がるので、加速度センサによる上方向の移動検知のほうが優先度が高いといった差がある。
このリストを使用し、上位2つのセンサを常に起動し、判定率が低い場合は上位3つにし、判定率が高い場合は上位1つのみ使用することで、基準点の特性に応じて、起動すべきセンサを変えることで、必要十分なセンサを用いた判定を行い省電力化および、検出精度の向上を実現する。
図269建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、例えば、ステップ412aで、Z軸の−(マイナス)方向の加速度成分が多い場合(Yes)は、ステップ412bへ進み、階段を登っていると判断し、ステップ412cで階段の歩数nをカウントし、ステップ412dで、無線LANの複数のアクセスポイントの電波強度や位相に応じて位置を求め、複数の階段の中から階段Aを特定し、ステップ412fで、サーバもしくはモバイルのメモリーから得た階段Aの階段数mに達した場合もしくは気圧センサが一定気圧に達した場合(Yes)は、ステップ412gへ進み、階段を登り切ったと判断して、その場合のサーバから得た階段登り段の座標と、その座標精度評価点:Vsを得て、丸5(図270)へ進む。ステップ412fで、Noの場合は、ステップ412cへ戻る。ステップ412aで、Noの場合は、ステップ412hへ進み、ステップ412h で、Z軸の+(プラス)方向の加速度成分が多い場合(Yes)はステップ412iへ進み、階段を降りていると判断し、ステップ412kで、階段の歩数をカウントし、ステップ412mで、無線LANの複数のアクセスポイントの電波強度や位相に応じて位置を求め、複数の階段の中から階段Aを特定し、ステップ412nで、サーバもしくはモバイルのメモリーから得た階段Aの階段数mに達した場合もしくは気圧センサが一定気圧に達した場合(Yes)は、ステップ412pへ進み、階段を下り切ったと判断して、その場合のサーバから得た階段下り段の座標と、その座標精度評価点:Vsを得て、丸5(図270)へ進む。ステップ412pで、Noの場合はステップ412kへ戻る。
図270建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、ステップ413aで、モバイルが測定した座標情報の座標精度評価点:Vmを取り出し、ステップ413bで、VsよりVmが高いつまりサーバの座標情報の方がより正確な場合(Yes)は、ステップ413cへ進み、モバイルの座標情報をサーバの座標情報に置きかえて、ステップ413gで、階段における基準点の座標情報の設定を完了、丸2(図261)へ戻る。ステップ413bで、Noの場合、ステップ413dへ進み、モバイルの座標情報をサーバの座標情報に書きかえないで、ステップ413eで、サーバの座標情報の自動書き換えフラグがONの場合もしくは、画面に「書きかえてよいか?」との表示をして使用者がOKした場合(Yes)は、ステップ413fへ進み、サーバの座標情報をモバイルの座標情報で書きかえて、ステップ413gで、階段における基準点の座標情報の設定を完了、丸2(図261)へ戻る。ステップ413eで、Noの場合は、ステップ413gで、階段における基準点の座標情報の設定を完了する。丸2(図261)へ戻る。
図271は加速度センサによるZ軸(垂直)方向の検知データをあらわす図である。
図271の414aに示すように、階段を上っている場合は、上り方向である、Z軸(垂直)方向に対してマイナス方向の加速度が強く周期的に検出される(414a)。階段を下っている場合は上り方向である、Z軸(垂直)方向に対してプラス方向の加速度が強く周期的に検出される(414b)。歩行時は上下方向に対してほぼ同じとなる(414c)。図271のグラフは、より分かりやすく説明するため、加速度センサにおいて定常状態で計測される重力成分を除いた状態での例として記載してある。
図272建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、開始し、ステップ415aで、モバイルがGPSで自宅周辺の座標を検知又は、自宅無線LANのアクセスポイントを検知又は、自宅であらかじめ計測した時に取得した自宅周辺の無線LANのアクセスポイントのどれかを検知したかを判断し、Noの場合モバイルは検知するまで待ち続ける。Yesの場合、ステップ415bで、家に入る時の基準点を検知するためのセンサを基準点検知センサ優先度リスト()から取得し、ステップ415cで、取得結果が音センサの場合、セルラー網または無線LAN、BTなどの近接無線により予め登録された、建物(自宅)内に入るモバイル(例えば家族)にアクセスし、建物(自宅)の近くにいるかどうかを問い合せて、ステップ415dで、近くに家族などの建物に入って位置検知サービスを受けることが許される使用者のモバイル機器がある場合は、座標値を問い合わせ、取得した座標値が自機器よりも基準値に近いかどうかを判断し、近い場合は、ステップ415fに進み、基準点検知センサ優先度リストを確認し、音以外の検知方法を選択し、ステップ415gで、選択した検知方法により基準点にモバイルが移動したことを検知し、基準点の座標値をモバイルにセットし、丸6(図273)へ進む。ステップ415dで、遠い場合は、ステップ415eへ進み、あらかじめ入力してある音(ドアノブの音、カギの音)と一致した場合、基準点であると判断して基準点の座標値をモバイルにセットして、丸6(図273)へ進む。
図273建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、ステップ416aで、一定の時間(10ms)ごとに基準点からの移動量を加速度、角速度センサ、地磁気から算出しつつ自立航法により想定座標値をモバイル内部に登録しつづけて、ステップ416bで、Z軸加速度の検知結果から歩行を認識し、足が床についた瞬間の時刻を取得、対象となる時刻の音を1つ又は複数取得し、音に変化があった瞬間を検知し、ステップ416cで、変化のパターンがフローリングから絨毯といったあらかじめ登録された部屋の違いから来る音であるかどうかを比較し、類似している場合は、ステップ416dへ進み、地磁気角速度センサから進行方向を割り出し、進行方向に現在登録されている現在地情報である座標値から直線を引いた交点に座標を修正(又は、最も近い所に修正してもよい)し、丸7(図274)へ進む。ステップ416cで、類似していない場合は、丸7(図274)へ進む。
図274は加速度Z軸(垂直方向)の検知データと歩行者の関係を表す図である。
417aに示すように、加速度によって歩行の状態を検知することが可能であり、足を床に着いた時刻(417b、417c)を取得することが出来る為、その時刻を元に足音となる部分の音のみを抽出することが可能となり、より効果的に足音の違いを検知することが出来る。417dに示すように、フローリングのリビングから洋室の絨毯に移動した場合、足音の変化ポイント417eの時刻が、リビングと洋室の境目(417f)を通過した瞬間であると判断し、マップを元にモバイルの座標値を補正することが出来る。
図275は建物内での移動の例を表す図である。
モバイルが基準点(418a)を検知し、TV−Aに至るまでには曲がった量(418b)と基準点(418a)の座標値のマップ上の精度とから、TV−Aの座標値の精度を算出することができる。より具体的には曲がった量(418b)が多かった場合は、TV−Aの地点でモバイルが認識している座標値の精度は低く、曲がった量(418b)が少なかった場合は精度を高く設定し、基準点の制度情報を登録する。
同様に、TV−AからTV−Bまでの移動においても、TV−A自体の座標値の精度情報と曲がった量やZ軸移動量(418c)の情報とを用いて、精度を計算し、制度情報を登録する。
図276はモバイルが移動した基準点から次の基準点までの道程の情報を表す図である。道程の情報(419aの表)には、直近に通過した基準点の精度情報である元基準点精度情報と、移動量、加速度センサで算出した歩数情報、角速度センサ、地磁気センサで算出した曲がった量の総量、経過時間、上下方向のZ軸移動量の総量があり、これらの値の大小から、現時点のモバイルの座標の精度評価点(座標精度評価点)を算出する。
図277は元基準点精度を説明する図である。420aの表のとおり、それぞれの玄関などの基準点A、TV−A,TV−Bなどの基準点とその座標の精度情報を登録してある。図277の例のように、TV−Aの座標精度評価点は、基準点Aの座標精度評価点と道程1(420b)から決まり、TV−Bの座標精度評価点は、TV−Aの座標精度評価点と道程2(420c)から決まる。この情報はマップ情報として常に保存し、更新し続ける。更新のタイミングはモバイルがその基準点に来た時に行っても良いし、一定以上情報を蓄積して、10回分の計測データである座標値の平均を取るなど統計的な手法を元に実施しても良い。
図278建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、ステップ421aで、基準点を検知し、ステップ421bで、モバイルの現在座標値を基準点の座標値に置きかえて、ステップ421cで、道程リストの元基準点として対象基準点の座標の精度を示す座標精度評価点情報を基準点情報から取得し、ステップ421dで、角速度センサ、地磁気センサ、加速度センサから移動情報を計測保存し、ステップ421eで、新しい基準点に到達又は、何らかのRF−ID機能を持ったデバイスにモバイルをタッチすることで通信?Yesの場合はステップ421fへ進み、基準点情報又はデバイス情報取得し、ステップ421gへ進み、座標精度評価点を基準点情報又はデバイス情報を用いて取得。取得方法は、RF−ID機能を搭載した家電機器など基準点に置かれたの機器に対してモバイルをタッチする動作と同時、サーバ(SEG等)に問い合わせることでの取得、モバイル内部から取得のいずれかを利用、丸8(図279)へ進む。ステップ421eで、Noの場合は、ステップ421dへ戻る。
図279建物内でのモバイルの位置を測定する処理を示すフローチャートを解説すると、ステップ422aで、道程情報から座標精度評価点を算出し、ステップ422bで、モバイルが算出した座標精度評価点のほうが、元の座標精度評価点より高い数値の場合(Yes)は、ステップ422cへ進み、基準点又はデバイスの3D座標情報と座標精度評価点を上書きする。ステップ422bで、Noの場合はステップ422dへ進み、基準点又は対象デバイスの3D座標情報を取得し、ステップ422eで、モバイルの現在座標値を上書きする。丸2(図261)へ戻る。
次に図271と図272を用いてエレベータに対する位置検知方法について記載する。図271を説明すると、ステップ423aで、エレベータの位置に来た場合(Yes)は、ステップ423bへ進み、Noの場合は繰り返す。
ステップ423aで、エレベータに入った場合(Yes)は、ステップ423cへ進み、Noの場合は繰り返す。
その建物内で複数台のエレベータが並んでいる場合は、各機内性能が異なるため、ステップ423cで、位置情報から、何番目のエレベータかと階数を判断し、ステップ423dで、該当するエレベータの「特性情報」をサーバから入手するn階からm階までの上昇時もしくは下降時の所要時間情報、Tsや負荷変化特性の情報と各階の床面の絶対もしくは相対高さ情報と各階の出口ドアの位置情報を入手し、ステップ423eで、Z軸の上下の加速度を計測し、ステップ423fで重力方向と同一方向の加速度が増加もしくは気圧が下がった時、上昇を開始したと判断して経過時間の測定を開始し、ステップ423gで、重力方向と同一方向の加速度が減少した時もしくは気圧の下降が止まった時、上昇を停止したと判断して経過時間の測定を停止して、経過時間TAを算出し、ステップ423hで、上昇開始階と経過時間TAと該当エレベータの前記所要時間情報から「n階からm階までの所要時間」の情報を得て「到達した階数」を求め、ステップ423iで、エレベータの外の位置に移動した場合(Yes)は、丸9(図281)へ進む。
ステップ423iで、Noの場合はステップ423eに戻る。
なお、エレベータが下降したことを検知する場合は、加速度、気圧ともにエレベータ上昇時の逆のデータが検知される。このため、上記ステップと同様にして下降段数を算出する。
また、他の人の行動などによってエレベータが途中階で止まる場合は、上昇または下降を開始して途中で止まるまでの間の移動量を、最終的におりるまで、途中で止まるたびにプラスしていくことにより算出する。
図281を説明すると、ステップ424aで、前記の「到達した階数」の高さ情報もしくは階数情報をモバイルの現在の3座標情報のZ情報に記録し、ステップ424bで、歩数でエレベータのドアを出たと判断した場合(Yes)は、ステップ424cへ進み、Noの場合は繰り返す。ステップ424cで、サーバからもしくはモバイルのメモリに予め持つ該当階の出入口の位置情報とその座標精度評価点Vsを得る。これとは別にモバイルのセンサ等が測定した座標情報をもち、丸5(図270)へ進む。この場合、出入口の位置情報の座標精度が評価点Vsの方がモバイルの座標制度評価点Vmが高い場合は、モバイルの座標情報を出入口の座標情報に置きかえることにより、基準点を再設定することにより、モバイルがもつ座標精度を高めることができるという効果がある。この後、モバイルが移動する距離と時間が増加することに従がい、もし次の基準点設定をしない場合以外はモバイルの座標精度評価点Vmを徐々に下げてゆく。この下げ方はサーバからモバイル機種の特性に応じたプログラムをモバイルがダウンロードする。
エスカレーターに乗った場合は、平均的に安定したZ軸の上方向の加速度と平均的に安定した進行方向の加速度の双方が検出される。使用者が歩いて登らない限りこの加速度は極めて特徴的なパターンであるため、このパターンを検出することによりエレベータに乗り、上昇もしくは下降していることを検出して、下りた時点を歩数センサで検出することにより基準位置の再設定を行うことができる。
このようにして、エレベータにおいて到達した階数の情報及び高さ情報を取得することが出来る。
(実施の形態24)
本実施例では、NFCリーダー・ライターを搭載したモバイル機器、家電機器に搭載されるNFCタグと家電CPU、およびモバイル機器および家電機器の情報を管理するサーバに関して、モバイル機器で家電機器のNFCタグにタッチした場合の動作を、図286〜図291を用いて説明する。
図286を解説すると、家電機器に搭載された家電CPUは、ステップ951vでタグのメモリに家電に関するデータを定期的に記録する。これにより、モバイル端末から家電機器タグにアクセスした際、モバイル機器から読出し不可でありかつ、家電機器CPUからのみ読出し可能な家電機器内情報を、モバイル端末に送信することが可能となるという効果を得る。
ステップ951aで、モバイル端末が動作状態とする。
ステップ951bでモバイル端末上の家電機器操作アプリの起動を確認し、アプリの起動が完了した場合(Yes)、ステップ951cでモバイル端末上の表示装置に、”タッチして下さい”の表示がでるので、使用者は家電機器のタグにタッチする準備が整ったことを通知するという効果を得る。
ステップ951dで、使用者がモバイル端末のNFCリーダ・ライタを家電機器のNFCタグにタッチした場合(Yes)は、ステップ951eに進み、タグデータ読み出し要求を出し、ステップ951fでタグのメモリ内のデータを読み出す。
ステップ951gで、家電CPUへのアクセスが必要な場合(Yes)は、ステップ651hに進みCPUにアクセスし、ステップ951jでCPUへのアクセスが必要な情報を読み出し、ステップ651kでCPUの情報をタグのメモリに送るか記憶し、ステップ951mへ進む。これにより、モバイル端末から家電機器タグにアクセスした際、モバイル機器から読出し不可でありかつ、家電機器CPUからのみ読出し可能な家電機器内情報を、モバイル端末に送信することが可能となるという効果を得る。
ステップ951dで、Noの場合は再度繰り返し、ステップ951eへ進む。
ステップ951gで、Noの場合はステップ951mへ進む。
ステップ951mでモバイル端末にデータを送り、ステップ651nで、タグID、署名、鍵ID、機器型番、エラーコード、使用履歴(回数データ)、ログデータ、製造番号、家電の稼動状態(現在の状態)、URL、位置情報、展示モード識別子、などのデータを受けとる。
ステップ951qでモバイル端末が電波圏内の場合(Yes)は、ステップ951rへ進み、ステップ951rで、モバイル端末は、ユーザーID +タグID+署名+鍵ID+機器型番+エラーコード+使用履歴(回数データ)+ログデータ+家電の稼動状態(現在の状態)位置情報、展示モード識別子のデータを上記URLのアドレスのサーバに送り、ステップ951sで、サーバはモバイル端末から送信されたデータを受信する。
ステップ951qでNoの場合は丸11(図287)に進む。
図287を説明する。
ステップ952aで、モバイル端末は、タッチした家電機器から受信した機器型番に関するアプリケーションがある場合(Yes)、ステップ952iで、その機器型番に関するアプリケーションを起動する。これにより、機器型番と、機器型番に関するアプリケーションをモバイル端末が保持している場合は、モバイル端末が圏外でも、機器型番に関するアプリケーションを起動することが出来るという効果を得る。
ステップ952aで、Noの場合はステップ952bへ進み、一般用ローカル処理ルーチンを起動し、952cでタグより読み出したデータの一部を表示する。これにより、モバイル端末が圏外であったり、機器型番に関するアプリケーションを保持していない場合でも、タッチした家電機器から取得した情報を使用者に提示出来るという効果を得る。
ステップ952dでエラーコードが「エラー」を示す場合(Yes)は、ステップ952eへ進み、ステップ952eで、端末内に、エラーコードに関するエラー内容などを示す属性情報がある場合(Yes)は、ステップ952fに進む。
ステップ952eで、Noの場合は、ステップ952gへ進み、機器型番とエラーコードもしくはエラーを文字に変換した情報を表示し、ステップ952hに進む。これにより、エラーコードに関するエラー内容などを示す属性情報がモバイル端末内に無い場合でも、家電機器のエラー情報を使用者に提示することが出来るという効果がある。
ステップ952fで、エラーコードに基づきエラー内容を説明する情報を表示し、ステップ952hに進む。これにより、モバイル端末が圏外の場合でも、モバイル機器内部にエラーコードとエラー内容の対応情報を保持し、家電機器から取得したエラーコードからエラー内容に変換することにより、タッチした家電機器から取得したエラー内容を使用者に分かりやすく提示することが出来るという効果がある。エラーコードとエラー内容の対応変換を行う場合は、家電機器からタグを経由してメーカーコードもモバイル端末に送り、メーカー毎に、エラーコードとエラー内容の対応表を管理し、変換するとしても良い。もしもメーカー毎に機器共通エラーコードが定義されている場合は、家電機器からタグを経由してメーカーコードもモバイル端末に送り、メーカー毎のエラーコードとエラー内容の対応表を参照し、エラー内容に変換するとしても良い。これにより、モバイル端末に保持する必要のあるエラー数を減らすことが可能となると言う効果も得る。また、メーカーコードとそのメーカーの機器型番とエラーコードとエラー内容の対応表を管理し、エラー内容を変換するとしても良い。
ステップ952hで、もし、機器型番の問い合わせに関する電話番号もしくはEメールアドレス、URLがモバイル内に記憶されている場合(Yes)は、丸4(図289)のステップ954aへ進む。
ステップ952hで、Noの場合は丸10(図289)のステップ954bへ進む。
図288を説明すると、ステップ953aで、サーバもしくはタグの展示モード識別子がONの場合(Yes)は、ステップ953bへ進み、展示モードのメニュー画面をモバイル画面上に出す。
前記展示モードとは、家電機器が家電店舗の店頭に並べられている状態を示す情報である。家電機器の流通は一般に、メーカーで製造され、製造された一部の機器が倉庫に収められ、ランダムに選択された一部の機器が家電販売店の店頭にディスプレイされる。消費者は、家電販売店の店頭で、商品の使い心地を試したり、デザインを評価したりするが、次のような問題点がある。
ステップ953d以降は、モバイル端末で家電にタッチすることで、メーカーに対してユーザー登録を簡単に実現するためのステップである。消費者は、家電店舗で実物の商品に触れることが可能であるが、購入することが確定しているわけではない。もし悪意のある消費者が、消費者自身の保有するモバイル端末で、展示されている家電機器のタグにタッチすると、購入していない家電機器に対してユーザー登録が出来てしまうという問題がある。近年、メーカーにとってユーザー登録は、リコールが発生した場合に商品購入者を特定するための非常に重要な情報であるため、ユーザー登録をした消費者に対して、金銭的もしくは付加価値を提供することも多い。そのため、未購入機器に対してユーザー登録をしようとする悪意のある消費者は増える可能性があり、未購入機器に対するユーザー登録を防止する仕組みが強く求められる。ステップ953a、953bは、サーバもしくはタグの展示モード識別子を用い、展示モードである場合はユーザー登録を行わず、展示モードのメニュー画面をモバイル機器画面に表示することで、不正なユーザー登録を防止するという効果を有する。展示モードをサーバ上で変更、参照する場合は、家電機器に直接ふれる必要がないため、大量機器の一括変更や遠隔地の家電機器を制御することが出来るという効果がある。展示モードを家電機器内、または家電機器タグ上で変更、参照する場合は、例えば店舗に展示している家電機器それぞれに対して操作することが可能となる。
ステップ953aで、Noの場合は、ステップ953cへ進み、タグID+機器の型番により、DBを検索して機器登録(愛用者)済みかを判定し、ステップ953dで、機器の登録がある場合(Yes)は、ステップ953eへ進み、ステップ953eでユーザーID(モバイル)とサーバに登録されているユーザーIDが同一か、同一の家族IDの場合(Yes)は、ステップ953fへ進み、通常の機器型番に対応したメニュー画面を表示する。これにより、既にユーザー登録済みの家電機器の場合は、購入者に対して不要なユーザー登録画面を何度も表示させる必要がないという効果を有する。また近年、ほぼ1人1台以上のモバイル端末を保持しているため、例えば購入した洗濯機に対して、父親のモバイル端末を用いてユーザー登録を行い、母親のモバイル端末を用いて洗濯機のNFCタグにタッチした場合、同世帯で有ったとしても異なるユーザーが再登録要求したと判断してしまうと、ユーザー登録変更画面を表示してしまう。この課題に対して、ステップ953eのようにユーザーIDを家族IDとしても紐づけて管理しておき、同一家族であることを判別した場合は、正常にユーザー登録された状態であると判定し、購入者に対して不要なユーザー登録画面を何度も表示させる必要がないという効果を有する。
ステップ953dで、Noの場合は、ステップ953gへ進み、ユーザー登録画面を表示し、ステップ953hで、GPS等の端末の位置情報がある場合(Yes)は、ステップ953jへ進み、特定の地域にあるか?その機器(型番)が販売されている建物内にあるかどうかをチェックし、丸6(図291)へ進む。
ステップ953eで、Noの場合は丸5(図290)へ進む。
図289を説明する。
ステップ954aで、上記の電話番号,Eメールアドレス,URLを画面に表示し、ステップ954bで、サーバに接続して、情報のやりとりをするデータがある場合(Yes)は、ステップ954cへ進み、Noの場合は、ステップ954dへ進み、終了。
ステップ954cで、「圏内に移動する」ことを使用者に促がす表示をして、ステップ954eで、タグより読みとったデータをメモリーに退避させ「得る状態」にしておき、ステップ954fで、圏内に入った場合(Yes)はステップ954gに進み、Noの場合はステップ954cへ戻る。
ステップ954gで、タグもしくは、モバイルに記録されているURLのサーバーに接続して、ステップ954hで、ユーザー認証し、ステップ954jで、タグより読みとった情報そのものもしくは加工した情報をサーバーに送るか、サーバーから送られてきたアプリケーションに基づき処理する。
これにより、モバイル端末で家電機器にタッチした場所が電波圏外であったとしても、使用者が圏内に移動した後に、引き続きユーザー認証、ユーザー登録や変更、機器に対応したメニュー画面などを表示することができるという効果を有する。
図290を説明する。
ステップ955aで、GPS等により端末の位置情報が入手できる場合(Yes)は、ステップ955bへ進み、ステップ955bで、端末の位置情報とサーバーに登録されている位置情報が略々一致する場合(Yes)はステップ955cへ進む。
ステップ955cで、サーバーに「他のIDユーザーを使用してよい」ことを示す識別子が記録されている場合(Yes)は、ステップ955dへ進み、ゲストモードに入る。ステップ955cで、Noの場合は、ステップ955eへ進み、停止する。
これにより、家族以外の訪問客のモバイル端末上で、指定した家電機器に対してのみ機能を動作させることが可能になると言う効果がある。例えば、自宅に家族外の訪問客が訪問した場合などに際し、モバイル端末上でテレビリモコン機能を動作させることは訪問客に許可するが、洗濯機の洗濯履歴は家族外に見せたくない、という判断をした場合に、テレビに関しては、「他のIDユーザーを使用してよい」ことを示す識別子をONにしておき、洗濯機に関しては「他のIDユーザーを使用してよい」ことを示す識別子をOFFにしておけばよい。また、ゲストモードを定義することにより、洗濯機の洗濯履歴は家族外に見せないが、エラーコードだけはモバイル端末で表示することを許可するなど、一部の機能だけを訪問客に提供することが可能になると言う効果も有する。
ステップ955bで、Noの場合はステップ955fへ進み、ステップ955fで、「住所が変わったか?」「持ち主が変わったか?」の質問をモバイル画面に表示し、Yesの場合は、ステップ955gへ進み、住所変更メニューもしくは使用者変更メニューを表示する。
これにより、以前使用していた家電を持って引越を行った場合など購入時にユーザー登録していた住所が変わった場合に、ユーザーがユーザー登録を失念していた場合でも、自動的にユーザー登録を促すことが可能になるという効果を有する。
ステップ955fで、Noの場合はステップ955hへ進み、処理を続行する。
次に、家電機器が家電販売店で展示されている状況に関する実施の形態として、図291を用いて説明する。
ステップ956aで、該当地域にある場合(Yes)は、ステップ956bへ進み、Noの場合は、ステップ956cへ進み、ユーザー登録作業を行う。
ここで、当該地域とは一般的には家電販売店のフロアを示す空間情報であり、GPS情報などで構成される。当該地域であることの判別は、モバイル端末の位置情報を用いても良いし、店舗のビーコンを用いても良い。家電流通経路情報と現在時間を参照して店舗に存在すると判別しても良い。
これにより、家電機器の存在する場所が販売店に有る場合、販売店に展示された未購入商品を、悪意を持ったユーザーが不正にユーザー登録することを防止するという効果を有する。
ステップ956bでサーバとモバイル端末(ユーザーID)でユーザー認証し、ステップ956dで、ユーザー認証がOKの場合(Yes)は、ステップ956eへ進み、Noの場合はステップ956fへ進み、動作を停止する。
ステップ956eで、その販売店もしくはメーカー固有のパスワード入力を要求する。
ステップ956gで認証し、ステップ956hへ進む。
ステップ956hで認証がOKの場合(Yes)はステップ956jへ進み、Noの場合はステップ956kへ進み、停止。
ステップ956jで、パスワードが正しい場合(Yes)は、ステップ956mへ進み、Noの場合はステップ956nへ進み、停止。
ステップ956mで、展示モードに切りかえて、ステップ956pで、展示モード識別子をタグもしくはサーバーに記録してよいかを聞く。
ステップ956pで、Yesの場合は、ステップ956qへ進み、サーバもしくはタグの展示モード識別子をONにして、ステップ956rでその識別子情報をサーバに送る、もしくはかつタグのプロットされたメモリ領域に記録するために、識別子情報、パスワード、鍵情報を暗号化してタグに送って、ステップ956sで展示モードを継続する。
タグはステップ956tで受取った鍵、パスワードをタグの中の鍵を用いて認証して、ステップ956uで、認証OKの場合(Yes)は、ステップ956vへ進み、タグの中の展示モード識別子領域にONを意味する値を記録する。
ステップ956uで、Noの場合はステップ956wへ進み、停止。
ステップ956pで、Noの場合はステップ956sへ進む。
これにより、悪意のある客が店舗に展示されている家電機器の展示モードなどを、イタズラで変更することを防止することができるという効果を有する。また、悪意のある客が展示モードを不正にOFFにし、未購入商品に対する不正なユーザー登録を行うことを防止することができるという効果を有する。また、仮に展示モードが無い場合でも、機器が店舗内にあり、販売店もしくはメーカー固有のパスワード入力を要求することにより、未購入商品に対する不正なユーザー登録を行うことを防止することができるという効果を有する。
また、ステップ956mで展示モードに切り替えるとしたが、ユーザー登録作業を行うとしてもよい。これにより、未販売家電に対する不正ユーザー登録を防止するともに、家電販売店の販売担当者が、消費者の代わりに販売店舗の中でユーザー登録を行うことを可能とするという効果を有する。
図292は実施例23,34,25や他の実施例で説明しているタグに記録されている情報の属性を説明している。
(実施の形態25)
本発明の実施の形態25について述べる。図293に本実施の形態において想定しているモバイル端末5201、図294に本実施の形態において想定している家電機器5211について示す。本実施例では、モバイル端末5201と家電機器5211が近接無線通信を行う際に双方の機器のガイド機能を用いて簡単に近接通信モジュールを近接させる方法を示す。モバイル端末5201は前面部のほとんどが表示装置で構成されているスマートフォンのような端末を想定している。近接無線モジュールは背面に搭載されているものとする。家電機器5211は一般の家電のある部分に近接無線モジュールが搭載されている機器を想定している。さらに、その部分には何らかの目印となるものが付けられている。目印となるものは、丸や十字などの一般的な記号でもよいし、近接モジュールを表す特殊な記号でもよい。また、メーカーロゴや商品ロゴなどのもともとついているものを利用してもよい。
図295は本実施の形態におけるモバイル端末5201のモジュール位置を表示している状態の図である。本実施の形態のモバイル端末5201では、近接無線通信を用いる際に、背面に存在する近接無線通信モジュールのアンテナ位置を前面の表示装置に表示する。ディスプレイ表示の方法はアンテナ部形状にあわせてもよいし、一般的な記号をもちいてもよい。さらに、複数の表示方法を組み合わせて用いてもよい。なお、ディスプレイ表示の種別はユーザーが選択かのうであってもよい。本発明により、背面にモジュールの位置を表す表示を付けた場合にくらべて、モバイル端末5201の背面を見ながら近接無線モジュールを近づけていくという不便な動作を軽減することが可能となる。
図296は本実施の形態における家電機器5211のモジュール位置を表示している状態の図である。本実施の形態の家電機器5211では近接無線通信を用いる際に、ガイド表示を行うものとする。通常時はタグ位置は印刷されたマークであるが、家電機器5211側にモバイル端末5201に送信したいデータが発生した場合には、LEDなどを用いて明確にわかる表示を行う。表示する種別はモバイル端末5201と同様にさまざまな種別が考えられるが、基本的に近接無線通信モジュールを中心にして広がっている図形となる。本発明により、白物家電などのシンプルなデザインを損なうことなく、通信したいときは明確に近接無線通信モジュールの位置を示すことが可能となる。
図297は本実施の形態におけるモバイル端末5201と家電機器5211が近接無線通信モジュールを用いて通信を行っている時の状態図である。ユーザーは家電機器5211側に表示された表示の中心に向かって、モバイル端末5201に表示されたマークをあわせていくだけで、正確に近接モジュールを近接させることが可能となる。これにより、極めて簡単に近接無線モジュールの性能限界で通信を行うことが可能となる。本発明は、モバイル端末5201側、家電側それぞれで有効であるが、同時の用いることによりより一層の効果が期待できる。
図298は加速度計やジャイロを表示と連動させて用いる場合の図である。円形に広がっている図形以外を用いた場合には、モバイル端末5201の傾きにあわせて表示するものとする。これにより、ユーザは家電側に表示された図形に応じて、モバイル端末5201を好きな角度で近接させることが可能となる。一般に、モバイル端末5201は円形や正方形をしていないため、本発明は有効である。
図299は背面のカメラを連動させて用いる場合の図である。家電側にガイド表示をさせたとしても、モバイル端末5201で隠れてしまい、見えない部分が多くなる。カメラを用いて家電側のガイドをモバイル端末5201上に表示してやることにより、この問題を解決することが可能となる。モバイル端末5201は背面にカメラを搭載しているものが多いため、本発明は有効である。なお、カメラはモバイル端末5201の中心に搭載されているとは限らないため、表示する際には補正が必要となる。
図300はサーバと連動して、本発明を実現するアプリをダウンロードしてくる場合の図である。本発明はモバイル端末5201にアプリケーションダウンロードしてくることで実現可能である。アプリケーションダウンロードする場合には、モバイル端末5201からサーバへモバイル端末5201の型番が送信され、サーバはその型番よりモバイル端末5201の座標位置にあわせた値を入れてアプリケーションを配信する。各モバイル端末5201の近接無線通信モジュールの位置情報のデータベースをサーバは保有しているものとする。こうすることにより、様々な種別のモバイル端末5201に対応することが可能となる。なお、プレインストールでも本発明の効果はまったく変わることがない。
図301は本発明を実現するモバイル端末5201の機能ブロック図である。制御部は一般無線通信部を用いてアンテナ位置をしめす表示座標を取得し、表示座標保持部に記録する。近接無線通信部が近接無線通信を開始しようとすると、制御部は座標保持部から座標を取得し、アンテナ位置表示画像保持部から表示画像を取得し、ディスプレイ部の該当座標に画像を表示する。同時にカメラ部からの映像をディスプレイ部に表示してもよい。近接無線通信アンテナ部が家電の近接無線通信モジュールに接近すると、通信を開始する。
図302は家電機器5211の異常発生時のガイド表示に関する状態遷移図である。家電機器5211は異常が発生すると、赤色を表示させるものとする。ここで、異常とは故障などの緊急に近接無線通信の必要性をユーザーに通知したい状況を表す。異常の通知が完了すると青色を表示させるものとする。さらに、異常の度合いが低い場合、例えばフィルタ交換やファームアップデート要求などの場合には黄色を表示させるものとする。なお、色の表示はこの2色に限定されるものではない。また、警告音等でユーザ通知をおこなってもよい。
図303は長時間の通信を行う場合の図である。ファームアップデートなどの長期間の通信を行う場合には、ユーザに対して残り時間を通知するものとする。モバイル端末5201側でメッセージを表示させてもよいし、家電機器5211側の表示を用いてもよい。
図304はディスプレイ表示部をもつ家電機器5211のガイドを表示した時の図である。家電機器5211の近接無線通信モジュールは背面には設置されない。また、ディスプレイ表示部の上にも設置されない。そのため、ディスプレイ以外の部分に設置されている近接無線通信モジュールが解る表示を行う。十字などの表示でもよいし、矢印などで表示してもよい。
図305〜535は本実施の形態におけるフローチャートである。家電機器5211はイベントが発生した場合、もしくは一定の期間近接無線通信を行わなかった場合5201aにはサーバへの接続を試みる。インターネット経由での接続が出来る場合には5201bインターネット経由でサーバに情報を送信する5201k。そうでない場合には、近接無線通信を用いてサーバへの接続をするため、家電のアンテナの中心部に中心が配置された十字表示を赤色で表示(点滅)させる。異常系エラー以外の通常エラーでは別の色(例:青色)を表示する。ここで異常系エラーとは故障など通常動作では発生しないエラーのことであり、通常エラーとはエアコンのフィルタ交換などの通常動作をしていても発生するエラーのことである。エラーで無い場合でもサーバに情報を送信したい場合にはなんらかの形で表示してもよい5201c。エラーの場合には警告音を発生させる5201d。一定時間近接無線通信(タッチ)が無い場合には、ユーザーが近くにいないものと判断し、音をとめる5201f。さらに、点滅の間隔を長く、もしくは暗くする5021g。家電がもつ使用履歴からそのユーザーの機器の使用時間帯を推定し、その時間だけ点灯間隔を短くする5201h。さらに長時間タッチが無い場合には、再び音をだす5201j。タッチを検出した場合にはデータ転送を開始する5201l。ユーザが家電側の表示を見るもしくは音を聞いた場合5202a、モバイル端末5201のアプリケーションを起動する5202b。アプリは表示部に表示部裏側に配置されたNFCのアンテナ部の略々中心部に該当する表示部の該当部分を中心とした十字マークもしくは円マークなどのタッチ指示マークを表示する5202c。モバイル端末5201からアンテナを通して電波の送信を開始し5202d、同時に仕様車はモバイルのタッチ指示マークと家電のアンテナ表示マークを見てモバイルの位置を合わせようと試みる5202e。ポーリングを繰り返し5202g、一定時間内に通信が開始された場合には5202h、家電部の近接無線通信部のメモリ内のデータを読みだす5203d。一定時間通信が開始できない場合には5202h、いったん、ポーリングを終了し5202j、もう一度あわせてくださいとの表示を出す5203a。ユーザに再び位置合わせをしてもらい、それでも通信出来ない場合5203bには終了する5203c。データを読みだす際に最初に送られるデータから読みだすべきそうデータ量と家電側の通信速度を取得する5203e。通信状況からエラー率を計算する。サーバーに送ってもよい5203f。データ量と通信速度とエラー率から読み取りにかかる時間を計算する5203g。そして、推定読みとり時間を表示部に表示する5204a。残り時間も棒状もしくは円形状のインジケーターで表示する。通信が完了すると5204b、完了表示を出して5204c、データをサーバに送る5204d。家電側もデータ転送が進むにつれて5204e、表示部を明るくする、点滅を早くする、色を帰るなどの処理をおこなってもよい5204f。通信が完了すると5204g、完了をモバイルに通知してもよい5204h。通信完了後5204j、点滅を点灯に変更し5204k、一定時間後に消灯する5204m。
図309を説明する。
ステップ5205aで、家電の予約画面を選択し、Yesの場合はステップ5205bへ進み、予約開始時間、工程の内容、種類のパラメータを入力し、ステップ5205cで、洗濯機のように洗濯物により運転時間が変動する場合(Yesの場合)なら、ステップ5205dへ進み、「強制同期運転モード」をONまたはOFFにして、ステップ5205eへ進む。
ステップ5205cで、Noの場合もステップ5205eへ進む。
ステップ5205eで、タッチした場合(Yes)は、ステップ5205fへ進み、Noの場合は繰り返す。
ステップ5205fで、設定したプログラム等の命令を家電に送り、ステップ5205gで、家電がデータを受けとり、ステップ5205hで、開始から終了までの手順の予測時間を含むプログラムデータを送る。
ステップ5205hから、家電部はステップ5205iへ進み、プログラム開始し、ステップ5205jで、強制同期運転モードがONの時、もしくは運転時間が変化しない時(Yes)は、ステップ5205kへ進み、端末と家電が同期運転を行い、ステップ5205mで、例えば、洗濯機が最大20分の作業が15分で終わった場合は20分になるまで5分停止する。これにより端末と家電が完全に同期する。
ステップ5205jで、Noの場合は、ステップ5205nへ進み、端末と必ずしも同期しない運転を行う。
ステップ5205から、モバイルはステップ5205pへ進み、プログラムを受けとり、ステップ5205qで、プログラム開始し、ステップ5205rで、強制同期運転モードがONの時、もしくは運転時間が変化しない時(Yes)は、ステップ5205sに進み、家電の運転と同じ表示をして、ステップ5205tで、図310の5302aのように待ち受け画面になった時は、ステップ5205uへ進み、画面に家電の現在の状況を表すアイコン5305,5306,5307を表示する。例.エアコンの予約開始動作が始まるとその動作開始や残り時間をアイコン5306bのように表示する。このアイコンをクリックすると5305のようにその家電のメニュー画面に切り替わる。つまり、本発明では、タッチしたときに通信を行うだけであるが、モバイルと家電が通信してなくとも、同じプログラムで同期運転をするため、外出していてもモバイルで家の中の家電の動作状況がつぶさにわかり、洗濯の完了などの通知もモバイルを介して使用者にされるという効果がある。使用者はあたかもネットで接続されているようなサービスを提供される。
ステップ5205rで、Noの場合は、ステップ5205yに進み、端末に家電の略々時間を表示させる。その際、最小時間と最大時間の場合の表示をする。
なお、図282、図283、図284は実施の形態22の図256、図257の補足するものである。MIMOのように2つのアンテナ431a、431bからの2つの電波の位相などを制御することにより、2つの電波ビーム433a、433bを違う角度に放射することができる。1つは方向434cのように直進し、送受信機432に直接送信され、第1の伝送路を形成する。もう一方の電波ビーム433aは方向434aを進み壁に反射して方向434bに進み、送受信機432に送信され、第2の伝送路がMIMO方式により形成される。
図から明らかなように、2つの伝送路の距離が異なることから受信される2つの信号から位相差P1が検出できる。
GHzの無線の場合10〜20cmの波長であるから位相差検出部436の波数カウンタ437で波数の差をカウントすると10〜20cmの精度で2つの伝送路の距離の差を測定できる。
図282はt=t1の場合を示す。図282の場合は略略2等辺三角形である。
次のt=t2では、図283のように下方向に電波ビーム439を放射する。
すると、図282と同様にして、位相差P2が求まり、その距離L2が求まる。
サーバーからのマップ情報により部屋の大きさがわかっているため、上下の長さはわかる。2つの2等辺三角形の頂点の和が求まるため、幾何計算で方向434b+434cの差d2が計算できる。d2とL2から送受信機432と送受信機430の距離がわかる。また下の壁と送信機432との距離もわかる。t=t1の時は上の壁と送受信機432との距離がわかる。t=t1とt=t2でビームの方向を変えることにより、2つのアンテナを用いたMIMO方式により、端末の位置や部屋の大きさを検出することができる。
図284のように3つのアンテナ431f、431g、431hを使うと、時間切り替えをしないで端末の位置もしくは部屋の形状を推定することができる。この場合、無線LANのMIMOを使うことにより、通信しながら位置検出ができるという効果がある。正確に測定するには位置測定時間帯と無線通信時間帯を時間分割して通院することにより、通信と測定を両立させることができる。
(実施の形態26)
図311は、本実施の形態において想定しているホームネットワーク環境について示す図である。図312は、本実施の形態においての端末情報の例を示す図である。図313は、本実施の形態において、端末間で動画の受け渡しについて説明するための図である。
本実施の形態では端末の種別、性能が異なる端末間で動画の受け渡しを行う場合について述べる。
受け渡し元の端末はモバイルAV端末8006とし、受け渡し先の端末はTV3(8501)とする。また、動画サーバは宅内ではなく、宅外にある動画サーバ3(8504)にあるものとする。
実施の形態8と同様に、モバイルAV端末のRFIDタグ8007とTV3のRFIDタグ8502の通信によって、モバイルAV端末8006で見ている動画をTV3(8503)に受け渡す。各端末は登録サーバM1005へ、それぞれの端末情報を登録しているものとする。
図312に示すように、端末情報には端末ID8510、端末種別8511、通信デバイス8512、端末性能8513、インストールアプリ8514などがある。
図313に示すように、モバイルAV端末8006は宅外の動画サーバ3(8504)からアプリ2によって動画を受信している場合に、アプリIDであるアプリ2を受け渡す。
さらに、アプリ2が商用動画アプリで、PWを入力しなければ動画を見られない場合には、アプリ2動画視聴用のPWを受け渡す。
さらに、動画サーバ3のIPアドレス、動画識別子、動画表示時間を受け渡す。また、動画の受け渡しのタイミングをそろえるために、モバイルAV端末で用いている時刻情報を受け渡してもよい。
時刻情報は表示時間補正部8113において、TV端末で用いている時刻情報と共に用いられる。例えば、モバイルAV端末とTV端末で用いている時刻が1秒ずれているならば、受け渡しの時間をそろえるため、自端末の時刻では1秒ずらして表示する。
受け渡し要求をうけたTV3(8503)は時端末で受け渡されることが可能かどうかを登録サーバに問い合わせる。登録サーバでは、TV3にアプリ2がインストールされているか、通信デバイスや端末の性能は十分であるかどうかなどを確認して、TV3にその情報を返信する。TV3はその情報をもとに、モバイルAV端末に動画受け渡し応答を返す。なお、TV3は登録サーバにおける通信デバイスの遅延や端末の表示遅延などを考慮してバッファリング時間および表示時間を調整してもよい。
(実施の形態A、B)
以下、本実施の形態では、ホームネットワークにおける設定を簡単にできる携帯型通信装置について説明する。
なお、本実施の形態では、住宅(図478の住宅99参照)に、家電等の機器が設置される際に、予め定められたサーバに対してされる、予め定められた送信情報の送信が、簡単な操作でできる携帯型通信装置についても本発明の範囲に含まれる。
また、本実施の形態では、操作が簡単にできることにより、ひいては、無線LANのアクセスポイント(図478のアクセスポイント99cを参照)等により、第1の方式での第1の無線通信(例えば、比較的小さい電力による無線通信)と、第2の方式の第2の無線通信(比較的大きい電力による方式)とのうちの、設置がされた位置に対応する適切な方の無線通信が行われる際における操作が、簡単な操作にできる装置について本発明の範囲に含まれる。
以下、本発明の実施の形態に係る通信装置について、図面を参照しながら詳細に説明する。
以下では、実施の形態(実施形態)A(A1〜A13)、B(B1〜B7)が示される。
以下の実施の形態(実施の形態A、B)において、本発明に係る通信装置のさまざまな態様についての説明を行っている。
例えば、実施形態B4が初めに理解されてもよい。
また、実施形態A(A1〜A13)、よりも、実施形態B(B1〜B7)の方が、先に理解されてもよい。
このような実施形態B4に密接に関連する図は、例えば、図444〜図461(及び図478〜図490)などである。そこで、これら図444〜図461(及び図478〜図490)などが、最初に理解されてもよい。
また、上述された、実施形態B(B1〜B7)に密接に関連する図は、例えば、図427〜図490などである。そこで、これら図427〜図490が、その他の図1〜図426よりも、先に理解されてもよい。
また、上述された、実施形態Bの図427〜図490のうちで、例えば、図478〜図490も、比較的早い目に理解されることが好ましいと考えられる。
つまり、例えば、上述された、出願時に強く着目される技術が理解されるのに際して、これら図478〜図490が参照されてもよい。
つまり、例えば、次の携帯型通信装置が開示される。
その携帯型通信装置においては、所定の位置(図478の住宅99(の内部)等)に設置された機器(図480の機器98a(例えば図478のテレビN10A)等)と当該携帯型通信装置(携帯型通信装置98b等)との間での近接無線通信(近接無線通信98c1、NFCの通信)により、設置された当該機器から、複数の機器(図480の第1の機器98a、第2の機器98rなど)のうちから当該機器(第1の機器98a)を特定する機器情報(機器情報98n1)を取得する機器情報取得部(機器情報取得部98n)と、(機器98aに対して、携帯型通信装置98bがタッチされる際の動き98b1を、携帯型通信装置98bがするなどして)設置された前記機器と前記携帯型通信装置とが近接無線通信を行った際(行う際)における(前記近接無線通信がされて、設置された前記機器(機器98a(テレビN10A))の位置が、当該携帯型通信装置の位置と同じ位置である際における)、当該携帯型通信装置の位置(機器98aの位置、テレビN10Aの位置)を示す位置情報(位置情報98j1)を取得する位置情報取得部(位置情報取得部98j)と、前記近接無線通信がされた場合、当該近接無線通信で取得された前記機器情報(機器情報98n1)と、取得された、(前記同じ位置(テレビN10Aの位置)での)前記位置情報(位置情報98j1)とが含まれた送信情報(送信情報98o1)を予め定められたサーバ(サーバ98c、例えば、図478の通信線99bに接続された、住宅99の外部にある、機器98aの製造者のサーバなど)に送信する送信部(送信部98o)とを備えてもよい。
また、機器(機器98a)が前記所定の位置(住宅99)に設置された場合に行われる、(タッチの操作がされた際などにおける)設置された前記機器と当該携帯型通信装置との間での前記近接無線通信(近接無線通信98c1)がされることを検出する検出部(図490の通信検出部98q)を備え、前記送信部は、前記機器が前記所定の位置に設置された場合に前記予め定められたサーバへと送信(例えば、サーバへと登録)されるのを要する前記送信情報(送信情報98o1)を、当該近接無線通信が行われることが検出された場合に、前記サーバに送信し、送信される前記送信情報は、複数の機器のうちから、設置された前記機器を特定する前記機器情報(機器情報98n1)を含み、前記機器情報取得部は、前記近接無線通信により前記機器から当該機器情報を取得し、送信される前記送信情報は、前記機器が設置された位置を示す位置情報(位置情報98j1)を含み、前記位置情報取得部は、設置された前記機器と前記携帯型通信装置とが近接無線通信を行った際における、当該携帯型通信装置(携帯型通信装置98b)の位置を示す前記位置情報(位置情報98j1)を、前記機器の位置の前記位置情報として取得してもよい。
これにより、機器98aが住宅99が設置された際に必要である、例えば、機器98aの製造者のサーバなどであるサーバ98cへの、機器情報98n1と位置情報98j1が含まれる送信情報98o1の送信が、単に、タッチの操作がされるなどで、近接無線通信98c1がされるだけで行われ、操作が簡単にできる。
しかも、近接無線通信98c1をする本装置は、例えば携帯電話などである、携帯型通信装置98bである。このため、例えば、近接無線通信98c1がされるために、新しい構成を追加することが不要であるなどして、コストが、小さいコストにできる。
また、上述のように、本装置は、携帯型通信装置98bである。このため、例えば、位置情報の取得のために、新しい構成を追加することが不要であるなどして、コストが、より十分に小さいコストにされ、コストが小さくなる、コストの低下幅が大きな低下幅にできる。
なお、具体的には、例えば、設置がされる機器98aにおいて、新しい構成として、GPS装置を新たに設けることが不要にできる。
これにより、操作が簡単なことと、コストが小さいことと、コストが小さくなる低下幅が、大きな低下幅であることとが両立できる。
なお、例えば、前記機器(機器98a)は、前記住宅(住宅99)の家電(図478のテレビN10A、暖房機N10Kなど)であり、当該携帯型通信装置は、当該機器が設置される前記住宅の住人の携帯電話、または、当該住人の、携帯電話の機能を有するスマートフォンなどである。
そして、取得される前記位置情報(位置情報98j1)は、基点(図485の基点98bx、図478のアクセスポイント99c)から、前記機器(例えば第1の機器96c、第2の機器96d(図478の暖房機N10KおよびテレビN10Aなど))が設置された位置までの、当該携帯型通信装置の動き(図485の動き96e)を特定して、特定される前記動き(動き96e)が、第1の位置(図485の第1の位置96cP、図478の暖房機N10Kの位置)までの第1の動きである場合に、当該第1の位置を示し、第2の位置(第2の位置96dP、テレビN10Aの位置)までの第2の動きである場合に、当該第2の位置(第2の位置96dP)を示し、送信がされる前記サーバ(図485のサーバ98c(例えば図478のサーバ(ホームサーバ)99a))は、前記送信情報が当該サーバへと送信されることにより、送信された前記送信情報の前記位置情報により特定される前記動き(動き96e)が、前記第1の動きである場合には、予め定められた無線通信装置(処理装置96a、図478のアクセスポイント99c)が、設置された前記機器との間での、第1の方式での無線通信(小さい電力での無線通信96f1)を行い、第2の動きである場合、第2の方式での無線通信(大きい電力での無線通信96f2)を行うサーバでもよい。
つまり、こうして、先述のようにして、送信情報98o1が送信されることによって、住宅99における、機器98aが設置された位置(第1の位置96cP、第2の位置96dP)に対応する適切な方式での無線通信(無線通信96f1、96f2)がされてもよい。
これにより、適切な無線通信がされるのに必要である、例えば、無線通信における電力の設定の操作などの、かなり複雑な操作が不要にされ、単に、携帯型通信装置98bのタッチの操作等のみで足りて、操作が、大幅に簡単にできる。
また、前記位置情報取得部は、当該携帯型通信装置が、前記機器が設置された位置までの(基点(図485の基点98bx、図478のアクセスポイント99c)の位置からの)動き(図485の動き96e)をする際における加速度を検出する加速度センサ(図488の加速度センサ98j2x)を含み、取得される前記位置情報(位置情報98j1)は、検出された前記加速度から特定される当該動き(動き96e)を特定し、特定される当該動き(動き96e)をした後の位置(機器98a(例えば、図485の第1の機器96c)の位置)を、前記機器が設置された位置として示してもよい。
これにより、例えば、GPSの電波が、取得される位置情報の精度が、十分高い精度である程度に適切な電波でないケースなどでも、単に、加速度センサが用いられるだけで、適切な位置情報が取得され、適切な動作がされて、確実に、適切な動作ができる。
また、前記機器が設置される前記所定の場所は、住宅の内部であり、前記近接無線通信(図480の近接無線通信98c1)は、前記住宅に前記機器が設置された場合に、前記機器が設置された前記住宅における当該携帯型通信装置のユーザによりされた、設置された前記機器への、当該携帯型通信装置のタッチの操作(図480の98b1)がされた際における、NFC(Near Field Communication)での通信などでもよい。
なお、このような携帯型通信装置において、より具体的には、例えば、「(その他の形態)」の説明に書かれる通りでもよいし、実施形態A、B等で言われる通りでもよい。なお、「(その他の形態)」の説明は、この欄、すなわち、[発明を実施するための形態]の欄の最後尾の部分に記載される。適宜、「(その他の形態)」の説明も参照されたい。
なお、以下の実施形態A(A1〜A13)、B(B1〜B7)における技術分野は、比較的新しい分野であり、様々な可能性が考えられ、どのような技術が、将来などにおいて広く利用されるか比較的予測し難い分野である。
そこで、この点などを踏まえて、以下の説明では、比較的広い様々な技術(実施形態A1〜A13、B1〜B7など)について書かれる。
なお、図面に関して、次の通りである。
つまり、実施形態Aが理解される際には、例えば、図1〜図470などを参照されたい。
また、実施形態Bが理解される際には、図427〜図490(図427〜図477、および、図478〜図490)などを参照されたい。
そして、実施形態A1について、例えば、図1〜図39などを参照されたい。また、実施形態A2について、図40〜図47などを、実施形態A3について、図48〜図58などを、実施形態A4について、図372〜図375などを、実施形態A5について、図376〜図383などを、実施形態A6について、図384〜図389などを、実施形態A7について、図390〜図400などを、実施形態A8について、図401〜図415などを、実施形態A9について、図416〜図417などを、実施形態A10について、図418などを、実施形態A11について、図419などを、実施形態A12について、図420〜図424などを、実施形態A13について、図425〜図426などを、それぞれ参照されたい。
一方で、実施形態B1について、例えば、図427〜図432などを、実施形態B2について、図433〜図439などを、実施形態B3について、図440〜図443などを、実施形態B4について、図444〜図461などを、実施形態B5について、図462〜図470などを、実施形態B6について、図471〜図476などを、実施形態B7について、図477〜図477などを、それぞれ参照されたい。
なお、図353A、図353B、図353Cが含まれてなる全体(例えば、図353A、図353B、図353Cのうちのそれぞれ)は、適宜、「図353」と呼ばれる。なお、図353A〜図353Dなどについても、同様である。
なお、それぞれの装置等(実施形態(A(A1〜A13)、B(B1〜B7)、他の携帯など)において、例えば、次の通りである。つまり、その装置の構成は、典型的には、集積回路であるLSI(Large Scale Integration)で実現されているものとしてもよい。これらは、個別に1チップ化されていてもよいし、全ての構成又は一部の構成を含むように、1チップ化されてもよい。ここで、集積回路は、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。実施の形態の集積回路は、何れの称呼で呼ばれてもよい。また、集積回路の手法は、LSIに限定されるものではなく、専用回路又は汎用プロセッサを用いて実現してもよい。さらに、FPGA(Field Programmable Gate Array)や、LSI内部の回路セルの、接続や設定を再構成することができるリコンフィギュアラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩により、又は、派生する別技術により、現在の半導体技術に置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、機能ブロックの集積化を行ってもよい。例えば、バイオ技術の応用等が考えられる。
(実施の形態A)
ここで、実施の形態A(実施の形態A1〜A13など)の通信装置は、例えば、次の通信装置X(図445、図448、図428、116、図440等)の下位概念でもよい。
通信装置Xは、近接無線通信(RFタグの通信)を介して、端末装置(図447、図448のテレビN10A等、図440の端末装置Y01など)から端末装置情報を読み出す。そして、通信装置Xは、汎用のネットワーク(図448の宅内ネットワークN100、宅外ネットワークN101)を介して、サーバ機器(図448、図446の登録サーバN40、図440のサーバY04)に、読み出された前記端末装置情報を送信する通信装置(例えば、図448、図445のモバイル機器N20、図440の通信装置Y02、図428、116の通信装置M1101、図433の通信装置M1101S、M1101Rなど)である。そして、具体的には、通信装置Xは、前記近距離無線通信を介して前記端末装置(例えば、図447のテレビN10A)から、前記端末装置の製造情報が識別可能な端末装置識別情報を少なくとも含む前記端末装置情報(図444のメモリN13のデータ、図450の(a)欄の製品データ、図440のROMY015のデータ)を取得する端末装置情報取得部(図448、図445のRF−IDリーダライタN21、図429の機器固有ID取得部M1202)を有する。そして、前記通信装置の製造情報が識別可能な通信装置識別情報(例えば、図445のメモリ部N25のデータ、図440のROMY025により記憶された製造番号)を少なくとも含む通信装置情報を記憶する通信装置情報記憶部(例えば、図445のメモリ部N25、図440のROMY025)を備える。また、取得された前記端末装置情報に、記憶された前記通信装置情報を付与して、前記端末装置情報に前記通信装置情報が付与された情報(前記端末装置情報と前記通信装置情報との両方が含まれた情報)を、前記サーバ機器へ送信する送信情報(例えば、図450の(b)欄のサーバ登録データ)として生成する情報付与部(図445のCPU N34、図429の登録情報作成部M1204、図440の情報付与部Y035)を有する。そして、前記汎用のネットワークを介して、前記サーバ機器へ、前記情報付与部により生成された前記送信情報を送信する通信部(図445の通信部N30、図429の登録情報送受信部M1207、図440の通信部Y036)を有する。そして、前記通信部は、前記端末装置(図447のテレビN10A)からの前記端末装置情報(例えば、図450の(a)欄の製品データにおける「登録サーバのアドレス」等)に基づいて、前記送信情報を送信する前記サーバとして、当該端末装置情報により示されるサーバ(図448の登録サーバN40等)を特定し、特定された前記サーバと通信する。
ここで、通信装置Xは、さらに、前記通信装置の位置情報を取得する位置情報取得部(図445のGPS N31、6軸センサN32、図429の位置情報取得部M1206、図440の位置情報測位部Y027)を有してもよい。そして、前記位置情報取得部は、前記端末装置情報取得部での、前記端末装置(例えば図447のテレビN10A)と前記通信装置との近接無線通信が確立しているタイミングで、前記通信装置の位置情報を取得し、前記通信装置情報は、前記位置情報取得部で取得した、前記通信装置の位置情報を含んでもよい。
また、前記通信装置情報には、家(図447の家)あるいは人(当該通信装置のユーザ)の識別情報(ホームID)を含んでもよい。
なお、この通信装置Xにおいては、例えば、次の通りであってもよい。
この通信装置Xは、HEMSのシステム(図447、図448のシステム)に含まれ、ユーザにより携帯されて、ユーザの位置と同じ位置を有する携帯端末である。
端末装置情報取得部は、端末装置(例えば図447のテレビN10A)と当該通信装置との間の距離が、閾値未満の近距離の場合、および、閾値以上の遠距離の場合のうちの、近距離の場合にのみ、当該端末装置と近距離無線通信を行う。
通信部は、複数の端末装置(図447の複数の端末装置でもよいし、図447の家以外の他の家の端末装置を含んだ複数の端末装置でもよい)のうちで、前記近距離無線通信がされる端末装置(図447のテレビN10A)のための処理(例えば、当該端末装置の制御でもよい)をサーバ機器に行わせる。
これにより、容易に、通信装置が、当該端末装置の近距離に移動された端末装置(例えば図447のテレビN10A)と、他の端末装置(例えば、他の家の端末装置など)とのうちで、移動がされた、通信装置に対して近距離の端末装置(例えばテレビN10A)とのうちで、近距離の端末装置にのみ、制御等が行われ、他の端末装置には行われない。このため、適切な端末装置にのみ、制御等がされ、確実に、適切な端末装置の処理のみができる。
そして、このように、適切な端末装置にのみ、制御等がされるにも関わらず、単に、通信装置が近距離に移動されるだけで足りて、複雑な操作などが不要であり、簡単に、適切な端末装置の処理のみがされて、簡単に、適切な処理ができる。
しかも、端末装置情報取得部は、前記近接無線通信を通じて、複数のサーバ機器のなかから、サーバ機器を特定する端末装置情報を、端末装置(例えば図447のテレビN10A)から取得する。
そして、通信部は、上述の制御等の処理を行うことを、前記端末装置情報取得部により取得された前記端末装置情報により特定される前記サーバ機器に行わせる。
これにより、端末装置(テレビN10A)の外部における要因に関わらずに、確実に、適切なサーバ機器による処理ができる。
さらに、複数の家のうちから、通信装置が利用される家(図447の家)を特定することにより、複数の機器(図447の家の各機器、他の家の機器)のうちから、そのホームIDにより特定される家(図447の家)に設けられた各機器(図447の各機器)を特定するホームIDを、前記サーバ機器に送信し、前記近接無線通信が行われる前記端末装置(テレビN10A)が、当該家に設けられた前記各機器に含まれることを前記サーバ機器に特定させるホームID送信部(図429のホームID管理部M1205)が設けられる。
なお、具体的には、例えば、所定の通信部(例えば、図429の登録情報送受信部M1207)にホームIDが送信されることにより、この通信部を通じて、ホームIDがサーバ機器に送信されてもよい。
なお、ホームID送信部は、当該端末装置(テレビN10A)が、前記家に設けられた前記各機器に含まれることを、サーバ機器に特定させることにより、そのマップ(図457の製品マップ)により位置がユーザに示される各製品のうちに、当該端末装置(テレビN10A)が含まれるマップを、製品マップ(図457の製品マップ)として、前記サーバ機器に特定させてもよい。
また、ホームID送信部は、前記端末装置(テレビN10A)が、前記各機器(図447の各機器)に含まれることを前記サーバ機器に特定させることにより、前記サーバ機器により、前記各機器のそれぞれについて行われる処理(例えば、ユーザに最も近い位置をその機器が有する場合に、その機器の電源ONを行う処理)を、当該端末装置(テレビN10A)についても前記サーバ機器に行わせてもよい。
さらに、当該通信装置の位置と同じ位置である、近接無線通信がされる前記端末装置(テレビN10A)の位置を取得することにより、取得された位置を、当該端末装置の位置として前記サーバ機器に特定させる位置情報取得部(先述)が設けられる。
これにより、端末装置(テレビN10A)の位置に合わせた処理を、サーバ機器に行わせることが、単に、通信装置を適切な位置(テレビN10Aの位置)に移動させるだけで、簡単にできる。
図440の通信装置Y02などは、例えば、この通信装置Xの下位概念(具体例)等であってもよい。
(実施の形態A1)
実施の形態A1について述べる。
図314は、実施の形態A1の概念図を示す。
ここには、撮影装置(カメラ)1(通信装置9A1)、TV(テレビジョン)45およびサーバ(画像サーバ)42から構成される通信システムが示されている。本図において、左側は、撮影装置1による撮影時の状況を示し、右側は、撮影した画像を撮影装置1が再生する時の状況を示す。
撮影装置1は、本発明に係る通信装置の一例(ここでは、デジタルカメラ)である。
そして、撮影装置1は、撮影時に関連する構成要素として(図314左欄を参照)、第1電源部101と、映像処理部31と、第2のアンテナ20と、第1処理部35と、メディア識別情報111、撮影画像状況情報60およびサーバ特定情報48を記憶する第2メモリ52と、RF−IDのアンテナ21とを備える。
また、この撮影装置1は、再生時に関連する構成要素として(図314右欄を参照)、第1電源部101と、第1メモリ174と、電源検知部172と、起動部170と、メディア識別情報111、撮影画像状況情報60およびサーバ特定情報58を記憶する第2メモリ52と、第2処理部95と、変調切部179と、通信部171と、第2電源部91と、RF−IDのアンテナ21とを備える。
TV45は、リーダ装置が通信路で接続された機器の一例であり、具体的には、撮影装置1で撮影された画像データを表示するのに使用されるテレビ受像機であり、表示部110と、RF−IDリーダライタ46とを備える。
サーバ42は、撮影装置1から当該サーバ42にアップロードされる画像データを保存するとともに、その画像データを、TV45にダウンロードするコンピュータであり、データ(画像データ)50を保持するための記憶装置を備える。
景色などの被写体を撮影装置1が撮影した場合、映像処理部31により、撮影データに変換された画像データは、通信が可能な条件下では、無線LAN(Local Area Network)、WiMAX(WorldWide Interoperability for Microwave Access)用の第2アンテナ20を用いて、アクセスポイントに、無線で送られる。送られる際には、例えば、インターネットを介して送られる。そして、予め設定したサーバ42の中のデータ50として、送られた画像データが、サーバ42により記録される。
この時、第1処理部35は、撮影した画像データの撮影画像状況情報60を、撮影装置1が備えるRF−ID47の第2メモリ52に記録する。この撮影画像状況情報60の中には、画像撮像日時と、画像撮影枚数、最終画像送信日時、画像送信枚数および最終画像撮影日時の少なくとも何れかと、アップロードされた画像、もしくは、アップロードされていない画像、最終撮影番号等が、例えば第1処理部35等により記録される。
また、サーバ42にアップロードしたデータ50を特定するためのURL(Uniform Resource Locator)を生成する。この情報画像データ(図314のデータ50)にアクセスするためのサーバ特定情報48(URL)が、第2メモリ52の中に、第1処理部35により記録される。また、このRF−ID(RF−ID47)が内蔵されているシステムが、カメラか、カードか、ハガキか等を識別するためのメディア識別情報111も、第2メモリ52に記録されている。
第2メモリ52は、カメラ(撮影装置1)の主電源(電池等の第1電源部101)が入っているときは、カメラの主電源により動作する。カメラの主電源が入っていなくても、RF−ID47のアンテナ21に、外部のRF−IDリーダライタから、電力が供給される。このため、電池等の電源を持たない第2電源部91が、電圧を調整し、RF−ID回路部の第2メモリ52を含めた各ブロックに、電力を供給し、それによって、第2メモリ52のデータを記録再生し、そのデータを、撮影装置1が送受信することができるようになる。
なお、第2電源部91は、整流回路等からなり、第2アンテナ21で受信した電波から、電力を作り出す回路である。第2メモリ52は、主電源のオンオフにかかわらず、第2処理部95から読み書きでき、主電源がオンの場合には、第1処理部35から読み書きできるように構成されている。つまり、第2メモリ52は、不揮発メモリから構成されるともに、第1処理部35と第2処理部95の双方から読み書きできる。
この撮影装置1で、旅行等の撮影が終了した後、撮影された画像等を再生する場合には、図314の右側の再生時に示すように、次の動作がされる。すなわち、撮影装置1のユーザ等が、撮影装置1を、TV45のRF−IDリーダライタ46に近づける。すると、RF−IDリーダライタ46により、アンテナ21を介して、RF−ID47に電力が供給される。これにより、供給される電力に基づいて、第2電源部91により、撮影装置1の主電源(第1電源部101)がオフであっても、RF−ID47の各部に電源が供給される。
第2処理部95により、第2メモリ52の撮影画像状況情報60と、サーバ特定情報58とが読み出され、読み出された各情報が、第2処理部95等により、アンテナ21を介して、TV45に送られる。
TV45側では、送られたサーバ特定情報58に基づき、URLを生成し、そのURLにより特定される、サーバ42のデータ50の画像データをダウンロードし、画像のサムネイル等を、表示部110に表示する。
なお、撮影画像状況情報60により、アップロードされていない撮影画像があると判断された場合には、その旨を、表示部110に表示するとともに、場合により、撮影装置1を起動させ、アップロードされていない画像データを、サーバ42へアップロードさせる。
図315は、撮影装置1の外観を示す図である。
図315の(a)欄と(b)欄と(c)欄とは、本実施の形態の撮影装置1の外観の正面図と、背面図と、右側面図を示す。
図315の(c)欄に示すように、右側面には、無線LAN用のアンテナ20と、RF−ID用のアンテナ21が内蔵され、電波非遮蔽材料からなるアンテナカバー22が取り付けられている。
RF−IDの周波数は、13.5MHzであり、無線LANの周波数は、2.5GHzであり、同波数が大きく異なり、互いに干渉することがない。
このため、2つのアンテナ20、21を、図315の(c)欄に示すように、外部から見て、重なるように構成する。これにより欄設置面積を小さくできる。このため、撮影装置を小型化することができるという効果が得られる。
また、2つのアンテナのアンテナカバー22を、図315の(c)欄に示すように、一つにまとめることができるため、電波非遮蔽材料部を最小にできる。プラスチック等の電波非遮蔽材料は、金属に比べると、強度が低いため、この材料を最小にすることにより、ボディの強度の低下を軽減できるという効果がある。符号6、3で示される2つの要素は、それぞれ、レンズ6と、電源スイッチ3である。符号2〜16の要素については、後で説明する。
図316は、撮影装置1のブロック図を示す。
撮像部30から得られた画像データは、映像処理部31を介して、記録再生部32に送られ、第3メモリ33に記録される。このデータは、脱着可能なICカード34に記録される。
これらの処理は、CPU(Central Processing Unit)等の第1処理部35により指示される。撮影された写真や動画等の画像データは、暗号部36と、通信部37の送信部38と、第1アンテナ20により、無線LANや、WiMAZ等の無線でアクセスポイント等に送られ、インターネット40を介してサーバ42に送られる。つまり、写真等の画像データが、アップロードされる。
なお、通信状態が悪い場合や、近くにアクセスポイントや、基地局がない等の理由で、一部の画像データがアップロードできない場合がある。この場合には、サーバ42にアップロードされた画像と、まだアップロードされていない画像が、混在する。
この場合には、サーバ42の画像のデータと、撮影した画像のデータに差異が生ずる。
そこで、詳しくは、後で説明するが、本発明の場合、TV45等に付いているRF−IDリーダライタ46で、撮影装置1のRF−ID47の第2メモリ52のサーバ特定情報48等を読みとり、このデータを用いて、サーバ42のURL等を生成し、このURLを用いて、TV45から、サーバ42にアクセスし、撮影装置1がアップロードしたファイルやフォルダ等のデータ50にアクセスし、撮影装置1で撮影した画像のうちアップロードした画像をダウンロードしTV45に表示させる方式をとっている。
もし、実際撮影した画像の一部もしくは全部が、サーバ42のデータ50の画像データの中にアップロードされていないと、TV45にダウンロードした場合、実際に撮影した画像の一部が、TV45で視聴できないという課題が発生することが考えられる。
この課題を解決するため、本発明では、第1処理部35の撮影画像の状況データを、記録再生部51により、第2メモリ52の撮影画像状況情報55にアップロード状況等を記録する。
図317は、第2メモリ52の構成を示す図である。
図317を用いて、より詳細に説明する。
第2メモリ52には、サーバ42の画像データと、カメラが撮影した画像データが、一致しているか、言いかえると、同期しているかを示す同期情報56(図317)が記録される。
本発明では、TV45が、第2アンテナ21を介して、第2メモリ52の中の撮影画像状況情報55を読みとる。
このため、サーバのデータ50に、不足した画像がないかどうかを即座に確認できる。
もし、未アップロードの画像があるときには、その結果を、TV45の表示部に表示する。そして、視聴者に、「画像のアップロードをして下さい」の表示を出すか、または、RF−IDのアンテナ21経由で、カメラに命令を出し、起動部170に、起動信号を送り、強制的に、撮影装置1の第1電源部101を起動させ、撮影装置1の第1メモリ174等の中の未アップロード画像を、無線LAN、もしくは有線LAN、もしくはRF−ID用の第2アンテナ21等を介して、サーバ42にアップロードさせる。
なお、ここで、RF−IDのアンテナ21経由の場合においては、伝送量が小さいため、元の画像データを、そのまま、送ろうとすると、アップロードと、画像の表示に、時間がかかり、使用者に不快感を与える。
これを避けるために、本発明では、アンテナ21経由の場合、未アップロード画像のサムネイル画像を送る。
これにより、見かけ上のアップロード時間や、表示時間を短縮でき、使用者に不快感を与えることを軽減できる。
現在のHF帯のRF−IDでは、数百kbpsの伝送量の場合が多いが、4倍速も検討されている。この場合、数Mbpsを実現できる可能性がある。未アップロード画像のサムネイル画像データを送れば、1秒間に、数十枚の画像を送ることができる。一覧表示の場合には、一般ユーザが容認できる時間内に、未アップロード画像を含めた全画像を、TVに表示させることができるという効果がある。この方法は、一つの現実的な方法といえる。
このように撮影装置を強制的に起動させ未アップロード画像を送る場合、無線LAN、RF−IDのアンテナ21、有線LANの内、最も速度が速く、安定している経路を用いてアップウロードやTVへの表示を行う。
第2アンテナ21に信号を送る通信部171は、第2アンテナ21を介して、外部から電源供給を受ける状況においては、低速の変調方式を用いて、通信を行う。一方で、第1電源部101等から電源供給を受けられる状況においては、必要に応じて、変調方式を、QPSK、16QAN、64QAN等の信号点数の多い変調方式に切り替え、伝送を高速化させ、未アップロードの画像データを、短時間でアップロードする。
なお、電源検知部172により、第1電源等の余力が少ない事や、外部電源が非接続であること等を検出すると、第1電源部101からの電力供給を止め、変調方式切替部175により、通信部171の変調方式を信号点数の少ない変調方式や、伝送レートの少ない変調方式に切り替える。このことにより、第1電源部101の規定値以下の容量低下を未然に防ぐことができる。
また、別の電力対策として、電力に余裕が無い場合には、第2処理部95や、通信部171等は、第2アンテナ21を介して、TV45のRF−IDリーダライタ46に、電力増加要求信号を送り、支援を要求する。これに応えて、RF−IDリーダライタは、送信電力を、RF−ID読み取り時の電力の規定値より多い値に増加させる。RF−ID側は、アンテナ21を介して受ける供給電力量が増加するので、通信部171もしくは第1処理部35へ、電力を供給することができる。この方法により、第1電源部101の電池100の電力量が減ることがなくなる。もしくは、電池100がなくても、送信作業を、実質的に無限に継続できるという効果がある。
また別の方法として、図316のアップロード画像データ情報60を用いてもよい。アップロードした画像の情報61、例えば、写真番号等を記録する。この情報をハッシュした情報62を用いてもよい。この場合、情報量が減るという効果がある。
このデータを用いると、TV45がこのデータを読みとり、カメラの撮影した画像の情報と比較することにより、未アップロードの画像の情報を得ることができる。
別の方法として、未アップロード画像データの存在識別情報63を用いることができる。未アップロード画像データが存在するかどうかの存在識別子64により、未アップロード画像の有無を知らせることができるので、第2メモリ52の情報を大幅に削減することができる。
未アップロード画像の枚数65でもよい。この場合には、TV45に読みとらせることができるため、アップロードが必要な枚数を、視聴者に知らせることができる。この場合、枚数に加えて、データ容量を、撮影画像状況情報55として記録しておくと、未アップロード画像をアップロードするための予測時間を、より正確に、TV45に表示させることができる。
また、未アップロード画像情報をハッシュした情報67を用いてもよい。
また、第2メモリ52に最後に撮影した時間68を記録することにより、後にTV45から読み出しサーバ42に接続したときに、サーバ42の最終アップロードした画像の撮影日と、時間68とを比べることにより、簡易的に、未アップロード画像の有無を判定することができる。
また、古い順から画像番号を付与していく方式において、撮影した画像の最終番号69のみを記録していくことにより、サーバにアップロードされた画像の最後の画像番号と照合することにより、未アップロード画像があるかどうかの情報を得ることができる。
また、撮影した画像の情報70(例えば、撮影した画像の画像番号の全てなど)を、第2メモリ52に記録しておく。すると、後で、サーバ42にアクセスした時に、サーバ42にアップロードされた画像データと比較することにより、未アップロードデータがあるかどうかを判断できる。この場合、撮影した画像情報をハッシュした情報71を用いることにより、データを圧縮できる。
第2メモリ52の、他の情報として、RF−IDのUID75、カメラID部76、メディア識別情報111が記録されている。これらは、カメラの主電源(時計のバックアップ等のサブ電源を除く)が入っていなくても、TV45から、第2アンテナ21を介して、読みとられ、カメラや、ユーザの識別や、機器の認証に使われる。海外旅行等から帰ってきた時には、バッテリの充電量が少ない場合が多いが、本発明の場合、バッテリがなくても動作し、情報を送るため、利便性に優れている。メディア識別情報111は、RF−IDを内蔵した機器、もしくは、メディアが、カメラ、ビデオ、ハガキ、カード、携帯電話であるかを示す識別子等が入っている。TV45側では、この識別子により、機器、メディアを特定できるため、画面上に、カメラやハガキのマークやアイコンを、後述する、図335に示すように表示させたり、識別情報に応じて処理を変更することができる。
図318は、実施形態A1における撮影装置の第2メモリの構成図である。
また、画像表示方法指示情報77が記録されているが、例えば、図318の一覧表示(をするか否かを示す情報)78が、ONの場合には、TV45のRF−IDリーダライタ46に、第2アンテナ21を近づけた時に、写真等のサムネイルの画像データを、一覧表示させる。
スライドショー79がONの時には、TV45に、画像データを、新しい順、もしくは古い順から1枚ずつ、次々と表示させる。
第2メモリ52の図(図318)の下部には、サーバ特定情報48の記録領域が設けられている。
これにより、カメラ操作者の好みに合った表示方法で、TV画面に表示される。
この中には、サーバURLを生成するための元情報となるサーバURL生成情報80がある。
そして、サーバアドレス情報81や、ユーザ識別情報82を記録するための領域が設けられており、具体的には、ログインID83等が記録される。また、パスワード84を記録するための領域があり、場合により、暗号化されたパスワード85が記録される。これらのデータは撮影装置1の内部や、RF−ID47の内部、もしくは、カメラの内部、もしくは、TV45側に設けられたURL生成部90により、サーバ42の中の、この撮影装置、もしくは、ユーザに対応する画像データ群にアクセスするためのURLが生成される。このURL生成部90(図318)がたRF−ID47の中にある時にはた第2電源部91により電源供給される。
また、URL92を作成して直接、第2メモリ52に記録してもよい。
この第2メモリ52のデータは、RF−ID側の第2処理部95と、カメラ側の第1処理部35のどちらからでも、データを読める点が特長となる。
従って、TV45が、カメラのRF−ID47を読みにいった場合には、アップロード状況情報や、サーバアドレスや、ログインID、パスワードが、瞬時に得られるため、サーバ42の中のこのカメラに対応する画像データをダウンロードして、TV45に高速に表示できるという効果がある。
この場合、撮影装置1の主電源が入っていなくても、RF−IDリーダライタから、電源が第2電源部91に供給されるために、動作するという効果がある。従って、撮影装置1の電池100の電力が減らない。
図316に戻ると、電池100から、第1電源部101は、電力の供給を受け、カメラの各部に、電源を供給する。しかし、休止状態においては、第3電源部102により、時計103等に微弱な電源を供給する。場合によっては、第2メモリ52の一部のメモリに、バックアップ電力を供給する。
RF−ID47は、第2アンテナからの電力を受け、第2電源部91を動作させ、第2処理部95か、データ受信部105、記録部106、再生部107、データ転送部108(通信部171)や第2メモリ52を動作させる。
このため、カメラの休止状態においては、全く電力を消費しないため、カメラの電池100を、永く持たせることができる。
次に、図320〜図330の処理について述べられる。
図320は、カメラ、カード側の処理と、TV、RF−IDリーダライタ側の処理とのフローチャートである。
カメラ、カード側の処理と、TV、RF−IDリーダライタ側の処理を、図320のフローチャートを用いて述べる。
図320のステップ150aで、主電源がOFFの時、ステップ150bで、主電源OFF時の、RF−IDリーダライタの起動設定がされているかをチェックし、Yesなら、ステップ150cで、RF−IDリーダライタ46を、ONにして、ステップ150eで、RF−IDリーダライタの省電力モードに入る。
ステップ150fでは、アンテナ部のインピーダンス等を測定、もしくは、近接センサの測定をして、ステップ150gで、RF−IDを、RF−IDリーダライタのアンテナに近づけると、ステップ150gで、近接もしくは接触したかを検知した場合には、ステップ150hで、アンテナに、電力の出力を開始し、ステップ150kで、第2電源がONし、第2処理部が動作開始し、ステップ150mで、交信を開始する。
図321は、図320の処理の続きの処理のフローチャートである。
ステップ150で受信すると、図321のステップ151aで、相互認証を開始し、ステップ151fで、相互認証を開始し、ステップ151b、151gで、相互認証がOKなら、ステップ151dで、第2メモリのデータを読み出し、ステップ151eで、第2メモリのデータを送信し、ステップ151iで、RF−IDリーダライタは、第2メモリのデータを受信し、ステップ151jで、第2メモリの識別情報等が正しいかをチェックし、OKなら、ステップ151mで、TV45側に、自動電源ONの識別情報ありかを見て、Yesなら、ステップ151rで、TVの主電源がOFFかをチェックする。
図322は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
そして、OFFならば、図322のステップ152aで、TVの主電源をONして、ステップ152bで、第2メモリ52に強制表示命令がある場合には、ステップ152dで、TVの入力信号を、RF−IDの画面表示信号に切り替えるとともに、ステップ152eで、フォーマット識別情報を読み、ステップ152fで、フォーマット識別情報に応じて、第2メモリを読み出し、データフォーマットを変えて、該当するデータを読み、ステップ152gで、第2メモリ部に「パスワード要求フラグ」がある場合には、ステップ152hで、第2メモリの「パスワード入力不要のTVのID」を読み、ステップ152iで、自機のTVのIDと「パスワード入力不要のTVのID」が一致しない時には、ステップ152qで第、2メモリから、パスワードを読み、ステップ152vで、パスワードの暗号を復号し、ステップ152sで、パスワードを送信する。なお、ステップ152q、152r、152sは、サーバ42が保持するデータ50として、サーバ42が備える記憶装置に、パスワードを記録しても良い。
ステップ152jでパスワードを入手し、ステップ152kで、パスワード入力画面を表示し、ステップ152mで、入力されたパスワードが正しいかをチェックする。この作業は、サーバ42で行われてもよい。OKなら、RF−IDの第2メモリの情報やプログラムに基づく表示を行う。
図323は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図323のステップ153aで、第2メモリのRF−IDのメディア識別情報111により示される種類が、カメラなら、ステップ153bで、カメラのアイコン(文字)を、TVの表示部に表示し、カメラでなかったら、ステップ153cで、郵便ハガキなら、ステップ153dで郵便ハガキのアイコンを表示部に表示し、ステップ153eで、ICカードであることがわかれば、ステップ153fで、ICカードのアイコンを、表示部に表示し、ステップ153gで、携帯電話あることがわかれば、携帯電話のアイコンを、TV画面の角に表示させる。
図324は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図325は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図326は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図324のステップ154a、154iで、サーバもしくは第2メモリから、サービス内容識別情報を読みとり、ステップ154cで、画像表示サービスかを、ステップ154bで、ダイレクトメール等のハガキサービスか、ステップ154dで、広告サービスか、をチェックする。
そして、ステップ154fと154jで、第2メモリから、サーバ特定情報48を得て、もし、第2メモリにURL92がない場合には、ステップ154hと154kに進み、サーバアドレス情報81とユーザ識別情報82を得る。
そして、図325のステップ155a、155pでは、第2メモリから、暗号化されたパスワードを得て、ステップ155bで、復号されたパスワードを得て、ステップ155cで、上記情報から、URLを生成する。
そして、第2メモリに、URL92がある場合も含めて、ステップ155dで、通信部と、インターネットを介して、URLのサーバにアクセスし、ステップ155kで、サーバ42と接続開始して、ステップ155qで、動作プログラム存在識別子119を読み、ステップ155eで、動作プログラム存在識別子が有りか、ステップ155fで、複数の動作プログラムもある場合には、ステップ155rで、動作プログラム選択情報118を読み、ステップ155gで、動作プログラム選択情報が設定されている場合には、ステップ155hで、特定の動作プログラムのディレクトリ情報を選択し、ステップ155sで、第2メモリの動作プログラムの、サーバ上のディレクトリ情報117を読み、ステップ155iで、サーバ上の特定ディレクトリの動作プログラムにアクセスし、ステップ155mで、動作プログラムを送出もしくはサーバ上で稼動させ、ステップ155jで、動作プログラムの稼動を開始(TV側もしくはサーバ側)させ、図326のステップ156aで、画像利用サービスかをチェックし、Yesなら、ステップ156bで、未アップロード画像データの確認作業を開始する。
図319は、実施形態A1における撮影装置の画像表示方法指示情報の構成図である。
図327は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
ステップ156iで、未アップロードデータ存在識別子64を読み、ステップ156cで、未アップロードデータ存在識別子64がONの場合には、ステップ156dで、未アップロード画像の枚数66と、データ容量65を読み、ステップ156eで、未アップロード画像の枚数66を表示し、未アップロードデータ容量65から、データのアップロード予測時間をTVの表示部に表示し、ステップ156fで、もし、カメラ側が、自動画像アップロード可能状態にある場合には、ステップ156gで、カメラを起動し、第1アンテナ20もしくは第2アンテナ21等を介して、無線もしくは、接点による有線で、サーバに、未アップロードデータをアップロードし、完了すると、図327のステップ157aへ進み、ステップ157aで、課金プログラムがあるかをチェックし、NOの場合はステップ157nで、図319の画像表示方法指示情報の識別子121を読み、ステップ157bで、画像表示方法識別情報が、サーバにあるかをチェックし、Yesなら、ステップ157pで、画像表示方法指示情報が記録されているサーバ上のディレクトリ情報120を読み出し、ステップ157cで、UID等に対応した画像表示方法指示情報が記録されているサーバ上のディレクトリ情報120を読み、ステップ157dで、サーバ上の画像表示方法指示情報を、サーバから得て、ステップ157fへ進む。
ステップ157bがNOの場合には、ステップ157eに進み、画像表示方法指示情報を、カメラより得て、ステップ157fに進む。
図328は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
ステップ157fでは、画像表示方法指示情報に基づいて、表示を開始し、ステップ157gで、全画像表示識別子123を読み、ステップ157gで、全画像表示なら、ステップ157rで、全画像を表示し、NOなら、ステップ157sの特定ディレクトリ124の一部画像を、ステップ157hで表示し、ステップ157iで、一覧表示125なら、ステップ157tの表示順序識別子122を読み、ステップ157jで、表示順序識別子に基づき、日付順、アップロード順に表示し、ステップ157vで、スライドショー識別子126を読み、ステップ157kで、OKなら、ステップ157mで、表示順序識別子122に基づき、表示を行い、第2メモリから、画質優先127を読み出し、図328のステップ158aで、表示方法が、画質優先でない場合には、ステップ158qで、速度優先128かどうかをチェックし、ステップ158bで、速度優先なら、ステップ158cで、表示音声サーバにあるかを調べ、ステップ158sで、音声のサーバのディレクトリ130を調べ、ステップ158aで、表示音声のサーバ上のディレクトリにアクセスし、音声を出力させる。
ステップ158eで、優先表示画像が、全画像でないなら、ステップ158fで、一部画像を選び、ステップ158vまたはステップ158wで、特定ディレクトリ124の情報を入手(ステップ158g)し、ステップ158hで、特定ディレクトリの画像を表示する。ステップ158iのように、全画像表示してもよい。ステップ158jで、表示が完了すると、ステップ158kで、「別の画像をみるか」の表示をして、Yesの場合には、ステップ158mで、別のディレクトリの画像のメニューを表示する。
図329は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図329のステップ159aで、特定使用者の画像を要求されると、ステップ159mで、特定使用者全画像132のデータと、特定使用者のパスワード133を得て、ステップ159bで、特定使用者のパスワードを要求して、ステップ159cで、正しければ、ステップ159pで、画像リストが入ったファイルのディレクトリ情報134を読み、ステップ159dで、特定使用者の画像リストが入ったディレクトリをアクセスし、ステップ159rで、サーバの特定ディレクトリから、画像データをダウンロードし、ステップ159eで、特定使用者の画像を表示する。
ステップ159fで、色補正ルーチンを開始し、ステップ159gで、カメラIDと、カメラID部76から、カメラ機種情報を読み出し、ステップ159hと159tで、カメラ機種の特性データを、サーバからダウンロードする。次に、ステップ159i、159uで、TVの特性データをダウンロードする。ステップ159wで、データを演算し、補正データを得る。ステップ159jで、カメラとTVの特性データに基づき、表示部の色や明るさを補正して、ステップ159kで、正しい色と明るさで表示する。
図330は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図330のステップ160aで、強制印刷命令が、ONであって、ステップ160bで、カメラが近接した端末が、プリンタ、もしくはプリンタに接続されている端末である場合には、ステップ160cで、各画像データ毎のカメラ機種情報と、プリンタの機種名を入手し、ステップ160dで、サーバの各情報より補正データを算出し、補正し、ステップ160pで、印刷対象の画像データの入ったディレクトリ情報137を得て、ステップ160eで、印刷対象の画像データ(ファイル名)が記録されたディレクトリのアドレスを用いて、サーバにアクセスし、ステップ160mで、特定のディレクトリの画像データを送出し、ステップ160fで、印刷画像データを得て、ステップ160gで印刷し、ステップ160hで印刷を完了する。ステップ160iで、1回印刷を完了したことを示す識別子を、各画像データに記録し、ステップ160nで、サーバ上で印刷した画像データに印刷完了識別子を付与する。
次に、メディア(カメラ、ハガキ等)側のメモリに、記録機能がない場合の実施の形態を述べる。
図331は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図332は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図321の丸3、丸4、丸5からつながっている。
まず、TV側では、図331のステップ161aで、TVの主電源をONにし、ステップ161kで、第2メモリからUIDを読み、ステップ161bで、UIDを入手し、ステップ161mで、サーバ特定情報48を得て、ステップ161cで、サーバのディレクトリにアクセスし、ステップ161dで、このUIDに対応したサービスの最終サーバを検索する。
そして、ステップ161eで、最終サーバがある場合には、ステップ161gで、最終サーバにアクセスし、UIDリストから、使用者のIDとパスワードとサービス名を読み出し、もし、ステップ161hで、パスワードを要求する場合には、ステップ161iで、正しいかどうか判定し、図332のステップ162aで、写真やビデオのサービスかをチェックし、Yesなら、ステップ162bで、前記UIDに関連付けられているサーバの特定ディレクトリの中から、対応する課金等のプログラムや表示する画像データのアドレスやファイル名を含むリストと画像表示指示情報や強制表示命令や強制印刷命令やカメラIDを読み出し、これらのデータや手順に応じて、表示や印刷作業を自動的に行う。
図333は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
必要に応じて、パスワード入力を要求し、ステップ162cで、特定の画像を印刷したい場合には、ステップ162dで、印刷したい、特定の画像データを、前記UIDに対応するサーバ上、もしくはTVの印刷ディレクトリに加え、ステップ162eで、TVにプリンタが接続されているか、単独のプリンタがあるかをチェックし、Yesの場合には、ステップ162fで、プリンタのRF−IDリーダライタに、このハガキ等のメディアのRF−ID部を接近させると、図333のステップ163aで、プリンタは、前記メディアのUIDを読み込み、図の修正サーバ上の前記印刷ディレクトリから、印刷すべき画像データもしくは画像データの場所を読み出し、その画像データを印刷させ、ステップ163bで、印刷が完了し、終了する。
図332の23(丸23)に続くステップ163iの次のステップ163bで、ショッピングサービスの場合には、ステップ163eで、認証が正しいかチェックし、正しい場合には、ステップ163fで、前記UIDに関連付けられているショッピング・課金プログラムを、サーバから読み出し、プログラムを実行し、ステップ163gで、プログラムが完了すると、終了する。
次に、ハガキに内覧された、RF−IDのデータを、RF−IDリーダなしで読みとる方法を述べる。
図334は、実施形態A1における撮影装置のカバーとTVの動作のフローチャートである。
図334のステップ164aでは、次の処理がされる。つまり、第2のRF−IDは、ハガキ等のメディアに、付着もしくは内蔵されているとともに、中継サーバのURL情報が記録されている。この第2のRF−IDの外の面には、UIDと、中継サーバの第1URLを特定するデータが、2次元バーコードで印刷され、表示されている。
ステップ164bでは、主サーバとの通信機能をもつとともに、第1のRF−ID部を待ち、この中に、主サーバの第1URL情報が記録されているカメラがあり、このカメラの撮影部により、前記2次元バーコードを、光学的に読みとり、第2のRF−IDのUIDと中継サーバの第2URLを特定するデータに変換する。
ステップ164cで、上記変換したデータを、カメラのメモリに記録する。
ステップ164dでは、カメラで撮影した画像から、特定の画像群を選び、主サーバ上の特定の第1ディレクトリに記録する。同時に、第2URLの中継サーバ上の特定の第2ディレクトリに、主サーバの第1URL情報とともに、第1ディレクトリ情報をアップロードする。特定の第2RF−IDのUIDを前記第2ディレクトリに関連付けるための情報を、前記第2URLの中継サーバにアップロードし、ステップ164eで、ハガキ等のメディアを、特定者に郵送する。
ステップ164fでハガキを受けとった者が、ハガキのRF−ID部を、TV等のRF−IDリーダ部に近づけ、中継サーバの第2URLと、ハガキのUIDを得る。
ステップ164gでは、第2URLの中継サーバにアクセスし、前記UIDに関連付けられた、第2ディレクトリの中のプログラムもしくは、かつ特定の画像データが記録されている主サーバの第1URLと第1ディレクトリ情報を取り出し、主サーバから画像データをダウンロードし、TV画面上に表示する。この場合、一般的に商品やハガキに印刷されている、サーバサーバ情報を記録した二次元バーコードを本発明の撮影装置の撮像部により読み取り、二次元バーコードの情報をデジタルデータとして、RF−ID部の第2メモリに記録し、TVのRF−IDリーダにこのデータを読み取らせることにより、二次元バーコード用の光学センサのないTVでも間接的に二次元バーコードのデータを読み取り、サーバ等に自動的にアクセスすることができる。
図335は、実施形態A1における、撮影装置とTVの表示方法を示す図である。
図335の(a)欄は、TV45のRF−IDのアンテナ138に、撮影装置1を近づけた時の表示状態を示す。
撮影装置1を、アンテナ138に近づけると、前述のように、カメラであることを認識するための、カメラのアイコン140を表示する。
次に、未アップロードの画像が何枚(例:5枚)あるかわかるので、5枚の空白画像142a、142b、142c、142d、142eをカメラのアイコン140から出てきたが如く表示させる。
このことにより、「モノから情報」への、「タンジブル」な画像が表示されるため、ユーザが、より自然な感覚で、画像をみることができる。
データがサーバにある実画像は、143a、143b、143cのように、同様に、タンジブルに表示される。
図335の(b)欄は、ハガキ139に、RF−IDが埋め込まれている場合を示す。TV45のRF−IDリーダライタ46により、ハガキの属性情報が読みこまれるため、図に示すように、TV45の左下の角に、ハガキのアイコン141が表示され、(a)欄と同様に、サーバの画像や、メニュー画面が、タンジブルに表示される。
以下に、図317の中で示された動作プログラム116を、撮影装置1のRF−ID47の通信対象となる機器である、図316のTV45に送信し、このRF−ID部の通信対象となる機器が、送信されたプログラムを実行する処理の詳細について説明する。
図336は、撮影装置1のRF−ID47の通信対象となる機器が、送信されたプログラムを実行する処理の行うブロック図である。
本図には、撮影装置1の一部(RF−ID47、第2アンテナ21)、テレビジョン(TV)45、および、TV45のリモコン827から構成される通信システムが図示されている。
ここで、撮影装置1は、赤外線通信路でTV45と接続されたRF−IDリーダライタ46との間で近接無線通信を行うRF−ID47を有するカメラであって、近接無線通信用のアンテナ21と、RF−IDリーダライタ46から供給される入力信号を、アンテナ21を介して受信するデータ受信部105と、少なくとも通信装置を特定するための識別情報であるUID部75と、当該UID部75を参照して、TV45によって実行される動作プログラム116とを記憶する不揮発性の第2メモリ52と、データ受信部105で受信された入力信号に応じて、第2メモリ52に記憶されたUID部75および動作プログラム116を、アンテナ21を介してRF−IDリーダライタ46に送信するデータ転送部108とを備え、データ転送部108から送信されたUID部75および動作プログラム116は、データ転送部108から、アンテナ21、RF−IDリーダライタ46および赤外線通信路を介して、TV45に転送される点に特徴を有する。以下、各構成要素を詳細に説明する。
撮影装置1のRF−ID47は、第2メモリ52を有し、第2メモリ52は、RF−ID部の通信対象となるテレビジョン(テレビ)45で動作する動作プログラム116を格納している。つまり、この動作プログラム116は、撮影装置1の識別情報を参照してTV45で実行されるプログラムの一例であり、例えば、後述するように、Java(登録商標)等の実行形式プログラム、あるいは、Java(登録商標)スクリプト等のスクリプト形式の仮想マシン用プログラムである。
RF−ID47の再生部は、第2メモリ52から撮影装置1に固有のUIDやURLを含むサーバ特定情報などの動作プログラムを実行するために必要な情報であるデータを、動作プログラム116とともに読み出し、データ転送部108および第2アンテナ21を介してテレビジョン45の遠隔操作を行うリモコン827のRF−IDリーダライタ46に送信される。
リモコン827のRF−IDリーダライタ46は、撮影装置1のRF−ID47から送信されたデータと動作プログラムを受信し、RF−ID記憶部6001に記憶する。
また、リモコン827のリモコン信号生成部6002は、撮影装置1のRF−ID47から送信されてRF−ID記憶部6001に記録されたデータと動作プログラムを、現在リモコン用の通信に広く利用されている赤外線方式等のリモコン信号に変換する。
リモコン信号送信部6003は、リモコン信号生成部6002で生成された動作プログラムを含むリモコン信号をテレビジョン45に対して送信する。
テレビジョン45のリモコン信号受信部6004は、リモコン827から送信されたリモコン信号を受信し、プログラム実行部6005は、例えば、Java(登録商標)等の仮想マシンであり、復号部5504を介してリモコン信号から、撮影装置1のRF−ID47から送信されたデータと動作プログラムを取得し、動作プログラムを実行する。
図337は、RF−IDに格納された動作プログラムを転送および実行する処理のフローチャートである。
図337では、動作プログラムとして「撮影装置1の識別情報(ここでは、UID)を参照して、画像サーバから画像データをダウンロードし、スライドショー形式で画像を表示する」という動作を実行する処理の流れを示す。
図338は、画像のダウンロードおよびスライドショーを行う動作プログラムの記述の一例を示す図である。
リモコンを、撮影装置1に近づけると、まず、撮影装置1のRF−ID47に、リモコンのRF−IDリーダライタ46から、RF−IDの通信を介して、電源が供給され、第2メモリ52から、機器固有のUID75、画像サーバのURL48、動作プログラム116が読み出される(S6001)。読み出したUID、画像サーバURL、動作プログラムは、データ転送部108および第2アンテナ21によって、リモコン827に向けて送信される(S6002)。ここで、動作プログラムは、図338で示すように、サーバ接続命令6006、ダウンロード命令6008、スライドショー表示命令6010、ダウンロード完了時の処理設定命令6007、ダウンロード完了時命令6009で構成される。
リモコン827では、RF−IDリーダライタ46で、撮影装置1から送信された、UID、画像サーバURL、動作プログラムを受信し(S6003およびS6004)、受信が完了すると、UID、画像サーバURL、動作プログラムを、RF−ID記憶部6001に記憶する(S6005)とともに、UID、画像サーバURL、動作プログラムを、リモコン信号として赤外線方式で送信できる形式に変換しておく(S6006)。そして、ユーザが、リモコン827上で所定の操作入力を行い、リモコン信号送を送信する指示を受け付けた場合(S6007)、UID、画像サーバURL、動作プログラムを含むリモコン信号を、リモコン信号送信部から送信する(S6008)。つまり、リモコン827は、通常のリモコンとしての機能の他に、内蔵するRF−IDリーダライタ46によって、撮影装置1からTV45に向けて、UID、画像サーバURLおよび動作プログラムを転送する中継器として機能する。
次に、テレビジョン45では、リモコン827から送信されたリモコン信号を受信し(S6009)、復号部でリモコン信号に含まれるUID、画像サーバURL、動作プログラムを取得する(S6010)。そして、プログラム実行部6005が、UID、画像サーバURLを使用して、動作プログラムを実行する(S6011〜6015)。動作プログラムは、まず、画像サーバURLを用いて、通信ネットワーク上の画像サーバ42と接続を確立する(S6012および図338の6006)。そして、撮像機器に、固有の情報であるUIDを用いて、特定の撮像機器で撮影された画像データを、画像サーバ42の記憶装置に保持された画像データ50の中から選択し、テレビにダウンロードする(S6013、S6014および図338の6008)。つまり、UIDは、画像サーバ42が保持する画像データのうち、UIDが示す撮影装置1に対応付けられた画像データを選択するために用いられる。画像のダウンロードが完了すると、画像をスライドショー形式で順次表示していく(S6015および図338の6007、6009、6010)。図338の6007は、画像ダウンロード完了時の処理を設定する命令であり、図338では、画像ダウンロード完了時の処理として、命令6009を設定している。さらに、処理6009の中で、画像のスライドショー表示を実行する処理6010をコールしている。
なお、図336および図337では、リモコン827を介して、動作プログラムや動作プログラムが使用するデータを、撮影装置1からテレビジョン45に転送したが、リモコン827のRF−IDリーダライタ46については、テレビが備える構成であってもよい。つまり、RF−IDリーダライタ46が、TVに内蔵されていてもよい。言い換えると、リーダ装置と機器とを接続する通信路は、赤外線等の無線通信路であってもよいし、有線の信号ケーブルであってもよい。
なお、上述の動作例では、UIDは、画像サーバ42が保持する画像データから、撮影装置1に対応する画像データを選択するために用いられたが、画像データが置かれている画像サーバを特定するのに用いられてもよい。例えば、複数の画像サーバが存在する通信システムにおいて、UIDと、そのUIDが示す撮影装置の画像データが保存されている画像サーバとが対応付けられている場合には、そのUIDを参照して、画像サーバのURLを決定するように動作プログラムを作成しておくことで、動作プログラムを実行したTV45は、UIDを参照することで、複数の画像サーバから当該UIDに対応付けられた画像サーバを特定し、その画像サーバから画像データをダウンロードすることができる。
また、撮影装置1を特定する識別情報としては、UIDに限られず、撮影装置1のシリアル番号、製造番号、MAC(Media Access Control)アドレス、MACアドレスに相当する情報(IPアドレス等)、あるいは、撮影装置1が無線LANのアクセスポイントとしての機能を備える場合には、SSID(Service Set Identifier)に相当する情報であってもよい。さらに、上述の第2メモリ52では、撮影装置1を特定する識別情報(UID75)は、動作プログラム116とは別個に格納されていたが、動作プログラム116の中に格納(記述)されていてもよい。
なお、リモコン信号(つまり、リーダ装置と機器とを接続する通信路)は、赤外線方式を使用すると説明したが、これに限定されるものではなく、例えば、Bluetoothなどの無線通信方式であってもよい。一般的に、赤外線通信よりも高速な無線通信方式を用いることで、動作プログラム等の転送に必要な時間を短縮することができる。
なお、動作プログラムは、図338で示した書式のプログラムだけではなく、他のプログラミング言語でのプログラムなどでもよい。例えば、Java(登録商標)で動作プログラムを記述すれば、Java(登録商標)VMと呼ばれるプログラム実行環境は、汎用性が高いため、多様な機器での動作プログラムの実行が容易になる。また、Java(登録商標)Scriptに代表されるスクリプト形式の、小さい記憶容量に記憶できるコンパクトなプログラミング言語で記述すれば、第2メモリ52で示されるRF−IDの記憶容量が小さい場合でも、動作プログラムを、RF−ID内部に格納することができる。また、テレビのような、プログラム実行環境を備える機器の処理負荷を軽減するために、動作プログラムは、図338で示したようなソースコードとしてではなく、コンパイル等の処理を施した実行形式のプログラムであってもよい。
図339は、言語コードに応じて動作プログラムの処理を変更するテレビと、プログラムを格納するサーバのブロック図である。
図340は、言語コードに応じて動作プログラムの処理を変更する処理のフローチャートである。
さらに、図339と図340を用いて、RF−IDリーダを備える表示装置の固有情報に応じて、プログラムの動作を変更する処理の詳細について説明する。
図339で示すテレビジョン45は、言語コード保持部6013を備え、プログラム実行部6005は、リモコン信号として受信した動作プログラムがサーバ42に接続する処理を行う場合に、言語コード保持部6013から言語コードを読み出して、言語コードに対応するサーバ42に接続し、そのサーバ42からサーバプログラムをダウンロードし、さらにダウンロードしたサーバプログラムを実行する。例えば言語コードが日本語であれば日本語に対応した処理を含むプログラム記憶部6011を備えるサーバ42に接続し、そのプログラム記憶部6011から取得したサーバプログラムをテレビ上で実行する。すなわち、図336で説明したような撮影装置1のRF−ID47に格納された動作プログラムは、サーバ42への接続だけを実行し、それ以外の画像を表示するといった処理の実行には、サーバからダウンロードしたサーバプログラムを使用する。
このような処理の流れを図340で説明する。撮影装置1のRF−ID47から、動作プログラムや、動作プログラムに必要なデータを、テレビが受信する処理は、図337で説明した処理と同様である。ここで、テレビジョン45が、リモコン信号として受信したサーバ特定情報は、英語に対応したサーバ42を示すサーバアドレスと、日本語に対応したサーバ42を示すサーバアドレスの2種類を含み、テレビがリモコン信号として受信した動作プログラムは、図338の6006で示したサーバへの接続命令が記述されているものとする。
テレビジョン45の実行環境は、テレビジョン45の言語コードを取得し(S6016)、言語コードが日本語であれば、サーバ特定情報の中から、日本語に対応した処理を含むプログラム記憶部6011を備えるサーバのサーバアドレスを選択し(S6017、S6018)、言語コードが日本語でなければ、サーバ特定情報の中から、英語に対応した処理を含むプログラム記憶部6011を備えるサーバのサーバアドレスを選択する(S6017、S6019)。次に、選択したサーバアドレスを用いて、サーバ42に接続し(S6021)、サーバ42から、サーバプログラムをダウンロードする(S6022、S6023)。取得したサーバプログラムは、テレビのプログラム実行環境(例えば、仮想マシン)で実行される(S6024)。
なお、図339と図340では、言語コードの使用について説明したが、製造番号やシリアル番号のように、表示装置が、販売および/または設置されている国を示す情報であってもよい。
図341は、撮影装置とTVが無線LANを含むホームネットワーク6500の構成図である。
図341に、撮影装置1とTV45が、無線LANやPower Line Communication(以下、PLC)などを用いて、ホームネットワーク6500を構成している場合を示す。撮影装置1とTV45が、無線LANを通して直接通信が可能な直接通信部6501、6502を保有する場合には、撮影装置1は、画像を、インターネット上のサーバを介さずに、TV45に送信することが可能となる。すなわち、撮影装置1自身が、サーバの役割を兼ねることができる。しかし、無線LANなどのホームネットワーク6500で用いられるいくつかの通信媒体は、他者に容易に傍受可能であるという特性をもつ。そのため、安全なデータ通信を行うためには、相互に認証し、暗号化されたデータをやりとりする必要がある。例えば、現在の無線LAN機器では、アクセスポイントを認証端末とし、認証してほしい端末の画面上に接続可能なアクセスポイントをすべて表示し、ユーザにアクセスポイントを選択させ、WEPキーを入力することによって、暗号化された通信を行っている。しかし、一般のユーザにとっては、この処理は煩雑である。また、TVなどの家電機器に無線LANが内蔵された場合には、認証することが可能な端末が多数存在することになる。集合住宅などでは、隣家の端末とも通信可能であるため、ユーザが、認証端末を選択するということ自体が困難となる。例えば、隣家で、同機種のTV6503を使用していた場合には、画面に表示される情報から、ユーザが、自宅のTV45を識別するのは、極めて困難である。
本発明では、この課題を解決することが可能となる。本発明では、RF−IDを用いて、認証処理を行う。具体的には、上記動作プログラムとして、撮影装置1のRF−ID部47の第2メモリ52に、MACアドレス58を含んだ認証プログラムを格納し、TV45のRF−IDリーダライタ46に近づけることによって、TV45に、認証プログラムを受け渡す。認証プログラムには、MACアドレスと共に、認証用の暗号鍵と、認証コマンドが含まれており、RF−ID47より渡された情報に、認証コマンドが含まれていると認識したTV45は、認証処理を行う。RF−ID47の通信部171は、物理的に近接させない限り通信ができないため、宅内では、傍受することが極めて困難である。また、物理的に近づけることにより、情報の受け渡しを行うため、隣家のTV6503や、DVDレコーダ6504などの、宅内の他の機器と、間違った認証を行うことを回避することが可能となる。
図342は、RF−IDを用いない認証方法の一例を示す図である。
図342に、RF−IDを用いない場合の認証方法の一例について示す。ユーザは、カメラやDVDレコーダなどの、認証したい端末のMACアドレスと、各端末の認証用の暗号鍵(認証用暗号鍵)6511を入力する。入力されたTV45は、入力されたMACアドレスを持つ端末に向かって、チャレンジメッセージ6513といわれる、適当なメッセージを送信する。チャレンジを受信した撮影装置1は、チャレンジメッセージ6513を、認証用暗号鍵6511を用いて、暗号化し、チャレンジを送信してきた端末であるTV45に向かって返信する。返信を受けた、TV45は、入力された認証用暗号鍵6511を用いて、チャレンジを複合する。これによって、認証用暗号鍵6511の正当性を確認し、ユーザのミスや、悪意を持ったユーザの介在を、防いでいる。次に、データ用の暗号鍵(データ暗号鍵)6512aを、認証用の暗号鍵6511を用いて暗号化し、撮影装置1に向けて送信する。これにより、TV45と撮影装置1間で、暗号化されたデータ通信が可能となる。さらに、DVDレコーダ6504や、他の機器(6505、6506)とも、同様の処理を行い、共通のデータ暗号鍵6512aを持つことにより、ホームネットワークにつながるすべての機器間で、暗号化された通信ができるようになる。
図343は、RF−IDを用いた認証方法の一例を示す図である。
図343に、RF−IDを用いた場合の認証方法について示す。RF−IDを用いた認証処理では、認証プログラム6521aを、撮影装置1内で作成し、カメラのRF−ID47から、TVのRF−ID部46に受け渡す。認証プログラム6521aには、認証コマンドと、カメラのMACアドレスと、カメラの認証用暗号鍵が含まれている。認証コマンドを受けたTVは、RF−IDより、カメラのMACアドレスと、認証用暗号鍵を取り出し、データ用の暗号鍵を、認証用暗号鍵により暗号化し、指定されたMACアドレスに対して送信する。この送信は、無線LANデバイスを用いて行われる。RF−IDを用いた認証の場合には、機械的に行われるため、ユーザの入力ミスは発生しない。また、TV45に接近するという動作が必要なことから、悪意のあるユーザによる介在を回避することが可能となる。そのため、チャレンジなどの前処理動作を省略することが可能となる。さらに、物理的に近接させるという動作は、ユーザに、どの端末と、どの端末とを認証させたかという事を、容易に認識させることが可能となる。なお、認証用暗号鍵を、認証プログラムに含まない場合には、一般の公開鍵認証と同様の手法を用いて、認証処理を行ってもよい。また、通信デバイスは、無線LANではなく、PLCやEthernet(登録商標)などのホームネットワークを構成するデバイスであれば、なんでもよい。また、MACアドレスは、ホームネットワーク内で用いられる通信端末を識別することができる固有識別情報であればなんでもよい。
図344は、端末を近接させることが困難な場合の認証方法の一例を示す図である。
図344に、各端末を近接させることが困難な場合の、RF−IDを用いた認証方法について示す。冷蔵庫と、TVなどのように、双方ともに、移動させることが困難な端末の場合には、RF−IDを用いて、直接、認証プログラムを受け渡すことは、極めて難しい。このような場合に、本発明では、リモコン(移動リモコン)6531xなどの、端末に付属する装置を用いて、認証プログラム情報を中継してもらってもよい。具体的には、リモコン6531xに内蔵したRF−IDリーダライタで、冷蔵庫に内蔵したRF−IDのプログラムを読み出し、リモコン6531xのメモリに記憶させ、ユーザによって移動リモコン6531xを移動させる。リモコン6531xを、TV45に近づけると、リモコン6531xのメモリ内に記憶したプログラムを、TVのRF−IDに転送する。なお、リモコンからTVへの転送は、RF−IDではなく、赤外線や、ZigBeeなどの、リモコン自身に元から内蔵されている通信手段を用いてもよい。すでに通信の安全性を確定された媒体であればなんでもよい。
図345は、カメラ側動作の一例を示すフローチャートである。
図345にカメラ(撮影装置1)側動作のフローチャートを示す。カメラは、認証モードになると、認証用の暗号鍵を作成し、タイマを設定する(S6541)。次に、RF−IDメモリ部に、自身のMACアドレスと、作成した認証鍵と、認証コマンドを書き込む(S6542)。ユーザによって、TVのRF−IDに、カメラのRF−IDが近づけられると、カメラのRF−IDメモリ内のTVのRF−IDに転送する(S6543)。最初に設定されたタイマ時間内に、応答が返ってきた場合には(S6544)、応答内に含まれる、暗号化されたデータ用の暗号鍵を、認証用暗号鍵を用いて復号する(S6545)。データ用暗号鍵を用いて、他の機器と通信を行い(S6546)、データ通信が可能であった場合には(S6547)、認証処理を終了する。データが正しく復号できなかった場合には、認証エラーを表示し、処理を終了(S6548)する。また、タイマ時間内に、TVよりの応答がなかった場合には、認証モードを解除(S6549)し、タイムアウトエラーを表示する(S6550)。
図346は、TV側動作の一例を示すフローチャートである。
図346に、TV45側動作のフローチャートを示す。RF−ID部より受信した情報に認証コマンドが含まれるかどうかを判断(S6560)する。認証コマンドが含まれない場合には、受信した情報に応じた処理を実行する(S6561)。認証コマンドが含まれる場合には、RF−ID部より受信した情報が、認証プログラムであるとし、認証プログラム内に存在する認証用暗号鍵を用いて、自身の持つデータ用暗号鍵を暗号化する(S6562)。さらに、認証プログラム内に指定されたMACアドレスに対して、暗号化済みのデータ用暗号鍵を送信する(S6563)。
以下に、図316にて説明した撮影装置1が、TV45にて動作可能なプログラムを生成または更新し、データ送信部173から、TV45にプログラムを送信し、TV45にて、プログラムを実行する形態について、図面を用いて詳細に説明する。
図347は、本形態における撮影装置1の第1処理部35と第2メモリ52のブロック図である。
第1処理部35は、第2メモリ読み出し部7003、URL生成部7004、プログラム生成部7005、プログラム部品記憶部7006およびプログラム書き込み部7007によって構成される。
第2メモリ読み出し部7003は、記録再生部51を通して、第2メモリ52に記憶されている情報を読み出す部分である。
URL生成部7004は、第2メモリ読み出し部7003を介して、第2メモリ52から、UID75、サーバ特定情報48、撮影画像状況情報55および画像表示方法指示情報77を読み出し、これらの情報から、画像がアップロードされているサーバ42のアドレスであるURLを生成する。
UID75は、撮影装置1を識別するための識別情報であり、撮影装置1台ごとにユニークな番号である。URL生成部7004で生成されるURLには、UIDが含まれており、例えば、画像をアップロードする画像サーバ42において、UID毎に、ユニークなディレクトリに画像ファイルを保存するなどして、撮影装置1台ごとに異なるURLアドレスを生成するとことができる。
サーバ特定情報48は、画像がアップロードされているサーバを特定するためのサーバ名であり、DNS(Domain Name Server)を介することによって、サーバ42のIPアドレスが判定でき、サーバ42に接続することができる。よって、サーバ特定情報48も、生成するURLに含まれる。
画像表示方法指示情報77は、オプションとして、一覧表示78、スライドショー表示79などを選択できる情報である。URL生成部7004は、この画像表示方法指示情報77に基づいて、URLを決定する。すなわち、一覧表示78であるか、スライドショー表示79であるかを示すURLを生成することによって、画像サーバは、URLに基づいて、一覧表示を行うか、スライドショー表示を行うかを決定することができる。
以上のように、本URL生成部7004は、第2メモリ52に記憶されているUID75、サーバ特定情報48、撮影画像状況情報55および画像表示方法指示情報77などから、画像を視聴するための画像サーバへのURLを生成して、生成したURLを、プログラム生成部7005に出力する。
プログラム生成部7005は、URL生成部7004にて生成したURlと、第2メモリ52に記憶されている強制表示命令7000、強制印刷命令136およびフォーマット識別情報7001によって、TV45にて動作可能なプログラムを生成する部分である。なお、プログラム生成部7005は、新たな動作プログラムの生成方法として、上述した情報に基づいて、新たな動作プログラムを生成することもできるし、既に生成した動作プログラムを更新することで、新たな動作プログラムを生成することもできる。
プログラム生成部7005で生成するプログラムは、TV45にて動作可能なプログラムであり、TV45の、図示しないシステムコントローラで動作可能なように、前記システムコントローラ用の機械語にコンパイルしている必要がある。この場合には、本プログラム生成部7005内に、コンパイラを持っており、生成したプログラムが、実行形式のプログラムに変換される。
一方、一般的なJAVA(登録商標)スクリプトのように、テキスト形式(スクリプト)のプログラムであっても、TV45に搭載されたブラウザによって実行されるプログラムである場合には、上記のコンパイラは必要ない。
プログラム生成部7005に入力されるURLは、画像が記録されている画像サーバへと接続するためのURLであり、本プログラム生成部7005は、URLを用いて、サーバへの接続プログラムを生成または更新する。
また、強制表示命令7000は、TV45にて、例えば、通常の放送波による番組を視聴中に、本撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46とが通信可能になった場合に、画像サーバから画像情報を表示するためのブラウザ視聴モードに、TV45を、自動的に設定するオプションであり、本オプションが選択されている場合には、TV45にて強制表示されるためのプログラムを生成する。
また、強制印刷命令136は、TV45にて、例えば通常の放送波による番組を視聴中に、本撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46とが通信可能になった場合に、画像サーバに保存されている画像データを、TV45に接続されている、図示しないプリンタから自動的に印刷するオプションであり、本オプションが選択されている場合には、TV45にて強制印刷されるための印刷用プログラムを生成する。
また、フォーマット識別情報7001は、表示するためのフォーマット情報であり、本プログラム生成部7005は、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されていると、TV45に設定されている言語コードによって、サーバに接続するURLを選択するためのプログラムを生成する。例えば、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されている場合は、TV45の言語コードが日本語である場合には、接続するURLとして、日本語のサイトを選択し、言語コードが日本語以外の場合は、接続するURLとして、英語のサイトを選択して接続するためのプログラムを生成する。従って、前記のURL生成部7004は、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されている場合、日本語サイト用のURLと、英語サイト用のURLとの2つのURLを生成して、本プログラム生成部7005に出力する。
プログラム部品記憶部7006は、プログラム生成部7005にてプログラムを生成するためのプログラムコマンド情報が記憶されている。本プログラム部品記憶部7006に記憶されているプログラム部品は、一般的なライブラリや、APIであってもいい。プログラム生成部7005は、サーバへの接続コマンドを生成する場合、プログラム部品記憶部から、サーバ接続コマンドである“Connect”に、URL生成部7004で生成したURLをつなぎ合わせることによって、URLに記述されたサーバに接続するための接続プログラムを、生成または更新する。
プログラム書き込み部7007は、プログラム生成部7005で生成したプログラムを、第2メモリ部に書き込むためのインタフェースである。
プログラム書き込み部7007から出力されるプログラムは、記録再生部51を介して、第2メモリ52のプログラム記憶部7002に記憶する。
本撮影装置1のRF−ID部が、TV45に接続されているRF−IDリーダライタ46に通信可能に接近した場合、再生部によって、第2メモリ52のプログラム記憶部7002からプログラムを読み出し、データ転送部108、第2アンテナ21を介して、プログラムを示す送信信号を、RF−IDリーダライタ46に送信する。送信された送信信号は、RF−IDリーダライタ46を介して、TV45にて受信される。TV45は、受信したプログラムを実行する。
また、TV45には、製造番号7008、言語コード7009およびプログラム実行バーチャルマシン7010が存在する。
製造番号7008は、TV45の製造番号であり、これによって、TV45が製造された日時、場所、製造ライン、製造者などが判定可能な情報である。
言語コード7009は、TV45に設定されている、メニュー表示などに利用する言語コードであり、予め設定されている以外に、ユーザによって切り替えることも可能である。
プログラム実行バーチャルマシン7010は、受信するプログラムを実行するための仮想マシンであり、ハードウェアで構成されている場合も、ソフトウェアで構成されている場合も、両方とも有効である。例えば、本プログラム実効バーチャルマシンは、JAVA(登録商標)バーチャルマシンで構成される。JAVA(登録商標)バーチャルマシンは、定義された命令セットを実行するスタック型やインタプリタ型の仮想マシンである。このバーチャルマシンを搭載することによって、撮影装置1のプログラム生成部7005で生成されたプログラムは、その実行プラットフォームを選ぶことはなくなり、どんなプラットフォームでも実行可能なプログラムを生成することが可能となる。
図348は、撮影装置1のプログラム生成部7005の動作を示したフローチャートである。
まず、本プログラム生成部7005は、生成プログラム情報を初期化する(S7000)。
次に、第2メモリ52に記憶されているサーバ特定情報48を用いて、URL生成部7004で生成したURLを用いて、サーバ42への接続コマンドを生成する。接続コマンドを生成するためには、プログラム部品記憶部7006から、サーバ接続コマンド用の命令セット(例えば、図中の“Connect”)を選択して、URLと組み合わせることによって、サーバ接続プログラム(例えば、“Connect(URL)”)を生成する。
次に、第2メモリ52の強制表示命令7000を確認して、強制表示命令がONかどうかを判定する(S7001)。ONになっている場合には、プログラム部品記憶部7006から、強制表示プログラム用の命令セットを呼び出し、強制表示コマンドを生成する(S7002)。生成したコマンドは、プログラムに追加される(S7004)。
一方、強制表示命令がONではない場合には、強制表示コマンドを生成することはない。
次に、第2メモリ52の強制印刷命令が、ONに設定されているかを判定する(S7005)。ONになっている場合には、サーバに記憶されている画像ファイルを強制的に印刷するための印刷コマンドを生成する(S7006)。生成されたコマンドは、プログラムに追加される(S7007)。
次に、第2メモリ52の画像表示方法指示情報77を確認し、一覧表示78がONに設定されているかを判定する(S7008)。ONになっている場合には、サーバに記憶されている画像ファイルを一覧表示させるための一覧表示コマンドを生成する(S7009)。生成されたコマンドは、プログラムに追加される(S7010)。
次に、第2メモリ52の画像表示方法指示情報77を確認し、スライドショー79がONに設定されているかを判定する(S7011)。ONになっている場合には、サーバに記憶されている画像ファイルをスライドショー表示させるためのスライドショーコマンドを生成する(S7012)。生成されたコマンドは、プログラムに追加される(S7013)。
以上のように、本撮影装置1のプログラム生成部7005は、第2のメモリ52に設定された内容に基づいて、プログラム部品記憶部7006に記憶されている、プログラム生成用の命令コマンドセットを利用して、TV45で、画像表示をさせるためのプログラムを生成する。
なお、本実施の形態では、強制表示命令、強制印刷命令、一覧表示、スライドショーの場合で説明したが、これに限られない。例えば、生成するプログラムとして、強制表示命令コマンドを生成する場合には、プログラムを実行する装置において、表示機器、表示機能があるかどうかの判定プログラムを挿入して、表示機器、表示機能がある場合のみ実行されるようにすれば、プログラムを実行する機器側の混乱をなくすプログラムを生成することができる。強制印刷命令コマンドの場合も、同様である。強制印刷命令コマンドを実行する機器に、印刷機能を持っていたり、印刷機能を持つ機器が接続されているかを判定するコマンドを挿入して、持っている場合にのみ、強制印刷命令コマンドを実行させるようにしてもよい。
次に、本撮影装置1におけるプログラム生成部7005で、生成または更新するプログラムについて説明する。
図349は、本プログラム生成部7005で生成するプログラムの処理の流れを示したフローチャートである。
本プログラムは、本撮影装置1の第2アンテナ21を介して送信され、受信する本撮影装置1とは異なる機器が実行するプログラムである。本実施形態では、本撮影装置1とは異なる機器は、TV45であり、RF−IDリーダライタ46で受信したプログラムが、TV45の図示しないコントローラ(あるいは、仮想マシン)によって実行される。
本プログラムは、まず、TV45に設定されている言語コードを、TV45の固有情報として読み出す(S7020)。言語コードは、TV45のメニュー表示などのときに使用する言語コードであり、ユーザが設定したものである。
次に、言語コードに設定された言語を判定する。本実施形態では、まず、言語コードが日本語であるかどうかを判定する(S7021)。言語コードが日本語であると判定された場合には、プログラム中のサーバへの接続コマンドのうち、日本語サイト用の接続コマンドを選択する(S7022)。一方、言語コードが日本語でないと判定された場合には、本プログラム中の、英語サイトへの接続コマンドを選択する(S7023)。本実施形態では、言語コードが日本語であるかどうかのみを判定して、それぞれ、日本語サイトへ接続するか、英語サイトへ接続するかを選択する形態を説明したが、2種類以上の言語コードにも対応できるよう、それぞれの言語コードに対応した接続プログラムを具備しておけば、2種類以上の言語コードへ対応することが可能となって、ユーザの利便性を向上させることができる。次に、選択した接続コマンドに従って、接続コマンド中に記されたURLに接続する(S7024)。
次に、接続コマンド中に記されたURLへの接続が成功したかどうかを判定する(S7025)。接続に失敗した場合には、TV45の表示部に、接続に失敗したことを示す警告表示を行う(7027)。一方、接続に成功した場合には、サーバに記憶されている画像ファイルをスライドショー表示させるためのコマンドを実行して、サーバに記憶されている画像ファイルを、スライドショー表示させる(7026)。
なお、本実施形態では、動作プログラムが、画像をスライドショー表示させるためのプログラムである場合について説明したが、本発明に係る動作プログラムは、この限りではない。一覧表示や強制表示、強制印刷を行うプログラムでもいい。強制表示させるプログラムの場合には、サーバに記憶された画像ファイルを表示する設定に自動的に変更するためのステップがコマンドとして挿入される。これによって、ユーザは、TV45の設定を手動で変更する手間を省いて、画像サーバからの画像ファイルを表示することができる。また、強制印刷の場合には、TV45の設定を自動的に印刷可能なモードに切り替えるコマンドが挿入される。また、強制印刷、強制表示の場合には、それぞれ、印刷機能を有しているかの判定コマンド、表示機能を有しているかの判定コマンドを挿入することによって、印刷機能のない機器で、強制印刷コマンドが実行されることがないようにすることが必要である。さらに、本発明に係る動作プログラムは、他のプログラムを導くための接続プログラムであってもよい。例えば、ブートローダーのように、他のプログラムをロードして実行させるためのローダー・プログラムであってもよい。
以上のように、本実施の形態で開示した発明の特徴は、RF−ID通信手段(データ転送部108、第2アンテナ21など)を有している機器である撮影装置1の第1処理部35の中に、プログラム生成部7005を有していることである。また、プログラム生成部7005で生成または更新するプログラムは、RF−IDを有する通信機器である、本実施形態の撮影装置1以外の機器で実行されることも特徴である。
従来、RF−IDを搭載する機器は、RF−ID通信部から、自身が持つID情報(タグ情報)を、他の機器(例えば本実施形態のTV45)に転送して、他の機器では、ID情報(タグ情報)に応じて、RF−IDを持つそれぞれの機器でユニークな動作プログラムを、他の機器の中に用意する必要があった。従って、RF−IDを持った新しい商品が登場した場合には、その新しい商品に対応した動作プログラムを入手して、インストールして実行するか、対応できない機器であるとして、排除するしかなかった。また、動作プログラムのインストールには、専門的な知識が求められ、誰もが簡単に行えるものでもない。従って、RF−IDを持つ機器が、多数、世に送り出されれば、本実施形態のTV45のような他の機器は、陳腐化して、ユーザの財産価値を損ねるという問題がある。
本実施の形態で説明した発明の開示によれば、RF−IDを持った機器が、プログラム生成部7005を有しており、TV45などの他の機器には、ID情報(タグ情報)ではなく、プログラムを送信する。TV45などの他の機器では、受信したプログラムを実行することによって、予め、RF−IDを持つ機器毎に、対応する動作プログラムを具備する必要がなくなり、例え、新しいRF−IDを持つ機器が登場した場合においても、新たなプログラムをインストールする必要がなくなり、ユーザ利便性を格段に向上させることができる。
よって、RF−IDを装備した物品の個体ごと、種類ごと、あるいは、応用システムごとに、対応するアプリケーションプログラムを、TV等の端末が備えておく必要がなくなる。よって、TV等の端末は、多くの種類のアプリケーションプログラムを保持するための記憶装置を備える必要がなくなるとともに、端末が保持するプログラムの改訂等の保守も不要となる。
また、本プログラム生成部7005が生成するプログラムは、JAVA(登録商標)言語のような、実行プラットフォームを選ばないプログラムが、有用である。よって、プログラムを実行するTV45のような機器に、JAVA(登録商標)の仮想マシンを用意することだけで、どのような機器のプログラムであっても実行することができる。
また、本発明のプログラム生成部7005は、予め第2メモリ52のプログラム記憶部7002に記憶されているプログラムを更新する機能を有していてもよい。プログラムを更新する場合においても、プログラムを生成するのと同様の効果を有するためである。また、本プログラム生成部7005で、生成または更新するプログラムは、TV45にてプログラムを実行する場合に使用するデータの生成または更新のプログラムであってもよい。通常、プログラムは、付随する初期設定データなどを有し、そのデータによって、動作するモードを切り替えたり、フラグ設定をしたりするので、データを生成または更新する場合でも、プログラムを生成または更新するのと同様であり、本発明の範疇である。なぜなら、プログラムを実行するに当たって、そのモード切替などのパラメータを、データとして保持して、読み出すのか、プログラム内部に埋め込んで実行させるかは、単なる設計事項であるためである。従って、本発明のプログラム生成部7005で生成または更新するプログラムは、同時に前記プログラムが使用するパラメータ列などのデータも同時に生成することもできる。生成するパラメータとしては、第2メモリ52に記憶されている強制表示命令7000、強制印刷命令136、画像表示方法指示情報77あるいはフォーマット識別情報7001などに基づいて生成されるデータである。
次に、本発明における、RF−IDを持った通信機器である撮影装置1の、第2メモリ52および第1処理部の特徴的な構成と動作を説明する。本実施形態では、RF−IDをもった通信機器である本撮影装置1が、動作に関した不具合を検出したり、電力使用状況を検出したりする使用状況検出部を第1処理部35に持ち、検出した使用状況を、本撮影装置とは異なる機器であるTV45に表示させるためのプログラムを生成する形態について説明する。
図350は、本発明の撮影装置1の第2のメモリ52、第1処理部35の特徴的な構成を示したブロック図である。
第2のメモリ52は、UID75、サーバ特定情報48、カメラID部135およびプログラム記憶部7002を持つ。
UID75は、本撮影装置1を識別可能な機器一台毎に異なるシリアル番号である。
サーバ特定情報48は、本撮影装置1の通信部37から撮影した画像データをサーバ42に送信する際に用いられる、サーバを特定する情報であり、サーバアドレスや保存ディレクトリ、ログインアカウント、ログインパスワードなどを含んでいる。
カメラID部135には、本撮影装置1の製造番号、製造年月日、製造元、製造ライン情報、製造場所などが記録されるとともに、本撮影装置1の機種を特定するためのカメラ機種情報も含んでいる。
第1処理部35は、第2メモリ読み出し部7003、使用状況検出部7020、プログラム生成部7005、プログラム部品記憶部7006およびプログラム書き込み部7007で構成される。
第2メモリ読み出し部は、第2のメモリ52に記憶されている内容を、記録再生部51を介して読み出す部分である。本実施形態では、第2のメモリ52から、UID75、サーバ特定情報48、カメラID部135を読み出して、プログラム生成部7005に出力する。なお、本第2メモリ読み出し部7003は、後に説明する使用状況検出部7020からの読み出し信号が出力された時点で、第2のメモリ52から上記内容を読み出す。
使用状況検出部7020は、本撮影装置1を構成する機能単位毎に、その使用状況を検出する部分である。また、本撮影装置1を構成する機能単位毎に動作不具合を確認するセンシング部を有しており、各機能単位のセンシング部でのセンシング結果が、本使用状況検出部7020に入力される。例えば、撮像部30からは、撮像部の撮像動作に関する不具合が認められるかどうか(機能しているかどうか、本使用状況検出部からの呼びかけに対して、正しく応答しているか)、映像処理部31からは、撮像部30が撮像した画像データのデータ処理において、不具合が認められるかどうか(機能しているかどうか、本使用状況検出部からの呼びかけに対して、正しく応答しているか)、電源部101からは、バッテリの電圧レベル、トータルの電力使用量が入力され、通信部37からは、サーバとの接続に成功しているか、インターネットへの接続ができているか(機能しているかどうか、本使用状況検出部からの呼びかけに対して、正しく応答しているか)、表示部6aからは、表示処理に不具合はないか、呼びかけに対して、正しく応答しているか、機能しているかといった情報が入力されて、各機能単位毎に、不具合情報や電池寿命、電力消費量が入力される。本使用状況検出部7020では、機能単位毎から送られてくる、上記のようなステータス情報を元に、内部の不具合検出部7021で、機能単位毎に、機能動作に対する不具合があるかどうかを判定して、不具合が認められる場合には、不具合箇所を特定する情報、不具合内容を特定する情報を、プログラム生成部7005に出力する。また、本使用状況検出部7020は、内部に使用電力検出部7022を持っており、電源部からのトータル使用電力情報に基づいて、使用電力情報を生成して、プログラム生成部7005に出力する。
プログラム生成部7005は、使用状況検出部7020からの不具合内容を特定する情報や、使用電力情報をTV45で表示するためのプログラムを生成する。プログラム生成は、プログラムを構成するための命令セットが、プログラム部品記憶部7006に予め記憶されているので、不具合や電力消費量を表示するための表示コマンド(図350では“display”)と、不具合箇所を特定する情報、不具合内容を特定する情報を表示するためのプログラムを生成する。なお、前述の電力消費量は、2酸化炭素の排出量に変換し、2酸化炭素排出量を表示するプログラムとして生成しても良い。
プログラム生成部7005で生成したプログラムは、プログラム書き込み部7007を介して、第2メモリ52のプログラム記憶部7002に記憶される。
第2メモリ52のプログラム記憶部7002に記憶されているプログラムは、データ転送部108を介して、第2アンテナ21から、TV45のRF−IDリーダライタ46に送信される。
TV45では、受信したプログラムが、プログラム実行バーチャルマシン7010にて実行される。
以上の構成によれば、撮影装置1の使用における、使用状況検出部7020によって検知された不具合や使用状況情報を、TV45にて表示するためのプログラムを、第1処理部35内のプログラム生成部7005にて生成し、TV45に送信して、TV45にて撮影装置1の不具合情報や使用状況情報を表示する。これによって、TV45では、撮影装置1などの機器に依存した複数のプログラムをインストールすることなく、ユーザに、不具合情報や使用状況情報を表示することが可能となる。
従来システムでは、TV45内に、撮影装置や、ビデオカメラ、電動歯ブラシ、体重計などの機器毎に、簡単な液晶ディスプレイなどの表示機能を用意して、その表示機能により、不具合情報や使用状況情報を表示していた。従って、表示能力の低い表示機能しか搭載できず、不具合情報を、記号列やエラーコードで表示することしかできなかった。従って、ユーザは、不具合情報などが出力されると、取扱説明書を紐解き、どのようなエラーであるかを判断する必要があった。しかしながら、一部のユーザは、取扱説明書を紛失したりして、インターネットのウェブサイトから情報を知りえた。
しかしながら、本発明にシステムにおいては、撮影装置1などの装置毎に検知した不具合情報を表示するための、本撮影装置とは異なる表示能力の高い機器であるTV45で実行可能な不具合報告表示プログラムを生成することができ、上記のような問題を解消することができる。
以下に、図3にて説明した撮影装置1が生成したプログラムが、TV45を含む複数の機器にて動作する形態について図面を用いて詳細に説明する。
図351は、本形態において、撮影装置1が生成したプログラムが、複数の機器で実行される様子を示したものである。
撮影装置1、TV45、表示機能付きリモコン6520、表示機能無しリモコン6530によって構成される。
TV45は、前記RF−IDリーダライタ46、無線通信装置6512から構成される。無線通信装置6512は、例えば、現在多くの家電のリモコンで利用されている一般的な赤外線通信装置や、Bluetooth(ブルートゥース)やZigBee(ジグビー)と呼ばれる、電波を用いた家電向け短距離無線通信装置などである。
表示機能付きリモコン6520は、TV45の無線通信装置6512に対して信号を送信するための送信部6521、映像を表示するための表示装置6523、ユーザからのキー入力を受け付ける入力装置6524、RF−ID47と通信するためのRF−IDリーダ6522、RF−IDリーダ6522で受信したプログラムを格納するためのメモリ6526、RF−IDリーダ6522で受信したプログラムを実行するための仮想マシンであるプログラム実行バーチャルマシン6525から構成される。例えば、近年の携帯電話は、赤外線通信機能や、Bluetooth、RF−IDリーダ、液晶画面、キー入力部、JAVA(登録商標)バーチャルマシンなどを保持する、表示機能付きリモコンの一例である。表示装置6523と入力装置6524は、液晶画面と複数の文字入力ボタンであっても良いし、タッチパネル液晶のように一体となっていてもよい。
表示機能無しリモコン6530は、TV45の無線通信装置6512に対して、信号を送信するための送信部6521、ボタンなどの、ユーザからの入力を受け付ける入力装置6533、RF−ID47と通信するためのRF−IDリーダ6532、RF−IDリーダ6532から受信したデータを、一時的に格納するメモリ6535から構成される。
表示機能無しリモコン6530としては、現在多くのTVに付属した一般的なリモコンに、RF−IDリーダを内蔵した機器などが考えられる。
本形態では、撮影装置1で生成したプログラムを、TV45のRF−IDリーダライタ46を介することにより、直接TV45に送信し、TV45でプログラムを実行する第1のケース、撮影装置1で生成したプログラムを、表示機能無しリモコン6530を介することにより、間接的にTV45に送信し、TV45で、プログラムを実行する第2のケース、撮影装置1で生成したプログラムを、表示機能有りリモコン6520を介することにより、間接的にTV45に送信し、TV45で、プログラムを実行する第3のケース、撮影装置1で生成したプログラムを、表示機能有りリモコン6520に送信し、表示機能有りリモコン6520で、プログラムを実行する第4のケースが考えられ、ユーザは、4つのケースを選択的に実行させる。
ここで、第1のケースは、実施の形態A1ですでに述べているため、詳しい説明を省略する。
下記に、第2〜第4のケースに関して、詳細を説明する。
第2のケースは、一般的なTVリモコンのように、液晶パネルなどのグラフィカルな表示装置を持たない、表示機能無しリモコン6530を介して、撮影装置1で生成したプログラムを、TV45で実行するケースである。
ユーザが、RF−ID47を、RF−IDリーダ6532に近接させた場合、RF−IDリーダ6532は、撮影装置1で生成されたプログラムを読み出し、メモリ6535に保持する。
次に、ユーザが入力装置6533を押下すると、送信部6531から、TV45の無線通信装置6512に対して、メモリ6535に保持されていたプログラムが送信され、TV45上のプログラム実行バーチャルマシン7010で、プログラムが実行される。無線通信装置6512が、指向性を持つ赤外線通信装置の場合、ユーザは、表示機能無しリモコン6530を、対応するTV45に向けた状態で、入力装置6533を押下する。無線通信装置6512が、指向性を持たないBluetoothや、ZigBeeなどの、短距離無線通信装置であった場合には、事前にペアリングされているTV45に対して、プログラムが送信される。短距離無線通信装置の場合には、ユーザが、入力装置6533を押下しなくとも、RF−IDリーダ6532が、RF−ID47から、プログラムを読み込んだ時点で、自動的にペアリングされたTV45に、読み込んだプログラムを送信してもよい。
また、表示機能無しリモコン6530は、RF−IDリーダ6532で読み込んだデータを、メモリ6535に保持していることを、ユーザに通知するための表示装置、例えば、LED6534を、構成要素に持ち、RF−IDリーダ6532から、メモリ6535に、プログラムを読み込んだ際に、LED6534を点灯させ、ユーザが、入力装置6533を押下し、TV45に、プログラムを送信完了した際に、LED6534を消灯させてもよい。これにより、表示機能無しリモコンが、プログラムを保持していることを、ユーザに、明確に通知することが可能となる。LED6534は、単体のLEDであってもよいし、入力装置6533と、一体となっていてもよい。
第2のケースでは、ユーザと、TV45との間の位置が離れていた場合であっても、手元の表示機能無しリモコン6530を利用することにより、TV45上で、プログラムを実行するが可能となる。
第3、第4のケースは、例えば、スマートフォンと呼ばれる、高機能な携帯電話のように、表示機能付きリモコン6520が、プログラム実行バーチャルマシンを持っている場合に、撮影装置1で生成したプログラムを、表示機能付きリモコン上で実行することも、TV45に、プログラムを送信することにより、TV45上で、プログラムを実行することも、ユーザが選択できるようにする場合の例である。
ユーザが、RF−ID47を、RF−IDリーダ6522に近接させた場合、RF−IDリーダ6522は、撮影装置1で生成されたプログラムを読み出し、メモリ6535に保持する。
図352は、撮影装置で生成したプログラムを、表示機能付きリモコンで実行する場合のシーケンス図である。
次に、表示機能付きリモコン6520の動作を、図352のフローチャートを用いて、詳細に説明する。
まず、RF−IDリーダ6522で読み出したプログラムが、プログラム実行バーチャルマシン6525に転送され、実行される(S6601)。
次に、リモコン6520が、表示デバイスを持つか否かを判定する(S6602)。リモコン6520が、表示機能を持っていない場合(S6602でN)には、送信部6521を用いて、プログラムをTV45に送信し、処理を終える。この場合、プログラムは、TV45上で実行される。
リモコンが、表示機能を持っている場合(S6602でY)、リモコンと、送信先のTV45とがペアリングされているか否かを判定する(S6603)。リモコン6520と、TV45とがペアリングされていない場合(S6603でN)には、リモコン6520の表示装置6523を用いて、プログラムの続きが実行される。リモコン6520と、TV45とがペアリングされている場合(S6603でY)には、ユーザに、選択を促すため、表示装置6523への表示「TVに表示しますか?リモコンで表示しますか?」というダイアログ・メッセージを表示する(S6604)。
次に、入力装置6524からのユーザ入力を受け付け(S6605)、ユーザが、TVに表示することを選択したか否かを判定する(S6606)。ユーザが、TV45で表示することを選択した場合(S6606でY)、送信部6521を用いて、プログラムをTV45に送信し、処理を終える。この場合、プログラムは、TV45上で実行される。ユーザが、リモコンで表示することを選択した場合(S6606でN)には、リモコン6520の表示装置6523を用いて、プログラムの続きが、実行される(S6607)。
また、上記で示した、プログラムの続きとは、前述した、撮影装置1のバッテリ状態、不具合状態、取扱説明書の表示などであり、本実施例に制限されるものではない。
以上の構成によれば、撮影装置1で生成したプログラムが、表示機能付きリモコン機器に送信され、表示機能付きリモコンの能力を判定し、リモコン上で、プログラムの続きを、どの機器で実行するか否かが決定される。これによって、リモコン自身に、複数の機器に対応したプログラムをインストールしておく必要がなく、ユーザは、好みの形態で、プログラムを実行することが可能となる。
また、本実施の形態においては、リモコンの表示機能の有無、ペアリング状態を、判定条件として説明したが、これらに限るものではない。通信能力、音声・映像再生能力、入力デバイス、出力デバイスなど、機器の持ちうる能力に従って、どのような判定を、プログラムが行ったとしても良い。
以上、説明してきたように、RF−IDの記憶領域が、データだけでなく、機器の動作を記述したプログラムを保持することにより、従来では、機器の動作を変更するために必要であった、プログラムの変更や更新が、大幅に容易なものとなり、多数の新機能の追加や、連携機器の増加にも、対応が可能である。また、RF−IDを用いた近接通信は、近づけるという、ユーザにわかり易い操作であるので、従来においては、ボタンやメニューを操作して、面倒であった機器操作も、簡単にすることができ、複雑な機器の動作であったのが、使いやすくすることができる。
(実施の形態A2)
次に、本発明に係る通信システムの具体的な動作、つまり、カメラで取得した画像をアップロードしておき、その後に、簡単な操作で、その画像を、TVにダウンロードして、表示する通信システムについて、実施の形態A2として、説明する。通信システムの全体構成は、実施の形態A1と同様である。
図353(図353A、図353B、図353C)は、実施の形態A2における、カメラのアップロード手順を示すフローチャートである。
なお、先述のように、以下では、図353A〜図353Cが含まれてなる全体が、「図353」と適宜、略称される。
なお、図355などについても、この例と同様である。
図353に、カメラ(撮影装置1)が写真をアップロードする、一連の手続きのフロー図を示す。カメラは、まず、画像を撮影すると(ステップS5101)、撮影画像を、第3メモリに保存し(ステップS5102)、第2メモリ情報の更新処理を行う(ステップS5103)。この更新情報については、後述する。次に、通信部によって、インターネットに接続可能かどうかを判断し(ステップS5104)、接続可能であれば、URLの作成処理を行う(ステップS5105)。この処理の詳細は、後述する。URLを作成後、カメラは、撮影画像のアップロードを行い(ステップS5106)、アップロードが完了すると、通信部の切断処理を行い(ステップS5107)、終了する。アップロード処理の詳細は後述する。
ステップS5103の第2メモリ情報の更新処理は、サーバ42へアップロードした写真と、アップロードしていない写真の識別情報を、サーバ42とカメラとの間で共有するために利用される。アップロード処理S5105の動作は、例えば、case1〜case4の動作が挙げられる。
第2メモリの最後に撮影した時間68を記録しておき、撮影画像を、第3メモリに保存した後、第2メモリの最後に、撮影した時間68を更新する方法がある(ステップS5111)。
アップロードした時刻と、カメラの最終撮影時刻とを比較することで、サーバ42と、カメラのと間で、アップロードした写真の識別情報を共有することが可能となる。
また、撮影した画像に対応して、サーバ42への未アップロード画像データの存在識別子64を生成し、第2メモリに記憶するという方法でも、同等の効果を得ることができる(ステップS5121)。
また、未アップロード画像情報をハッシュした情報67を、第2メモリに記憶しても良い(ステップS5131)。これによって、第2メモリに保存する情報量が少なくなり、メモリの節約に繋がる。
また、撮影画像に時系列的に画像番号を生成して、第2メモリの画像の最終番号69を、更新してもよい(ステップS5141)。これにより、カメラの時刻が正確でない場合でも、サーバ42と、カメラとの間の、アップロード写真に関する同期を取ることが可能となる。
図354は、ステップS5105のURL作成処理の詳細を示す図である。
カメラは、第2メモリから、サーバアドレス情報81、ログインID83、パスワード84等含むサーバ特定情報48を読み出し(ステップS5201)、URLを生成する(ステップS5202)。
図355(図355A〜図355D)は、ステップS5106のアップロード処理の詳細を示す図である。
なお、先述のように、図355A〜図355Dが含まれてなる全体が、「図355」と適宜、略称される。
それぞれのcaseは、図353で示された、第2メモリ情報の更新処理に対応している。
case1では、カメラは、サーバ42から、サーバ42への最終アップロード時間を受信すると(ステップS5211)、最終アップロード時刻と、最後に撮影した時刻とを比較する(ステップS5212)。最後に撮影した時刻が、最終アップロード時刻より大きい、すなわち、最終アップロードした後に撮影した画像がある場合には、サーバ42からの最終アップロード時刻以降に撮影された画像を、サーバ42にアップロードする(ステップS5213)。
case2では、カメラは、第2メモリから、未アップロード画像データ存在識別子64を確認し(ステップS5231)、未アップロードの存在を確認する(ステップS5232)。未アップロード画像が存在している場合、未アップロード画像を、サーバ42へアップロードし(ステップS5233)、第2メモリの、アップロードした画像の情報67を更新する(ステップS5234)。
case3では、カメラは、まず、第2メモリから、未アップロード画像情報をハッシュした情報67を確認し(ステップS5301)、第2メモリから、未アップロード画像情報をハッシュした情報67は、NULLをハッシュした情報と同じかどうかを判断する(ステップS5302)。同じでない場合、サーバ42に、アップロードされていな画像があると判断し、第3メモリに記録され、サーバ42に、アップロードされていない画像をアップロードする(ステップS5303)。
case4では、カメラは、サーバ42から、最終アップロード画像の番号を受信する(ステップS5311)。次に、第2メモリの画像の最終番号69と同じかどうかを判断し(ステップS5312)、同じでない場合、サーバ42からの固有IDよりも新しい固有IDを持つ画像データを、アップロードする(ステップS5313)。
図356は、撮影装置1と、TV45とのRF−ID近接通信を行う処理を示したフロー図である。
まず、撮影装置1に内蔵されている第2アンテナ21は、TV45のRF−IDリーダライタ46からの、ポーリングによる微弱無線電力を受信して、第2電源部91で動作するRF−ID47を、起動する(S5401)。
ステップS5401で微弱電力を受信して起動した撮影装置1のRF−ID47は、TV45のRF−IDリーダライタ46のポーリングに対して、応答を行う(ステップS5402)。
ステップS5402でポーリング応答を行った後、撮影装置1のRF−ID47と、TV45のRF−IDリーダライタ部が、互いに正規の装置であるかどうかの認証と、撮影装置1と、TV45間でセキュアな情報通信を行うための暗号鍵の鍵シェアリング動作を含んだ相互認証を行う(ステップS5403)。この相互認証は、楕円暗号などの公開鍵暗号アルゴリズムを用いた相互認証処理であり、通常、HDMIやIEEE1394による通信の相互認証処理と同様の方法である。
ステップS5403で、撮影装置1のRF−ID47と、TV45のRF−IDリーダライタ46とで、相互認証処理を行い、互いに共通の暗号鍵を生成したのち、RF−ID47から読み出し可能な第2メモリ52に記憶されているサーバ特定情報58から、サーバURL生成情報80を読み出し、第2アンテナ21から、TV45のRF−IDリーダライタ46に送信する。サーバURL生成情報80の中には、サーバ42のアドレス情報を示すサーバアドレス情報81、サーバ42へのログインID83であるユーザ識別情報82、および、サーバ42へのログインパスワードであるパスワード84が含まれる。パスワード84は、悪意ある第3者からの不正行為を防ぐために重要な情報であるので、予め暗号化された、暗号化されたパスワード85として記憶され、TV45に送信される場合もある。
ステップS5404で、サーバURL生成情報80が、TV45のRF−IDリーダライタ46に送信された後、第2メモリ52に記憶されている撮影画像状況情報55を、サーバ特定情報58と同様に、第2アンテナ21から、TV45のRF−IDリーダライタ46に送信する(ステップS5405)。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像毎に付与された、未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42の、撮影画像の同期を確認するために必要な情報である。
Case1では、撮影画像状況情報55として、最終撮影時間68を適用する。よって、TV45において、サーバ42への最終アップロード時間と、最終撮影時間68とを比較して、サーバ42への最終アップロード時間よりも最終撮影時間68が、時系的に遅ければ、撮影装置1とサーバ42とに保持する各画像情報の間の同期がとれていないとして、TV45の表示部に、同期が取れていないことを示す注意情報を表示する。
Case2では、撮影画像状況情報55として撮影画像毎に付与された未アップロードデータかどうかの判別が可能な存在識別子64を適用する。よって、TV45において、撮影画像毎に付与された未アップロードデータかどうかの判別が可能な存在識別子64を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42とに保持する各画像情報の間の同期がとれていないとして、TV45の表示部に、同期が取れていないことを示す注意情報を表示する。
Case3では、撮影画像状況情報55として未アップロード画像情報をハッシュした情報67を適用する。よって、TV45において、未アップロード画像情報をハッシュした情報67を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42とに保持する各画像情報の間の同期がとれていないとして、TV45の表示部に、同期が取れていないことを示す注意情報を表示する。
Case4では、撮影画像状況情報55として、撮影画像に対して時系的に付与した画像番号の画像の最終番号69を適用する。よって、TV45において、サーバ42から受信する、サーバ42へアップロードされた最終画像番号と、撮影装置1から送信される撮影画像に対して時系的に付与した画像番号の画像の最終番号69を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42とに保持する各画像情報の間の同期がとれていないとして、TV45の表示部に、同期が取れていないことを示す注意情報を表示する。
ステップS5405で、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に、撮影画像状況情報55が送信された後、第2メモリ52から、画像表示方法指示情報77を、撮影画像状況情報55と同様に、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に送信する(ステップS5406)。画像表示方法指示情報77は、TV45の表示部において、サーバ42からダウンロードした画像を、どのように表示するかを示した識別情報であり、画像の一覧形式表示することを示した一覧表示(指示子)78やスライドショー形式で表示するためのスライドショー(指示子)79で構成される。
以上、撮影装置1のステップS5401〜ステップS5406のステップによって、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に、撮影装置1の第2メモリ52に記憶されているサーバURL生成情報80、撮影画像状況情報55、および、画像表示方法指示情報77を送信する。また、これらは、全て、相互認証時に、撮影装置1とTV45とでシェアリングした暗号鍵情報によって、暗号化して送信することが望ましい。暗号化を行うことによって、撮影装置1とTV45との間で、セキュアな情報通信が可能となり、悪意ある第3者からの介入を防ぐことができる。
また、サーバURL生成情報80をTV45に送信することによって、撮影装置1の第1アンテナ20で送信するサーバ42と、TV45から画像をダウンロードするサーバが共通のサーバおよびディレクトリとなるために、撮影装置1で撮影してアップロードした画像を、TV45で表示することが可能となる。
また、撮影画像状況情報55をTV45に送信することによって、撮影装置1の第3メモリ33に記録されている撮影画像と、第1アンテナ20によってサーバ42にアップロードされた画像の間の同期が判定可能となって、同期が取れていないことをTV45で判定可能となり、同期が取れていないことを示す、TV45での注意情報を表示することによって、ユーザの無用な混乱を防止することができる。
また、画像表示方法指示情報77をTV45に送信することによって、TV45で、ユーザが画像の閲覧方法を指定することなく、TV45に、撮影装置1を近づけることによって、設定された閲覧方法で、画像を閲覧することが可能となり、TV45のリモコンなどによる複雑な操作を行うことなく、設定された閲覧方法で、自動的に画像を表示することが可能となる。
図357は、本発明に係るTVシステムの特徴的な機能を示したブロック図である。
本TV45は、RF−IDリーダライタ46、復号部5504、URL生成部5505、通信部5506、送信部5507、通信インタフェース5508、受信部5509、データ処理部5510、メモリ部5511、表示部5512およびCPU5513から構成される。
RF−IDリーダライタ46は、撮影装置1のRF−ID47と、第2アンテナ21を介して通信する部分であり、無線アンテナ5501、受信部5503、および通信可能装置検索部(ポーリング部)5502から構成される。
無線アンテナ5501は、撮影装置1の第2アンテナ21と近接無線通信を行う部分であり、汎用のRF−IDリーダライタの無線アンテナと同等の構成である。
通信可能装置検索部(ポーリング部)5502は、複数のカメラのRF−ID部に対して、送信(あるいは処理)要求がないか、一つ一つの相手に確認するポーリングを行う部分である。ポーリングに対して、撮影装置1のRF−ID47から、ポーリング応答があった場合には、相互認証動作を行い、TV45と、撮影装置1とで、共通の暗号鍵を、シェアリングする。
受信部5503は、ポーリングに対して、ポーリング応答があり、相互認証が終了したとき、撮影装置1の第2アンテナ21から、撮影装置1の第2メモリ52に記憶されているサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77をそれぞれ受信する。
復号部5504は、受信部5503で受信したサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77を復号する部分である。復号は、通信可能装置検索部(ポーリング部)5502で相互認証後に、撮影装置1とTV45とで共通化した暗号鍵を用いて、暗号化されているサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77を復号する。
URL生成部5505は、サーバURL生成情報80から、サーバ42にアクセスするためのURL(Uniform Resource Locator)を生成して、通信部に送信する。本URLには、サーバ特定情報のほかに、サーバにログインするためのログインID83、パスワード85が含まれる。
通信部5506は、通信インタフェース5508によって、汎用のネットワークを介して、サーバ42と通信を行う部分である。
送信部5507は、通信インタフェース5508を介して、URL生成部5505で生成したURLを送信して、サーバ42と接続する。
通信インタフェース5508は、汎用のネットワークを介して、サーバ42と接続する通信インタフェースであり、有線/無線LAN(Local Area Network)インタフェースなどで構成される。
受信部5509は、通信インタフェース5508によって接続したサーバ42から、画像情報や、画像表示スタイルシート(CSS)を受信し、ダウンロードする部分である。
データ処理部5510は、受信部5509でダウンロードした画像情報のデータ処理を行う部分であり、ダウンロードする画像が圧縮されている場合には、その伸張を、暗号化されている場合には、その復号を行い、画像表示スタイルシートに基づいた画像表示スタイルで、ダウンロードした画像情報を配列したりする。また、本データ処理部5510は、復号部で、必要に応じて復号して得る撮影画像状況情報55によって、撮影装置1に保存されている撮影画像情報と、サーバ42にアップロードされた画像情報とに、同期が確認されない場合には、表示部5512に、同期がとれていないことを示す注意情報を、表示して、ユーザの無用な混乱を防ぐ処理を行う。また、本データ処理部5510は、復号部5504からの画像表示方法指示情報77に従って、ダウンロードした画像情報を表示する形態を設定する。例えば、画像表示方法指示情報77の一覧表示(フラグ)78がONのときは、ダウンロードした画像の一覧表示を生成して、メモリ部5511に出力する。また、画像表示方法指示情報77のスライドショーフラグ79がONのときには、ダウンロードした画像のスライドショーを生成して、メモリ部5511に出力する。
メモリ部5511は、データ処理部5510でデータ処理された画像情報を、一時記憶するメモリで構成される。
表示部5512は、メモリ部5511に蓄積した、サーバ42からダウンロードして、データ処理部5510でデータ処理した画像データを表示する部分である。
以上のように、本発明に係るTV45は、撮影装置1のRF−ID47から受信するサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77に基づいて、サーバ42と接続し、サーバ42にアップロードされた画像情報をダウンロードして、表示部5512に表示する処理を行うことができる。これによって、撮影装置1のSDカードやフラッシュメモリによって構成される第3メモリ33を取り出し、TV45のカードリーダに装着して、撮影済み画像の閲覧を行うという煩雑なユーザ処理を行うことなく、撮影装置1のRF−ID47を、TV45のRF−IDリーダライタ46にかざし、近接通信させるという簡単なユーザ操作によって、撮影済みの画像情報を表示し、閲覧することが可能となり、デジタル機器の操作に不慣れなユーザであっても、簡単に、画像情報を閲覧可能な撮影画像閲覧システムを実現することが可能となる。
図358は、撮影装置1とTV45のRF−ID無線近接通信動作を示したフローチャートである。
まず、TV45のRF−IDリーダライタ46の通信可能装置検索部5502によって、通信可能な撮影装置1のRF−ID47を検索するための呼びかけ信号を送信する(ステップS5601)。
撮影装置1のRF−ID47は、TV45のRF−IDリーダライタ46の通信可能装置検索部5502のポーリング信号を受信すると、第2電源部91を起動し、RF−IDリーダライタ46を起動する(ステップS5602)。このとき、少なくとも第2電源部91で動作可能なRF−ID47のみを起動すればよく、撮影装置1の機能をすべて起動する必要はない。
ステップS5602で、撮影装置1のRF−ID47の起動が完了すると、TV45のRF−IDリーダライタ46のポーリングに対するポーリング応答を、第2アンテナ21から送信する(ステップS5603)。
ステップS5603で、撮影装置1からポーリング応答がなされた後、TV45のRF−IDリーダライタ46の無線アンテナ5501で、ポーリング応答を受信する(ステップS5604)。
ステップS5604で、ポーリング応答を受信した後、ポーリング応答を送信した撮影装置1が互いに通信可能な機器であるかどうかの判定を行う(ステップS5605)。判定の結果、互いに通信可能な機器ではないと判断した場合には、処理を終了する。一方、互いの機器により、通信可能な機器であると判断された場合には、次の処理に進む。
ステップS5605によって、互いに通信可能な機器であると判断された場合、互いの機器が、正規の機器であるかどうかの判定を行うための相互認証処理を行う(ステップS5606)。この相互認証処理は、HDMIやIEEE1394で行う一般的な相互認証処理と同様であり、TV45と撮影装置1で、チャレンジデータの発行、レスポンスデータの確認を複数回行い、最終的には、双方で、同じ暗号鍵を生成する処理であり、どちらかが不正な機器であれば、共通の暗号鍵が生成されず、以後の、相互の通信が無効となる。
一方、撮影装置1のRF−ID47でも、TV45と同様に、相互認証処理を行う。互いの、複数回の、チャレンジデータの生成および送信、レスポンスデータの受信および確認を行い、TV45の暗号化器データと同じ暗号鍵データを生成する(ステップS5607)。
ステップS5607で、相互認証処理が完了すれば、撮影装置1の第2メモリ52から、サーバ特定情報58であるサーバURL生成情報80を読み出し、TV45のRF−IDリーダライタ46に、相互認証で共通化した暗号鍵で暗号化して、送信する(ステップS5608)。
ステップS5608で、送信されたサーバURL生成情報80は、TV45のRF−IDリーダライタ46により、受信部5503で受信され、復号部5504により、共通化した暗号鍵で復号され、サーバ42にアクセスするためのURLを、URL生成部5505によって生成し、受信完了を撮影装置1に送信する(ステップS5609)。
ステップS5609で受信完了が送信された後、撮影装置1の第2アンテナ21で受信完了を受信し、第2メモリ52から、撮影画像状況情報55を読み出し、TV45に送信する(ステップS5610)。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像毎に付与された未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42との各撮影画像の間の同期を確認するために必要な情報である。
ステップS5610で、撮影装置1から撮影画像状況情報55が送信された後、TV45のRF−IDリーダライタ46で、撮影画像状況情報55を受信して、受信完了を、撮影装置1に送信する(ステップS5611)。また、TV45のCPU5513では、受信する撮影画像状況情報55に応じて、以下の処理を行う。
Case1では、撮影画像状況情報55として、最終撮影時間68を適用する。よって、TV45において、サーバ42への最終アップロード時間と、最終撮影時間68とを比較して、サーバ42への最終アップロード時間よりも、最終撮影時間68が、時系的に遅ければ、撮影装置1とサーバ42に保持する画像情報の同期がとれていないとして、TV45の表示部に、同期が取れていないことを示す注意情報を表示する。
Case2では、撮影画像状況情報55として、撮影画像毎に付与された未アップロードデータかどうかの判別が可能な存在識別子64を適用する。よって、TV45において、撮影画像毎に付与された未アップロードデータかどうかの判別が可能な存在識別子64を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期がとれていないとして、TV45の表示部に、同期が取れていないことを示す注意情報を表示する。
Case3では、撮影画像状況情報55として、未アップロード画像情報をハッシュした情報67を適用する。よって、TV45において、未アップロード画像情報をハッシュした情報67を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期がとれていないとして、TV45の表示部に、同期が取れていないことを示す注意情報を表示する。
Case4では、撮影画像状況情報55として、撮影画像に対して時系的に付与した画像番号の画像の最終番号69を適用する。よって、TV45において、サーバ42から受信する、サーバ42へアップロードされた最終画像番号と、撮影装置1から送信される、撮影画像に対して時系的に付与した画像番号の画像の最終番号69とを確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42とに保持する各画像情報の間の同期がとれていないとして、TV45の表示部に、同期が取れていないことを示す注意情報を表示する。
S5611で、撮影画像状況情報55の受信を完了し、受信完了を撮影装置1に送信した後、撮影装置1の第2メモリ52から、画像表示方法指示情報77を読み出して、TV45に送信する(ステップS5612)。画像表示方法指示情報77には、一覧表示(フラグ)78や、スライドショー(フラグ)79が含まれる。
ステップS5612で、画像表示方法指示情報77が送信された後、TV45のRF−IDリーダライタ46によって、画像表示方法指示情報77が受信され、受信完了を撮影装置1に送信する(ステップS5613)。TV45のデータ処理部5510は、受信した画像表示方法指示情報77に基づいて、サーバ42からダウンロードした画像の表示形態を作成する。例えば、画像表示方法指示情報77の一覧表示フラグが、ONのときには、ダウンロードした画像の一覧表示を作成して、メモリ部5511に記憶し、表示部5512に、一覧を表示する。一方、画像表示方法指示情報77のスライドショーフラグが、ONのときには、ダウンロードした画像のスライドショー表示を作成して、メモリ部5511に記憶し、表示部5512に、スライドショーを表示する。
ステップS5613で、画像表示方法指示情報77を受信した後、撮影装置1のRF−IDリーダライタ46との通信を遮断する(ステップS5614)。
次に、TVシステムを起動する(ステップS5615)。TVシステムの起動とは、表示部5512に、ダウンロードする画像データを表示するために、主電源をONにすることである。ステップS5615で、TVシステムを起動する以前には、少なくとも、TV45のRF−IDリーダライタ46が起動している状態であり、表示部5512の電源は、OFFでもかまわない。
次に、通信部5506を起動して、URL生成部5505で生成したURLに基づいて、サーバ42に接続を行う(ステップS5616)。
ステップS5616で、サーバ42に接続した後、アップロード済みの画像データを、TV45にダウンロードする(ステップS5617)。
ステップS5617で、ダウンロードした画像から、データ処理部5510で、カメラからの画像表示方法指示情報77に従って、表示用の画像データを生成して、メモリ部5511に蓄積して、表示部5512に表示する(ステップS5618)。TV45のデータ処理部5510は、受信した画像表示方法指示情報77に基づいて、サーバ42からダウンロードした画像の表示形態を作成する。例えば、画像表示方法指示情報77の一覧表示フラグ78がONのときには、ダウンロードした画像の一覧表示を作成して、メモリ部5511に記憶し、表示部5512に、一覧を表示する。一方、画像表示方法指示情報77のスライドショーフラグ79が、ONのときには、ダウンロードした画像のスライドショー表示を作成して、メモリ部5511に記憶し、表示部5512に、スライドショーを表示する。
ステップS5617で、サーバ42からダウンロードした画像の表示処理が完了すると、撮影装置1の第3メモリ33に記録されている撮影画像と、サーバ42からダウンロードした画像データとの間に同期が成り立っているかどうかの同期確認処理を行う(ステップS5619)。本処理は、撮影装置1から、ステップS5611で受信した撮影画像状況情報55に基づいて行われる。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像毎に付与された未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42との各撮影画像の間の同期を確認するために必要な情報である。
図359A、図359Bは、図358のサーバ同期確認処理(ステップS5619)の、撮影画像状況情報55がCase1〜Case4のそれぞれにおける、詳細な処理の流れを示したフローチャートである。
なお、先述のように、図359A〜図359Bが含まれてなる全体が、「図359」と適宜、略称される。
Case1は、撮影画像状況情報55が最終撮影時間68であるときのフローチャートである。
まず、TV45の通信部5506によって、サーバ42から、最終のアップデート日時を取得する(アップデートされた画像の最終撮影日時でも、同様の効果)(ステップS5701)。
次に、サーバ42から取得した最終のアップデート日時と、撮影装置1のRF−IDリーダライタ46からの撮影画像状況情報55で示される、最後に撮影した日時68とを比較する(ステップS5702)。最終アップロード日時が、最後に撮影した日時68より以前の場合には、最終アップロードした時点の以後に画像を撮影し、撮影した画像がアップロードできていないと判定されるため、撮影装置1とサーバ42の、画像の同期が取れていないと判断し、ステップS5703のエラー表示処理に移る。一方、最終アップロード日時が、最後に撮影した日時68と同等の日時である場合には、撮影装置1とサーバ42の、画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5702で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。この場合、最終アップロード日時と、最後に撮影した日時68の比較によって、どの時点からの撮影画像が、アップロードできていないのかを示す時間情報を、同時に、メッセージとして出力すれば、ユーザにとって、わかりやすいメッセージとなる。
Case2は、撮影画像状況情報55が、撮影画像毎に付与された未アップロードデータかどうかの判別が可能な存在識別子64であるときのフローチャートである。
まず、撮影装置1から、RF−IDリーダライタ46からの撮影画像状況情報55で示される未アップロード画像の存在識別情報の存在識別子から、撮影装置1の第3メモリ33に記録されている撮影画像のうちに、サーバ42にアップロードできていない画像があるかどうかを判定する(ステップS5711)。ステップS5711で、アップロードできていない画像があると判定された場合には、ステップS5712のエラー表示処理に移る。一方、アップロードできていない画像がないと判定された場合には、撮影装置1とサーバ42の、画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5712で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
Case3は、撮影画像状況情報55が、未アップロード画像情報をハッシュした情報67であるときのフローチャートである。
まず、撮影装置1から、RF−IDリーダライタ46からの撮影画像状況情報55で示される未アップロード画像情報をハッシュした情報67から、撮影装置1の第3メモリ33に記録されている撮影画像のうちに、サーバ42にアップロードできていない画像があるかどうかを判定する(ステップS5721)。ステップS5721では、NULLのハッシュ値を、TV45で生成し、その比較によって、未アップロード画像があるかないかを判定する。ステップS5721で、アップロードできていない画像があると判定された場合には、ステップS5722のエラー表示処理に移る。一方、アップロードできていない画像がないと判定された場合には、撮影装置1とサーバ42の、画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5722で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
Case4は、撮影画像状況情報55が撮影した画像に付与する番号のうちで、最終の撮影画像の番号であるときのフローチャートである。
まず、TV45の通信部5506によって、サーバ42から、最終のアップデート画像の画像番号を取得する(ステップS5731)。
次に、サーバ42から取得した最終アップロード画像の番号69と、撮影装置1から、RF−IDリーダライタ46からの撮影画像状況情報55で示される画像の最終番号69とを比較する(ステップS5732)。最終アップロード画像の番号が、最後に撮影した画像の番号69より小さい場合には、最終アップロードした時点の以後に、画像を撮影し、撮影した画像がアップロードできていないと判定されるため、撮影装置1とサーバ42の、画像の同期が取れていないと判断し、ステップS5733のエラー表示処理に移る。一方、最終アップロード画像の番号が、最後に撮影した画像の番号69と同等の場合には、撮影装置1とサーバ42の、画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5732で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
以上のCase1〜Case4の何れの方法でも、撮影装置1で撮影した全画像が、サーバ42にアップロードできていない、すなわち同期できていない場合には、表示部5512に、撮影した全画像を表示することができないが、同期が取れていないことが判定可能となるため、ユーザにわかりやすいメッセージを表示することが可能となり、ユーザの無用な混乱を避けることができる。
図360は、(1)欄において、撮影装置1からサーバ42に撮影画像をアップロードする場合を示し、(2)欄において、撮影装置1とTV45のRF−ID通信の場合のそれぞれのデータフォーマットを示す図である。
まず、(1)撮影装置1からサーバ42に撮影画像をアップロードする場合のデータフォーマット5940を説明する。本フォーマットには、カメラID5901、サーバアドレス5902、サーバログインID5903、サーバログインパスワード5904、画像ディレクトリ5905およびアップロード画像数5906が含まれる。
カメラID5901は、カメラ毎に固有に付与されているカメラ固有IDであり、撮影装置1の第2メモリ52のカメラID部76に記録されているID情報である。本ID情報は、サーバ42へのログインIDとして用いることで、ユーザによって、ログインIDの入力を行うことなく、撮影装置1ごとに一意のサーバアドレスを付与することが可能となる。また、サーバ42で、撮影したカメラ毎に、撮影画像を管理することも可能となる。
サーバアドレス5902は、撮影装置1の第2メモリ52のサーバ特定情報58のサーバアドレス情報81の内容である。これによって、アップロードしたサーバを、TV45側で特定することができる。
サーバログインID5903は、撮影装置1の第2メモリ52のサーバ特定情報58のユーザ識別情報82であるログインID83の内容である。これによって、撮影装置1から、アップロードしたサーバへのアカウントと同一のアカウントでのログインが、TV45でも可能となる。
サーバログインパスワード5904は、撮影装置1の第2メモリ52のサーバ特定情報58のパスワード84の内容である。これによって、撮影装置1からアップロードした、サーバへのアカウントと同一アカウントでのログインが、TV45でも可能となる。
アップロード画像数5906は、サーバへアップロードする画像数である。これには、撮影装置1の第2メモリ52の、未アップロード画像の枚数65に記憶されている画像数と同等の枚数であり、撮影後、サーバにアップロードされていない画像数が、記載される。
本フォーマットの送信以後、撮影装置1の第3メモリ33に記録され、かつ、サーバにアップロードされていない画像が、アップロードされる。
次に、(2)撮影装置1とTV45のRF−ID通信の場合の、それぞれのデータフォーマット5950について説明する。本フォーマットは、カメラID5911、サーバアドレス5902、サーバログインID5913、サーバログインパスワード5914、最終撮影日時5915、未アップロードであることが判定可能な識別情報5916、未アップロード画像情報をハッシュした情報5917、最終撮影画像の画像番号5918および画像表示方法指示情報5919から構成される。
カメラID5911は、カメラ毎に固有に付与されているカメラ固有IDであり、撮影装置1の第2メモリ52のカメラID部76に記録されているID情報である。本ID情報は、TV45からサーバ42へのログインIDとして用いることで、ユーザによって、ログインIDの入力を行うことなく、撮影装置1ごとに一意のサーバアドレスを付与することが可能となる。また、撮影装置1のRF−ID47と、TV45のRF−IDリーダライタ46との相互認証時に用いることもある。
サーバアドレス5912は、撮影装置1の第2メモリ52のサーバ特定情報58のサーバアドレス情報81の内容である。これによって、アップロードしたサーバを、TV45側で特定することができる。
サーバログインID5913は、撮影装置1の第2メモリ52のサーバ特定情報58のユーザ識別情報82であるログインID83の内容である。これによって、撮影装置1からアップロードした、サーバへのアカウントと同一アカウントでのログインが、TV45でも可能となる。
サーバログインパスワード5914は、撮影装置1の第2メモリ52のサーバ特定情報58のパスワード84の内容である。これによって、撮影装置1からアップロードした、サーバへのアカウントと同一アカウントでのログインが、TV45でも可能となる。
最終撮影日時5915は、撮影装置1の第2メモリ52の撮影画像状況情報55の、最後に撮影した時間68に対応する情報であり、TV45側で、サーバ42と撮影装置1の、撮影画像の同期の確認に用いられる。
未アップロードであることが判定可能な識別情報5916は、撮影装置1の第2メモリ52の撮影画像状況情報55の未アップロード画像データ存在識別情報に対応する情報であり、TV45側で、サーバ42と撮影装置1の、撮影画像の同期確認に用いられる。また、本未アップロードであることが判定可能な識別情報5916は、各撮影画像を識別可能な画像ID5928に対して、サーバへのアップロードが完了しているかどうかを示すアップロードフラグ5926が付与されている形態である。これによって、撮影画像1枚1枚ごとに、サーバにアップロードしているかどうかの判定が可能となる。
未アップロード画像情報をハッシュした情報5917は、撮影装置1の第2メモリ52の撮影画像状況情報55の未アップロード画像情報をハッシュした情報67に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。
最終撮影画像の画像番号5918は、撮影装置1の第2メモリ52の撮影画像状況情報55の撮影画像の最終番号69に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。
画像表示方法指示情報5919は、撮影装置1の第2メモリ52の撮影画像状況情報55の画像表示方法指示情報77に対応する情報であり、TV45側で、サーバ42からダウンロードした画像の閲覧方法を指定する識別情報で構成される。
画像表示方法指示情報5919は、画像ID5927ごとに、一覧表示フラグ5920、スライドショーフラグ5921、印刷フラグ5922、動画再生フラグ5923、ダウンロードフラグ5924およびセキュリティパスワード5925から構成される。
画像ID5927は、撮影画像に一意の情報であり、撮影装置1によって撮影時に時系列的に付与される。
一覧表示フラグ5920は、撮影装置1の第2メモリ52の一覧表示(フラグ)78に対応し、TV45において、サーバ42からダウンロードした画像情報の閲覧を、一覧形式にするかどうかのフラグである。TV45のデータ処理部5510は、このフラグが“yes”の場合には、ダウンロードした画像の一覧表示を作成して、メモリ部5511に記憶し、表示部5512に、一覧形式で表示する。
スライドショーフラグは、撮影装置1の第2メモリ52のスライドショー(フラグ)79に対応し、TV45において、サーバ42からダウンロードした画像情報の閲覧を、スライドショーにするかどうかのフラグである。TV45のデータ処理部5510は、このフラグが“automatic”の場合には、ダウンロードした画像のスライドショーを作成して、メモリ部5511に記憶し、表示部5512に、スライドショーで表示する。一方、本スライドショーフラグが、“manual”である場合には、ユーザ指示によって、スライドショーを実施することを許可する。また、“disable”の場合には、スライドショー表示を許可しない。
印刷フラグ5922は、TV45にダウンロードして、表示部5512にて表示する画像が、TV45に接続された、図示しないプリンタによって、印刷可能かを示すフラグである。これは、撮影装置1の第2メモリ52の画像表示方法指示情報77内に図示していないが、印刷フラグを設けることによって、印刷可能かどうかの設定を行うことができ、ユーザの画像使用に関する利便性を向上させることが可能となる。
動画再生フラグ5923は、撮影装置1で動画情報を撮影し、サーバ42にアップロードした場合、TV45にて動画をダウンロードし、閲覧することを許可するかどうかのフラグである。撮影装置1にて動画撮影機能が存在する場合には、第2メモリ52の画像表示方法指示情報77に本動画再生フラグ5923を付与することによって、動画像の再生を許可するかどうかの設定を追加することが可能となり、ユーザの煩雑な操作をすることなく、動画像の再生管理を行うことが可能となる。
ダウンロードフラグ5924は、サーバ42にアップロードされた画像や動画をTV45のメモリにダウンロード(コピー)することが可能かどうかを示す識別子である。このフラグを用いれば、撮影画像を許可されない第3者によって、コピーされることがなくなるので、著作権の保護にも繋げることが可能となる。
セキュリティパスワード5925は、前述の画像の閲覧、印刷およびダウンロードを、許可をしたユーザのみ可能とするためのパスワード情報である。本実施形態では、前述の画像の閲覧、印刷およびダウンロードに対して、同じパスワード設定をする形態で説明するが、それぞれ異なるパスワードを設定できるようにする方が、各レベルでのセキュリティ対策が実施できるのでなお良い。
以上のように、本発明のシステムを用いれば、撮影装置1は、撮影画像を、第1アンテナによって接続されるサーバに、アップロードする。また、撮影装置1を、TV45のRF−IDリーダライタ46にかざせば、撮影装置1のRF−ID47から、サーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77を、RF−ID通信によって、TV45に送信し、TV45は、撮影装置1によって撮影画像をアップロードしたサーバに接続し、撮影装置1にて撮影した画像を、TV45にダウンロードして、表示する。また、撮影画像状況情報55によって、サーバ42と撮影装置1の、撮影画像情報の同期を確認して、同期が取れていない場合には、その旨をTV45の表示部5512に表示する。よって、従来までにおいては、記録メモリをカメラから抜き出し、TV45にセットして、閲覧する必要のあった、撮影画像の表示が、撮影装置1をTV45にかざすだけで、対応できるようにすることが可能となる。これによって、デジタル機器の操作に慣れないユーザであっても簡単に撮影画像をTV45に表示させることができる。
(実施の形態A3)
本発明の実施形態A3について述べる。
まず、実施形態A3の概略を説明する。
図361は、実施形態A3の電子カタログ表示システムの概略構成図である。
実施形態A3の電子カタログ表示システムは、RF−IDライタ部501を備えた電子カタログサーバ情報入力機500と、RF−ID47を備えた電子カタログ通知カード502と、RF−IDリーダ部504とネットワーク通信部509xを備えたTV45と、電子カタログデータデータベース(電子カタログデータベース)507と顧客属性データベース508を備えた電子カタログサーバ506を備える。
電子カタログサーバ情報入力機500は、ユーザ(電子カタログのサービス提供者)から入力された電子カタログサーバ情報を、RF−IDライタ部501から、電子カタログ通知カード502に貼付されたRF−ID47に書き込む。この電子カタログサーバ情報が書き込まれた電子カタログ通知カード502を、ユーザ(電子カタログのサービス利用者)が、TV45に近づけることにより、TV45が備えるRF−IDリーダ部504がRF−ID47に書き込まれた電子カタログサーバ情報を読み取る。さらに、TV45は、読み取った電子カタログサーバ情報を基に、ネットワーク通信部(通信部)509を介して、ネットワーク上に設置された電子カタログサーバ505に電子カタログの取得要求を送信する。また、TV45は、電子カタログ取得要求を電子カタログサーバに送信する際に、予めTV45に入力されていたユーザ情報も、同時に、電子カタログサーバ505に送信する。電子カタログサーバ505は、TV45からの、電子カタログ送信要求およびユーザ情報を受信し、まず、ユーザ情報を基に、顧客属性データベース508から顧客属性データを取得する。次に、顧客属性データを基に、電子カタログデータデータベース507から、対応する電子カタログデータを取得する。そして、取得した電子カタログデータを、電子カタログ要求を発したTV45に対して送信する。TV45は、電子カタログサーバ505から受信した電子カタログデータを、画面に表示し、ユーザ(電子カタログのサービス利用者)からの電子カタログデータ内の商品の購入操作を、受け付ける。
以下に、実施形態A3の電子カタログ表示システムの詳細を説明する。
図362は、実施形態A3の電子カタログサーバ情報入力機の構成を示す機能ブロック図である。
まず、キー入力受付部520が、ユーザ(電子カタログのサービス提供者)が操作する入力キーからの入力を受け取り、電子カタログサーバ情報を取得する。キー入力受付部520が取得する電子カタログサーバ情報は、URL等のサーバアドレスと、サーバログインIDと、サーバログインパスワードと、電子カタログ表示用パスワードと、電子カタログに含まれる商品の画像を一覧(サムネイル)表示するのかそれとも逐次(スライド)表示するのかを示す電子カタログ表示情報と、RF−IDの貼付先となるカードやハガキ等の媒体を示すメディア識別情報である。キー入力受付部520が取得した電子カタログサーバ情報を、記憶部522に格納する。次に、電子カタログサーバ情報が入力された後に、RF−ID送信キー等が入力されると、RF−ID送信入力受付部521が、送信部523に送信要求を通知し、送信部523は、記憶部522から電子カタログサーバ情報を読み出し、アンテナ部524から電子カタログサーバ情報を送信する。
図363は、電子カタログサーバ情報入力機の処理の手順を示すフローチャートである。
電子カタログサーバ情報入力機の処理の詳細を、図363のフローチャートで示す。
図364は、電子カタログ通知カード502が備えるRF−ID47の構成を示すブロック図である。
RF−ID47の構成および処理は、実施の形態A1、A2で説明したものと同様である。第2アンテナ21から受信した信号から第2電源部91が電流を取り出して各部へ電源供給を行い、データ受信部105と第2処理部95と記録部106が、受信したデータを第2メモリ52へ記録する。
図365は、TV45の構成を示す機能ブロック図である。
実施の形態A3でのTV45の構成は、実施の形態A2での構成に、ユーザ情報入力部588を追加した構成である。予めユーザ(電子カタログのサービス利用者)が入力した、ユーザ自身の属性に関するユーザ情報を、ユーザ情報入力部588が受け付け、メモリ部583に、いったん格納する。ユーザ情報として、例えば、ユーザの性別情報や年齢情報が好ましいが、これら以外にも、居住地や家族構成等のような、電子カタログから提供される商品データの選別に利用可能な個人情報であってもよい。このユーザ情報は、URL生成部が生成した電子カタログサーバのURLとともに、通信部509を介して電子カタログサーバに送信される。実施の形態A1と同様、本実施形態でも、電子カタログサービス利用者が、電子カタログ通知カード502を、TV45のRF−IDリーダ部504に近づけることで、TV45が電子カタログサーバ情報を受信し、これを用いて、サーバのURLを生成し、サーバに接続する。この処理の詳細は、実施の形態A1の図320〜図333で示した処理と同様である。
図366は、電子カタログサーバ506の構成を示す機能ブロック図である。
図367は、電子カタログサーバの処理の手順を示すフローチャートである。
図370は、顧客属性データベースのデータ構造を示す図である。
図371は、電子カタログデータベースのデータ構造を示す図である。
電子カタログサーバ506は、通信部600を介して、TV45から送信された電子カタログ送信先アドレス(TV45と電子カタログサーバ506が属するネットワーク上でのTV45のネットワークアドレス)とユーザ情報を受信する。次に、顧客属性データ取得部が受信したユーザ情報を基に、顧客属性データベース508から顧客属性データを取得する。例えば、ユーザ情報の中に、TV45を使用するユーザの性別と年齢が含まれている場合には、図370に示すデータ構造を持つ顧客属性データベース508から、年齢と性別に対応する商品ジャンルや商品価格帯の情報を、顧客属性データとして取得する。そして、電子カタログデータ取得部602が、顧客属性データを基に電子カタログデータベース507から電子カタログデータを取得する。例えば、顧客属性データに商品ジャンルと商品価格帯が含まれている場合には、図371に示すデータ構造を持つ電子カタログデータベース507から商品ジャンルと商品価格帯に対応する商品データを、まとめて電子カタログデータとして取得する。電子カタログデータ取得部602で取得した電子カタログデータは、通信部600を介して、電子カタログ送信先アドレスが示すTV45に送信される。電子カタログサーバ506の処理の詳細を図367のフローチャートで示す。
図368は、電子カタログを表示する、TVの処理の手順を示すフローチャートである。
次に、図368に示したフローチャートを用いて、電子カタログデータをダウンロードした後の、TV45の処理を説明する。S630〜S632におけるRF−IDから電子カタロサーバ情報を取得する処理は、電子カタログデータをダウンロードしていない場合も、ダウンロード完了後でも、共通である。S633で、RF−IDから受信した電子カタログサーバ情報に対応する電子カタログデータの、ダウンロードおよび表示が完了しているかを判定し、ダウンロードが完了していない場合には、S634およびS635で、サーバから電子カタログデータをダウンロードする。この、データのダウンロード処理は実施の形態A1における、データのダウンロード処理と同様である。
図369は、電子カタログの画面表示を示す図である。
S633で電子カタログデータがダウンロード済みであった場合は、予め設定した所定のキー、例えば確定キーのキー信号を発行し、表示している電子カタログデータに対する操作を実行する。例えば、図369に示した、電子カタログデータの画面表示例のように、表示中の電子カタログデータに対してユーザが次に行うべき操作を、2、3の少ない選択肢で提示する画面構成とし、さらに図369中の選択肢652と653で示されるように、一定時間経過毎に、選択候補を示すフォーカスが、選択肢間を移動するような画面構成とする。このようにすれば、ユーザは、自身が希望する選択肢に、フォーカスがある時に、RF−ID47を備えた電子カタログ通知カード502をTV45にかざすことで、電子カタログデータの選択や、各データにおける購入などの操作を実行することができる。
なお、本実施の形態の電子カタログ通知カード502上のRF−ID47が内蔵する第2メモリ52は、ROM(ReadOnlyMemory)であってもよい。この場合、電子カタログサーバ情報入力機500は、RF−ID製造工程におけるRF−IDメモリデータ入力機、または、RF−ID製造システムにおけるRF−IDメモリデータ入力手段となる。一般的に、書き換え可能メモリを有するRF−IDよりも、ROMを有するRF−IDの方が、安価に構成できるため、電子カタログ通知カードを大量に送付する電子カタログサービス提供者にとっては、ROM型RF−IDを利用することでコストを抑えることができる。
なお、本実施の形態では、TV45の画面構成として、図369中の選択肢652と653で示されるように、一定時間経過毎に、選択候補を示すフォーカスが、選択肢間を移動するとしたが、RF−ID47を備えた電子カタログ通知カード502を使用して、画面表示した電子カタログデータを操作する方法はこれに限定されない。例えば、TV45の受信部571が、RF−IDから送信される情報を連続して受信し、その連続する受信数を計測することによって、RF−IDがTV45に近づけられている時間を取得し、そのRF−ID近接時間を基に、画面表示された選択候補を示すフォーカスを移動させてもよい。このような構成とすることで、RF−IDをTVに近づけている間だけ、画面上に表示されたフォーカスが移動して、選択候補を変更し、RF−IDをTVから離したところで、フォーカスの移動も停止し、さらにフォーカスの移動停止後、一定時間が経過すると、フォーカスが停止していた選択候補の選択が確定するという、電子カタログの操作が可能となる。この電子カタログ操作方法では、一定時間毎に自動的に選択候補を巡回するフォーカスが、ユーザの所望する選択肢までまわってくることを待つことなく、ユーザが、RF−IDを用いて、能動的に電子カタログを操作できるという効果が得られる。
なお、本実施の形態で、電子カタログサーバ情報入力機500においては、キー入力受付部520が、ユーザ(電子カタログのサービス提供者)が操作する入力キーからの入力を受け取り、電子カタログサーバ情報を取得する構成としたが、電子カタログサーバ情報入力機が画像サーバとの通信インタフェースを備え、画像サーバが、電子カタログサーバ情報入力機に送信するサーバ情報を保持し、電子カタログサーバ情報入力機が画像サーバからサーバ情報を受信して取得する構成としてもよい。このような構成にすることにより、画像サーバにサーバ情報を入力しておけば、電子カタログサーバ情報入力機側で画像サーバを入力する必要がなく、特に1つの画像サーバに対して複数の電子カタログサーバ情報入力機を運用する場合において、利便性が高い。
従来はパソコン等の電子機器操作に精通していないユーザがネットショッピングを利用するために機器の操作を習得しなければならないことが課題であったが、以上のように、実施の形態A3で述べたシステムを用いれば、電子カタログを利用するユーザは、受け取ったカードや葉書をTVに近づけるだけで、ネットショッピング等を利用することができ、パソコンや携帯電話等のインターネット端末に慣れ親しんでいないユーザであっても、容易にTV画面上でショッピングを楽しむことができるようになる。
(実施の形態A4)
本発明の実施の形態A4について述べる。
図372は、実施の形態A4の概略構成図である。
本実施の形態では、画像サーバへアクセスするためのRF−IDが貼付された葉書を、遠隔地に送付する方法について説明する。まず、葉書の送付元となる第1ユーザが、RF−ID47を備えた撮影装置1をTV45のRF−IDリーダライタ46に近づけると、TV45が、画像サーバ42に接続するためのサーバURLを生成し、画像サーバ42から画像データを取得し、画面に表示する。この処理は、実施の形態A1と同様である。次に、第1ユーザが、TV45に表示された画像の中から、葉書に印刷したい画像と、葉書に関連付けて登録したい(遠隔地に居る第2ユーザに見せたい)画像を、TV45に対応するリモコン等の入力手段を用いて選択する。さらに第1ユーザは、葉書の送付先住所等の送付先情報もリモコン等を用いて入力する。TV45は、第1ユーザが選択した葉書に印刷する画像のIDと、葉書に登録する画像のIDと、葉書送付先情報を画像サーバ42に送信する。画像サーバ42は、受信した印刷画像IDに対応する画像データを取得し、画像データと葉書送付先情報をプリンタ800に送信する。プリンタ800は、画像データと葉書送付先住所を、葉書に印刷する。また、画像サーバ42は、画像サーバ情報入力機500xに、TV45から受信した登録画像IDを送信し、同時に、URL等のサーバアドレスと、サーバログインIDと、サーバログインパスワードと、画像表示用パスワードと、画像を一覧(サムネイル)表示するのかそれとも逐次(スライド)表示するのかを示す画像表示情報と、RF−IDの貼付先となるカードやハガキ等の媒体を示すメディア識別情報を含む画像サーバ情報を送信する。画像サーバ情報入力機500xは、画像サーバ情報と登録画像IDを、プリンタで画像と送付先情報を印刷した葉書のRF−ID47に書き込む。印刷と、RF−IDへの書き込みが行われた葉書801は、印刷された送付先に郵送され、第1ユーザが送付先として指定した第2ユーザがこの葉書801を取得する。第2ユーザが、郵送された葉書を、第2ユーザのTV45のRF−IDリーダライタ46に近づけると、TV45は、RF−ID47が格納する、画像サーバ情報と登録画像IDを取得し、登録画像IDに対応する画像データをサーバからダウンロードおよび表示する。
本実施の形態の撮影装置1の構成および処理は実施の形態A1と同様である。
図373は、本実施の形態のTV45の構成を示すブロック図である。
受信部811は、無線アンテナ570を介して撮影装置1もしくは葉書801のRF−ID47から画像サーバ情報を受信するが、葉書801のRF−ID47が登録画像IDを有する場合は、登録画像IDも受信する。また、画像選択部584は、キー部585および赤外線受光部586を介してユーザの画像選択操作を受け付け、第1ユーザが葉書に印刷するために選択した画像のID(印刷画像ID)と、葉書に登録するために選んだ画像のID(登録画像ID)を取得し、これらを通信部509へ送る。
図374は、RF−ID付葉書郵送システムの画像選択操作の画面表示を示す図である。
この画像選択操作時にTV45に表示する画面表示例を図374に示す。図374中の821が葉書に印刷する画像を選択する画面表示であり、図374中の820が葉書に登録する画像を選択する画面表示である。また、葉書送付先情報入力部810は、キー部585および赤外線受光部586を介してユーザの文字入力操作を受け付け、葉書の送付先となる住所および宛名を含む葉書送付先情報を取得し、通信部509へ送る。葉書送付先情報を入力する際の画面表示例を図374中の823に示す。通信部509は、送信部575および通信インタフェース576を介して、葉書送付先情報と印刷画像IDと登録画像IDを画像サーバに送信する。
図375は、画像サーバ42とプリンタ800と画像サーバ情報入力機500xが、葉書801を送付できるように準備する処理を示すフローチャートである。
印刷とRF−IDへの書込みが行われた葉書801は、印刷された送付先に郵送され、第1ユーザが送付先として指定した第2ユーザがこの葉書801を取得する。第2ユーザが受け取った葉書801を、TV45にかざすと、受信部811が無線アンテナ570を介して、RF−ID47が送信した画像サーバ情報および登録画像IDを受信する。画像サーバ情報および登録画像IDの中で暗号化された情報は、復号部572で復号化される。次にURL生成部573が、画像サーバ42に格納された画像データの中から、登録画像IDに対応する画像データのみをTV45にダウンロードするURLを生成する。具体的には、生成するURLの中でサーバの内部ディレクトリを指定したり、URLオプションとして登録画像IDをURLに埋め込む手法を利用することができる。URL生成部573で生成したサーバを指定するURLを用いて、TV45が画像サーバにアクセスして画像データを取得する処理の詳細は、実施の形態A1で説明した処理と同様である。
なお、本実施の形態では、ユーザがTV45に送付先情報を入力する構成としたが、住所や宛名等の送付先情報だけでなく、葉書に画像とともに印刷するメッセージも入力してもよい。TV45が受け付けた入力メッセージは、送付先情報と同様に、TV45から画像サーバ42に送られ、さらにプリンタ800で葉書に印刷される。TV45での印刷用のメッセージの入力画面例を、図374の822に示す。このように葉書に印刷する葉書を選択できるだけでなく、画像に添えるメッセージを入力できるようにすることで、RF−ID付き葉書を作成する自由度が上がる。
なお、本実施の形態のTV45において、実施の形態A3でRF−IDを用いて画面表示された電子カタログを操作する処理と同様に、RF−ID付き葉書を用いて、TV45に表示した画像を操作できる構成としてもよい。
以上のように、実施の形態A4で述べたシステムを用いれば、手元にRF−IDが貼付された葉書を用意することなく、離れた所にいる相手にRF−ID付葉書を郵送することができるとともに、画像サーバに格納した画像を葉書に印刷して送付したい場合も、TV画面上の操作で印刷したい画像を選択することができるので高い利便性が得られる。
従来は遠隔地にいる相手にテレビなどの大画面表示機器で画像を見せるためには、遠隔地側のユーザが機器操作を習得したり、遠隔地に操作習得者が赴いて機器を操作したり、遠隔地にある表示機器を遠隔操作する必要があったが、本システムでは、遠隔地のユーザがRF−ID付の葉書等、物理的な媒介物を表示機器に近づけるという簡単な操作で容易に画像を閲覧することができる。
(実施の形態A5)
図376は、実施の形態A5におけるシステム構成図である。
本発明の実施の形態A5では、ハガキ等の郵送物に固定の情報が書き込まれており、撮影装置では書き込まれた固定情報とサーバに保存された画像または画像グループ(画像情報)とを紐付けし、再生側ではハガキ等に付けられたRF−IDから固定情報を読み出すことで、固定情報に関連付けられた画像の閲覧を可能にする構成について説明を行う(図376)。図376では、まず郵送物に記録された固定情報を撮影装置で読み取り、画像と郵送物固有IDとの関連付けを行いサーバに登録する。登録が完了した郵送物を受け取ったユーザは、郵送物をテレビジョンのRF−IDリーダに近づけることで固定情報の読み出しを行い、固有情報を用いてサーバに問い合わせを行うことで郵送物に関連付けられた画像の閲覧を行う。
本実施例のポイントは、郵送物につけられたRF−IDの情報が書き換えできない(ROM)または、書き換えできない環境であるという点であり、郵送物の固定情報の書き換えを行わずにサーバの画像情報と郵送物の関連付けを行う点である。
<撮影装置での画像のアップロードと郵送物との関連付け>
撮影装置により撮影した画像は、先の実施の形態で説明した方法によりサーバにアップロードされる。この時、アップロードした画像または画像グループ毎に識別子が付与され、この識別子によりサーバ上の画像または画像グループが識別可能となる。
図377は、実施の形態A5における郵送物の固定情報の例を示す図である。
以下、撮影装置により撮影されサーバへアップロードされた画像または画像グループと、郵送物のRF−IDにタグに記録された固定情報との関連付け方法について説明を行う。なお、郵送物のRF−IDに記録されている固定情報は図377のようになる。図377(a)は、郵送物に固有の郵送物固有IDと画像サーバへアクセスするためのアドレス等の情報を、図377(b)は郵送物固有IDと中継サーバにアクセスするためのアドレス等の情報を、図377(c)は郵送物固有IDのみ記録されている例である。なお、これ以外にサーバにアクセスするためのログインIDやパスワード情報を格納していることもあるが、本実施の形態ではサーバにアクセスするために必要となる情報は、アドレス情報を含むURLに含まれているとする。
図378は、撮影装置がRF−IDリーダの機能を持つ場合のRF−IDとサーバに記録された画像情報との関連付けのフローチャートである。
撮影装置では、まず、郵送物のRF−IDに格納された情報をRF−IDリーダを用いて読み出す(S2500)。具体的には、図3の第2アンテナ21より、郵送物のRF−IDと通信を行い、データ受信部105により郵送物の固定情報を受信する。その後、第2処理部95により処理を行い、記録部106、第2メモリ52、記録再生部51を経由して第1処理部35へ読み出した郵送物の情報が転送される。第1処理部では、郵送物より読み出した郵送物固有IDと、画像または画像グループとの関連付けをユーザの指示により決定する(S2501)。その後、第1アンテナ20を経由してサーバ42へアクセスし(S2502)、郵送物固有IDとサーバに格納されている画像情報との関連付け情報をサーバに登録する(S2503)。
図379は、実施の形態A5における撮影装置の中継サーバ−への登録のフローチャートである。
読み出した郵送物に格納された固定情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていた場合には、以上で処理は終了である。郵送物に格納された固定情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていない場合には、中継サーバへの設定を行う(図379)。
中継サーバへの設定では、まず中継サーバへのアクセスを行う(S2510)。なお、中継サーバのアドレスまたはアドレスを含むURLが郵送物から読み出した情報にある場合には、読み出した情報に含まれる中継サーバを、無い場合いは撮影装置側に予め設定されている中継サーバにアクセスする。
中継サーバと接続後、中継サーバのデータベースに郵送物固有IDをリダイレクト先(転送先)のサーバとの関連付け設定を行う(S2511)。これにより中継サーバ−のデータベースに郵送物固有IDと転送先のアドレスの対応が登録される。
撮影装置がRF−IDリーダの機能を持たない場合で、かつ、郵送物にRF−IDリーダの情報を記録した2次元コード等が印刷されている場合は、撮影装置の撮像部を用いて撮影を行い、2次元コードとして記録された情報を読み出すことで郵送物のRF−IDに記録されている固定情報と同じ情報を読み出す。2次元コードとしては、QRコード、PDF417、ベリコード、マキシコードなどがあるが、ここに書かれているもの以外のものでも撮影装置により撮影することで情報の取り込みが行えるものであればどのようなものを利用してもよい。また、印刷領域面積が増えてしまうが、一次元方向のみのバーコードを利用した場合でも本実施の形態と同様の効果が期待できる。
図380は、RF−ID部2520が取り付けられ、同一の情報が記録された二次元コード2521が印刷された郵送物の例である。
二次元コードを撮影装置で読み込む場合のデータの流れを図3の構成図を用いて説明する。郵送物に印刷された二次元コードは、撮像部30により撮影され、映像処理部31により画像に変換された後、記録再生部32を経由して第1処理部35へ送られる。第1処理部35では、撮影された二次元コードを解析し、二次元コードに記録されている情報を取り出す。二次元コードに記録されている情報は、RF−IDに記録されている情報と基本的には同一であり、少なくとも郵送物固有IDを含んでいる。
図381は、実施の形態A5における撮影装置の二次元バーコードを利用した処理のフローチャートである。
以下、図381を用いて、二次元コードから情報を読み出してサーバの画像または画像グループと関連付けを行うまでの処理の流れを説明する。
まず、撮像部により2次元コードの撮影を行う(S2530)。次に撮影された画像が二次元コードであるかどうかの判定を行い(S2531)、二次元コードでない場合には、エラー処理を行う(S2532)。なお、二次元コードでない場合には、通常の撮影処理を行ってもよい。二次元コードである場合には、二次元コードの解析を行い(S2533)、解析結果から郵送物の情報を読み出す(S2534)。郵送物の固定情報が読み出された後は、郵送物固有IDとサーバの画像情報の関連付けを決定し(S2535)、サーバへアクセスし(S2536)、関連付け情報をサーバに設定する(S2537)。S2535〜S2537の処理は図378のS2501〜S2503の処理と同じである。なお、読み出した情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていない場合には、中継サーバへの転送設定処理を行う。中継サーバへの設定処理は、先に説明した図379の処理となる。
以上により、郵送物に印刷された二次元バーコードの情報を読み取ることで、RF−IDに記録された情報とサーバの画像情報との関連付けが完了する。
撮影装置がRF−IDリーダ機能を持たず、郵送物に二次元コード等のコードが印刷されていない場合、郵送物に印刷された郵送物固有IDやサーバアドレスなどのURLを直接撮影装置に手入力することで、郵送物の情報を撮影装置で情報を読み出すことも可能である。手入力は、図2の7〜15のボタン操作等により行う。なお、URLや郵送物の固有IDは、直接平文で印刷されていても、入力しやすいコードに符号化されていてもよい。符号化されている場合は、入力完了後に撮影装置でデコード処理を行い、郵送物のRF−IDの記録されている情報を取り出す。
以上により、RF−IDリーダ機能を持たず、かつ、二次元バーコード等が印刷されていない場合でも、郵送物とサーバの画像情報との関連付けを行うことができる。
<郵送物のRF−IDを用いた画像再生および閲覧>
次に、関連付けが完了している郵送物を用いて、テレビジョンでサーバに記録されている画像を閲覧する手順について説明する。
図382は、郵送物のRF−IDを読み込んで画像サーバにアクセスするまでのテレビジョンの処理フローである。
郵送物をテレビジョンのRF−IDリーダに近づけると、郵送物のRF−IDの情報がテレビジョンに読み込まれる(S2540)。読み込まれた情報にサーバアドレスまたサーバアドレスを含むURLが存在する場合には(S2541)、指定されたサーバへアクセスすし(S2542)、郵送物固有IDを送信する(S2543)。なお、相手が中継サーバであった場合には(S2544)、中継サーバにより指定されたサーバへのリダイレクトが行われ(S2547)、画像サーバの画像または画像グループへのアクセスが行われる(S2548)。S2544において、相手が画像サーバであった場合には、リダイレクトは行われず、画像サーバへのアクセスが行われる(S2548)。また、郵送物に記録されていた情報にサーバアドレスが存在していない場合、テレビジョンに予め設定されているデフォルトのサーバへのアクセスが行われ(S2545)、郵送物固有IDをデフォルトのサーバへ送信する(S2546)。その後、指定されたサーバ−へのリダイレクトがおこなわれ(S2547)、画像サーバへのアクセスが行われる。
なお、中継サーバまたは、デフォルトのサーバのデータベースに郵送物固有IDと中継する先のサーバの対応付けが登録されていない場合は、エラーページへのリダイレクトが行われる。
図383は、郵送物固有IDを受信した後の中継サーバおよびデフォルトのサーバの処理フローである。
郵送物固有IDを受け取ると(S2550)、この固有IDに関連する情報がデータベースに記録されているか検索する(S2551)。データベースに記録されている場合は(S2552)、固有IDに関連付けられてデータベースに記録されているサーバへのリダイレクトを行う(S2554)。もし、関連付けがない場合には、エラーページへのリダイレクトが行われる(S2553)。
以上のように、予めRF−IDの情報が固定されている郵送物と画像サーバの画像情報の関連付けが行い、関連付けが行われた郵送物をテレビジョンにかざすことで、郵送物のRF−IDの書き換えを行うことなく、画像サーバに記録され郵送物固有IDに関連付けられた画像または画像グループを閲覧することができる。これは例えば、外出先などで郵送物のRF−IDの書き換えが出来ない場合や郵送物のRF−IDが書き換え不能なものでであっても、サーバの画像と郵送物との関連付けが行えるようになり、郵送物を受け取った側に郵送物に関連付けた画像を閲覧させることができるようになる。
なお、本実施の形態では、サーバにアクセス後、郵送物固有IDを送信するとしたが、郵送物に記録された郵送物固有IDとサーバアドレスからURLを生成し、これを用いてサーバにアクセスしてもよい。この場合は、サーバへのアクセスと郵送物固有IDの送信を同時に行うことが可能となる。
本実施の形態によれば、例えば、観光先等のようにRF−IDの書き換えが出来ない環境下でも、撮影した写真とハガキを関連付けることができ、関連付けたハガキを知人に送ることで、ハガキを受け取った知人がテレビジョンにハガキをかざすことで観光先での写真を閲覧させることが可能となる。このように、RF−ID書き換えが出来ない環境であっても、サーバの画像情報と関連付けを行った郵送物を作成し、閲覧させたい相手に送ることができるようになる。
なお、撮影装置に郵送物のRF−IDを書き換えるためのRF−IDライタ機能が備わっている場合は、次に説明する実施の形態A6のテレビジョン装置で郵送物とサーバの画像情報を関連付けるフローと処理は同じになるのでここでの説明は省略する。
(実施の形態A6)
本発明の実施の形態A6では、撮影装置にて撮影された画像が、画像サーバにアップロードされた後、画像送信側の利用者(以後、送信者と記載する)が画像サーバの画像から画像グループを選定し、この画像グループにアクセスするための情報が郵送物上のRF−IDに記録され、画像受信側の利用者(以後、受信者と記載する)の下へ郵送され、この郵送物上のRF−IDを用いて受信者による画像サーバの画像グループへのアクセスを実現する構成について説明する。
図384は、本発明の実施の形態A6における画像送信側の構成を示す概略図である。
図385は、本発明の実施の形態A6における画像受信側の構成を示す概略図である。
なお、図384と図385において、図1および図3と同じ構成要素については同じ符号を用い、説明を省略する。
図384と図385において、郵送物3001は、画像送信側から画像受信側へ郵送される葉書(ハガキ)、または、封筒、便箋などの郵送物を示し、RF−ID部3002は、書き換え可能なRF−IDであり、その少なくとも一部の領域が書き換え可能なメモリ部3003を内包している。RF−ID部3002は、郵送物3001に貼り付け、あるいは漉き込まれており、郵送物と共に画像受信側へ送付されるものである。
また、RF−ID部3002については、先の実施の形態で述べた通り、このRF−ID部が属する媒体が郵送物であることを識別するためのメディア識別情報が、メモリ部3003に記録されている。
図385において、テレビジョン3045は、先の実施の形態で述べた図384のテレビジョン(テレビ)45と同等の機能を有する画像受信側に設置されたテレビジョン表示装置であり、図384のテレビジョン45と同様に、RF−IDリーダライタ部3046(図384のRF−IDリーダライタ46に相当)と、表示部3047(図384の表示部110に相当)を有し、更に図には示されていないネットワーク接続手段によってインターネット40と接続されている。
上記構成に関して、次にその動作を説明する。
<画像送信側の画像グループ選定、郵送物への書き込み>
図384の画像送信側において、撮影装置1で撮影された画像は、撮影装置1に搭載された無線LAN、或いはWiMAXなどの無線通信用の第2アンテナ20を用いて無線アクセスポイントに送られ、インターネット40を介して画像サーバ42の画像データ50として記録される。そして、撮影装置1をテレビジョン45のRF−IDリーダライタ46に近づけて、撮影装置1に搭載されたRF−IDのための第1アンテナ21を介した無線通信により、テレビジョン45との接続を確立する。テレビジョン45は、画像サーバ42の画像データ50へのアクセスのための情報を撮影装置1より取得し、画像データ50の画像をダウンロードして表示部110への表示を行う。以上の動作は、先の実施の形態で述べた動作と同様であり、概要のみ述べたものである。
次に送信者は、テレビジョン45の表示部110に表示された画像を確認しながら、画像毎に受信者へ送信する画像であるか否か、言い換えれば、受信者の閲覧を許可するか否かを示す送信画像選択情報を設定していく。更には、先の実施の形態で述べた表示限定、スライドショー、プリントなどの利用形態情報を、受信者に対して設定することもできる。これら送信画像選択情報と利用形態情報は、画像サーバに送信、記録され、送信画像選択情報によって送信画像として選択された画像の集合を画像グループとして画像サーバで管理される。
図386は、実施の形態A6における画像送信側テレビジョンの動作フロー図である。
以降、送信者により選定された画像グループに関する情報が郵送物3001に記録される過程を、テレビジョン45の動作フロー図386を用いて説明する。
送信者は、上述の通りの送信画像選択、利用形態情報を設定した画像グループの作成が完了している状態にて、RF−ID部3002を有する郵送物3001を、テレビジョン45のRF−IDリーダライタ46に近づけて、RF−ID部3002とRF−IDリーダライタ46が無線通信できるようにする。
テレビジョン45は、RF−IDリーダライタ46を介して郵送物3001上のRF−ID部3002と通信が可能となると、メモリ部3003に記録された情報の読み込みを行い(S3101)、その中のメディア識別情報から現在の通信対象が郵送物であること識別して、郵送物に対する書き込み処理の流れに移行する(S3102)。なお、ステップS3102での条件判断が成立しない場合については、特に触れていないが、各媒体に応じた処理に移行するものする。
郵送物3001に対する書き込み処理は、まず、インターネット40を介して画像サーバ42へアクセスし(S3103)、画像受信側が前述の画像サーバ42上の画像グループにアクセスするためのサーバURL、画像グループアドレスなどの画像グループ指定情報を、画像サーバ42より取得する(S3104)。
画像サーバより取得した画像グループ指定情報は、郵送物3001内のメモリ部3003に書き込みを行うために、テレビジョン45のRF−IDリーダライタ46を介して、郵送物3001のRF−ID部3002に送信され、RF−ID部3002によりメモリ部3003の書き換え可能領域へ記録される(S3105)。
以上のようにして、画像グループ指定情報が記録された郵送物3001は、送信者により投函され、画像受信側の利用者の下に郵送される。
<画像受信側の画像再生および閲覧>
図387は、実施の形態A6における画像受信側テレビジョンの動作フロー図である。
次に、画像受信側について、画像受信側構成の概略図である図385と画像受信側テレビジョンの動作フロー図である図387を用いて説明する。
図385において、受信者は、送信者から郵送されてきた郵送物3001を受け取り、受信者は、RF−ID部3002、或いは、郵送物3001上に記載された文字情報、または意匠により、その郵送物に画像へのアクセスのための手段が組み込まれていることを認知する。ここで、受信者は郵送物3001により画像へのアクセスが可能であること理解しているだけでよく、RF−ID部3002の画像グループ指定情報についてなどを特に意識する必要はない。
受信者は、画像を再生および閲覧するにあたり、郵送物3001を画像受信側に設置されたテレビジョン3045のRF−IDリーダライタ部3046に近づけることで、画像の閲覧を開始することが出来る。
郵送物3001上のRF−ID部3002が、テレビジョン3045のRF−IDリーダライタ部3046に十分に近づくと、RF−IDリーダライタ部3046は、図示されていないRF−IDリーダライタ部3046とRF−ID部3002の双方のアンテナを介して電力供給を行い、それによりに郵送物3001のRF−ID部3002が起動され、テレビジョン3045と郵送物3001のRF−ID部3002との無線通信が開始される。無線通信が開始されるとテレビジョン3045は、RF−ID部3002のメモリ部3003に記録されている情報の読み込みを行う(S3151)。
読み込まれた情報の中のメディア識別情報から現在の通信対象が郵送物(郵便物)であることを識別した場合は、送信者により設定された画像グループを画像サーバ42より読み出す処理の流れに移行する(S3152)。
画像サーバ42へのアクセスは、先のステップS3151にてRF−ID部3002より読み込まれた情報の中の画像グループ指定情報、例えば、サーバURL、画像グループアドレスなどから画像サーバ42上の画像グループへのアクセスのためのURLを生成し、インターネット40を介してアクセスすることが可能となる(S3153)。
以上の過程で、画像サーバ42と接続されたテレビジョン3045は、画像サーバ42上の画像データ50から、画像サーバ42が管理する画像グループの送信画像選択情報に従って、表示許可された画像を読み込み(S3154)、読み込んだ画像を表示部110に表示する(S3155)。
更に、テレビジョン3045を介して受信者は、画像サーバ42が管理する画像グループの送信画像選択情報と利用形態情報に従って、スライドショーの再生、画像の印刷、また、図示されていないテレビジョン3045に付属、或いは外部接続された記憶媒体への画像のダウンロードなどの機能を利用することが可能となる。
加えて、上述の画像の印刷は、図示していないLAN上のプリンタでの印刷のみならず、インターネット40を介した写真プリントサービスに対しての印刷依頼を行うことも可能である。
以上の通り、本発明の上記構成によると、郵送物3001上のRF−ID部3002により画像グループ指定情報が画像受信側のテレビジョン3045に伝達されることで、画像を取得するためのネットワーク・アクセス先の文字入力作業などを行う手間を掛ける必要がなくなる。即ち、郵送物3001をテレビジョン3045に近づけるという、直感的で平易な操作により画像サーバ42に格納された画像データ50へのアクセスが可能となり、受信者にメニュー選択や文字入力などの煩雑な手順を行う知識を要求することなく画像サーバを介した画像の受け渡しを実現している。
なお、上述の本実施の形態において、郵送物3001は、予めRF−ID部3002が貼り付け、或いは、漉き込まれた状態として説明しているが、通常の葉書(ハガキ)や便箋などの郵送物に、別途に提供される単体のRF−ID部3002を貼り付けることで作成されてもよく、これによれば、後からRF−ID部を貼り付けて、上述の効果を得ることができるため、送信側利用者の好みに応じた任意の郵送物に対して利用できるという新たな利点が生じる。
また、画像サーバ42へのアクセスにログイン操作が必要な場合は、郵送物3001上のRF−ID部3002のメモリ部3003の書き換え可能領域への書き込みの際(ステップS3105)にサーバログインIDとサーバログインパスワードを記録してもよい。更には、ログインIDとログインパスワードは平文ではなく、暗号化された形式で記録することで安全性を確保することが望ましい。
また、上述の本実施の形態において、送信画像の選択、利用形態情報の設定、および、郵送物3001上のRF−ID部3002への画像グループ指定情報の書き込みは、画像送信側のテレビジョン45にて行っているが、これに替えて、RF−IDリーダライタ機能を有する撮影装置1で、送信画像選択情報と利用形態情報の設定、画像グループ指定情報の書き込みを行っても、上述と同様に、受信者の平易な操作による画像の受け渡しを可能とする効果が得られる。
<派生する他の一例>
図388は、本発明の実施の形態A6における別の一形態の画像送信側のテレビジョン45の動作を示すフロー図である。
なお、図388において、図386と同じ処理となるステップは同じ符号を用い、その説明を略する。
本実施の形態においては、郵送物3001上のRF−ID部3002のメモリ部3003に、予め郵送物固有IDが記録されている。そして、この郵送物固有IDは、メモリ部3003のROM領域に記録されていることが、不慮の動作によるデータ破損やデータ改ざんなどのリスクを低減できる点で望ましい。
図389は、実施の形態A6における郵送物メモリ部の記録情報の一例を示す構成図である。
このときのメモリ部3003のデータ構造の一例を示す構成図を図389に示す。
上述のRF−ID部によると、画像送信側のテレビジョン45にて、送信画像選択情報、利用形態情報の設定が行われ、画像グループが画像サーバ42上に設定されている状況において、図388(a)のフローに従って、テレビジョン45の動作次のようになる。
郵送物RF−IDの情報読み込み(S3101)、メディア識別情報による郵送物であることの認定(S3102)の後、テレビジョン45は、郵送物固有IDを取得する。郵送物固有IDについては、ステップS3101で読み込んだ情報を用いても、改めてRF−ID部3002より取得しても何れでもよい。次に、テレビジョン45は、インターネット40を介して画像サーバ42へのアクセスを行い(S3202)、テレビジョン45より郵送物固有IDが画像サーバ42に送信され、画像サーバ42は、送られた郵送物固有IDと画像グループのアドレスとの関連付けを行い、その情報を記録および管理する(S3203)。
テレビジョン45は、画像受信側から画像サーバ42にアクセスするためのサーバURLを画像サーバ42より取得し(S3204)、取得したサーバURLは、RF−IDリーダライタ46を介して、郵送物3001のRF−ID部3002のメモリ部3003の書き換え可能領域に書き込まれる(S3205)。
以上の様に、画像サーバ側で画像グループと郵送物固有IDが関連付けされて記録および管理されると、郵送物固有ID毎に利用形態情報を分けて管理することが可能となり、複数の郵送物3001が存在する場合に、個々の郵送物毎に、即ち、異なる受信者毎に画像受信時の動作を変更することが可能となる。
これは、本実施の形態の初めに述べた構成において、個々の郵送物毎に画像グループをそれぞれ設定し、異なる画像グループアドレスを各々生成して、それぞれRF−ID部に書き込むことで画像受信側に対する同様の効果が得られるが、個別に画像グループを設定するという画像送信側の煩雑の操作が発生する。
そのため、同一の送信画像の選択であれば上述の様に郵送物の固有IDを用いて個別に利用形態情報を記録、管理することで送信者の操作の軽減、画像サーバ側においては、送信画像選択情報を別々に保管する必要がなくなる分の記憶容量低減の更なる効果が得られる。
図388(b)について、図388(a)に対して異なる部分は、ステップS3214とステップS3215であり、ステップS3214では、サーバURLに加えて画像グループアドレスを取得し、ステップS3215では、サーバURLに加えて画像グループアドレスをRF−ID部3002のメモリ部3003の書き込み可能領域へ書き込んでいる。
これにより、画像受信側から画像受信の際に、画像サーバ42の画像グループを指定したアクセスが行われるが、こととき、画像サーバで記録および管理されている画像グループ内の郵送物固有IDとアクセスを要求している受信者が使用している郵送物の固有IDが一致した場合のみアクセス許可することで、安全性の向上を図ることができる。
従来は遠隔地にいる相手にテレビなどの大画面表示機器で画像を見せるためには、遠隔地側のユーザが機器操作を習得したり、遠隔地に操作習得者が赴いて機器を操作したり、遠隔地にある表示機器を遠隔操作する必要があったが、実施の形態A4と同様に、本システムでも、遠隔地のユーザがRF−ID付の葉書等、物理的な媒介物を表示機器に近づけるという簡単な操作で容易に画像を閲覧することができる。実施の形態A4では、RF−ID付葉書の作成およびRF−IDへのデータ書き込みをユーザ(画像の撮影/送信者や画像の閲覧者)が行うのではなく、サービス事業者が行う形態であったが、本実施の形態では、画像送信側の利用者(送信者)がRF−ID付葉書の作成およびRF−IDへのデータ書き込みを行う点で異なる。
(実施の形態A7)
本実施の形態では、本発明のRF−IDカードを用いて機器の設定を変更する方法に関して述べる。
以下では、図390、図391を用いて、RF−IDカードを用いてレコーダの設定を変更する方法に関して説明する。
図390は、本発明のレコーダの構成を示すブロック図である。
レコーダ2000は、チューナ2001から取得した放送コンテンツのHDD2008や光ディスクドライブ2009への録画や、録画コンテンツや光ディスクドライブ2009で読み取った映像・音楽コンテンツのTV45での再生を行う。
入力信号処理部2002は、チューナ2001から入力されたアナログ信号をデジタル信号に変換するA/Dコンバータや、スクランブルされたコンテンツをデコードするデコーダ、MPEG−2などの映像フォーマットに変換するエンコーダを備え、入力された映像・音声信号を所定の映像・音声フォーマット形式に変換する。
出力信号処理部2003は、デジタル信号をアナログ信号に変換するD/Aコンバータや、MPEG−2などの映像フォーマットからのデコードを行うデコーダを備え、TV45への映像、音声出力を行う。
システム制御部2004は、レコーダ2000の動作を制御し、レコーダ2000の設定を切り替える設定情報処理部2011を備えている。設定情報処理部2011に関しては、後に詳細に説明する。
メモリ2005は、レコーダ2000の識別情報であるレコーダID2012や、レコーダ2000の設定情報である設定情報2013が格納されている。
操作入力部2006は、図示されていないリモコンやフロントパネルのボタンなどからのユーザ操作による入力を受け付ける。
通信部2007は、インターネットやLANなどにより、サーバ42への接続を行う。
HDD2008は、入力信号処理部2002から得られた録画コンテンツやコンテンツリストなどを記録する領域である。
光ディスクドライブ2009は、DVDやBlu−ray Discなどの光ディスクの記録再生を行うドライブで、入力信号処理部2002から得られた録画コンテンツやコンテンツリストなどの記録や、映像・音楽コンテンツの入った光ディスクの再生を行う。
レコーダ2000の入力信号処理部2002、出力信号処理部2003、システム制御部2004、HDD2008、光ディスクドライブ2009は、バス2010を介して相互接続されている。
ここで、設定情報処理部2011に関して詳細に説明する。
設定情報処理部2011は、メモリ2005に格納されている設定情報2013に応じて、レコーダ2000のメニュー画面などの表示設定や録画・再生モード設定、録画コンテンツのチャプター設定やユーザの嗜好などに応じた番組推薦などの設定を行う。具体的には、例えば、設定情報2013に格納されている“メニュー画面背景色:黒”などを示す識別子を読み取って、出力信号処理部2003へのメニュー画面出力要求を行う際に、背景色を“黒”で表示する指示を出力する。
なお、設定情報2013はHDD2008や、図示されていないSDカードなどの外部記録手段に格納しても良い。特に、HDD2008に格納されている録画コンテンツに関するチャプターなどの設定情報や、サイズの大きい情報などは、HDD2008に格納すると効率が良い情報である。
設定情報2013は、従来は、機器購入時にすでに設定されているか、操作入力部2006からのユーザ操作によって設定されるが、本発明では、設定情報2013をRF−IDリーダライタ46から得られた情報を基に変更することが出来る。
図392は、レコーダ2000のRF−IDリーダライタ46で読み取ることで、レコーダ2000の設定を変更するRF−IDカードの構成を示すブロック図である。
RF−IDカード2100は、メモリ2101、アンテナ21、電源部91、データ受信部105、データ転送部108、処理部2102、記録部106、再生部107から構成される。
アンテナ21をRF−IDリーダライタ46に近づけると、RF−IDリーダライタ46よりアンテナ21を介して電源部91に電力が供給され、RF−IDカード2100の各部に電源が供給される。
RF−IDリーダライタ46からのデータ記録および再生などの情報は、データ受信部105で受信し、処理部2102に送られる。
処理部2102は、記録部106によるメモリ2101へのデータ記録や、再生部107によるメモリ2101からのデータの再生を行う。
データ転送部108は、処理部2102から送信されたデータをアンテナ21を介してRF−IDリーダライタ46へと送信する。
メモリ2101には、UID75、メディア識別情報111、機器操作情報2103が格納されている。
UID75とメディア識別情報111は、RF−IDカード2100識別に用いられる情報である。
UID75は、RF−IDカード2100の固有IDである。
メディア識別情報111には、カードであるという識別子が記録されている。
機器操作情報2103は、RF−IDカード2100を用いて操作を行う対象の機器に関する情報と機器の操作に関する情報が格納されている。
操作機器識別情報2104には、操作を行う機器の種別を示す情報が格納されている。格納されている情報は、メディア識別情報111と同じ識別子を用い、図391では、レコーダであるという識別子が記録されている。
対象機器情報2105は、特定の機器に対してのみ操作を行いたい場合に用いる情報が格納されており、図391では、レコーダ2000の識別情報であるレコーダID2012が格納されている。なお、本発明のRF−IDカード2100を使用する機器が限られている場合、例えばレコーダのみで使用する場合、には、操作機器識別情報2104や対象機器情報2105は機器操作情報2103に含まれていなくても良い。また、設定情報処理部2011がカードによって設定を変更することを想定した構成となっている場合は、メディア識別情報111も、メモリ2101に含まれていなくても良い。
操作指示情報2106は、機器に行う操作内容を示す情報で、図391では、設定変更を示す情報2109、設定の変更を行う対象を示す情報2110、設定情報を取得する際に通信を実施することを示す情報2111が格納されている。
なお、操作指示情報2106は、1つの操作に対する情報だけとは限らず、複数の操作に関する情報から構成されていても良いし、複数の操作を組み合わせたプログラムになっていてもよい。
通信情報2107は、操作指示情報2106で通信して取得することを指示された際にアクセスを行うサーバなどに関する情報である。図391では、URL2112、ログインID2113、パスワード2114が格納されている。なお、URL2112ではなく、IPアドレスなどが記録されていても良いし、社内や家庭内ネットワークで他の機器にアクセスする場合には、MACアドレスなどの機器を特定する情報が記録されていても良い。
図392は、サーバに設定情報を登録する手順に関するフローチャートである。
以下では、図392を用いて、レコーダ2000の設定をRF−IDカード2100を用いてサーバに登録する手順に関して説明する。
ステップ2201で、ユーザによる操作入力部2006からの入力を受けると、設定情報処理部2011は、出力信号処理部2003に対して、TV45へのメッセージ出力要求を行い、TV45の画面に「RF−IDカードをかざして下さい」というメッセージが表示される。なお、メッセージの表示は、レコーダ2000の図示していないコンソール上に表示しても良い。また、ユーザによる操作入力を行う際に、パスワードや生体認証などの認証を要求し、認証後に登録処理に移行しても良い。さらに、TV45へのメッセージ出力を行わず、レコーダ2000の使用時に、RF−IDカード2100をRF−IDリーダライタ46にかざすことで、ステップ2203以降の処理を行っても良い。なお、どの場所に設定情報2013を登録するかどうかの問い合わせメッセージを表示して、ユーザの選択した場所への登録を行っても良い。例えば、RF−IDカード2200に設定情報2013を登録しても良いし、サーバ42とは異なるサーバへ登録を行っても良い。
ステップ2203でRF−IDカードを検出すると、相互認証処理が実施される。
ステップ2204の認証判定がOKの場合は、ステップ2205に進んで処理を継続し、認証判定がNGの場合は、ステップ2202に戻ってRF−IDカード検出処理を繰り返す。
ステップ2205では、RF−IDカード2100のメモリ2101から、UID情報75を取得する。
ステップ2206では、RF−IDカード2100のメモリ2101から、通信情報2107を取得する。なお、RF−IDカード2100のメモリ2101に通信情報が登録されていない場合は、ユーザへの通信情報入力要求を出しても良い。また、ステップ2201で、RF−IDカード2100に登録されていない箇所への登録指示を行った際には、このステップでは何も行わない。また、RF−IDカード2100に複数の通信情報2107が登録されている場合は、通信情報を一覧表示して、ユーザが選択を行っても良い。
ステップ2207では、メモリ2005から、レコーダID2012と設定情報2013を取得する。なお、設定情報は、現在の情報ではなく、設定登録実施時などに、ユーザの入力した情報であっても良い。
ステップ2208では、設定情報処理部2011は、通信部2007に対して通信情報2107のURL2112へのアクセス要求を出す。URL2112へのアクセス時には、ログインID2113とパスワード2114を使用する。
ステップ2209では、アクセスが成功したかどうかの判定を行い、アクセスが成功した場合は、ステップ2210に進んで処理を継続し、アクセスが失敗した場合は、そのまま処理を終了する。
ステップ2210では、UID情報75、メモリ2005から取得したレコーダID2012、設定情報2013をサーバ42に送信する。
ステップ2211では、2201で指定された操作や選択した設定情報2013の格納位置、ステップ2207で取得した設定情報2013、ステップ2206で取得した通信情報2107から、操作指示情報2106を生成する。
ステップ2212では、ステップ2202と同様の処理を行って、TV45の画面に「RF−IDカードをかざして下さい」というメッセージを表示する。
ステップ2213で、RF−IDカードを検出すると、相互認証処理が実施される。
ステップ2214の認証判定がOKの場合は、ステップ2215に進んで処理を継続し、認証判定がNGの場合は、ステップ2212に戻ってRF−IDカード検出処理を繰り返す。
ステップ2215では、RF−IDカード2100のメモリ2101から、UID情報を取得する。
ステップ2216では、ステップ2205で取得したUID情報75とステップ2215で取得したUID情報が一致するかどうか確認し、一致していればステップ2217に進んで処理を継続し、一致していなければ、ステップ2211に戻ってRF−IDカード検出処理を繰り返す。
ステップ2217では、メモリ2005に格納されている図示されていない操作機器識別情報2104と、レコーダID2012、ステップ2211で生成した操作指示情報2106、通信情報2107をRF−IDカード2100に送信し、メモリ2101に記録を行って処理を終了する。
図393は、サーバに登録された設定情報の構成を示す図である。
上で述べた図392の手順でサーバ42登録した設定情報を、図393を用いて説明する。
設定情報2250は、UID情報75、対象機器情報2105に関連付けられて登録されており、具体的には、“メニュー画面背景色:黒”などの情報を示す識別子が登録されている。各設定情報の末尾の“A”、“B”は、異なった設定であることを示している。
UID0001のように、1つのUIDに対して複数の設定情報を登録することも可能で、対象機器情報2105がREC−0001の項目のように、1つの対象機器情報に対して、複数のUIDと関連付けられた設定情報が登録されていても良い。なお、設定情報には、変更対象情報2110が含まれていても良い。
図394は、RF−IDカードに登録された機器操作情報の構成を示す図である。
次に、図394を用いて、図392の手順でRF−IDカード2100のメモリ2101へ登録された機器操作情報2103に関して説明する。
UID情報75として、“UID0001”が記録されており、メディア識別情報111として“カード”が記録されている。
機器操作情報2103には、操作機器識別情報2104、対象機器情報2105、操作指示情報2106、通信情報2107の組が登録されている。なお、通信情報2107は他の情報と関連のない情報として、登録されていても良い。例えば、1つの通信情報が登録されており、RF−IDカード2100を使用する際には、常に同じサーバなどへのアクセスを行っても良い。
操作指示情報2106は、指示内容情報2260、指示対象情報2261、通信実施情報2262から構成されている。指示内容情報2260には対象機器情報2105で指定された機器に対して実行する処理を示す識別子が記録されており、指示対象情報2261には操作を行う対象として、例えば、REC−0001に対しては、メニュー画面モード、録画モードなどの設定を示す識別子が記録されている。通信実施情報2262には、指示内容情報2260の処理を行う際に通信を行うかどうかを示す識別子が記録されている。なお、RF−IDカード2100を用いて行う操作が設定変更に限られる場合は、機器操作情報2103は、通信情報2107のみで構成されていても良い。
通信情報2107には、通信実施情報2262に通信を実施することが指定されている場合に、通信を行うサーバなどのURL、ログインID、パスワードなどが記録されている。
図395は、RF−IDカードでレコーダの設定情報を更新する手順に関するフローチャートである。
次に、図395を用いて、レコーダ2000の設定をRF−IDカード2100を用いて変更する手順に関して説明する。図395は、レコーダ2000の設定情報処理部2011がRF−IDカード2100の情報を用いて設定情報2013を更新する手順を示したフローチャートである。
初めに、ステップ2301でRF−IDカード2100を検出すると、ステップ2302で相互認証処理を実施する。
ステップ2303の判定がOKならば、ステップ2304に進んで処理を継続し、判定がNGならば、処理を終了する。
ステップ2304では、RF−IDカード2100のメモリ2101からUID情報75と機器操作情報2103を取得する。
ステップ2305では、機器操作情報2103に含まれる操作機器識別情報2104を検索し、レコーダ2000のメモリ2005から取得した図示されていない機器識別情報と比較する。
ステップ2306では、ステップ2305で行った比較の結果が一致していれば、ステップ2307に進んで処理を継続し、一致していなければ、ステップ2314に進む。
ステップ2314では、操作機器識別情報2104を全て検索したかどうかを判定し、全ての操作機器識別情報2104を検索した場合は処理を終了する。
ステップ2307では、対象機器情報2105を検索し、レコーダ2000のメモリ2005から取得したレコーダID2012と比較する。
ステップ2308では、ステップ2307で行った比較の結果が一致していれば、ステップ2309に進んで処理を継続し、一致していなければ、処理を終了する。
ステップ2309では、機器操作情報2103、対象機器情報2105に対応した操作指示情報2106を取得する。
ステップ2310では、機器操作情報2103、対象機器情報2105に対応した通信情報2107を取得する。
ステップ2311では、操作指示情報2106の指示内容情報2260から、設定変更処理であることを取得し、サーバ42にアクセスして、設定情報2250を取得する。このステップの処理は、後で図396を用いて詳細に説明する。
ステップ2312では、設定情報2250の取得が正しく行えたかどうかを判定し、正しく取得できた場合は、ステップ2313に進んで、設定情報処理部2011によってレコーダ2000のメモリ2005の設定情報2013を更新して処理を終了し、正しく取得できなかった場合は、そのまま処理を終了する。
図396は、サーバから設定情報を取得する手順に関するフローチャートである。
以下では、図395のステップ2311の処理を図396を用いて詳細に説明する。図395は、設定情報処理部2011がサーバ42にアクセスして設定情報2250を取得する手順を示したフローチャートである。
ステップ2351では、通信部2007で通信情報2107に含まれるURL2112に対してアクセスを行う。
ステップ2352では、設定情報処理部2011が通信情報2107に含まれるログインID2113とパスワード2114を通信部2007に対して送信し、ログイン処理を行う。
ステップ2353で認証OKと判定された場合は、ステップ2354に進んで処理を継続し、認証NGと判定された場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2354では、サーバ42のUID情報を検索し、ステップ2355で、図395のステップ2304で取得したUID情報75と一致するものがあった場合は、ステップ2356に進んで処理を継続し、一致するものがない場合は、ステップ2359でUID情報を全て検索したと判定するまでは、ステップ2354に進んでUID情報の検索を繰り返し実施する。ステップ2359でUID情報を全て検索したと判定した場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2356では、UID情報75に対応した対象機器情報を検索し、ステップ2357で、図395のステップ2305で取得した対象機器情報2105と一致するものがあった場合は、ステップ2358に進んで処理を継続し、一致するものがない場合は、ステップ2360で対象機器情報を全て検索したと判定するまでは、ステップ2354に進んで対象機器情報の検索を繰り返し実施する。ステップ2360で対象機器情報を全て検索したと判定した場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2258では、UID情報75、対象機器情報2105に対応した設定情報2250を取得して、処理を終了する。
以上に述べたように、RF−IDカード2100を用いれば、レコーダ2000の設定をユーザが複雑な処理を意識することなく実施することが可能となり、機器の操作に習熟していないユーザでも、容易にレコーダの設定の変更を行うことが可能となるという効果が得られる。なお、レコーダに対して行うことが可能な操作は、設定の変更だけではなく、例えば、指示内容情報に録画コンテンツリスト取得を指定すると、レコーダの録画コンテンツリストをRF−IDやサーバ上に登録し、他の機器から参照することも可能となる。
図397は、レコーダで使用するRF−IDカードに登録された機器操作情報の構成を示す図である。
さらに、図397で示されるRF−IDカードを用いると、RF−IDカードをかざすだけで予約録画が行うことが可能になる。図397のIndex1に対応した変更対象情報を用いると、指示対象情報で指定した“番組ID”、“録画モード”の設定で予約録画を行うことで、サーバにアクセスすることなしに予約録画を行うことが可能になり、Index2に対応した変更対象情報を用いると、指示対象情報で指定した“番組コード”を指定して、サーバから番組IDまたは開始時間と終了時間、チャンネルの情報を取得し、“録画モード”の設定で予約録画を行うことが可能となる。さらに、指示対象情報に“お奨め番組”の指定を行ってサーバから番組IDを取得することで、サーバからお奨めのコンテンツを取得して、予約録画を行うことが可能になる。この機能を用いると、例えば、RF−IDカードを番組ガイド雑誌の付録として予約録画の手間を軽減するというサービスも考えられる。また、指示内容情報として、ダウンロードを設定し、指示対象情報として、機能限定版の映像やソフトウェアを設定し、通信情報としてダウンロードサイトのURLを設定したRF−IDカードを用いると、無料配布したRF−IDカードで機能限定のコンテンツを試用し、気に入ったユーザが購入を行うというサービスも考えられる。
なお、本実施の形態では、レコーダを例に挙げて説明を行ったが、本発明の適用範囲は、レコーダには限らない。
例えば、TVにRF−IDカードのリーダライタと設定情報処理部を備えることで、電源を入れた直後の初期表示チャンネルや初期音量の設定、アダルト放送や暴力シーンなどを除外したチャイルドロック設定、お気に入りのチャンネルザッピング設定、画面のコントラストや明るさ設定、言語設定、連続使用時間設定などを変更対象情報として登録して、ユーザの使い勝手に応じた設定を行うことが可能になる。また、カーナビゲーションシステム(カーナビ)にRF−IDカードのリーダライタと設定情報処理部を備えた場合には、指示内容情報に“強調表示”を指定し、指示対象情報に“ランドマーク情報”を指定することで、指定したランドマークをカーナビで表示する際に、文字フォントやサイズを変更したり、色を変更するなどの強調表示を行うことが可能になる。なお、ランドマーク情報は、サーバから取得しても良い。
図398は、カーナビで使用するRF−IDカードに登録された機器操作情報の構成を示す図である。
これにより、例えば、図398で示される機器操作情報を記録したRF−IDカードを高速道路のサービスエリアやインターチェンジ、観光地などで配布し、現在イベントが行われているなどの、お奨めのランドマークを強調表示するなどの用途にも用いることが可能になる。さらに、ノートPCにRF−IDカードのリーダライタと設定情報処理部を備えると、画面の解像度やデスクトップ上のアイコンなどの配置、壁紙、スクリーンセーバー、常駐ソフトなどのスタートアップ設定、使用する周辺機器、マウスなどの利き手設定などを設定することが可能となり、RF−IDカードを持ち運ぶだけで、出張先などのPCでも、普段使用している設定で作業を行うことが可能になる。また、ゲーム機にRF−IDカードのリーダライタと設定情報処理部を備えて、例えば友人の家などで、指示内容情報として設定変更を設定したRF−IDカードでコントローラのキー配置やメニュー画面構成を設定したり、セーブデータなどを読み込ませることも可能になる。さらに、指示内容情報としてダウンロードを設定したRF−IDカードを雑誌などの付録とし、追加シナリオや希少なアイテムなどのダウンロードを行うといったサービスも考えられる。
本発明のRF−IDカードは、家庭内の家電がネットワークで接続された際にも、例えば個人の好みに合わせたエアコン温度や風呂の湯沸しの設定などをRF−IDカードに登録しておき、家庭内に備えたRF−IDリーダライタにかざして家電の設定を一括して行うことや、冷蔵庫に保管してある食品の閲覧操作をRF−IDカードに登録しておき、予め食品につけられたタグなどで冷蔵庫のメモリに登録された食品の情報や、冷蔵庫の中をカメラで撮影した映像を取得することで、TVのリーダライタで食品リストを確認することなど、様々な用途での使用が可能である。なお、機器を指定するRF−IDカード(例えば、“暖房”、“冷房”、“ストーブ”、“扇風機”を示す4種類のカード)と、機器の設定を指定するRF−IDカード(例えば、“弱”、“中”、“強”を示す3種類のカード)などを組み合わせる、または、前記機器指定、機器設定指定のそれぞれの機能を持った複数のRFタグを1枚のRF−IDカードに備えて、機器の設定をカスタマイズしても良い。
なお、本発明の適用範囲は、これまでの実施の形態で述べた方法に限定されない。本発明の主旨を逸脱しない範囲で、上記実施の形態における構成要素および特徴を任意に組み合わせて得られる形態や、上記実施の形態に対して当業者が変形を施して得られる形態も、本発明に含まれる。
例えば、2人のユーザ(ユーザAとユーザBとする)の間で、写真のやり取りを行う形態では、ユーザAの撮影した写真をユーザBが閲覧する方法として、ユーザBのTVの機器IDとユーザBが所有している中継サーバのURLが予め格納されているRF−ID(RFタグBとする)から生成した情報(機器生成情報Bとする)をユーザAにメールなどで伝えるとともにRFタグBに記録し、ユーザAが、機器生成情報Bに関連付けて中継サーバに写真を登録したサーバのURLを格納することで、ユーザBはRFタグBをTVのRF−IDリーダライタにかざすだけでユーザAの撮影した写真を閲覧することが可能となる。なお、タグBには予めユーザAのメールアドレスが登録されており、ユーザBがタグBをTVのRF−IDリーダライタにかざすだけで、タグBへの機器生成情報Bの書き込みと、ユーザAへの機器生成情報Bの通知が自動的に行われる方法を用いると、ユーザBが機器の使用方法に習熟していない場合でも、写真のやり取りを行うことが可能となる。また、ユーザAがURL、ログインID、パスワードの少なくとも1つを機器生成情報Bで暗号化してRF−IDに登録したハガキを送付することで、写真の閲覧をユーザBのTVに制限することが可能である。さらに、送信用のRF−IDと返信用のRF−IDの2つのRF−IDが付いたハガキをユーザAからユーザBに送信する場合には、ユーザAが予め返信用のRF−IDに自分のTVなどから生成した機器生成情報Aを記録することで、ユーザBが返信の際にユーザBが写真を登録するサーバのURLやログインIDやパスワードを機器生成情報Aで暗号化して返信用のRF−IDに記録したり、写真を登録する際にユーザBが機器生成情報Aに関連付けて登録することで、ユーザBの登録した写真の閲覧を許可する機器を制限することが可能となる。
なお、郵送物につけられたRF−IDの郵送物固有IDは、複数の郵送物で共通なグループID部と郵送物毎に設定された固有ID部とが組み合わせられた構成となっていても良い。サーバの写真を郵送物固有ID全体に関連付ける代わりに、前記グループID部と関連付けて登録することで、複数の対象に対して写真と関連付けたRF−IDつきハガキを送付する際に、複数の固有IDの登録を行う手間を省略することが出来る。また、グループID部と関連付けて登録したサーバの写真を固有ID部に応じて閲覧許可・禁止を切り替えても良い。それにより、例えば、郵送物にプリンタで宛先住所などの印刷を行う場合は、プリンタにRF−IDリーダライタを備えて郵送物固有IDの固有ID部を印刷時に読み取ることで、住所録と固有ID部の対応付けを行うことが可能となり、住所録でサーバ上の写真閲覧の許可・禁止の管理を行うことが可能となる。
なお、葉書やカードに機能の異なるRFタグを複数備え、使用しないRFタグの通信を遮断することで、1枚の葉書やカードで複数の機能を切り替えても良い。例えば、葉書の上部に写真をスライドショー表示する機能を持ったRFタグを備え、下部に映像を再生する機能を持ったRFタグを備えることで、葉書の上部、下部のどちらをRF−IDリーダライタに近づけるかで写真表示と映像再生機能を切り替えることが可能となる。なお、葉書の表裏に備えても良いし、通信を遮断する素材を用いた蓋を備えて、蓋を開けた状態のRFタグのみを使用可能としても良い。
なお、写真を複数のサーバに登録し、それぞれのサーバのURLをRFタグに格納することで、それぞれのサーバにアクセスして写真を取得し、一覧表示を行っても良い。
なお、RF−IDリーダライタは、機器に備えているだけでなく、リモコンなどの機器操作を行う入力手段に備えていても良い。例えば、ネットワークなどで複数の機器が接続されている場合には、複数の機器の操作を集中的に行う入力手段にRF−IDリーダライタを備え、それぞれの機器の操作を行っても良い。さらに、リモコンなどの入力手段に指紋認証や顔認証といった生体認証やパスワードなどの個人認証手段を備え、個人認証が完了した場合のみ、RFタグの読み書きを行っても良い。逆に、個人の認証情報をRFタグに記録しておき、RFタグによって機器やリモコンなどで個人認証を行っても良い。
なお本発明の記載に関してRF−IDという用語を多用している。一般的にはRF−IDと言う用語は狭義では「識別情報を不揮発メモリに記録してあるタグ」のことを指し、デュアルインタフェースやセキュッリティ機能を持つRF−IDは「ICカード」等の用語が用いられているようである。しかし、本明細書のRF−IDこの狭義の用語に限定されるものではない。本発明では「個体識別情報を不揮発メモリに記録し、個体識別情報をアンテナを介して外部に送信できる電子回路」との広義の意味で用いている。
従来は機器操作の未習熟者が機器の複雑な設定を行うためには、機器の販売者や修理者、サービスマンが対象機器のある場所に赴いて設定を行うか、対象機器を遠隔操作する必要があった。つまり、遠隔操作する場合もやはり遠隔操作の設定のために気規模ある場所に赴く必要があった。しかし、以上に述べたように、RF−IDカード2100を用いれば、レコーダ2000の設定をユーザが複雑な処理を意識することなく実施することが可能となり、機器の操作に習熟していないユーザでも、容易にレコーダの設定の変更を行うことが可能となるという効果が得られる。
また、本発明は、画面を有する機器と、前記機器と通信路で接続されたリーダ装置と、前記リーダ装置と近接無線通信を行う通信装置を備える通信システムにおいて、前記通信装置に関する画像を前記機器に提示する画像提示方法として実現したり、通信装置の識別情報とともに当該通信装置内に保存されるプログラムであって、前記通信装置との間で近接無線通信を行う機器が備える仮想マシンによって実行されるコードで記述され、通信ネットワークで接続されたサーバ装置にアクセスするステップと、アクセスした前記サーバ装置に保存された画像のうち、前記識別情報に対応する画像を前記サーバ装置からダウンロードするステップと、ダウロードした画像を表示するステップとを含むプログラム、あるいは、そのようなプログラムが記録されたCD−ROM等のコンピュータ読み取り可能な記録媒体として実現することもできる。
また、本発明に係る通信装置は、識別情報および仮想マシン用プログラムを格納したRF−IDを備えるあらゆる機器、例えば、カメラ等の電子機器、炊飯器や冷蔵庫等の家電機器、歯ブラシ等の日常品にも、適用できることは言うまでもない。
図399は、TV等のリモコンにRF−IDリーダを搭載した場合の実施の形態における構成図である。
図400は、同実施の形態におけるフローチャートである。
ここで、TV等のリモコンにRF−IDリーダを搭載した場合の実施の形態を図399(a)、(b)のブロック図と図399(c)のフローチャートと図400のフローチャートを用いて説明する。
まず、前述のようにカメラなどの子通信機(子機)5050はメモリ52とアンテナ21を持つ。このアンテナ21にリモコン5051のアンテナ5063aを近づけるとアンテナ5063aからアンテナ21に電源が供給され、メモリ52の中のデータがアンテナ21よりアンテナ5063aに送られる。リモコン5051側では通信回路5064によりデジタルデータに変換してメモリ5061に蓄える(ステップ5001a:図400)。リモコン5051の送信部をTV45に向け、送信スイッチ5063を押すと(ステップ5001b)メモリ5061のデータは光出力部5062を介して光を用いて、TVの受発光部5058に送られTV等の親機45に送信される(ステップ5001c)。なお、ここでの通信は光でなく無線でもよい。
ここで図399(c)のフローチャートに戻ると、発明は社会的なシステムに用いられるため20年後、30年後に対応する必要がある。仮想マシン言語等のプログラムはJava(登録商標)等が知られているが、将来、拡張されたり、全く別の効率のよい言語等のプログラムになることが予想される。従って本発明では、TV等の親機45に親機の仮想マシン言語等の言語タイプやバージョンを示す親機バージョン情報5059、n1が記録されている(ステップ5060i:図399(c))。子機5050のメモリ21には(図399(a))、最初に子機のプログラムの言語等のバージョンを示す子機バージョン情報5052、n2が記録されている。その後にプログラム領域5053があり、バージョン5055a、5055b、5055cのプログラム5056a、5056b、5056cが記録され、その次にデータ領域5054がある。
図399のフローチャートのステップ5060iで親機45のバージョン情報n1を入手し、子機のメモリの中のバージョン情報n2を入手し(ステップ5060a)、n1≧n2の最大値のプログラムnを選択し(ステップ5060b)、その実行プログラムnを実行し(ステップ5060c)、ステップ5060dでインターネットへの接続がある場合、ステップ5060eでサーバに接続し、サーバに親機45に設定されている言語情報5065を送り(ステップ5060f)、サーバは送られた言語情報5065に応じて、その言語、例えばフランス語のプログラムを親機に送り、実行させる。もしくはサーバ上でそのプログラムを実行してもよい。
インターネットに接続されていない場合はステップ5060hに戻り、ローカルプログラムを実行して、子機5050の属性情報、例えば故障の場合を知らせる情報や記録した写真の枚数等の情報を親機45の画面に表示する。このように子機のメモリ52にバージョン情報(子機バージョン情報)5052が記録され、10年単位の周期で進化する各世代のプログラムや手順やURLがバージョン毎に記録されているため、20年30年経っても同じフォーマットで動作するという効果がある。図399(a)ではプログラムのバージョン、世代を記録する例を示したが、図399(b)のようにバージョン5055d、5055e、5055fに対応したURL等のサーバの中のデータのアドレス、URL5057a、5057b、5057cを記録することにより同様の効果が得られる。この方式により、将来にわたって、下位互換性を実現できる。例えば今年買った製品にRF−IDが搭載されている場合、バージョンを1とすると、20年後、30年後の親機45には例えばバージョン1、2、3に対応したJAVA(登録商標)等の仮想マシン言語などのプログラムが載っているので、子機バージョン情報5052を知ることにより、親機はそのバージョンに対応した親機のプログラムに切り替え動作を行う。また30年後の子機21ではバージョン1、2、3の全てのプログラムが記録されているため、バージョン3の親機45では最高の機能を得る。そして、バージョン1の親機45では古いバージョンの少し限定された機能が得られ、完全な互換性が実現する。
図400のフローチャートを説明する。ステップ5001aでリモコン5051の読み取りスイッチ5063を押して、子機5050のアンテナ21に近づけると子機のメモリ52のデータがリモコン5051のメモリ5061に蓄積される。次にステップ5001bでリモコン5051をTV等の親機45に向け、送信スイッチ5063を押すと(ステップ5001b)、光により親機へメモリ5061のデータが送られる(ステップ5001c)。本実施の形態ではこのデータをタグデータと便宜上呼ぶ。タグデータから実行プログラムを抽出もしくは選択し(ステップ5001d)、抽出もしくは選択した実行プログラムを親機の仮想マシン言語を用いて実行し(ステップ5001e)、親機側のインターネット接続識別用情報を読み込み(ステップ5001f)、もしステップ5001まで識別用情報が「インターネットに接続可能」を示さない場合は実行プログラムの中に非接続時用のプログラムを実行し(ステップ5001t)、親機の画面の実行結果を表示する(ステップ5001u)。本発明ではメモリ52にインターネットに接続する情報だけでなく、非接続時に動作する実行プログラムが記録されているため、非接続時に要求される最低の動作が表示を行うことができるという効果がある。
ステップ5001gに戻り、Yesの場合は、上記プログラムの一部を含む接続プログラムを実行する(ステップ5001h)。
この場合、タグデータの中の実行プログラムに図399(a)のデータ領域5054にサーバのURLやユーザIDやパスワード等のデータを加えて接続プログラムを生成することによりタブデータの中の実行プログラムを拡張することができるとともに、メモリ52の中の不揮発性メモリの容量を小さくできる。この場合、メモリ52の接続プログラムをプログラム領域5053の書きかえ不能なROMメモリ等のメモリに記録し、サーバのURLなどを書きかえ可能なデータ領域5054に記録することにより、チップ面積やコストを下げることができる。
ステップ5001iにおいて特定のURLのサーバに接続し、ステップ5001jでサーバ側がデータのアップロードを要求するかどうかを判定し、Yesならステップ5001pでデータもしくは/かつプログラムをサーバにアップロードする。このデータを用いてサーバでプログラムを実行し(ステップ5001q)、サーバで実行した結果を親機に送り(ステップ5001r)、親機の表面に実行した結果等を表示する(ステップ5001s)。
ステップ5001jに戻り、Noの場合、サーバのURLの中の特定のプログラムを含む情報をダウンロードし(ステップ5001k)、このダウンロードしたプログラムを親機で実行する(ステップ5001m)。そして、その結果を親機の画面に表示する。
消費電力や体積やコストの制約により、RF−IDや子機側のメモリ容量には限界があり、通常のプログラムは記憶できない。しかし、本発明のように接続プログラムと、サーバを利用することにより、無限に大きなプログラムを動作させることができるという大きな効果がある。
サーバで巨大なプログラムを実行してもよいし、サーバからダウンロードしたプログラムを実行してもよく、これらは本発明の範疇に入る。
なお、本発明の図399を用いた実施の形態では、TV用のリモコンを想定して説明した。この場合、リモコンは、電池とTVチャンネルを切り替えるためのボタン、RF−IDを読み取るアンテナと通信回路、赤外の発光部から構成される。リモコンに代えて携帯電話を用いても同様の効果が得られる。携帯電話に搭載されている赤外の発光部などを共用できるため導入しやすい。携帯の通信回線をもつため、直接、サーバに接続されるため性能面では、変わらない。しかし、通信費用が発生するため、ユーザに負担をかけることになる。携帯電話の画面はTVに比べると圧倒的に小さい。従って、図399で示した送信スイッチ5063を設け、TVが近くにある場合は、携帯電話の発光部をTVの方に向け、前述のメモリ52の中のタグデータをTVに直接送ることにより、解像度の高い大きな画面でデータを見ることができる。また、費用もかからないため、ユーザにとってメリットが大きい。読み取ったタグデータを用いた携帯電話回線を介しての交信は、この送信スイッチと連動して、中止される。
この場合には、図399で説明したリモコンと同様に、RF−ID(NFC通信部でもよい)の少なくともリーダ部を携帯電話に備える構成とする。今後、RF−IDなどのリーダ機能を携帯電話に持たせることが予想される。もしRF−IDのリーダが携帯電話に搭載されるようになれば、本発明を実施するに当たって追加するコストは非常に小さくなり、ユーザにとってのメリットは大きい。また、リモコン、携帯電話だけではなく、PDA端末、ノートPC、携帯メディアプレーヤなどでも本発明を実現することは容易である。
(実施の形態A8)
図401は、ネットワーク環境を示す図である。
図401に本実施の形態において想定しているホームネットワーク環境について示す。1つの家屋内部に2つのTV45、8001が存在し、それぞれのTVはRFIDタグリーダライタと画面の表示部110、8003をもつものとする。また、それぞれのTVには動画サーバ8004、8005が接続されており、動画サーバからTVに有線もしくは無線を用いて動画データを送信し、動画サーバの情報をTVに動画を表示させることができるようになっている。ここで、動画サーバとはNASなどのストレージデバイスもしくはBDレコーダなどの記録デバイスである。同様に、インターネットを通じて宅外の動画サーバにアクセスすることも可能としている。また、ホームネットワークのユーザは持ち運び可能かつ動画の表示が可能なモバイルAV端末8006を所有しているものとする。モバイルAV端末もTVと同様に、RFIDタグ8007と動画表示部8008を持ち、無線を通じて動画サーバにアクセス可能である。
本実施の形態ではこのような環境において、ユーザがTV1(45)で動画を見ているが、2階のテレビ2(8001)で見たくなったという状況を想定している。移動して動画を見る場合には、動画の続きがシームレスに見られることが望ましい。しかし、セキュリティを保ったまま、シームレスに動画を移動させるためには、ユーザの認証やタイミングの同期をとることが必要であり、ユーザは複雑な操作をしなければならない。
本発明は上記課題を解決するため、RFIDを用いることにより、ユーザの認証やタイミングの同期といった処理を極めて単純なやりとりで行うものである。具体的にはモバイルAV端末8006のRFIDタグ8007をTV1のRFIDタグ46に近接させ、RFIDタグによって認証やタイミング同期のための情報のやりとりを行う。
本発明は、上記構成によって、モバイルAV端末とTVをタッチさせるという極めて単純な動作で動画の受け渡しを可能とし、ユーザの利便性を大きく向上させるものである。
図402は、モバイルAV端末が実行する各機能を説明する機能ブロック図である。
動画の受け渡しを行うユーザは動画受け渡しボタン8050を押す。動画受け渡しボタンを押された時に、動画受け渡し要求作成部8051は表示情報管理部8052より現在、動画表示部8008に表示されている動画情報を取得し、動画受け渡し要求を作成し、RFIDのメモリ8054に書き込む。動画が表示されていなかった場合には、動画をもらうモードに変更し、動画をもらうコマンド動画作成要求とする。もし、動画を表示していた場合には、動画をわたすモードに変更し、動画わたすコマンドと動画の情報を動画受け渡し要求とする。ここで、動画の情報とは表示情報管理部で管理されている動画表示時間の情報と通信・放送管理部8055で管理されている接続先情報のことである。通信・放送管理部8055では動画を放送インタフェース8056を通して受信している場合には、チャンネル情報を管理し、通信インタフェース8057を通して受信している場合には、動画サーバの識別子および動画の識別子を管理している。ここで、動画サーバの識別子および動画の識別子とは例えばIPアドレスであり、URLであり、一意に識別できるものであればなんでもよい。なお、動画受け渡しボタンは動画をうけるボタンと動画を渡すボタンにわけてもよい。また、動画受け渡しボタンを押すことにより画面にもらうかわたすかの選択肢を表示させてもよい。RFIDのメモリ8054に記録された情報は他のRFIDタグに近接されると、送信部8058より無線アンテナ8059を通して送信される。なお、受け渡しコマンドを作成後、一定時間たっても送信されない場合には、動画受け渡しモードは解除されるものとし、メモリ内の情報も廃棄するものとする。RFIDの受信部8060は動画受け渡し応答を受信する。動画受け渡し応答とは、動画もらうコマンドもしくは動画わたすコマンドに対する可否の応答で、動画もらうコマンドに対する可の応答の場合には、動画の情報を含むものとする。動画受け渡し応答は通信・放送管理部に送られ、応答に従った処理を行う。動画もらうコマンドに可の応答が返って来た場合には動画もらう処理を行う。応答に含まれる動画情報がチャンネル情報だった場合には、放送インタフェース8056にその情報を通知し、そのチャンネルを受信する。また、表示管理部8061にそのチャンネルを表示する指示をだす。モバイルAV端末の放送インタフェースでは受信できないチャンネル情報(BS、CS、ケーブルTVのチャンネル)であった場合には、それらのチャンネルを受信し、通信インターフェースへ転送してくれる端末の探索を通信部8062に依頼する。なお、転送してくれる端末の探索は事前にやっておいてもよい。通信インタフェースで受信した場合でも通常と同様に動画表示部8008には表示される。受け渡し応答に含まれる動画情報が接続先情報だった場合には、通信部8062にその情報を通知し、動画の送信要求を接続先に送信する。動画の送信要求には動画の表示時間が含まれており、その時間に合わせてデータの送信を要求する。なお、放送インタフェースでの動画受信と異なり、通信インタフェースでの動画の受信にはある程度の時間がかかる場合がある。それは、通信インタフェースで受信するための前処理や通信バッファ8063に一時的に動画データが蓄えられる時間に依存する。本方式ではその時間を予測し、予めその時間に合わせた動画送信要求を通信部から行わせることで、余計なデータ送信およびそれに待ち時間の削減を行ってもよい。その場合には、表示時間補正部において、シームレスに動画表示ができるように補正を行う。これは、一般にデジタル動画のデータは表示バッファ8065に蓄えられ、表示処理部8053で処理をされながら動画表示部8008で表示されているから可能となる。動画をわたすコマンドに対して可の応答が返って来た場合には、画面表示を消す。なお、画面表示は自動で消しても良いし、ユーザに選択させてもよい。また、わたした側の端末より画面表示を消す指示を受信してから消しても良いし、タイマを用意し、一定時間経過したのちに消してもよい。
図403は、TVが実行する各機能を説明する機能ブロック図である。
RFIDタグのアンテナ8100より動画受け渡し要求を受信した受信部8101は通信・放送管理部8102にデータをわたす。受信したデータが、動画をもらうコマンドであった場合には、動画受け渡し応答作成部8103に管理している表示動画の接続先情報を送信する。受信した動画受け渡し応答作成部8103は表示情報管理部8104より表示時間情報を取得し、動画受け渡し応答を作成し、RFIDのメモリ8105に書き込む。このとき、所望の情報が得られなければ、受け渡し不可の応答を作成する。書き込まれた受け渡し応答は送信部8106によりモバイルAV端末のRFIDに送られる。送信後の動画の表示終了処理はモバイルAV端末と同様である。受信したデータが動画をわたすコマンドであった場合には、通信・放送管理部8102において含まれる情報に応じた処理を行う。チャンネル情報の場合には、放送インタフェース8107に通知し、所望のチャンネルでの情報を受信し、表示管理部8108に通知し、表示を変更する。なお、すでに動画を表示中に動画をわたすコマンドを受信した場合、優先度判定部8109にてどちらの動画を優先すべきかの判定をおこなってもよいし、選択コマンドを表示してもよい。接続先情報を含む場合には、通信部8110に通知して、動画送信要求を送信してもらう。その後の処理はモバイルAV端末と同様であり、その他の各部の機能も同様である。
図404は、TV1(45)が動画サーバ1(8004)から動画を受信している場合に、モバイルAV端末8006がその動画を受け渡してもらう場合のシーケンス図である。
ユーザは動画を受け渡すために、モバイルAV端末8006の電源をいれる。モバイル端末は無線LANのアクセスポイント8009を探索し無線接続を確立する。さらに、DHCPなどによりIPアドレスを取得しIP接続を確立する。DLNA端末であった場合には、M−SEARCHなどのDLNA端末探索処理を行ってもよい。ユーザは動画受け渡しボタンを押し、RFIDのメモリ内に動画受け渡し要求を作成する。さらに、ユーザはモバイルAV端末のRFID8007とTV1のRFID46を近接させ、動画受け渡し要求をTV1に送信する。TV1では要求コマンドを受信したことにより、動画受け渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を作成し、モバイルAV端末8006に返信する。なお、TV1での動画受信手段が、HDMIケーブルなどの非IP接続の場合でも、TV1は動画サーバのIPアドレスを取得しておくものとする。また、動画が暗号化されていた場合には、必要なセキュリティ関連情報(鍵など)を同時に交換するものとする。動画受け渡し応答を受信した、モバイルAV端末は、応答に含まれる動画サーバ1のIPアドレスに対して動画送信要求(動画の識別子、表示時間を含む)を送信する。動画送信要求を受信した動画サーバ18004は動画の送信先をモバイルAV端末8006に切り替える。動画のデータを受信しなくなったTV1(45)は動画表示をOFFにする。
図405は、モバイルAV端末8006が動画サーバ1(8004)から動画を受信している場合に、TV2(8003)がその動画を受け渡してもらう場合のシーケンス図である。
ユーザはモバイルAV端末8006の動画受け渡しボタンを押し、動画受け渡し要求を作成する(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)。さらに、ユーザはモバイルAV端末のRFID8007とTV2のRFID8002を近接させ、動画受け渡し要求をTV2に送信する。TV2(8003)は動画受け渡し可の応答を作成し、モバイルAV端末8006に返信する。TV2(8003)は動画送信要求を動画サーバ1(8004)に送信する。その後の処理は図404と同様となる。
図406は、モバイルAV端末の処理を説明するフローチャートである。
モバイルAV端末はユーザに受け渡しボタンを押されると(S8300)、画面が空白の(もしくは動画表示でない)場合(S8301)には動画をもらうモードに移行する(S8302)。画面が空白でない場合には、選択画面を表示する(S8303)。もらうを選択した場合には(S8304)同様に動画をもらうモードに移行する。わたすを選択した場合には、動画をわたすモード(S8305)に変更する。動画をもらうモードの場合、モバイルAV端末は動画をもらうコマンドを含む動画受け渡し要求を自身のRFIDのメモリ内に格納する。ユーザは他端末のRF−IDに自端末のRFIDを近接させ(S8306)、動画受け渡し要求を他端末に送信する(S8307)。その際、他端末より動画受け渡し応答を受信すると(S8308)、応答内に含まれる情報に応じて処理を行う。応答が得られなかった場合には、応答無しのエラー画面を表示し、処理を終了する(S8309)。応答内に地上波のチャンネル情報が含まれている場合には、モバイルAV端末が該当チャンネル受信可能であるかどうかを確認する(チューナ、アンテナをもち電波的に受信可能な範囲にいる)。可能であった場合には(S8311)、指定されたチャンネルを画面表示する。不可能であった場合には、無線LAN転送モードに変更する(S8313)。また、応答情報にBSなどのモバイルAV端末では、そもそも受信することが不可能なチャンネル情報が含まれていた場合(S8314)でも同様に無線LAN転送モードに変更する。応答に含まれる情報がチャンネル情報でない場合には無線LAN受信モード(S8315)に変更する。
図407は、モバイルAV端末の動画をわたすモードでの処理を説明するフローチャートである。
動画をわたすモードの場合、モバイルAV端末は動画をわたすコマンドおよびわたしたい動画の情報を含む動画受け渡し要求を自身のRFIDのメモリ内に格納する。ユーザは他端末のRF−IDに自端末のRFIDを近接させ(S8320)、動画受け渡し要求を他端末に送信する(S8321)。その際、他端末より動画受け渡し応答を受信すると(S8322)、応答内に含まれる情報に応じて処理を行う。応答が得られなかった場合には、応答無しのエラー画面を表示し、処理を終了する(S8323)。応答がが受け渡し不可の応答である場合には(S8324)、受け渡し不可のエラー画面を表示し、処理を終了する(S8325)。受け渡し可で、受け渡す動画を地上波で受信している場合には(S8326)、地上波放送の画面表示を停止しする。そうでない場合には、無線LANで受信している動画の終了処理を受信している方式の種類に応じて行い(S8327)、画面表示を停止する。なお、画面表示の停止は動画をわたす側の端末の指示に従っても良いし、初期画面等の別の画面に切り替えてもよい(S8328)。
図408は、モバイルAV端末の無線LAN転送モードでの処理を説明するフローチャートである。
モバイルAV端末は地上波は受信可能であるが、衛星放送やケーブルTVの放送は受信不可能な端末を仮定している。これらの放送波を受信するためには、受信可能な別の端末で受信し、無線LANで転送してもらう必要がある。モバイルAV端末は、無線LAN転送モードになると、無線LAN転送対応機器の情報を呼び出す。もし、対応機器の情報を保持していなければ(S8340)、対応機器の探索を行う(S8341)。宅内に無線LAN転送対応機器を発見することができなければ、該当チャンネル受け渡し不能のエラー画面を表示する(S8342)。無線LAN転送機器が発見されるもしくはそもそも対応機器情報を保持していた場合には、その機器に対して該当チャンネルの動画転送要求を送信する(S8344)。動画転送可能の応答が転送機器から返って来た場合には、指定されたチャンネルの動画パケットを無線LANにより受信し(S8345)、指定されたチャンネルの動画を画面表示する(S8346)。
図409は、モバイルAV端末の無線LAN受信モードでの処理を説明するフローチャートである。
無線LAN受信モードで、動画受け渡し応答の中に、動画サーバのIPアドレス、動画のIDおよび表示時間情報が含まれている場合(S8360)には、動画サーバにアクセスを行う。まず、動画サーバのIPアドレスが自端末のIPアドレスと同一サブネットであるかどうかを確認する(S8361)。自端末のIPアドレスと同一サブネットであった場合には、動画サーバに対して動画IDど表示時間を含む動画送信要求を送信する(S8364)。なお、遅延時間補正機能があった場合には(S8362)、動画送信要求内の表示時間情報を補正する(S8363)。ここで、表示時間補正機能とは、処理にかかる様々な遅延を考慮して、効率的な動画転送を行うために行う補正機能を指す。さらに、モバイルAV端末は動画サーバから動画を受信できなかった場合には(S8365)、動画送信要求を再送してもよい。再送タイムアウトが所定回数をこえても応答が得られなかった場合には(S8366)、サーバ応答無しエラー画面を表示する(S8367)。受信した動画データの時間が表示したい時間とあっていない場合(S8368)には、早送りや巻き戻しの制御パケットを用いて表示したい時間とあわせる(S8369)。その後、モバイルAV端末は動画の画面表示を行う。
図410は、動画受け渡し応答の中にURLが含まれていた場合の処理を説明するフローチャートである。
URLが含まれている場合(S8380)には、DNSによる名前解決を行い、動画サーバのIPアドレスを取得する(S8381)。なお、動画のURLは動画サービス用につけられた名前であればなんでもよい。また、名前解決はDNS以外のサービス識別子から端末識別子への変換も含むものとする。取得した動画サーバのIPアドレスが自端末のIPアドレスと同一である場合には、図409で説明した処理にもどる。同一サブネットでなかった場合には、サブネット外サーバへの接続処理へ移る。応答情報に所望の情報が含まれて居なかった場合には、応答情報不正のエラー画面を表示する。
図411は、動画サーバのIPアドレスが自端末のIPアドレスとサブネットが異なる場合の処理を説明するフローチャートである。
サブネットが異なる場合には、別の無線アクセスポイントを探索する。宅内に別のアクセスポイントがなかった場合には、動画サーバは宅外サーバであるとして、宅外サーバの接続処理に移る。別のアクセスポイントがあった場合には(S8390)、そのアクセスポイントに再接続を行い、別のサブネットを持つIPアドレスを取得する(S8391)。動画サーバのサブネットが取得したIPアドレスのサブネットと同じならば(S8392)、宅内サーバの処理へ移る。自端末がアクセス可能な宅内アクセスポイントに接続し、IPアドレスを取得しても、サブネットが同じにならなかった場合には(S8393)、宅外サーバへのアクセス処理に移る。なお、すべてのアクセスポイントに対するIPアドレスの取得処理は、事前に行い、モバイルAV端末内で管理しておいてもよい。
図412は、宅外サーバへアクセスする場合の処理を説明するフローチャートである。
動画サーバのアドレスがグローバルアドレスでない場合には(S8400)、アドレスエラーを画面表示する(S8401)。指定された動画サーバへのアクセス方式を知らない場合には(S8402)、アクセス方式不明エラーを画面表示する(S8403)。なお、宅内動画サーバおよび宅内動画機器はDLNAに準拠していると仮定している。アクセス方式が分かった場合かつ、宅内サーバと同等の機能を備えている場合には、宅内サーバと同様の処理を行う(S8404)。そうでない場合には、アクセス方式に応じた処理によって動画を取得し(S8405)、受信した動画を画面表示する(S8406)。
図413は、TVの処理を説明するフローチャートである。
TVは自端末のRFIDに他端末のRFIDを近接され(S8410)、動画受け渡し要求を受信する(S8411)。自端末が動画を受信中(S8412)で動画受け渡し要求内に動画もらうコマンドが含まれている場合には(S8413)、自端末を、動画を渡すモードに移行する(S8414)。動画受信中でないにもかかわらず、動画受け渡し要求内に動画もらうコマンドが含まれている場合には(S8415)、動画受け渡し不可の動画受け渡し応答を返信し(S8416)、受け渡し不可のエラー画面を表示する(S8417)。受信している動画が地上波である場合には(S8418)、動画受け渡し応答にチャンネル情報を入れて返信し(S8419)、画面表示を消す(S8420)。
図414は、受信している動画が地上波ではない場合の処理を説明するフローチャートである。
受信している動画が地上波以外の放送動画であった場合には(S8430)、動画受け渡し応答にチャネル情報を入れて返信する。無線LAN転送モードがある場合、自端末のIPアドレスをいれてもよい(S8431)。返信したのち、画面表示を消す(S8432)。その他の動画の場合には、受け渡し応答に動画サーバIPアドレス、動画ID、動画表示時間もしくは動画URL、動画表示時間を入れて返信する(S8433)。返信後に無線LANでの動画通信の終了処理を行い(S8434)、画面表示を消す。
図415は、動画受け渡し応答に動画わたすコマンドが含まれていた場合の処理を説明するフローチャートである。
動画を表示している最中に、動画わたすコマンドを受信した場合には、2画面表示機能があった場合(S8440)には動画をもらうモードに移行する(S8441)。ない場合には、動画をもらうかどうかの選択画面を表示する(S8442)。動画をもらうを選択した場合には(S8443)、動画もらうモードに移行する。動画をもらわないを選択した場合には、動画受け渡し不可の動画受け渡し応答を返信する(S8444)。要求に含まれる情報がチャンネル情報だった場合には(S8445)、指定されたチャンネルを画面表示する(S8446)。要求に含まれる情報が動画サーバのIPアドレスもしくはURLであった場合には(S8447、S8448)、モバイルAV端末の動画もらうモードと同じ動作を行う。それらの情報が含まれていない場合には、情報エラー画面を表示する(S8449)。
(実施の形態A9)
図416は、TV1(45)が動画サーバ1(8004)から動画を受信している場合に、モバイルAV端末8006がその動画を受け渡してもらう場合に、TV1(45)から動画送信要求を送信する場合のシーケンス図である。
図404と同様に、ユーザは動画を受け渡すために、モバイルAV端末8006の電源をいれる。モバイル端末は無線LANのアクセスポイント8009を探索し無線接続を確立する。さらに、DHCPなどによりIPアドレスを取得しIP接続を確立する。ユーザは動画受け渡しボタンを押し、RFIDのメモリ内に動画受け渡し要求を作成する。この時、動画受け渡し要求に自端末のIPアドレスを入れて作成する。さらに、ユーザはモバイルAV端末のRFID8007とTV1のRFID46を近接させ、動画受け渡し要求をTV1(45)に送信する。TV1は動画サーバのIPアドレスを含んだ、動画受け渡し応答を返す。これはセキュリティ性を高める(無関係の端末からの勝手なアクセスを防ぐ)ためのものであり、省略することが可能である。なお、図404と同様に、動画が暗号化されていた場合には、必要なセキュリティ関連情報(鍵など)を同時に交換するものとする。動画受け渡し要求を受信したTV1(45)は動画サーバ1(8004)に対して、モバイルAV端末8006のIPアドレスを含んだ動画送信要求を送信する。動画送信要求を受信した動画サーバ1(8004)は動画の送信先をモバイルAV端末8006に変更する。その後の処理は図404と同様となる。
図417は、図405と同様の場合において、動画受け渡し要求のなかに動画サーバ1(8004)のIPアドレスを送る場合である。
これは図415と同様に省略することが可能である。動画受け渡し要求を受けたTV2(8003)は自端末のIPアドレスを含んだ、動画受け渡し応答を返す。動画受け渡し応答を受けたモバイルAV端末8006は動画サーバ1(8004)にTV2のIPアドレスを含んだ動画送信要求を送信する。動画送信要求を受信した動画サーバ1(8004)は動画の送信先をTV2(8003)に変更する。その後の処理は図404と同様となる。
(実施の形態A10)
図418は、モバイルAV端末8006ではなく、RFIDを備えたリモコン8200を用いた場合のシーケンス図である。
ここでリモコンは表示部をもたないが、RFIDの送受信部とメモリを持つ端末を想定している。ユーザは動画受け渡しボタンを押し、RFIDのメモリ内に動画受け渡し要求を作成する。さらに、ユーザはリモコンのRFIDとTV1のRFID46を近接させ、動画受け渡し要求をTV1に送信する。TV1では要求コマンドを受信したことにより、動画受け渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を作成し、リモコンに返信する。リモコンからの動画受け渡し要求をうけたTV1(45)は動画停止要求を動画サーバ1(8004)に送信する。ユーザは2Fに移動後、TV2のRFIDにリモコンのRFIDを近接させ、動画受け渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を送信する。動画受け渡し要求を受信したTV2(8003)は動画受け渡し応答を返信し、動画サーバ1に動画送信要求(動画識別子、動画表示時間を含む)を送信する。動画サーバ1(8004)は指定された動画を指定された時間のデータから送信を開始する。
(実施の形態A11)
図419は、動画サーバ1から同時送信が可能な場合のシーケンス図である。
モバイルAV端末はTV間で所定のやりとりを行った後、動画送信要求を送っている。動画サーバ1(8004)は動画送信要求を受けた場合に、一時的にTV1(45)とモバイルAV端末(8006)の両方に動画データを送信している。これは完全にシームレスを目指す場合の処理である。モバイルAV端末とTV1は一時的に両方共に画面表示を出しても良いし、なんらかの同期処理を行い、完全シームレス処理をおこなってもよい。動画サーバ1(8006)は、モバイルAV端末(8006)からの動画停止要求をもとにTV側の動画データ転送を停止する。なお、停止要求はTV1(45)から出しても良いし、動画サーバ1(8006)が自動的に止めても良い。
(実施の形態A12)
本実施の形態は、実施の形態A1〜A10で説明したRFIDを付与した機器の工場出荷から使用環境までの流通形態においてトレーサビリティを確保するための方法の最良の形態を説明するものである。
昨今、流通の効率化や家電商品の老朽化が原因となった事故が多発している背景に基づいて、生産、流通から消費者による使用環境までをトレースする所謂、トレーサビリティを確保するための議論がなされている。
その一つとして、860〜900MHz帯の通信周波数を用いたパッシブ型のRFIDを梱包材や通い箱等に付与して、生産から小売店までの流通を管理可能にしようとする試みがなされている。860〜900MHz帯は、UHF(Ultra High Frequency)帯とも呼ばれ、UHF帯のRFIDは、パッシブ型(タグ側に外部から電源を供給するもの)の中では、最も通信距離を確保できる使用であり、出力の大きさにも依存するが、2〜3mの通信を可能とする。よって、運搬中に複数台を同時にRFID読出しゲートに入れることによって、効率的に複数台のRFID情報を瞬時に読み出すことが可能となり、特に流通現場での使用が期待されている。
しかしながら、このようなUHF帯のRFIDは、長距離を通信できる利点の一方で、梱包材や通い箱に付与されるため、消費者の手元に届いてしまった後は、その機器をトレースできなくなるという課題を含む。また、距離が長いということは、機器と機器を近づけることによってアクションを起こす所謂、実施形態A1〜A10で説明した実体インタフェース、実物インタフェースあるいは直感インタフェースには有効とはいえない。
一方、実施形態A1〜A10で説明したRFID(47)は、13.56MHz帯のHF−RFIDを想定している(無論、これだけに限定しているわけではない)。HF−RFIDの特徴は、近距離通信(出力によって異なるが概ね数10cm以内)であり、例えば、近づけることによって直感的にアクションを起こすアプリケーションである電子マネー、改札システムなどに幅広く利用されている。従って、デジタルカメラで撮った写真をTVに写したいときなどは、デジタルカメラ1をTVのRFIDリーダライタ46に近づけることによって、実体(カメラ)と実体(TV)が連動して動作する実体インタフェースや、デジタルカメラの写真をTVに写すという直感的なインタフェースの実現が可能となる。
本実施の形態では、実施の形態A1〜A10と同様に機器にHF−RFIDを付与するとともに、機器の梱包材や通い箱にUHF−RFIDを付与して、商品のトレーサビリティを消費者の使用環境に届いてもなお行えるようにする開示である。
図420は、機器の工場出荷時にHF−RFIDとUHF−RFIDの動作を示した概念図である。
本実施の形態では、機器がレコーダである場合について説明しているが、機器は、デジタル家電、食品などどのようなものでもかまわない。
製造ラインで組み立てられた機器M003には、HF−RFIDM001が付与されている。また、本HF−RFIDには、メモリを有しており、機器M003からとRFIDの通信部からのどちらからでもアクセス可能なデュアルインタフェースの構成である。また、HF−RFIDM001のメモリには、組み立て段階において、機器の製造番号と、機器の製造番号をUHF−RFIDに複製するためのプログラム(コマンド)が記録されている。
機器M003の組み立てが完了すると、梱包前にハンディ型リーダライタM002によって、HF−RFIDのメモリから製造番号を読み出すとともに、梱包材などにUHF−RFIDを付与することを示すUHF−RFIDのデバイスID(UHF−RFID固有情報)を記録する。
次に、機器M003が梱包された後、梱包材M004にUHF−RFIDM005を付与する。UHF−RFIDM005は、梱包材にそのまま付与されてもいいし、管理表などに付与されている形態でもかまわない。UHF−RFIDM005が付与されると、機器M003のHF−RFIDM001から読み出した製造番号などをUHF−RFIDM005にハンディ型リーダライタM002によって記録する。本実施の形態のハンディ型リーダライタM002は、HF−RFIDおよびUHF−RFIDのともにアクセス可能な機器である。
このようにすれば、機器M003の製造番号が、HF−RFIDM001に記録されるとともに、それと同じ情報が梱包材M004のUHF−RFIDM005にも記録される。従って、梱包後の流通においては、近距離しかアクセスできないHF−RFIDから製造番号等を読み出す必要がなくなり、UHF−RFIDから直接、複数同時にゲートを通すことによって読み出すことが可能となり、流通の効率化が可能となる。
また、機器M003が消費者の使用環境に届いた後も、HF−RFIDをTVリモコン等によって読み出すことが可能となるので、流通だけではなく、消費者の手元に至るまでの機器のトレースを可能とし、流通の効率化と機器使用中の経年劣化による事故等を未然に防ぐことが可能となるトータル的なトレーサビリティを実現することが可能となる。
図421は、UHF−RFIDM005からアクセス可能なメモリの記録フォーマットを示した概念図である。
UHF−RFIDM005のメモリには、UHFデバイスID1070、HF存在識別情報1071、機器製造番号、現品番号1072、日付1073、メーカ1074、型番、ロット番号、品名1075およびステータス1076が記録されている。
UHFデバイスID1070は、メモリの書き換え不能領域に記録されており、UHF−RFIDごとの個々に識別可能な識別情報である。UHFデバイスID1070は、機器M003が梱包される前に、ハンディ型リーダライタによって読み出され、HF−RFIDM001にも記録される。これによって、梱包材と機器の対応関係が間違っている場合にも、未然に確認して適切に処理を行うことができる。
HF存在識別情報1071は、機器M003にHF−RFIDM001が付与されているか否かを確認する識別情報である。HF−RFIDが機器に付与されている場合には、機器の梱包時にHF−RFIDから読み出した製造番号等をUHF−RFIDに記録する際に、HF−RFIDの存在識別情報を“存在する”という情報に書き換える。これによって、HF存在識別情報1071のみを確認することによって、UHF−RFIDとHF−RFIDの対応関係の確認工程を行うかどうかの判断が可能となる。
機器製造番号、現品番号1072は、HF−RFIDM001から読み出した製造番号あるいは、製造番号と対応付けられた現品番号の少なくとも何れか一方が記録される。現品番号とは、流通過程で使用される機器ごとの番号であり、製造番号と現品番号を同一の管理を行うことによって、製造番号と一意に対応付けを行うことは可能である。よって、本実施形態では、この両者を明確に使い分けることをせず、一意な情報として説明する。
日付1073は、所謂製造年月日に相当する情報であり、機器M003が製造された日付、時間情報が記録される。これは、ハンディ型リーダライタM002によって、UHF−RFIDに製造番号を記録する時点で記録してもいいし、HF−RFIDに記録されている製造年月日情報を読み出してUHF−RFIDに記録する形態でも、どちらでもかまわない。
メーカ1074は、機器M003を製造した製造メーカ識別情報であり、UHF−RFIDへ製造番号を記録する時点でハンディ型リーダライタによって記録してもかまわないし、HF−RFIDに予め記録されているものを読み出して記録する形態でも、どちらでもかまわない。
型番、ロット番号、品名1075も日付1073やメーカ1074と同様に、HF−RFIDから読み出した情報を記録してもいいし、ハンディ型リーダライタで記録する攻勢でもかまわない。ただし、ロット番号の場合には、ロット管理が生産から流通までの一元管理を行える場合には、上記、どちらの方法で情報を書き込んでもかまわないが、一元管理がなされておらず梱包時に生産ライン情報が不明な場合には、HF−RFIDからロット番号を読み出して、UHF−RFIDに記録するほうが、厳密な管理が行えるという利点がある。
ステータス1076は、流通形態におけるステータス情報が記録される。すなわちステータス情報は、工場内保管、工場出荷、配送センター受領、配送センター出荷、小売店受領など、機器のトレースに必要なステータス情報が記録される。本ステータスは、各流通過程において、書き換えられる情報である。
また、UHF−RFIDM001には、管理サーバ特定情報1077が記録される。この管理サーバ特定情報1077は、HF−RFIDM001の第2メモリ52のサーバ特定情報48と同等の情報である。機器M003梱包時に、HF−RFIDM001から読出し、UHF−RFIDM005に複製する。これによって、UHF−RFIDを用いる流通段階での管理と、機器が消費者の手元に届いた後の管理も同一の管理サーバによって一元管理することが可能となる。
よって、機器M003が消費者の手元に届いた後、HF−RFIDM001から管理サーバアドレス情報を読み出して、管理サーバにアクセスして、機器製造番号1072によって、問い合わせを実施すれば、管理サーバで管理している製造から流通までのトレース情報を消費者に可視化することが可能となり、消費者の安心・安全を高める要素となる。
図422は、機器M003の工場出荷時のHF−RFIDからUHF−RFIDに製造番号等を複製する処理の流れを示したフローチャートである。
まず、組み立てられた生産物(機器M003)にHF−RFIDを付与する(1080)。本フローチャートでは、機器M003が組み立てられた後にHF−RFIDを付与する形態であるが、機器とHF−RFIDが共有メモリをともにアクセスできるデュアルインタフェースを持つ構成の場合には、機器M003の組み立て段階でHF−RFIDが付与されている。
次に、HF−RFID1081に、機器M003の製造番号を記録する(1081)。ここでは、組立工程においてHF−RFIDM001に、ハンディ型リーダライタM002を解して、製造番号を記録する工程である。製造番号は、生産ラインの管理サーバなどからハンディ型リーダライタ等によって取得して、HF−RFIDM001に近接無線通信によって記録する。
HF−RFIDM001に製造番号が記録された後、機器M003は梱包される(1082)。ここでの梱包とは、緩衝材などを伴う流通用の梱包や通い箱などへの収納を意味する。
梱包が完了すると、梱包材(通い箱表面、管理用ラベルを含む)にUHF−RFIDを付与する(1083)。
次に、ハンディ型リーダライタM002が管理サーバ1085と通信することによって、HF−RFIDM001から読み出した製造番号に対応付けられた現品番号を読み出す(1084)。現品番号とは、商品の流通に用いられる管理番号であって、管理サーバが発行する番号であり、製造番号と一対一に対応する番号である。
現品番号を管理サーバ1085から読み出した後、UHF−RFIDに、製造番号あるいは現品番号と、HF−RFIDが機器M003に付与されていることを示す存在識別情報をUHF−RFIDに記録する(1086)。
以上の工程によって、機器M003に付与されたHF−RFIDに記録されている製造番号が、機器の梱包後にUHF−RFIDに複製される。通常、HF−RFIDは、その通信距離が短いため、梱包後にHF−RFIDへアクセスすることは困難である。しかしながら、本実施の形態によれば、HF−RFIDより通信可能距離が長く梱包材に付与されたUHF−RFIDに製造番号あるいは現品番号を記録することによって、梱包後の機器の流通管理を可能にすることができる。
また、機器が消費者のもとに届いて、例え梱包材などが廃棄されたとしても、機器に付与されているHF−RFIDにアクセスすることによって、製造番号などを読み出すことが可能となり、流通から消費者の手元までを一元的に管理することが可能となり、幅広い範囲でのトレーサビリティを実現することが可能となる。
図423は、機器M003の流通過程における処理の流れを示したフローチャートである。
まず、機器M003の工場出荷時には、UHF−RFIDからハンディ型リーダライタやUHF−RFID読出しゲートを通過させることによって、製造番号あるいは現品番号を読出し、ハンディ型リーダライタやUHF−RFID読出しゲートと通信可能な管理サーバ1085に出荷済みを登録するとともに、ハンディ型リーダライタやUHF−RFID読出しゲートからUHF−RFIDにアクセスして、メモリ内のステータス(1076)も同様に出荷済みに書き換える(1090)。
工場出荷後、配送センターなどに貯留され、その後、配送センターを出荷するときには、ハンディ型リーダライタやUHF−RFID読出しゲートによってUHF−RFIDから製造番号あるいは現品番号を読出し、配送センターから出荷済みであることを管理サーバ1085およびUHF−RFIDのステータス(1076)を書き換える(1092)。
また、小売店出荷時も同様に、小売店出荷済みであるという状態を管理サーバ1085およびUHF−RFIDのステータス1076を書き換える(1094)。
最終的に、機器M003が消費者の手元に届いた時点で、TVリモコンなどのRFID読み取り部46で、HF−RFIDから製造番号を読出し、TVの識別情報に関連付けて管理サーバ1085に登録される(1096)。従って、本実施の形態においてもHF−RFIDの第2メモリ52には、サーバ特定情報48が予め記録されている。本実施の形態におけるサーバ特定情報48は、管理サーバ1085を示すサーバ特定情報であり、管理サーバ1085への接続のためのURLを含む。これによって、RFリーダライタを備えるTVリモコンなどで、機器M003のHF−RFIDM001を読み出せば、生産から流通までの管理情報を管理サーバ1085から取得することが可能となる。また、管理サーバ1085に、TVの識別情報に対応付けて管理することによって、例え使用者の個人情報を管理しなくても、所有しているTVに紐付けて、ユーザが保有している機器のリストを管理サーバに蓄積することができる。
よって、ユーザの所有している機器に、不具合が発覚した場合には、的確にユーザに危険を知らせるメッセージをTVにて表示させることが可能となって、重大な事故を未然に防止することが可能となる。
以上のように、本実施の形態では、生産段階で、機器にHF−RFIDと機器の梱包材にUHF−RFIDを付与し、互いの存在識別情報をそれぞれに持つとともに、HF−RFIDに記録されている製造番号や管理サーバ特定情報をUHF−RFIDにも持たせることによって、今まで流通のみのトレーサビリティであったものを、流通管理の利便性はそのまま保持しながらも、消費者の手元に届いてもなお、管理するシステムを提供することが可能となる。
本実施の形態では、製造からユーザの手元までの管理について説明したが、本発明は、ユーザが廃棄、あるいはリサイクルに出したときにも同様に効果を発揮する。その手順もまた、本実施の形態で説明した流れで実現することが可能である。
例えば、図420において、機器M003に付与されたHF−RFIDM001に記録されている製造番号等を梱包後の梱包材M004に付与するUHF−RFIDM005に付与して工場出荷する形態であるが、工場出荷を廃棄場への出荷、あるいはリサイクルセンターへの出荷としても同様である。廃棄場への出荷であれば、廃棄完了後、管理サーバに廃棄完了であることを登録すれば、商品が生産され、消費者に使用され、廃棄されるまでは一元的に管理することができる。昨今、廃棄コストの情報から不法廃棄の問題が指摘されているが、不法廃棄されている機器のHF−RFIDやUHF−RFIDをみれば、流通段階のどこで不法廃棄が行われたのかは一目瞭然であり、このような不法廃棄の問題を軽減することが可能となる。
また、リサイクルセンターへの出荷である場合には、HF−RFIDからアクセス可能な領域に使用状況検出部7020で検出した使用状況情報や不具合検出状況、トータル使用時間などが記録されており、リサイクル可能かどうかの判断や、値決めなどに利用することも可能である。また、リサイクル可能と判断された場合には、管理サーバ1085に対応付けて管理されているTVの識別情報や、個人情報などの情報を更新して利用することが可能である。
(実施の形態A13)
図424は、全体のシステム構成図である。
洗面所のミラー部には半透過式のミラー透過板が装着されている。その裏側の背面部にはディスプレイ、電源アンテナ、RFのアンテナ部が配置されている。ユーザはRFアンテナを有するモバイル端末を持ち、何らかの映像情報を表示している。この映像をミラーのディスプレイに移動させる手順を述べる。
図425は、映像をミラーのディスプレイに移動させる手順を示すフローチャート(前半)である。
図425のフローチャートはこの手順を示す。まず、スタートし、端末の画像送出ボタンを押す。ネットワークやTVチャンネルを介して得た情報もしくはデータが端末に表示されているかどうかをチェックしYesなら映像やデータの送出元のサーバのURLやIPアドレス、表示中の映像のストリームID、ストリームの再生時間情報、TVチャンネル情報を入手する。そして、端末のアンテナから電源の送信、受信を開始する。端末のアンテナ部を装置側のアンテナ近傍に接触させると端末側から装置側のアンテナに電力もしくは信号が送られる。装置側の属性情報(映像表示能力、音声能力、インターネットの宅内と宅外の最大(平均)通信速度、TVチャンネル接続の有無、インターネットや通信回線の種類)を装置側のアンテナを介して端末が読み出す。
まず、映像ソースがTVで装置がTVアンテナに接続されている場合は、TVのチャンネル情報とTVの画像の再生表示時間を、アンテナを介して装置に送る。装置側ではそのTVチャンネルの映像を画面に表示する。TVの場合、画像の左右反転表示はしない。
端末側から給電可能フラグを受け取った場合、装置から端末へ電源を供給する。
ここで前のステップに戻り、インターネットに接続されている場合は、装置側の属性情報に応じて映像のレート速度、解像度を設定し、この設定に最適のサーバアドレス、DLNAネットワーク上のサーバID、サーバの中のストリームID、ストリームの再生表示時間情報を、RFアンテナを介して装置側に送る。
図426は、映像をミラーのディスプレイに移動させる手順を示すフローチャート(後半)である。
図426のフローチャートに移り、装置側ではサーバのIPアドレス、ストリームID、ストリームの再生表示時間を基にして端末側に表示されている映像ストリームと表示時間が一致するようにストリームを表示する。時間が一致した段階で、装置の前の表示から次の表示つまり端末の映像を装置側にシームレスに移す。
もし、著作権保護のため映像の端末と装置の2台同時表示が禁止されている場合は装置側の映像表示がシームレスに始まった時点で装置側から端末側に端末の映像中止命令を送る等の手段により端末側の映像表示を中止する。
また、ミラー時左右を反転させる「ミラー時反転識別子」を装置が端末から受け取った場合は、次のステップで映像の左右を反転する。文字の左右反転はしない。
以上の手法により、まず最初に端末より装置に電力を供給し装置が停止している場合は装置を起動させる。こうして省電力をはかる。次に装置が動作を始めると今度は装置から端末に電力を供給する。端末がサーバ等から映像データを受け取り、端末を一旦経由してネット経由で迂回して装置側に映像を配信する場合、端末側が無線LANでアクセスポイント経由で映像を長時間送信する必要がある。無線LANで大量をデータを送る場合電力消費が大きく端末の電池残量がなくなる恐れがある。しかし、実施例のように装置から端末へ電力を送ることにより電池の消耗を防げるという効果がある。また、ミラーのため人間の姿は左右反転で写る。通常であれば歯ブラシの指導ビデオ等の時、右と左が逆になり学習効果が落ちる。しかし左右反転することにより学習しやすくなる。
(実施の形態B)
続けて、実施の形態B(B1〜B7)が説明される。
以下、本発明に係る、実施の形態Bの通信装置について、図面を参照しながら詳細に説明する。
なお、以下の説明により、例えば、次の通信装置が示される。
つまり、近接無線通信(ICタグ等における通信、数センチメートルの距離での通信:図380の近接無線通信98c1を参照)を介して、端末装置(例えば、図440の端末装置Y01、図427の冷蔵庫M1013、電子レンジM1012、図447のエアコンN10Jなど(図480、および、図480の機器98aなどを参照))から端末装置情報(例えば、図440の情報Y015D、図450の情報Y01U:図412の機器情報98n1を参照)を読み出すとともに、汎用のネットワーク(例えば、図440のネットワークY02N、図427のインターネットM1004)を介して、サーバ(図440のサーバY04、図427の登録サーバM1005:図480のサーバ98c参照)に前記端末装置情報を送信する通信装置(図440の通信装置(携帯電話端末)Y02、図427の携帯電話M1014、図448のモバイル機器N20など:図480の携帯型通信装置98bを参照)であって、前記近距離無線通信を介して、前記端末装置から、前記端末装置の製造情報が識別可能な端末装置識別情報(例えば、図440の製造番号Y015N、図450の製造番号Y01Un)を少なくとも含む前記端末装置情報(情報Y015D、情報Y01U)を取得する端末装置情報取得部(図440のアンテナY021:図480の機器情報取得部98nを参照)と、前記通信装置の製造情報が識別可能な通信装置識別情報(例えば、図440の製造番号Y025N)を少なくとも含む通信装置情報(情報Y025D)を記憶する通信装置情報記憶部(メモリY024:図379のメモリ98iを参照)と、取得される前記端末装置情報(情報Y015D、情報Y01U)に、記憶される前記通信装置情報(情報Y025D)を付与して、前記サーバへ送信する送信情報(図440の情報Y036D:図480の送信情報98o1を参照)を生成する情報付与部(情報付与部Y035:図480の送信部98oを参照)と、前記汎用のネットワークを介して、前記サーバへ、生成された前記送信情報(情報Y036D)を送信する通信部(図440の通信部Y036:送信部98oを参照)とを有し、前記通信部は、前記端末装置からの前記端末装置情報(例えば、サーバY04のアドレスY01Ua(図450)など)に基づいて、前記サーバを特定し、通信する通信装置が示される。
これにより、装置Y01が、電子レンジM1012等であるにも関わらず、この装置Y01を購入したユーザの情報(ユーザの通信端末Y02の製造番号Y025N)が、容易にサーバY04に送信できる。
しかも、装置Y01が、電子レンジM1012等であるにもかかわらず、サーバY04を特定するアドレスY01Ua等が記憶され、記憶されるアドレスY01Ua等を送信する。そして、このような装置Y01から、アドレスY01Ua等が取得され、取得されるアドレスY01Ua等により特定される適切なサーバY04への送信がされる。これにより、確実に、適切なサーバY04に送信ができる。
しかも、キーボードでの、アドレスY01Uaの入力が不要であるなどして、十分に容易に、サーバY04への、情報の送信ができる。
(実施の形態B1)
本発明の実施の形態B1について述べる。
図427は、本実施の形態において想定しているホームネットワーク環境について示す図である。
複数のホームネットワークが、それぞれの宅内M1001、M1002、M1003(図478、図480の住宅99を参照)に構成される。そして、各ホームネットワークは、インターネットM1004を介して、登録サーバM1005に接続されている。つまり、例えば、それぞれのホームネットワークは、そのホームネットワークの宅内(宅内M1001、M1002、M1003)において構成される。
なお、ホームネットワーク内でのサービスが、宅内に限定される場合には、登録サーバM1005は、宅内に存在してもよい。また、ホームネットワークが、別荘やオフィスなどの複数の場所に分割されている場合、もしくは、寮やルームシェアのように1つの宅内で、複数のホームネットワークが存在する場合でも、本発明は十分に有効である。
宅内には、ルータM1006や、無線アクセスポイント(以下:無線AP)M1007(図478のアクセスポイント99cを参照)などを介してインターネットに接続するTV(M1008、M1009)や、DVDレコーダ(レコーダー)M1010などの常時接続家電と、必要に応じて間接的にインターネットに接続する、デジタルカメラM1011や、電子レンジM1012、冷蔵庫M1013といった非常時接続家電とが存在するものとする。
なお、例えば、携帯電話M1014以外の他の装置(アクセスポイントM1007など)に接続される機器(常時接続家電)と、他の装置には接続されない機器(非常時接続家電)とがあってもよい。
さらに、本実施の形態では、携帯電話M1014などのモバイル端末も、ホームネットワークを構成している端末とする。
本発明における各機器は、近接無線通信デバイスを通して、相互に、簡単なデータ通信が可能なものとする。そして、各機器の情報を、近接無線通信デバイスにより取得し、ホームネットワークデバイスを通して、登録サーバM1005に登録するものとする。
図428は、本発明を実施する端末のハードウェア構成図を示す図である。
本発明における通信装置M1101は、通信デバイスとして、2つのデバイスを搭載しているものとする。
1つの通信デバイスは、近接無線通信デバイスM1102であり、一般的には、Near Field Communication(以下:NFC)やRFタグといわれるものである(例えば、図479のRF−IDリーダ・ライタ98gなどを参照)。
もう1つの通信デバイスは、ホームネットワーク通信デバイスM1103であり、宅内機器連携に用いられる無線Local Area Network(以下:無線LAN)や、ZigBeeなどの無線通信デバイス、Ethernet(登録商標)や、Power Line Communication(以下:PLC)などの有線通信デバイス、および、WiMaxや3GPPなどの、モバイル機器に利用される通信デバイスである(例えば、図479の中継装置98kなどを参照)。
さらに、通信装置は、ユーザインタフェースデバイスM1104を備えるものとする。ここで、ユーザインタフェースデバイスとは、ボタンなどの入力デバイス、および、ディスプレイ、LEDなどの出力デバイスを示したものである。なお、TVやエアコンなどの機器では、入出力は、リモコンで行うことが一般的であり、物理的には離れているものであるが、本発明では説明の簡単化のため、ユーザIF(interface)デバイスとして扱うものとする。
図429は、CPU(M1105:図428)上で動作する機能を説明する機能ブロック図である。
通信装置M1101内の機器固有ID取得部M1202は、登録機器M1201(図480の機器98aを参照)の機器固有ID(図480の製造番号98a1を参照)を含む情報を取得する。
ここで、登録機器は、登録コマンドおよび機器固有IDを含む登録情報を、近接無線通信デバイスM1102(図428)によって送信しているものとする。
機器固有ID取得部M1202(図429)から、このような、機器固有IDを含む登録情報を取得して、登録情報作成部M1204は、ホームID管理部M1205より、ホームIDを取得し、登録機器から取得した登録情報に、取得されたホームIDを付加して、登録情報を作成する。
なお、登録情報として、位置情報を付加する場合には、位置情報取得部M1206(図480の位置情報取得部98jを参照)より、位置情報を取得する。
ここで、位置情報とは、例えば、TVに入力されている郵便番号に基づく住所情報や、携帯電話のGPSによって取得できる、地理的な位置情報などを指している。なお、位置情報は、例えば、少なくとも、複数の住宅(図480の住宅99、991など)の位置(位置99P、991P)のうちから、何れか1つの住宅の位置を示す程度の精度を有する情報でもよい(図480の位置情報98j1を参照)。そして、登録機器の設置位置情報などを登録することにより、家電トレーサビリティなどのサービス提供を容易にすることができる。登録情報送受信部M1207(図480の送信部98oを参照)は、登録情報(図480の送信情報98o1を参照)の送受信をする。
ホームID管理部は、前述した、ホームネットワークを構成する通信デバイスで用いられる通信デバイスIDとは異なるホームID(図483を参照)を管理している。
ここに、本技術が、まだ利用されていない現在においては、ホームネットワークでは、各通信デバイスのマスター機器が、それぞれの通信デバイス単位で、ID等を管理しており、その管理手法は、通信デバイスの種別によって異なる。このため、ホーム単位での管理ができていない。また、サービス単位でのIDを、ユーザに入力してもらっている場合もあるが、ユーザにとっては、極めて利便性が低い。そこで、本発明は、ホームIDという新しいIDの導入により、ホームネットワークを構成する機器の管理を、通信デバイスやサービスによらずに可能とするものである。
また、ホームID管理部は、初めて機器登録を行う場合には、ホームIDを作成する。
なお、ホームIDは、位置情報に基づいて作成されてもよいし、通信機器の固有IDに基づいて作成されてもよい。乱数を基に作成して、登録サーバで、重複しないように確認してもよいし、ユーザに設定させてもよい。
登録情報を、登録情報作成部M1204より受信した登録情報送受信部M1207(図479の送信部98oを参照)は、受信された登録情報を、ホームネットワーク通信デバイスM1103(図428)を用いて、登録サーバM1005(図427、図429:図480のサーバ98cを参照)に送信する。
登録サーバM1005は、登録情報を、登録データベースM1208に照合して、登録の可否を判断し、登録応答を返信する。
登録応答を受信した登録情報送受信部は、結果を、ユーザインタフェースデバイスM1104(図428)を用いて、ユーザに通知する。
なお、不可の場合には、登録情報作成部M1204(図429)に通知し、登録情報の変更を要請してもよい。これにより、通信用のユーザインタフェースデバイスを持たない白物機器などを含めたホームネットワーク機器の統一管理を行うことができる。
図430は、通信装置の登録処理を説明するためのフローチャートである。
通信装置は、登録コマンドと、機器固有IDとを受信する(M1301)と、自端末がホームIDを保持しているかどうか(M1302)を判定する。
そして、ホームIDを保持していない場合には(M1302:NO)、ホームID取得処理(M1303)に移行する。
他方、ホームIDを保持している場合には(M1302:YES)、登録データの作成処理(M1304)を行う。
次に、登録データを、登録サーバに送信する(M1305)。
登録サーバから登録応答を受信しなかった場合には(M1306:NO)、ユーザに、登録失敗通知(M1307)を表示して、終了する。
一方、登録応答を受信した場合には(M1306:YES)、ユーザに、作成した情報で登録してもよいかどうかを表示し、OKの場合(M1308:YES)には、終了する。そうでない場合には(M1308:NO)、ホームID取得処理に戻る。なお、他のホームIDを取得することが困難な場合には、登録失敗として終了するものとする。
図431は、ホームID取得処理を説明するためのフローチャートである。
通信装置に、ホームIDの自動作成機能がある場合(M1401:YES)には、自動で作成を行い、ない場合には(M1401:NO)、ユーザに、手動入力を依頼する。
手動入力をする方法がない、もしくは、ユーザに、手動入力を拒否された場合には(M1402:失敗)、登録不能を、ユーザに通知し(M1403)、ユーザに、別手法で、ホームIDを取得するように促す。
自動で作成する場合には(M1401:YES)、状況に応じて、自動作成機能を選択(M1404)する。
つまり、GPSによって、地理的な位置情報が取得可能な場合や、TVのように、住所を登録することが一般的な端末の場合には、位置情報によって、ホームIDを作成する(M1405)。
また、宅内に据え置きが一般的な端末では、通信装置の固有識別子によるホームIDを作成する(M1406)。
そして、特に、有効なホームID作成が困難な場合には、乱数により、ホームIDを作成する(M1407)。
ホームIDが作成されたら、サーバ(サーバー)に、作成したホームIDを送信する(M1408)。サーバから、作成したホームIDに関する情報を受信し、そのホームIDを利用することができない場合(M1409:NG)には、ホームIDの作成に戻る。
利用することが可能な場合には(M1409:OK)、ユーザに確認し(M1410)、OKの場合には(M1410:YES)、自端末に、ホームIDとして登録する(M1411)。そうでない場合には(M1410:NO)、ホームIDの作成に戻る。
図432は、機器登録を行う場合のフローチャートである。
登録機器M1201は、近接無線通信デバイスを通して、機器固有IDを含む情報を、登録コマンドと共に、通信装置M1101に転送する。
通信装置は、ホームIDを保持していない場合には、仮ホームIDを作成して、登録サーバM1005に、ホームネットワーク通信デバイスを通して送信する。
登録サーバM1005は、仮ホームIDに関する情報を添付して、通信装置に返信する。ホームIDを通信装置が保持している場合、もしくは、登録サーバより利用してもよいというホームID情報を取得した場合には、ホームIDおよび機器固有IDを含む登録情報を、登録サーバに送信し。登録機器の登録処理を完了する。
(実施の形態B2)
本発明の実施の形態B2として、ホームIDを通信端末間で共有する形態について述べる。
図433は、ホームIDを、通信装置間で共有する場合の機能を表す機能ブロック図である。
ホームネットワークを構成する通信装置(図480の携帯型通信装置98bも参照)は、ホームネットワークM1601およびホームネットワーク通信デバイスM1103(M1103S、M1103R)を通して、ホームIDを共有するものとする。なお、もしくは、近接無線通信デバイスM1102を通して、共有してもよい。
なお、上述の「M1103(M1103S、M1103R)」の例ように、「xxxx」の名称が、「xxxxS」と、「xxxxR」とが一括りにされた名称として使われる。
本発明における通信装置は、共有コマンドと、ホームIDとを、近接無線通信デバイスM1102(図428参照)を通して、他の通信装置に送ることにより、ホーム内の通信装置間で、ホームIDを共有することが可能である。
ホームID管理部M1205S内のホームID共有部M1602Sは、共有コマンドと、自端末のホームID記憶部M1209Sに記憶されたホームIDとを、近接無線通信デバイスM1102Sに記憶する。
送信側の通信装置M1101Sの近接無線通信デバイスM1102Sと、受信側の通信装置M1101Rの近接無線通信デバイスM1102Rとが近接した時に、情報が転送され、受信側通信装置M1101Rの近接無線通信デバイスM1102R内に、送信側通信装置M1101SのホームIDが記憶される。
受信側通信装置M1101R内のホームID共有部M1602Rは、自端末のホームID記憶部M1209RにホームIDが記憶されていなければ、自端末のホームIDとして記憶する。
これにより、通信装置間のホームID(の共有)を、極めて簡単に行うことができる。
ホームIDが記憶されている場合には、登録サーバに、双方のホームIDを送信する。双方のホームIDを受信した登録サーバは、双方のホームIDを、仮想的に一つのホームのIDとして管理する。
なお、どちらかのホームIDに統一するために、全ての通信装置に対して、どちらかのホームIDを通知してもよい。この場合でも、非常時接続機器が存在するため、登録サーバにおけるホームIDは、双方を、仮想的に一つのIDとして管理する。
なお、非常時接続機器のIDを、接続するたびに更新し、全ての登録機器の更新が終われば、仮想的な管理を終了してもよい。これにより、もともと複数のホームネットワークを、1つのネットワークに統合することが可能となる。
また、ホームネットワークを用いて共有を行ってもよい。
つまり、ホームIDを保持していない通信装置が、ホームネットワークM1601に接続されたことを、ホームネットワーク接続検出部M1603S(図433)で検出した場合に、ホームID共有要求を、ホームネットワークに接続する端末に、ブロードキャストする。
そして、ホームネットワークM1601に接続する端末のうち、ホームIDを保持する端末は、ホームIDを、共有要求を送信した端末に向かって返信する。
これにより、通信を行う事前の段階で、ホームID(の共有の処理)を完了することが可能となる。
なお、ホームIDを保持する端末のうち、共有要求に応答するマスター端末を、予め設定しておけば、複数端末から、多数の共有応答が返信され、ホームネットワークに過剰な負荷がかかることを回避することが可能となる。また、応答がない場合には、自端末で、ホームID取得処理を行ってもよい。
図434は、近接無線通信デバイスM1102を用いて、ホームIDを共有する場合における、受信側通信装置M1101Rの動作を表すフローチャートである。
共有コマンドと、ホームIDとを受信すると(M1701)、通信装置は、自端末にホームIDを保持しているかどうかを判定する(M1702)。
自端末に保持していない場合には(M1702:NO)、受信したホームIDを、自端末のホームIDとして登録する(M1703)。
一方、自端末に保持している場合には(M1702:YES)、保持しているホームIDと、受信したIDとを比較する。
そして、等しい場合には(M1704:等しい)、何もせずに、終了する。
他方、等しくない場合には(M1704:異なる)、ホームIDの選択を行う(M1705)。
なお、ここで、ホームIDの選択は、自端末で行ってもよいし、登録サーバで行ってもよい。
つまり、選択を、登録サーバに依頼した場合には、登録サーバに、自端末のホームIDと、受信したIDとを、共有情報として送信する(M1706)。そして、登録サーバにより選択されたホームIDを含んだ共有応答を受信し(M1707)、ユーザに確認して(M1708)、OKであった場合には(M1708:YES)、終了する。OKでなかった場合には(M1708:NO)、ホームIDの選択に戻る。
他方、通信装置で、自端末のホームIDを選択した場合には、登録サーバに、自端末のIDをホームIDとして、受信したIDを共有IDとしてそれぞれ送信する(M1709)。
登録サーバは、共有IDを持つ通信装置に、ホームIDが更新されたことを通知する。
他方、受信したホームIDを選択した場合には、自端末のホームIDを更新する(M1710)。さらに、登録サーバに、自端末の旧IDを共有IDとして、受信したIDをホームIDとしてそれぞれ送信する(M1711)。登録サーバは、同様に、共有IDを持つ通信装置に、ホームIDが更新されたことを通知する。
図435は、近接無線通信デバイスM1102を用いて、ホームIDを共有する場合における、送信側通信装置M1101Sの動作を表すフローチャートである。
共有コマンドと、ホームIDとを送信した端末は、登録サーバより共有応答が送られてくるかどうかを判定する(M1752)。そして、共有応答を受信しなかった場合には(M1752:NO)、終了する。他方、ホームID更新通知を含む共有応答を受信した場合には(M1752:YES)、ホームIDを更新(M1753)して、終了する。
図436は、登録サーバで選択をする場合のシーケンス図である。
通信装置M1101Sは、ホームID_Aを、近接無線通信デバイスを用いて、通信装置M1101Rに送信する。通信装置M1101Rは、登録サーバM1005に、自端末の保持するホームID_Bと、受信したホームID_Aとを合わせて、送信する。登録サーバは、受信したIDのうちから、ホームID_Bを選択し、ホームID_Aを持つ通信端末および通信装置M1101Rに、ホームID_Bを記憶するように、通知を送る。
図437は、ホームネットワーク通信デバイスM1103を用いて、ホームIDを共有する場合における、送信側通信装置M1101Sの動作を表すフローチャートである。
ホームネットワークへの接続を検出(M1801)した通信端末は、ホームID共有要求を、ホームネットワーク内にブロードキャストする(M1802)。そして、共有応答が返ってきた場合には(M1803:YES)、自端末に、受信したホームIDを登録する(M1804)。一方、返ってこなかった場合には(M1803:NO)、ホームID取得処理(M1303)を行う。
図438は、ホームネットワーク通信デバイスM1103を用いて、ホームIDを共有する場合における、受信側通信装置M1101Rの動作を表すフローチャートである。
ホームID共有要求を受信(M1851)した通信端末は、自端末が、ホームネットワークのマスター端末であるかどうかを判断し(M1852)、マスター端末であった場合には(M1852:YES)、自端末のホームIDを、共有応答として送信する(M1853)。一方、マスター端末でなかった場合には(M1852:NO)、なにもしない。なお、ホームIDを持つ端末内で、マスターという設定を行っていない場合には、マスターかどうかの判定をせずに、全ての端末から、返信するものとする。
図439は、ホームネットワーク通信デバイスM1103を用いて、ホームIDを共有する場合のシーケンス図である。
通信装置は、ホームネットワークに接続されたことを検出すると、ホームネットワークに、ホームID要求をブロードキャストする。ホームID共有要求を受信した通信装置のうち、マスター設定をされている端末M1854のみが、ホームID共有応答を返信する。共有応答を受信した通信装置は、受信したホームIDを、自端末のホームIDとして記憶する。
(実施の形態B3)
本実施の形態では、端末装置からNFC(Near Field Communication)の通信機能を介して、前記端末装置の端末装置情報を読み出し、汎用のネットワークを介して、サーバに転送する通信装置について、図面を用いて詳細に説明する。
図440は、本実施の形態のシステムであり、端末装置Y01、通信装置Y02およびサーバY04で構成される。
なお、本実施の形態の発明主題は、通信装置である。
端末装置Y01(図480の機器98aを参照)は、NFC通信機能(RFIDやICタグ、NFCタグエミュレーション)を有する機器であり、冷蔵庫、電子レンジ、洗濯機、テレビジョン、録画機器などの、電子的な端末機器であり(例えば、図427を参照)、内部のメモリに、端末装置情報(情報Y015Dを参照)として、端末装置を示すIDである製造番号(製造番号Y015Nを参照)や、端末装置の使用履歴情報、エラー情報などを保持する。
通信装置Y02(図480の携帯型通信装置98bを参照)は、端末装置のNFC通信機能と、近接無線通信によって通信可能なNFC通信機能を有し、端末装置で保持している端末装置情報を読み出すリーダライタ機能を有する。また、通信装置とは、ポータブル機器であり、携帯電話端末などのポータブル機器や、テレビのリモコン端末を指す。
サーバY04(図480のサーバ98cを参照)は、インターネット(図427に示されるインターネットM1004を参照)などの汎用のネットワークY02Nによって、前記通信機器Y02と通信可能に接続されるサーバであって、内部にDB(データベース)を有し、前記DBには、端末装置Y01から、通信機器Y02によって読み出された端末装置情報を蓄積する。
端末装置Y01は、CPU(Central Processing Unit)Y011、故障センシング部Y012、使用履歴ロギング部Y013、メモリY014、変調部Y017およびアンテナY018から構成される。
CPU(Y011)は、端末装置Y01のシステム制御を行う部分である。CPUは、端末装置の各構成要素である故障センシング部Y012、使用履歴Y013、メモリY014、変調部Y017の制御を行う。
故障センシング部Y012は、端末装置Y01の各構成要素の故障箇所、故障内容を、センシングする部分である。本故障センシング部Y012でセンシングした故障情報は、メモリY014のRAM(Random Access Memory)に蓄積される。センシングする故障情報とは、エラーコードのことであり、故障の生じた場所と症状とによって一意に定められたコードである。
使用履歴ロギング部Y013は、本端末装置Y01が、ユーザにより操作されるごとに、その使用履歴情報を、ロギングする部分であり、ロギングされた使用履歴情報は、メモリY014のRAM(Y016)に蓄積される。通常、使用履歴情報によって、故障に到った経緯を調査するためには、故障が生じた数ステップ手前の履歴の優先度が高い。従って、本実施の形態の使用履歴ロギング部Y013は、RAM(Y016)を、FIFO(First In、 Fist Out)として利用することで、時系列的に新しい使用履歴情報を、RAMに蓄積する構成が望ましい。また、故障に至った経緯を、使用履歴から判別可能とするためには、故障センシング部Y012で故障を検知したタイミングを基点として、数ステップ前の使用履歴情報を、優先的にRAMに保持する形態が望ましい。従って、使用中に、5回の軽微な故障を検知した場合には、5回の故障に至った数ステップの操作履歴情報を、優先的に保持する構成になっている。
メモリY014は、ROM(Read Only Memory)Y015と、RAM(Random Access Memory)Y016から構成される。
ROM(Y015)には、少なくとも、本端末装置Y01を一意に示す製造番号Y015Nが、出荷時に予め記録され、本端末装置の使用者からは、本ROMに記録された内容を更新不可能に構成されている。
また、製造番号とは、メーカ(メーカー)や、製造されたロット番号、製造日が判別可能な情報であることが望ましい。
また、本ROMは、CPU(Y011)の半導体チップの内部に構成されていることが望ましい。この場合には、メモリアクセスの情報を簡単に見ることはできなくなり、この場合には、通信装置との近接無線通信時での、認証や暗号化通信のための秘密鍵情報を、出荷時に記録することが可能となる。
RAM(Y016)は、書き換え可能なメモリであり、故障センシング部Y012でセンシングした故障情報や、使用履歴ロギング部Y013でロギングした使用履歴情報が蓄積される。
変調部Y017は、通信装置Y02との近接無線通信時の、通信データの変調を行う部分である。変調方式は、使用するNFC規格によって異なり、振幅変調(ASK)、周波数変調(FSK)や位相変調(PSK)などが用いられる。
アンテナY018は、ループアンテナが用いられ、通信装置Y02のアンテナから発信された電波から電磁誘導を起こし、少なくとも、変調部やメモリを駆動するための電力生起を行うとともに、通信装置Y02から発信された電波の反射波に、前記変調部Y017で変調した信号を重畳して、メモリY014に記録されている端末装置情報を、通信機器Y02に送信する部分である。
以上のように、本実施の形態の端末装置では、内部の各構成要素の故障を検知し、使用履歴をロギングして、メモリに蓄積して、通信装置Y02と近接して近接無線通信が可能となれば、メモリに蓄積している端末装置情報(情報Y015D)を、通信装置Y02に送信することが可能となる。
次に、本実施の形態の通信装置Y02について説明する。なお、本実施の形態で開示する発明の主題は、本通信装置Y02である。
本通信装置Y02は、アンテナY021、CPU(Y022)、復調部Y023、メモリY024、位置情報測位部Y027(図480の位置情報取得部98jを参照)、GPSアンテナY031、通信メモリY032、情報付与部Y035および通信部Y036で構成される。
アンテナY021は、本通信装置Y02と近接無線通信可能な端末装置を探索するために、不特定な端末装置に向けて、呼びかけを行うポーリングを行う。
また、ポーリングに対して応答があった場合には、端末装置との近接無線通信を確立して、端末装置Y01から送信される、変調された端末装置情報(情報Y015D)を受信して、復調部Y023に出力する。
なお、通常、ポーリング動作は、近接無線通信可能な端末装置がない場合においても、常時行う必要があるが、これには、電力消費を伴う。従って、ポーリングを開始するタイミングを制御するための、図示しないスイッチを設けて、スイッチがONにされた場合にポーリング動作を行うようにすれば、ポーリング時間を大幅に短縮することが可能となって、通信機器Y02の電力消費量を、格段に下げることが可能となる。特に、通信装置がバッテリや電池など限りある電力で動作している場合には有効である。
CPU(Y022)は、本通信装置のシステム制御を行う部分であり、通信装置の各構成要素の動作を制御する。
復調部Y023は、端末装置Y01の変調部Y017に対応した変調を復調する部分である。復調した端末装置情報は、一旦、メモリY024に出力される。
メモリY024は、内部に、ROM(Y025)とRAM(Y026)とを具備する。
ROM(Y025)は、外部からは書き換え不能に構成されたメモリであり、本通信装置出荷時に、本通信装置Y02を一意に識別可能な製造番号(製造番号Y025N)が記録されている。
なお、製造番号とは、本通信装置Y02のメーカや、製造されたロット番号、製造日が判別可能な情報であることが望ましい。
また、本ROMは、CPU(Y022)の半導体チップの内部に構成されていることが望ましい。この場合には、メモリアクセスの情報を簡単に見ることはできなくなり、この場合には、端末装置Y01との近接無線通信時の、認証や暗号化通信のための秘密鍵情報を、出荷時に記録することが可能となる。
RAM(Y026)は、アンテナY021で受信し、復調部Y023で復調した、端末装置Y01の端末装置情報が蓄積される。なお、前述の通り、端末装置情報とは、端末装置Y01を一意に識別可能な端末装置の製造番号や、端末装置Y01の使用履歴情報、故障コードが含まれる情報である。
位置情報測位部Y027は、本通信装置Y02の場所を特定するためのセンサ群(センサー群)で構成され、経緯測位部(GPS)Y028、高度測位部Y029、および位置情報補正部Y030で構成される。
また、本位置情報測位部Y027は、アンテナY021から、本通信装置Y02と端末装置Y01とが通信可能になった時点で、位置情報を取得する構成にすれば、常時、位置情報を取得する必要がなくなり、本通信装置Y02の電力使用量を削減することが可能となる。
経緯測位部Y028は、一般的なGPS(Global Positioning System)であり、人工衛星からの電波を受信して、地球上の三次元測位が可能な部分である(図481のGPS装置98j1xを参照)。
また、高度測位部Y029は、一般的な高度計であり、電波を受信して、高度を抽出するもの、気圧をセンシングして、高度を計測するものなど、多数存在する。本高度測位部Y029は、GPS電波が受信できない室内においても高度をセンシング可能とするために具備している。
位置情報補正部Y030は、GPSで測位した位置情報を、より精細にするために、GPSの測位値を補正する部分である。通常、GPSは、室内など、衛星からの電波の受信できない状況では、正しい位置情報を得ることが不可能になる。そこで、本位置情報補正部Y030では、内部に、電子コンパスと、6軸の加速度センサとを具備して、GPS測位困難な場所では、本通信装置の移動方向を電子コンパスから、移動速度を加速度センサからそれぞれ抽出して、GPSで測位した位置情報を補正することを可能としている(図488の加速度センサ98j2xを参照)。
情報付与部Y035は、端末装置Y01から受信して、メモリY024に記憶されている端末装置情報を、サーバY04に送信するときに、メモリY024のROM(Y025)に記録されている通信装置Y02の製造番号と、位置情報測位部Y027で測定された位置情報(情報Y027)とを、端末装置情報に付与する部分である。
これによって、サーバY04では、端末装置情報を、どの通信装置から送信されたか、どの位置で検出したかなどを、判別可能に管理することができる。
このため、例えば、メーカ側で、端末装置の重大事故(不具合)の可能性がある場合において、サーバY04のDBを紐解けば、その端末機器が、どこに存在するかが分かり、製品回収時間を短縮し、重大な事故の可能性を低減させることが可能となり、製品使用の安心、安全に繋げることが可能となる。
また、通信装置Y02が、携帯電話端末などのように、表示機能がある装置である場合には、事故の可能性がある端末機器が、どの通信機器と近接無線通信が可能であったかが分かり、端末機器の事故情報(不具合情報)を、対応する通信機器に表示させる構成とすれば、一般的に表示機能がなく、汎用のネットワークに接続されていない端末機器の事故情報を、通信機器に送信することで、端末装置を使用するユーザに啓発を行うことができ、こちらも、端末装置を使用するユーザの安心、安全に繋がる機器の提供を可能とする。
通信部Y036は、一般的な、LANやワイアレスLANや携帯電話通信網によって、インターネットを介して、サーバY04と通信を行う部分であり、通信装置情報として、通信装置の製造番号や位置情報を付与された端末装置情報を、サーバY04に送信する部分である。ここでは、通信制御用に、MAC(Media Access Control)アドレスや、IP(Internet protocol)アドレスを、さらに付与して、サーバY04に送信する。
サーバY04は、インターネットなどの、汎用のネットワークを介して、通信機器Y02と接続されるサーバである。本サーバY04は、内部に、端末装置を管理する機器管理DB(Data Base)を具備する。
機器管理DB(Y041)では、通信装置情報(図442の情報Y051を参照)に紐付けられた端末装置情報(情報Y052d)を受信する。本DBでは、通信機器を親機器、端末装置を子機器として、親機器に紐付けて管理する。また、子機器には、通信装置で取得した位置情報が付与されており、端末装置が、どこに存在するか(端末装置Y01の位置)の情報を、同時に管理することが可能となる。
以上のように、本実施形態のシステムでは、端末装置(端末装置Y01)の端末装置情報(情報Y015D)が、通信機器(通信装置Y02)によって、近接無線通信を介して読み出され、通信装置において、通信装置の製造番号Y025Nや、通信機器を端末装置にタッチして、近接無線通信が可能となった(際の)位置情報(情報Y027D)を対応付けて、サーバに送信する。サーバでは、通信装置を親機器、端末機器を子機器として対応付けを行って管理することが可能となる(図442参照)。
従って、メーカ側で、端末機器が重大事故を起こしうると判定したときに、端末装置(端末装置Y01)の回収が容易になったり、重大事故の可能性を、対応する通信機器(通信装置Y02)の表示部に表示するなどすることが可能となり、製品(端末装置Y01)のトレーサビリティを実現し、安心、安全機器を提供することを可能とする。
図441は、図440で説明したシステムの各構成要素の動作を示したシーケンス図である。
まず、通信装置Y02から端末装置Y01に向けて、近接無線通信を確立するためのポーリングを行う(SY01)。
なお、このポーリングは、前述のように、通信装置の電力使用量の観点から、ユーザが操作するスイッチを設けて、このスイッチが押されている、あるいは押された場合に、ポーリングを開始する方が望ましい(SY01)。
次に、端末機器Y01は、通信機器Y02のポーリングに応答することによって、端末装置Y01と、通信装置Y02との近接無線通信を確立する(SY02)。
ここで、この時点で、通信装置Y02の位置情報測位部Y027によって位置情報を取得して、端末機器の位置情報として抽出する。
なお、位置情報の取得は、ポーリング完了時のみに限定されるものではない。ポーリング応答移行、近接無線通信が確立している間であれば、いつでも構わない。趣旨は、数センチメートルしか通信できない近接無線通信が確立している(装置(端末装置Y01)の)位置情報を取得することによって、端末装置の場所を、高精度に抽出することが重要である。
SY02で近接無線通信が確立後、端末装置が通信機器を認証し、通信装置が端末装置を認証することを、一般的な、公開鍵暗号を用いた認証を用いて実施する。そして、これとともに、一時的に、端末装置と通信装置との間で生成する暗号鍵を、キーシェアリングする(SY03)。以後、本近接無線通信が確立している間は、通信路を、この暗号鍵を用いて暗号化して通信することによって盗聴を防止することが可能となる。
キーシェアリングが完了すると、端末装置Y01のメモリY014に記録されている端末装置情報を、端末装置Y01から通信装置Y02に送信する(SY04)。
通信装置Y02において、端末装置Y01から端末装置情報を受信すると、通信装置のメモリY024に記憶する(SY05)。
通信装置Y02において、端末装置Y01から端末装置情報の受信を完了すると、通信装置Y02から、サーバY04に対して接続要求を出す(SY06)。
サーバY04では、SY06の接続要求に対して、応答を返し、通信を確立する(SY07)。
通信装置Y02とサーバY04との間の通信が確立すれば、サーバに、端末装置の端末装置情報を送信するために、通信装置の通信装置情報を付与する(SY08)。
なお、通信装置情報とは、通信装置の製造番号、端末装置と近接無線通信が確立している間の、通信装置の位置情報、通信装置に登録されていれば、登録されている、ユーザのメールアドレス、通信装置に登録されていれば、登録されている、サーバへの接続アカウントなどのことである。
なお、端末装置Y01から、通信装置Y02に、サーバY04のアドレスなどの、複数のコンピュータ(サーバ)から、サーバY04を特定する情報(例えば、図450のアドレスY01Uaを参照)が取得されてもよい。そして、取得された情報により特定されるサーバY04への、通信装置Y02からの通信がされてもよい。
SY08で、端末装置情報に通信装置情報を付与した後、通信装置情報付きの端末装置情報(図440のデータY036D参照)を、サーバY04へ送信する(SY09)。
サーバY04では、通信装置Y02から受信した、通信装置情報付きの端末装置情報を、機器管理DB(Y041)に登録することで、処理を完了する。
これによって、サーバY04では、通信装置Y02でタッチして、近接無線通信を確立した端末機器を、通信装置の識別情報(製造番号など)に紐付けて管理する。このことによって、家丸ごとの機器管理を行うことが可能となる。
また、端末装置の設置場所として登録する位置情報は、通信機器と端末装置とが近接無線通信を確立した(際の通信機器の)位置情報を用いる。ここで、本実施の形態の近接無線通信は、一般的なHF帯域(13.56MHz帯)を用いるので、その通信可能距離は、数センチメートルである。従って、近接無線を確立した(際の)位置情報を、端末機器の位置情報として設定することで、誤差が最大数センチメートルとなり、製品のトレーサビリティを実現するには十分の精度を確保することが可能となる。
図442は、サーバY04の機器管理DB(Y041)において、通信端末Y01に対応付けて管理される端末装置群の概念図である。
なお、つまり、例えば、機器管理DB Y041が有するデータのデータ構造が、この概念図の構造に対応する構造でもよい。なお、図483も適宜、参照されたい。
通信機器Y02で、端末装置を購入する時の愛用者登録などを行う場合には、端末機器を設置した後、通信機器で端末装置をタッチすることによって、端末機器の端末機器情報を、通信機器に近接無線通信を介して読み出す。そして、読み出した通信機器が、サーバに、その読み出しをした通信装置情報を付与して、送信する。
すると、サーバ側の機器管理DBでは、通信装置を親機器、端末機器を子機器として関連付けて、管理される。
具体的には、DB内では、通信機器の製造番号(Y051)に紐付けて、通信装置でタッチされた端末装置1(例えば電子レンジ)Y052、端末装置2(例えば洗濯機)Y053、端末装置3(例えばテレビ)Y054として、各端末装置の端末装置情報としての所在情報(経緯、高度など)、使用状況情報(使用履歴、エラーコード、使用時間など)を、通信機器に紐付けて管理する。
このことで、通信装置でのタッチを起因として、家丸ごとの機器の管理を行うことが可能となり、端末装置のトレーサビリティを実現することが可能となる。
また、近接無線通信が確立したときに、通信装置は位置情報を読み出し、端末装置の位置情報として検出するため、近接無線通信が通信可能な数センチメートル単位の誤差の範囲で、端末機器の位置を登録することが可能となる。これを実現するために、通信装置に搭載されているGPSを利用して、端末装置の位置情報を検出することで、各端末機器ごとに、GPSを持つ必要はなく、コストの削減が可能となる。
図443は、通信機器(通信装置)Y02で端末装置Y01をタッチしたときの、通信機器の表示部に出力される表示画面を示した概念図である。
なお、通信装置Y02は、図440に示される表示部Y02xを有してもよい。そして、それぞれの表示画面Y02xS(図443)は、この表示部Y02xにより表示されてもよい。
まず、端末装置に通信機器をタッチして機器登録する場合について説明する。
通信装置Y02を操作して、通信装置のリーダライタアプリケーションを立ち上げると、近接無線通信で通信する端末装置をユーザがタッチするように、画面に表示する(Y060)。
タッチされると、通信機器と端末装置との近接無線通信が確立して、通信装置は、端末装置から端末装置情報を読み出し、現在の位置情報を取得して、メモリに一時記憶し、サーバY04との通信を確立して、通信装置情報と、付与した端末装置情報とを、サーバに送信する。
サーバでは、送られてきた端末装置情報が、既に機器管理DBに登録されているかどうかを判定して、登録されていないと判定された場合には、機器の登録を促すメッセージを、通信装置の表示部に表示させる(Y061)。
次に、ユーザが、機器の登録を選択すれば、機器の位置情報の登録を促すメッセージを、サーバから通信装置に出力して、ユーザが登録するを選択した時点で、通信機器からサーバに送信される端末装置情報に紐付けされている位置情報が、登録する端末装置の位置情報として、サーバの機器管理DBに登録される(Y062)。
一方、端末機器の位置情報が、サーバの機器管理DBで登録されているものと異なる場合について、次に説明する。
通信装置Y02を操作して、通信装置のリーダライタアプリケーションを立ち上げると、近接無線通信で通信する端末装置をタッチするように、画面に表示する(Y063)。
通信機器が端末装置にタッチされると、近接無線通信を確立して、通信装置が、端末機器から端末機器情報を読み出すとともに、位置情報を取得して、通信装置情報を付与した端末装置をサーバに送信する。
サーバでは、機器管理DBから、タッチされた端末機器が既に登録されていることを、サーバに受信した端末装置情報に含まれる端末装置の製造番号と、機器管理DBに登録されている製造番号とを照合することによって確認する。これとともに、サーバで受信した通信装置情報から位置情報を抽出して、機器管理DBに登録されている位置情報と照合して、一致しているかどうかを判定する。無論、位置情報には誤差を伴うため、数センチメートルオーダー(近接無線通信可能な距離に応じた値)での閾値判定を実施することによって、同じ位置か、異なる位置かの判定を行う。異なる位置であると判定された場合には、既に登録されている位置情報と異なることを通知するメッセージを、通信装置の表示部に出力する(Y064)。
次に、現在の位置情報で、端末機器の位置情報を更新するか(否かの指定)を促すメッセージが、通信装置の表示部に表示される(Y065)。
ユーザが、更新するを選択すれば、タッチを起因として、通信装置が取得した位置情報を、端末装置の新たな位置情報として、サーバの機器管理DBに登録する。
従って、本実施の形態では、一旦登録した位置情報が、端末装置の設置場所の移動に伴って変更された場合においても、タッチを起因として取得した、新しい位置情報に更新することが可能となって、端末装置のトレーサビリティの精度を向上させることが可能となる。
(実施の形態B4)
先述の通り、例えば、実施の形態A(A1〜A13)、B(B1〜B7)のうちで、この実施の形態B3が、最初に理解されるのが、比較的好ましいと考えられる。
そして、先述の通り、この実施の形態B4では、図444〜図461などが参照される。
図444は、本実施の形態におけるRF−IDの機能ブロック図である。
図444のRF−ID N10(図479のRF−IDタグ98fなどを参照)は、近接無線通信用のアンテナN11、アンテナN11からの電力で動作する電源部N12、個体識別情報を記録する不揮発メモリであるメモリN13、メモリN13に記録された内容を再生する再生部N14、メモリN13に記憶されたデータを、アンテナN11を介して送信するデータ転送部N15で構成される。
メモリN13は、RF−ID N10を搭載する製品を特定するUID部N13A、RF−ID N10を搭載する製品の品番を特定する品番ID部N13B、登録サーバN40のサーバ特定情報N13C、モバイル機器N20に実行させる動作プログラムN13Dで構成される。
図445は、本実施の形態におけるモバイル機器の機能ブロック図である。
図445のモバイル機器N20(図480の携帯型通信装置98bを参照)は、RF−ID N10から送信されたデータを受信するRF−IDリーダライタN21、RF−ID N10から送信されたデータを記憶するRF−ID記憶部N22、データに含まれるプログラムを実行するプログラム実行部N23、データに含まれる画像情報のデータ処理を行うデータ処理部N24、データ処理部N24が処理した画像情報が出力されるメモリN25、メモリN25に一時記憶された画像を表示する表示部N26、汎用のネットワークを介して、他の機器と接続する通信I/F(interface)部N27、通信I/F部N27を介して、データを送信する送信部N28、通信I/F部N27を介して、データを受信する受信部N29、通信I/F部N27によって、汎用ネットワークを介して他の機器と通信を行う通信部N30、モバイル機器N20の絶対的位置情報を測定するGPS N31(図481のGPS装置98j1xを参照)、モバイル機器N20の相対的位置情報を測定する6軸センサN32(図488の加速度センサ98j2xを参照)、GPS N31と6軸センサN32との測定結果を記憶する位置情報記憶部N33、位置情報記憶部N33に記憶された位置情報を解析するCPU N34で構成される。
図446は、本実施の形態における登録サーバの機能ブロック図である。
図446の登録サーバN40(図480のサーバ98cなどを参照)は、汎用のネットワークを介して、他の機器と接続する通信I/F部N41、通信I/F部N41を介して、データを送信する送信部N42、通信I/F部N41を介して、データを受信する受信部N43、通信I/F部N41によって、汎用ネットワークを介して他の機器と通信を行う通信部N44、通信I/F部N41から受信した製品情報を管理する製品情報管理部N45、モバイル機器N20に送信する画像データを記憶する画像データ記憶部N46、モバイル機器N20に送信するプログラムを記憶するプログラム記憶部N47、製品情報管理部N45に記憶された情報を組み合わせることにより、RF−IDを搭載した製品の位置関係を示すマップを作成する位置情報作成部N48、製品情報管理部N45に記憶された情報と、モバイル機器N20の現在の位置情報から、RF−ID N10を搭載した製品の制御を行う製品制御部N49で構成される。
本実施の形態は、モバイル端末N20の位置情報と、RF−ID N10を搭載した宅内の製品の位置情報とから作成した製品マップの情報から、宅内の製品を制御することが、他の実施の形態と異なる。
図447は、本実施の形態における、ネットワーク製品の配置の一例を示す図である。
図447の配置図では、1階のリビングにおいては、テレビN10Aと、BDレコーダN10Bと、エアコンN10Cと、FF暖房機N10Kとが配置される。そして、1階の洋室には、エアコンN10Dと、火災報知器N10Eとが配置される。そして、1階の和室には、エアコンN10Fと、火災報知器N10Gとが配置される。そして、2階には、テレビN10Iと、エアコンN10Jとが配置される。そして、屋根には、太陽電池パネルN10Hが配置されている(図478等も参照されたい)。
図448は、本実施の形態におけるシステムの一例を示す構成図である。
図示されるように、図448では、図447の配置図に設置された家電で、システムを構成している。
図444のRF−ID N10と、汎用のネットワークを介して他の機器と接続する通信I/F部N18とをそれぞれ搭載した、テレビN10A〜FF暖房機N10Kと、図445のモバイル機器N20と、図446の登録サーバN40と、テレビN10A〜FF暖房機N10Kとモバイル機器N20とを接続する宅内ネットワークN100と、宅内ネットワークN100と接続して、登録サーバN40に接続する宅外ネットワークN101とで構成される。
図449〜図454を用いて、RF−ID N10を搭載した製品の情報を、登録サーバN40へ登録する方法の一例について示す。
図449は、テレビN10Aの情報を、登録サーバN40に登録するシーケンス図である。
最初、ユーザが、モバイル機器N20のRF−IDリーダライタN21を、テレビN10AのアンテナN11近づけると(図480の動き98b1を参照)、RF−IDリーダライタN21よりアンテナN11を介して、電源部N12に電力が給電され、RF−ID N10の各部に電源が供給される(図449(1))。
RF−ID N10の再生部N14(図444)は、メモリN13のUID部N13Aと、品番ID部N13Bと、サーバ特定情報N13Cと、動作プログラムN13Dとに記憶されている情報を含む製品データを作成する。
図450は、本発明の実施の形態B4における製品データとサーバ登録データの構成の一例を示す図である。
図450の(a)欄は、製品データの構成の一例を示す。
図450の(a)の製品データは、品番IDとして、テレビN10Aの品番(色情報を含む)を含み、UIDとして、テレビN10Aの製造番号を含み、サーバ特定情報として、登録サーバN40のアドレス情報と、ログインID、とパスワードとを含み、かつ、モバイル機器N20のプログラム実行部N23で実行する動作プログラムを含んで、構成されている。
RF−ID N10のデータ転送部N15は、製品データ(の信号)を変調し、アンテナN11を介して、モバイル機器N20のRF−IDリーダライタN21へと送信する(図449の(2))。
モバイル機器N20のRF−IDリーダライタN21は、製品データを受信し、RF−ID記憶部N22に記憶する。
プログラム実行部N23(図445等を参照)は、RF−ID記憶部N22に記憶された製品データに含まれる動作プログラムを実行する。
ここでは、動作プログラムとして、「製品データに含まれる、登録サーバN40のアドレスに対して送信するサーバ登録データを作成する」という動作を実行するプログラムが用いられる。
図450の(b)欄は、サーバ登録データの構成の一例を示す。
図450(b)のサーバ登録データは、品番IDとして、テレビN10Aの品番(色情報を含む)を含み、UIDとして製造番号を含み、サーバ特定情報として、登録サーバN40のログインIDとパスワードとを含み、かつ、モバイル機器N20の位置情報を含んで構成されている。
次に、モバイル機器N20の位置情報(図480の位置情報98j1xを参照)に関して説明する。
GPS N31は、モバイル機器N20が起動中には、常に動作しており、測定した結果を、位置情報記憶部N33に記憶する。
6軸センサN32は、GPS N31が測定圏外であるときに動作し、測定した結果を、位置情報記憶部N33に記憶する。
プログラム実行部N23は、位置情報記憶部N33に記憶されたGPS N31と、6軸センサN32の測定結果とから、サーバ登録データの位置情報を作成する。
プログラム実行部N23は、作成した位置情報と、RF−ID記憶部N22に記憶された情報とから、図450の(b)欄に示すサーバ登録データを作成する。
次に、通信部N30は、RF−ID記憶部N22に記憶された、登録サーバN40のアドレスに、サーバ登録データのあて先を設定する。
送信部N28は、通信I/F部N27を介して、サーバ登録データを送信する(図449(3))。
登録サーバN40の受信部N43は、通信I/F部N41を介して、サーバ登録データを受信する。
通信部N44は、サーバ登録データのログインIDとパスワードとを確認する。
ログインIDとパスワードとが一致していれば、サーバ登録データの品番IDと、UIDと、位置情報とを、製品情報管理部N45に記憶する。
図451は、本発明の実施の形態B4における製品情報管理部で記憶する製品情報の構成の一例を示す図である。
図451の(a)欄は、製品情報管理部N45で記憶する、テレビN10Aの製品情報の一例を示す。
品番IDと、UIDと、位置情報とで構成されている。位置情報は、経度、緯度、および高度で構成されている。
次に、登録サーバN40の通信部N44は、テレビN10Aの登録が完了すると、予め画像データ記憶部N46に記憶された画像情報と、プログラム記憶部N47に記憶された動作プログラムとを含むサーバ登録完了通知を作成し、あて先を、モバイル機器N20のアドレスに設定する。
送信部N42は、通信I/F部N41を介して、サーバ登録完了通知を送信する(図449(4))。
モバイル機器N20の受信部N29は、通信I/F部N27を介して、サーバ登録完了通知を受信する。
通信部N30は、サーバ登録完了通知のあて先アドレスを確認し、プログラム実行部N23に転送する。
プログラム実行部N23は、サーバ登録完了通知に含まれる動作プログラムを実行する。
ここでは、動作プログラムとして「表示部N26に画像データを表示する」という動作を実行する。
プログラム実行部N23は、データ処理部N24に、画像データの処理を指示する。
データ処理部N24は、画像データのデータ処理を行う。例えば、ダウンロードする画像が圧縮されている場合には、その伸張を行い、また、暗号化されている場合には、その復号を行い、また、画像表示スタイルシートに基づいた画像表示スタイルで、ダウンロードした画像情報を、配列したりする。
データ処理部N24は、処理が終了すると、画像データを、メモリN25に一時記憶する。
表示部N26は、メモリN25に蓄積した画像データを表示する。
ここでは、メモリN25に蓄積した画像データは、製品の登録が正常に完了したことを通知することを示す画像の画像データである。
図451の(b)欄は、テレビN10Aと同様の手順で、BDレコーダN10B〜FF暖房機N10Kを、登録サーバN40に登録後の、登録サーバN40の製品情報管理部N45に管理される製品情報の一例を示す。
図447の宅内から登録された製品情報は、同じテーブルで管理される。ここでは、同じモバイル機器N20で登録した製品を、同じ宅内から登録された製品と判定する。
図452は、RF−ID N10の製品登録時の処理フローの一例を示す図である。
最初、RF−ID N10は、モバイル端末N20からの給電待ち受け状態になる(N001)。
RF−ID N10は、モバイル端末N20から給電を受けた場合には(N001:Y)、N002に移り、受けていないならば(N001:N)、N001に戻る。
N002で、メモリN13の情報を含む製品データを作成する。その後、N003で、製品データを、アンテナN11からモバイル機器N20へ送信して、処理を終了する。
図453は、モバイル機器N20の製品登録時の処理フローの一例を示す図である。
最初、N001で、RF−IDリーダライタN21から、RF−ID N10に給電する。
次に、モバイル機器N20は、RF−ID N10からの製品データの待ち受け状態になる(N005)。
モバイル端末N20は、RF−ID N10から製品データを受けた場合には(N005:Y)、N006に移り、受けていないならば(N005:N)、N004に戻り、再度RF−ID N10に給電する。
N006で、受信した製品データを解析する。次に、製品データに含まれる動作プログラムを実行する。
N007で、モバイル端末N20は、自機の位置を測定する(図480の位置情報取得部98jを参照)。
N008で、位置の測定結果を含むサーバ登録データを作成する。
N009で、サーバ登録データを、通信I/F部N27から登録サーバN40へ送信する(図480の送信部98oを参照)。
次に、モバイル機器N20は、登録サーバN40からのサーバ登録完了通知の待ち受け状態になる(N010)。
モバイル端末N20は、登録サーバN40からサーバ登録完了通知を受けた場合には(N010:Y)、N011に移る。
N011で、サーバ登録完了通知を解析する。その後、N012で、表示部N26に、サーバ登録完了通知に含まれる画像情報を表示して、処理を終了する。
図454は、登録サーバN40の製品登録時の処理フローの一例を示す図である。
最初、登録サーバN40は、モバイル機器N20からのサーバ登録データの待ち受け状態になる(N013)。
登録サーバN40は、モバイル端末N20からサーバ登録データを受けた場合には(N013:受けた)、N014に移り、受けていないならば(N013:受けてない)、N013に戻る。
N014で、サーバ登録データを解析し、ログイン名とパスワードとが一致するかを確認する。その後、N015で、ログイン名とパスワードとが一致すれば、製品情報を製品情報管理部N45に記憶する。
N016で、動作プログラムと、画像情報とを含むサーバ登録完了通知を作成する。N017で、サーバ登録完了通知を、通信I/F部N41からモバイル機器N20へ送信し、処理を終了する。
次に、図455と図456とを用いて、モバイル機器N20の位置情報による、RF−ID N10を搭載した製品の制御をする方法の一例について示す。
図455は、モバイル機器N20が、1階から2階へ移動した場合において、エアコンN10JとテレビN10Aとの電源を制御する動作の一例を示すシーケンス図である。
モバイル機器N20のCPU N34は、位置情報記憶部N33に記憶されている位置情報を監視し、予め設定している条件を満たすと、現在の位置情報を含む位置情報データを作成する。
図456は、本発明の実施の形態B4における位置情報データと製品制御データの構成の一例を示す図である。
図456の(a)欄は、位置情報データの構成の一例を示す。
非図示のメモリに、予め製品登録時に取得し、記憶していた、登録サーバN40の第2サーバログインIDと、第2のサーバログインパスワード、および、位置情報記憶部N33から取得した、モバイル機器N20の現在の位置情報で構成されている。
通信部N30は、位置情報データを、製品登録した登録サーバN40のアドレスに設定する。
送信部N28は、通信I/F部N27を介して、位置情報データを送信する(図455(1))。
登録サーバN40の受信部N43は、通信I/F部N41を介して、位置情報データを受信する。
通信部N44は、位置情報データの第2サーバログインIDと、第2のサーバログインパスワードとを確認する。
通信部N44は、第2サーバログインIDと、第2のサーバログインパスワードとが一致していれば、製品制御部N49に、位置情報データを転送する。
製品制御部N49は、位置情報作成部N48に、第2サーバログインIDを転送する。
位置情報作成部N48は、製品制御部N49による指示に従い、第2サーバログインIDから、製品情報管理部N45に登録されている、図451の(b)欄の情報を取得し、各製品の位置情報から、図447の宅内の製品の位置を示す製品マップを作成し、製品制御部N49に渡す。
図457は、位置情報作成部N48が作成する製品マップの一例を示す図である。
製品マップは、3Dマップで、各製品の位置情報から、各製品の位置する箇所に、製品のイメージ図を配置する。
製品制御部N49は、位置情報データに含まれるモバイル機器N20の現在と、位置情報作成部N48で作成した家電マップを用いて、製品(テレビN10A〜FF暖房機N10K)の制御を行う。
ここでは、製品制御部N49は、モバイル機器N20から受信した位置情報(の位置)と、最も近い(位置の)商品の電源をONする(他の位置の商品の電源はONしない)。なお、例えば、後述の図486なども適宜、参照されたい。ここでは、エアコンN10Jの電源をONにする命令を含む機器制御データを作成する。
図456の(b)欄は、第1機器制御データの構成の一例を示す。
エアコンN10Jの品番IDと、UIDと、エアコンN10Jの電源をONする製品制御コマンドとで構成されている。
通信部N44は、第1機器制御データに、モバイル機器N20のアドレスを、宛先として設定する。
送信部N42は、通信I/F部N41を介して、第1機器制御データを送信する(図455(2))。
モバイル機器N20は、第1機器制御データを受信すると、第1機器制御データに含まれる品番IDとUIDとから、エアコンN10Jに、第1機器制御データを転送する(図455(2)´)。
エアコンN10Jは、通信I/F部N18から、第1機器制御データを受信すると、自機の電源がOFF状態ならば、電源をONする。
次に、製品制御部N49は、モバイル機器N20から受信した位置情報と、最も遠い商品の電源を、OFFする。ここでは、テレビN10Aの電源をOFFにする命令を含む機器制御データを作成する。
図456の(c)欄は、第2機器制御データの構成の一例を示す。
テレビN10Aの品番IDと、UIDと、テレビN10Aの電源をOFFする製品制御コマンドとで構成されている。
通信部N44は、第2機器制御データに、モバイル機器N20のアドレスを、あて先として設定する。
送信部N42は、通信I/F部N41を介して、第2機器制御データを送信する(図455(2))。
モバイル機器N20は、第2機器制御データを受信すると、第2機器制御データに含まれる品番IDとUIDとから、テレビN10Aに第2機器制御データを転送する(図455(3)´)。
テレビN10Aは、通信I/F部N18から第2機器制御データを受信すると、自機の電源がON状態ならば、通信機能以外の電源を、OFFする。
以上説明したように、本実施例によれば、RF−IDの近距離無線通信と、位置情報とを用いることにより、RF−ID N10を搭載した製品の位置を、登録サーバで管理することが可能になる。これにより、モバイル機器N20の現在位置に応じた、製品の自動制御が可能になる。
また、位置情報として、相対的位置情報を測定する6軸センサN32(モーションセンサ)で測定した情報を、位置情報として使用するため、GPS N31の測定圏外において、6軸センサN32の測定結果を用いて、位置情報を更新することが可能になり、GPSN31の測定圏外でも、正確な位置情報の取得が可能になる。
なお、本実施の形態のモバイル機器N20は、GPS N31と、6軸センサN32とを保持したが、これに限定されるものではない。例えば、モバイル機器N20は、6軸センサN32のみ保持する構成としてもよい。
図458は、製品情報管理部N45で記憶する製品情報の構成の一例を示す図である。
この場合、登録サーバN40の製品情報管理部N45は、図458に示すように、最初に登録したテレビN10Aを基準点に、テレビN10Aとの相対的位置情報を記憶する構成になる。
図459は、位置情報作成部N48が作成する製品マップの一例を示す図である。
また、この場合、位置情報作成部N48が作成する製品マップは、図459に示すように、軸が、x座標、y座標、z座標で構成される。
なお、本実施の形態では、RF−ID N10に搭載した製品の品番IDと、UIDと、モバイル機器N20の位置情報とを登録サーバN40に登録したが、これに限定されるものではない。例えば、登録サーバN40は、登録済みの製品のサーバ登録データを、再度受信した場合には、図460の表に示す処理を行ってもよい。
図460は、本発明の実施の形態B4における精度識別子の一例を示す図である。
図460について説明する。
図460は、位置情報の精度を示す精度識別子と、各識別子に該当する品番IDと、再度受信したサーバ登録データの位置情報、および、製品情報管理部N45に登録済みの位置情報が異なる場合の処理の情報とで構成されている。
登録サーバN40は、再度受信したサーバ登録データに含まれる品番IDと、UIDとから、既に製品情報管理部N45に登録済みと判断すると、品番IDを確認する。品番IDが、テレビ、BDレコーダ、FF暖房機の場合には、再度受信したサーバ登録データに含まれる位置情報に、製品情報管理部N45を更新する。
また、品番IDが、エアコン、太陽電池パネル、火災報知器の場合には、モバイル機器N20に、製品情報管理部N45で記憶している位置情報を通知する。モバイル機器N20は、自機の現在の位置情報を、登録サーバN40から受けた位置情報に基づき、修正する。
なお、図460では、精度識別子は2種類だが、これに限定されることはなく、2種類以上設けて、精度識別子ごとに異なる処理を設けてもよい。
なお、本実施の形態の製品制御部N49は、登録サーバN40に搭載したが、これに限定されるものではない。例えば、モバイル機器N20に搭載し、登録サーバN40から製品マップを取得して、動作してもよい。また、モバイル機器N20以外で、宅内ネットワーク100に接続された、非図示の宅内サーバに搭載してもよい。この場合には、モバイル機器N20は、位置情報を宅内サーバに送信し、宅内サーバから製品マップを取得する。
図461は、実施の形態B4におけるシステムの一例を示す構成図である。
なお、本実施の形態のモバイル装置N20は、汎用I/F部(通信I/F部)N27で、宅内ネットワークN100と、宅外ネットワークN101とを経由して、登録サーバN40と接続したが、これに限定されるものではない。つまり、例えば、モバイル機器は、携帯電話の機能を有しており、汎用I/F部N27の代わりに、携帯電話網(例えばLTE)に接続可能なインターフェースで、少なくとも携帯電話網を経由して、登録サーバN40に接続してよい(図461参照)。また、モバイル機器N20は、WiMAXなどの回線網に接続可能なインターフェースを有し、少なくともWiMAXネットワークを経由して、登録サーバN40に接続してよい。その他の何れのネットワークを利用して、登録サーバN40に接続してもよい。
なお、本実施の形態では、位置情報作成部N48で作成した製品マップを、製品制御の判定に利用したが、これに限定されるものではない。例えば、位置情報作成部N48で作成した製品マップの画像データを、モバイル機器N20に送信し、モバイル機器N20の表示部N26に表示してもよい。
なお、本実施の形態では、位置情報作成部N48は、図434の(b)欄の情報に基づいて、製品マップを作成したがこれに限定されるものではない。例えば、位置情報から近接する宅内に設置されている製品情報を製品情報管理部N45から検出し、近接する宅内の製品マップを作成してもよい。この場合、製品制御部N49は、図457の製品マップと、近接する宅内の製品マップとを組み合わせで、製品の制御を行う。例えば、本実施例では、モバイル機器N20(の位置)から最も遠い(位置の)テレビN10Aの電源をOFFにしたが、近接する宅内に太陽電池パネルがあるなら、テレビN10Aの電源をONのままにするなどの制御を行う。
なお、本実施の形態では、登録サーバN40の製品情報管理部N45では、各製品の品番ID、UID、位置情報を記憶したが、これに限定されるものではない。例えば、各製品の通信I/F部N18を介して、電源のON・OFF状態を、リアルタイムに取得して、管理してもよい。この場合、製品制御部N49は、モバイル機器N20から最も遠いテレビN10A電源をOFFにしたが、予め設定した台数の製品が、電源OFFの状態なら、テレビN10Aの電源をONのままにするなどの制御を行う。
なお、本実施の形態では、製品制御部N49は、最も遠い製品の電源をOFFにして、最も近い製品の電源をONにしたが、これに限定されるものではない。
モバイル機器N20の位置情報を基に、複数台の製品の電源を、ON・OFFを制御してよい。
なお、本実施の形態では、製品制御部N49は、最も遠い製品の電源をOFFにして、最も近い製品の電源をONにしたが、これに限定されるものではない。例えば、モバイル機器N20のCPU N34は、非図示のメモリに、位置情報を移動履歴として記憶し、定期的に、登録サーバN40に、移動履歴を通知してよい。この場合、登録サーバN40は、モバイル機器N20の移動履歴から、どの製品が同じ部屋・階にあるか推定して、推定結果を、管理する。また、製品制御部N49は、推定結果に基づいて、同じ部屋にある製品の電源のON・OFFを制御してもよい。例えば、移動履歴から、テレビN10AとエアコンN10Cとが同じ部屋にあると推定すると、製品制御部N49は、テレビN10Aの電源をOFFにする場合には、エアコンN10Cの電源もOFFにする。
また、移動履歴に加え、各製品のON・OFF切り替えの時間情報を収集して、どの製品が、同じ部屋・階にあるか推定してもよい。
なお、本実施の形態では、製品情報管理部N45は、図451又は図458の製品情報を管理し、位置情報作成部N48は、図457又は図459の製品マップを作成したが、これに限定されるものではない。例えば、ユーザが作成した宅内間取りの画像データを、モバイル機器N20から登録サーバN40に送信し、製品情報管理部N45で管理する。この場合、位置情報作成部N48は、図451又は図458の製品情報と、宅内間取りの画像データとを組み合わせ、図447のような製品マップを作成する。
また、宅内の間取りの画像データ(後述の、画像生成部により生成される画像などを参照)のような個人情報は、製品情報とは異なる暗号化の処理を行い、モバイル端末N20から登録サーバN40に送信処理をしてもよい。
また、宅内間取りの画像データのような個人情報は、製品情報と異なるサーバに送信し、登録サーバN40が製品マップ作成時に、異なるサーバに参照する手順で、製品マップを作成してもよい。
なお、本実施例と、他の実施の形態とを組み合わせでもよい。例えば、実施の形態B3の端末装置Y01の機能を、RF−ID N10に搭載し、実施の形態B3の通信装置Y02の機能を、モバイル端末N20に搭載することで、図449の製品登録処理を行う事前に、図441に示すポーリングから、相互認証、キーシェアリングの処理を行ってもよい。また、他の実施の形態と組み合わせることも、本発明の範囲内である。
(実施の形態B5)
図462は、本実施の形態における全体システム図である。
図462のシステムは、RF−ID O50(図479のRF−IDタグ98fを参照)、モバイル機器O60(携帯型通信装置98bを参照)、第1サーバO101、および、第2サーバO103で構成される。
RF−ID O50は、NFC通信機能を有する機器であり、冷蔵庫、電子レンジ、洗濯機、テレビジョン、録画機器などの、電子的な製品に搭載され、製品のメモリに、製品情報として、製品を示すIDである製造番号や、製品の使用履歴情報、エラー情報などを保持する。
モバイル機器O60とは、RF−ID O50のNFC通信機能と、近接無線通信によって通信可能な、NFC通信機能を有し、RF−ID O50で保持している製品情報を読み出すリーダライタ機能を有する。また、モバイル機器とは、ポータブル機器であり、携帯電話端末などのポータブル機器や、テレビのリモコン端末を指す。
第1サーバO101は、インターネットなどの、汎用のネットワークによって、前記モバイル機器O60と通信可能に接続されるサーバであって、内部にDB(データベース)を有し、前記DBには、RF−ID O50から、モバイル機器O60によって読み出されたRF−ID情報を蓄積する。
第2サーバO103は、インターネットなどの汎用のネットワークによって、前記第1サーバO101と通信可能に接続されるサーバであって、内部に、DB(データベース)を有し、前記DBには、RF−ID O50が設置されている座標の建築物情報を蓄積する。
RF−ID O50は、製品ID O51、第1サーバURL O52、サービスID O53、精度識別子O54から構成される。
製品ID O51は、RF−IDを搭載した製品の識別をするためのID、例えば、製品の品番(色情報含む)、製造番号である。
第1サーバURL O52は、第1サーバO101のアドレス情報である。
サービスID O53は、テレビ・エアコン・冷蔵庫などの製品分類を示すIDが設定されている。
精度識別子O54は、RF−ID10を搭載した製品IDによって付与される位置情報の信頼性を表す情報である。
以上のように、本実施の形態のRF−ID O50では、モバイル機器O60と近接して、近接無線通信が可能となれば、メモリに蓄積している品番、製造番号と、第1サーバのURL、サービスID、精度識別子を、モバイル機器O60に送信することが可能となる。
次に、本実施の形態のモバイル機器O60について説明する。
モバイル機器O60は、アンテナO61、RF−IDリーダライタO62、座標精度識別情報O63、CPU O64、プログラム実行部O65、データ処理部O66、メモリ部O67、表示部O68d、通信アンテナO68、送信部O70、受信部O71、通信部O72、位置情報記憶部O73、RF−ID記憶部O74、RF−ID O75、URL O76、再生部O77、相対位置演算部O78、座標情報送出部O79、記録部O80、建築物座標データ出力部O81、登録座標O82、判断部O83、基準座標O84、位置情報出力部O85、位置情報O86、向き情報O87、磁気コンパスO88、向き情報O89、衛星用アンテナO90、位置情報演算部O91、位置情報O92、位置情報補正部O93、向き情報補正部O94、角速度センサO95、角速度センサO96、角速度センサO97、加速度センサO98、加速度センサO99、加速度センサO100、積分器O105、積分器O106、絶対座標演算部O107で構成される。
アンテナO61は、近接無線通信可能なRF−IDを探索するために、不特定なRF−IDに向けて、給電を行う。また、応答があった場合には、RF−IDとの近接無線通信を確立して、RF−ID O50から送信される、変調された情報を受信する。
RF−IDリーダライタO62は、受信した情報を復調する。
座標精度識別情報O63は、受信した情報から、精度識別子を抽出する。
CPU O64は、モバイル機器のシステム制御を行う部分であり、モバイル機器の各構成要素の動作を制御する。
プログラム実行部O65は、受信した情報に含まれるサービスIDに基づき、プログラムを実行する。
データ処理部O66は、第1サーバから送信されるデータ処理を行う。
メモリ部O67は、データを一時記憶する。
表示部O68dは、メモリ部O67に記憶された情報を表示する。
通信アンテナO68は、インターネットなどの汎用のネットワークと接続する。
送信部O70は、インターネットなどの汎用のネットワークへ送信するデータの変調を行う。
受信部O71は、インターネットなどの汎用のネットワークから受信するデータの復調を行う。
通信部O72は、インターネットなどの汎用のネットワークを介して他の機器と通信を行うデータを作成・解析する。
位置情報記憶部O73は、本モバイル機器で測定した位置情報を記憶する。
RF−ID記憶部O74は、RF−ID O50から取得した製品ID、サービスIDを記憶する。
RF−ID検出部O75は、RF−ID O10からの応答を検出する。
URL O76は、RF−ID O50から受信した情報から、第1サーバのURLを抽出する。
再生部O77は、位置情報記憶部O73に記憶された情報を再生する。
相対位置演算部O78は、位置情報記憶部O73から再生した位置情報と、モバイル機器O60の現在の位置情報とから、相対位置情報を算出する。
座標情報送出部O79は、RF−ID検出部O75からトリガーを受けた時点での、モバイル機器O60の位置情報を送出する。
記録部O80は、座標情報送出部O79から送出された位置情報を、位置情報記憶部O73に書き込む。
建築物座標データ出力部O81は、通信アンテナで受信する建築物座標データを抽出する。
登録座標O82は、通信アンテナで受信する登録座標のデータを抽出する。
判断部O83は、登録座標O82で抽出した登録座標のデータの精度を判断する。
基準座標O84は、判断部O83の判断の結果、登録座標のデータが信頼できるなら、登録座標のデータを、基準座標と設定し、設定した基準座標データを、位置情報補正部O93に渡す。
位置情報出力部O85は、向き情報O87と、位置情報O86からの情報から、位置情報を作成し出力する。
位置情報O86と、向き情報O87とは、位置情報補正部O93と、向き情報補正部O94とで構成される絶対座標演算部O107から出力される、モバイル機器O60の位置情報である。
磁気コンパスO88は、方位を示す。
向き情報O89は、磁気コンパスO88の方位情報を作成する。
衛星用アンテナO90は、衛星と通信する(図481のGPS装置98j1xを参照)。
位置情報演算部O91は、衛星との通信結果から、モバイル機器O60の位置情報を演算する。例えば、緯度、経度、高度を求める。
位置情報O92は、位置情報演算部O91の演算結果から、位置情報を作成する。
位置情報補正部O93は、積分器O105と積分器O106とからの、位置情報の結果を、位置情報O92と、基準座標O84と、建築物座標データ出力部O81からの情報とで、補正する。
向き情報補正部O94は、積分器O105と積分器O106とからの、向き情報の結果を、向き情報O89からの情報で補正する。
角速度センサO95は、モバイル機器O60のx軸方向の角速度を計測する。
角速度センサO96は、モバイル機器O60のy軸方向の角速度を計測する。
角速度センサO97は、モバイル機器O60のz軸方向の角速度を計測する。
加速度センサO98は、モバイル機器O60のx軸方向の加速度を計測する。
加速度センサO99は、モバイル機器O60のy軸方向の加速度を計測する。
加速度センサO100は、モバイル機器O60のz軸方向の加速度を計測する。
積分器O105は、角速度センサO95と、角速度センサO96と、角速度センサO97との計測結果を、積分する。
積分器O106は、加速度センサO98と、加速度センサO99と、加速度センサO100との計測結果を、積分する。
絶対座標演算部O107は、位置情報補正部O93と、向き情報補正部O94とで構成され、モバイル機器O60の絶対座標を算出する。
以上のように、本実施の形態のモバイル機器O60は、RF−ID O50の製品情報と、製品情報を取得したときの、モバイル機器O60の位置情報を測定することが可能になり、前記位置情報と、RF−ID 50の製品情報を関連付けて、第1サーバO101に送信することができる。
また、受信した登録座標から設定した基準座標や建築物座標データと、位置情報O92で取得した位置情報や、向き情報O89で取得した情報により、本モバイル機器O60の現在の位置情報を補正することを可能にしている。
また、第1サーバO101の登録座標データと、第2サーバO103の建築座標データとを組み合わせて、モバイル機器O60で登録したRF−ID10の製品が設置された建築物の3D製品マップを作成することも可能になる。また、作成した3D製品マップを、表示部O68dに、表示することも可能になる。
次に、本実施の形態の第1サーバO101について説明する。
第1サーバO101は、インターネットなどの汎用のネットワークを介して、モバイル機器O60と接続されるサーバである。本第1サーバO101は、内部にRF−ID O 50を搭載した製品を管理する登録座標データO102を具備する。
登録座標データO102では、モバイル機器O60に紐付けられたRF−ID O10の情報を受信する。登録座標データO102では、モバイル機器O60を親機、RF−ID O50を子機器として、親機器に紐付けて管理する。また、子機器には、モバイル機器O60で取得した位置情報が付与されており、端末装置がどこに存在するかの情報を、同時に管理することが可能となる。また、第2登録サーバO103から受信する建築物座標データと、登録座標データO102とを組み合わせることにより、モバイル機器O60同様に、建築物に設置された3D製品マップを作成することも可能である。
次に、本実施の形態の第2サーバO103について説明する。
第2サーバO101は、インターネットなどの汎用のネットワークを介して、第1サーバO103と接続されるサーバである。本第2サーバO103は、内部には、現存する建築物の間取りと、各建築物の座標(例えば緯度、経度、高度)とを関連付けて管理する建築物座標データベースO104を具備する。
建築物座標データベースO104では、現存する建築物の間取りと、座標情報を保持することにより、第1サーバの登録座標データと組み合わせ、モバイル機器O60同様に、建築物に設置された製品の3D製品マップを作成することも可能である。また、建築物座標データベースO104は、個人情報として、第1サーバO101と別に、セキュリティ設定が高い(例えば、モバイル機器O60から直接通信できない設定がされた)サーバで管理することにより、個人情報の漏洩を低減することも可能である。
以上のように、本実施形態のシステムでは、RF−ID O50の製品情報が、モバイル機器O60によって、近接無線通信を介して読み出され、モバイル機器O60において、RF−ID O50にタッチして近接無線通信が可能となった位置情報と、RF−ID O50の製品情報とを対応付けて、第1のサーバに送信する。第1のサーバでは、モバイル機器O60を親機器、RF−ID O50と搭載した製品を子機器として対応付けを行って、管理することが可能となる。また、RF−ID O50と、搭載した製品の位置情報を用いて、各製品の相対位置を算出することにより、製品の3Dマップを作成することが可能になる。
また、建築物の間取りと、座標の情報とを、データベースとして保持する第2のサーバを設けることにより、第1のサーバで管理している、各製品の位置情報と組み合わせることにより、各建築物での、RF−ID O50を搭載した製品の3Dマップを作成することが可能になる。
また、モバイル機器O60は、受信した登録座標から設定した基準座標や建築物座標データと、位置情報O92で取得した位置情報や、向き情報O89で取得した情報により、本モバイル機器O60の現在の位置情報を補正することを可能とする。
次に、第1サーバO101に、RF−ID O50の製品情報を登録する手順を説明する。
モバイル機器O60で、RF−ID O50にタッチして、近接無線通信が可能なる状態にすると、モバイル機器O60からの給電で、RF−ID O50が動作する。
RF−ID O50は、給電がされると、記憶している、製品ID O51と第1サーバURLとサービスID O53と精度識別子O54の情報を変調して、モバイル機器O60に送信する。
モバイル機器O60は、アンテナO61で製品ID O51と第1サーバURLとサービスID O53と精度識別子O54を受信すると、RF−ID O62で復調する。
URL O75は、第1サーバURLを抽出して、通信部O72に、第1サーバURLの情報を渡す。
RF−ID記憶部O74は、製品ID O51とサービスID O53の情報を記憶する。
座標精度識別情報O63は、精度識別子を抽出して、判断部O83に渡す。
RF−ID検出部O75は、RF−ID O50から情報を受信したことを通知するトリガーを、座標情報送出部O79と、基準座標O84とに送る。
座標情報送出部O79は、トリガーを受けると、位置情報出力部O85から受けた、モバイル機器N60の位置情報を、通信部O72に渡す。
ここで、位置情報出力部O85が出力する、モバイル機器O60の位置情報について、説明する。
まず、角速度センサO95〜O97で計測した結果を、積分器O105で積分した結果と、加速度センサO98〜O100で計測した結果を、積分器O106で積分した結果とを、絶対座標演算部O107に入力する。
絶対座標演算部O107では、衛星用アンテナO90を用いて、位置情報演算部O91が演算した結果を保持している位置情報O92の情報と、磁気コンパスO88の示す方位の結果を保持している向き情報O89の情報を用いて、積分器O105、O106から入力された結果に対して、向き情報補正部O94と位置情報補正部O93とでの補正を行う。
次に、絶対座標演算部O107は、補正した絶対座標演算部O107向き情報O87と位置情報O86に出力する。
位置情報出力部O85は、向き情報O87と位置情報O86からの情報で、位置情報を作成する。
以上の手順で、モバイル機器O60は、位置情報を作成する。
次に、プログラム実行部O65は、RF−ID記憶部O74に記憶された製品ID、サービスIDを、通信部O72に渡す。
通信部O72は、座標情報送出部O79からの位置情報と、プログラム実行部O65からのされた製品ID、サービスIDを情報に含むデータを作成し、URL O76から受けた、第1のサーバのURLを、データのアドレスに設定して、送信部O70に渡す。送信部O70は、データを変調して、通信アンテナO68を介して、第1サーバO101に送信する。
第1サーバは、モバイル機器O60からデータを受信すると、データを復調する。
登録座標データO102では、モバイル機器O60を親機、RF−ID O50を子機として、親機であるモバイル機器O60に、子機であるRF−ID O50の製品ID O51と、サービスID O53と、モバイル機器O60がRF−ID O50の情報を取得したときの位置情報とを紐付けて、管理する。
次に、モバイル機器O60でRF−ID10が搭載し、かつ第1サーバO101にモバイル機器O60で登録済みの製品の3Dマップを作成する手順を説明する。
図463は、本実施の形態におけるRF−ID O50が搭載した製品の配置の一例を示す図である。
1階のリビングには、テレビO50Aと、BDレコーダO50Bと、エアコンO50Cとが配置され、1階の和室には、エアコンO50Dが配置され、2階には、テレビO50EとエアコンO50Fとが配置されている。
全製品に、RF−ID O50が搭載されている。また、前述した第1サーバO101に、RF−ID O50の製品情報を登録する手順で、全製品とも、モバイル機器O60を用いて、第1サーバO101の登録座標データに登録されているとする。
まず、モバイル機器O60の通信部O72は、第1サーバO101に、モバイル機器O60で登録した製品の情報を要求する製品情報要求データを作成する。
送信部O70は製品情報要求データに変調を行い、通信アンテナO68を介して、第1サーバO101に送信する。
第1サーバO101は、製品情報要求データを受信すると、モバイル機器O60を親機として紐付けて管理している子機の製品情報を含む製品情報応答データを作成して、モバイル機器O60に送信する。
ここでは、製品情報応答データには、テレビO50AとBDレコーダO50BとエアコンO50CとエアコンO50DとテレビO50EとエアコンO50Fの製品ID O51とサービスIDと位置情報が含まれている。
次に、第1サーバO101は、第2サーバO103にも、製品情報応答データと同じ情報を送信する。
第2サーバO103では、製品情報応答データに含まれる各製品の位置情報から、建築物座標データベースO104にある、同じ位置にある建築物の位置(座標)情報を含む画像データを抽出する。
図464は、建築物座標データベースO104から抽出した建築物座標データを示す図である。
建築物の間取りの画像と位置情報に含まれている。
第2サーバO103は、抽出した建築物座標データを、モバイル機器O60に送信する。
モバイル機器O60の受信部O71は、通信アンテナO68を介して、製品情報応答データを受信すると、復調して、通信部O72に渡す。
通信部O72は、データの内容を、プログラム実行部O65に渡す。
図465は、プログラム実行部O65で作成した製品の3Dマップの画像データの一例を示す図である。
プログラム実行部O65は、製品情報応答データの内容である、各製品の位置情報から、図465に示すような、製品の3Dマップの画像データを作成する。各製品の位置情報に基づいて、座標にマッピングし、また、製品ごとに異なるアイコンで、ユーザに一目分かるようにされた3Dマップである。
プログラム実行部O65は、作成した画像データを、データ処理部O66に渡す。
データ処理部O66は、画像データを、メモリ部O67に一時記憶する。
表示部O68dは、メモリ部O67に記憶している、図464に示す製品の3Dマップの画像データを、表示する。
次に、モバイル機器O60の受信部O71は、通信アンテナO68を介して、第2サーバO103からの建築物座標データを受信すると、復調して、建築物座標データ出力部O81に渡す。
建築物座標データ出力部O81は、建築物座標データを解析して、表示部O68dに渡す。
図466は、3Dマップの一例を示す図である。
表示部O68dは、図464の画像データと、既に表示している図465の画像データとを組み合わせた、図466に示す製品の3Dマップの画像データを表示する。
以上のように、モバイル機器O60を保有するユーザに、一目で分かる、製品の3Dマップが作成できる。
次に、モバイル機器O60で建築物座標データを用いて、モバイル機器O60の位置情報を補正する手順について説明する。
ここでは、第1サーバO101に、図463のエアコンO50Dの製品情報を登録する場合を例に、説明する。
なお、第1サーバO101が、モバイル機器O60からに製品ID、サービスIDを情報に含むデータを受信するまでの前述した手順と同様なので省略する。
第1サーバO101は、エアコンO50Dの製品情報を取得すると、取得したエアコンO50の位置情報を、第2サーバO103に送信する。
第2サーバO103は、エアコンO50Dの位置情報に該当する、図464の建築物座標データを、建築物座標データベースO104から抽出し、第1サーバに送信する。
第1サーバは、登録する製品が、エアコンなど、壁に固定する製品の場合には、建築物座標データとエアコンの位置情報とを比較して、エアコンの位置情報が、壁に近くない場合には、建築物座標データを、モバイル機器O60に送信する。
モバイル機器O60の受信部O71は、建築物座標データで受信すると、復調して、建築物座標データ出力部O81に渡す。建築物座標データ出力部O81は、建築物座標データと、エアコンの位置情報とから、補正すべき位置情報を決定して、位置情報補正部O93に渡す。
位置情報補正部O93は、建築物座標データ出力部O81から受けた位置情報を基に、現在のモバイル機器の位置を補正する。
次に、モバイル機器O60は、補正した現在位置の情報で、第1サーバO101に、エアコンO50Dの登録を行う。
以上のように、建築物座標データベースの位置情報と、モバイル機器O60で測定した位置情報とを比較し、モバイル機器O60で測定した位置情報が、ズレを有するかを判定して、モバイル機器O60の位置情報を補正することが可能なる。
なお、上述の説明では、第1サーバO101が、第2サーバO103から、建築物座標データを取得して、判定したが、これに限定されるものではい。例えば、モバイル機器O60が、第1サーバO101に登録するデータを送信する前に、モバイル機器O60が、第2サーバO103から、建築物座標データを取得して、エアコンO50Dと、建築物座標データを比較して、補正の要否を判断してもよい。
次に、モバイル機器O60で、精度識別子を用いて、モバイル機器O60の位置情報を補正する手順について説明する。
ここでは、既に、第1サーバO101に製品情報が登録済みである、図463のエアコンO50Cに、モバイル機器O60がタッチした場合を例に説明する。
モバイル機器O60は、アンテナO61で、エアコンO50CのRF−ID O50の製品ID O51と第1サーバURLとサービスID O53と精度識別子O54を受信すると、RF−ID O62で復調する。
モバイル機器O60は、この時点では、第1サーバO101にエアコンO50Cの製品情報が登録されているか分からないので、前述した商品登録の手順で、第1サーバO101に位置情報と製品IDとサービスIDを情報に含むデータを送信する。
第1サーバは、モバイル機器O60からデータを受信すると、データを復調する。
登録座標データO102では、既に、エアコンO50Cが商品登録済みであると判断すると、登録座標データO102のエアコンO50Cの位置情報を含むデータを作成して、モバイル機器O60に送信する。
モバイル機器O60の受信部O71は、通信アンテナO68を介して、エアコンO50Cの位置情報を受信すると、復調して、登録座標O82に渡す。
登録座標O82は、エアコンO50Cの位置情報を含むデータから、位置情報を抽出すると、判断部O83に渡す。
判断部O83は、座標精度識別情報O63から受けるRF−ID O50の精度識別子O54を参照して、登録座標O82から受ける位置情報を、基準座標とするか判断する。
図467は、精度識別子ごとの、判断部O83の処理を示す図である。
精度識別子は、予め図467に示すように、製品ごとに異なる精度識別子O54が、RF−ID O50に設定されている。
ここでは、エアコンO50Cの精度識別子O54なので、「高」が設定されている。
判断部O83は、モバイル機器O60の位置補正を行うと判定し、登録座標O82から受けた位置情報を、基準座標O84に渡す。
ここで、精度識別子O54なので「低」の場合には、モバイル機器O60は、位置情報の補正は必要ないと判定し、判定結果を、第1サーバO101に通知し、第1サーバでは、新たなエアコンO50Cの位置情報を、登録座標データに記憶して、処理を終了する。
基準座標O84は、RF−ID検出部O75からトリガーを受けているなら、登録座標O82から受けた位置情報を、位置情報補正部O93に渡す。
位置情報補正部O93は、基準座標O84から受けた位置情報を基に、現在のモバイル機器の位置を補正する。
次に、モバイル機器O60は、位置情報が完了したことを、第1サーバO101に通知して、処理を終了する。
以上のように、建築物座標データベースの位置情報と、モバイル機器O60で測定した位置情報とを比較し、モバイル機器O60で測定した位置情報がズレを有するかを判定して、モバイル機器O60の位置情報を補正することが可能になり、不必要な位置情報の更新を回避できる。
また、座標の精度は高いグループは、一度設置したら、設置場所を変更しない製品を設定することにより、精度の信頼性を高める。
なお、精度は高いグループでも、予め設定した回数だけ、位置情報がズレている場合には、モバイル機器O60の位置情報を補正せずに、登録座標データO102に登録済みの位置情報を補正してもよい。
なお、上記の説明では、モバイル機器O60で、精度識別子を用いて、補正の判断をしたが、第1サーバO101に精度識別子を送信し、第1サーバO101で補正の判断をしてもよい。
次に、モバイル機器O60で、製品の位置情報を、相対位置で管理する手順を説明する。
ここでは、最初に登録する、テレビO50Aの位置情報を基準点に、その後、商品登録する製品である、BDレコーダO50Bの相対的位置情報を作成する。
まず、モバイル機器O60は、アンテナO61で、テレビO50AのRF−ID O50の製品ID O51と第1サーバURLとサービスID O53と精度識別子O54を受信すると、RF−ID O62で復調する。モバイル機器O60の座標情報送出部O79は、RF−ID O50を検出したときの位置情報を、記録部O80に送出する。
記録部O80は、位置情報を受けると、位置情報記憶部O73に記憶する。
その後、モバイル機器O60は、上述した製品登録の手順に従い、第1登録サーバO101に、テレビO50Aの製品情報を登録する。
次に、モバイル機器は、BDレコーダO50Bの製品登録を行う。
まず、モバイル機器O60は、アンテナO61で、BDレコーダO50BのRF−ID O50の製品ID O51と第1サーバURLとサービスID O53と精度識別子O54を受信すると、RF−ID O62で復調する。
モバイル機器O60の座標情報送出部O79は、BDレコーダO50BのRF−ID O50を検出したときの位置情報を、記録部O80と相対位置演算部O78とに送出する。
記録部O80は、位置情報記憶部O73には、テレビO50Aの位置情報を記憶しているので、BDレコーダO50Bの位置情報を記録しない。
相対位置演算部O78は、座標情報送出部O79から位置情報を受けると、再生部O77を介して、位置情報記憶部O73に記憶しているテレビO50Aの位置情報を取得する。
次に、相対位置演算部O78は、再生部O77から取得した、テレビO50Aの位置情報を基準に、BDレコーダO50Bの相対的な位置情報を算出し、算出した結果を、位置情報記録部に記憶する。
以上の手順で、ある特定の製品の位置を基準にした相対的位置情報を求めることができる。
なお、上記の説明では、モバイル機器O60で、相対位置情報を記憶したが、これに限定されるものではない。モバイル機器O60は、相対位置情報を、第1サーバO101に送信し、登録座標データO102で管理してもよい。
なお、上記の説明では、最初に製品登録したテレビO50Aの位置情報を基準位置としたが、これに限定されるものではない。
例えば、予めユーザにより設定された位置を基準点としてもよい。例えば、建築物の玄関の位置などでもよい。また、モバイル機器O60が、テレビのリモコン端末の場合には、該当するテレビの位置を基準点としてもよい。
図468と図469に、本実施の形態の3Dマップの処理フローの一例を示す。
図468は、3Dマップの処理の処理フローの前半部の一例を示す図である(S421〜S428)。
図469は、3Dマップの処理の処理フローの後半部の一例を示す図である(S431〜S434)。
なお、本実施の形態では、モバイル機器O60の位置情報記憶部O73は、相対的な位置情報を記憶したが、これに限定されるものではない。例えば、モバイル機器O60の座標情報送出部O79は、常に、モバイル機器O60の測定した位置情報を、記録部O80に送り、記録部O80は、位置情報を、位置情報記憶部O73に記録する。位置情報記憶部O73は、本モバイル機器O60の位置情報を蓄積する。その場合、プログラム実行部O65は、位置情報記憶部O73に蓄積された位置情報から、本モバイル機器O60の軌跡情報を作成する。これにより、軌跡情報から、本モバイル機器O60の行動が推定できる。
なお、本実施の形態では、図467の精度識別子の2種類の分類に従って、判断部O83の処理を行ったが、これに限定されるものではない。例えば、2種類以上の製品分類を設けて、分類ごとに、異なる位置情報のズレの大きさの閾値を定義して、補正の要否を判定してよい。
なお、本実施例と、他の実施の形態とを組み合わせてもよい。例えば、実施の形態B2の通信装置M1101Sの機能を、RF−ID O50を搭載した製品に組み込み、ホームIDを共有するときに、3Dマップも共有してもよい。この場合、3Dマップを、予め、モバイル機器O60から、NFC通信機能で取得しておく。
なお、本実施の形態では、テレビ・BDレコーダ・エアコンなどのRF−ID O50を搭載したが、これに限定されるものではない。
図470は、RF−ID O50を搭載した製品O50G〜O50Nで構成されているシステムを示す図である。
また、製品O50G〜O50Nは、特定小電力無線通信デバイス(例えば、Zigbee)を搭載し、各製品間で、電波が受信可能な範囲で、直接通信が可能とする。また、製品O50G〜O50Nは、RF−ID O50を介して、モバイル機器O60から、製品の、製品O50G〜O50Nで構成された製品配置の3Dマップを取得しているとする。また、別方法として、製品O50G〜O50Nは、通信アンテナO68を保持し、インターネット経由で、製品配置の3Dマップを取得してもよい。
ここで、製品O50Hが、製品O50Kに、特定小電力無線通信でデータを送信する場合について説明する。特定小電力無線通信デバイスは、通常は、省電力の観点から、スリープモードで動作している。スリープモードは、電源が定期的にON・OFFの切り替わるモードである。また、各製品のON・OFF切り替えタイミングは、同期が取れている。
製品O50Hの特定小電力無線通信デバイスは、送信するデータが発生すると、アウェイクモードに切り替える。アウェイクモードは、常に電源をONするモードである。
製品O50Hは、予め取得している、製品O50G〜O50Nの製品配置の3Dマップを参照する。製品O50Hは、製品配置の3Dマップから、自機と製品O50Kとの間に位置する製品を調べる。ここでは、3Dマップの情報から、製品O50Jを、データ中継する中継製品とする。
製品O50Hは、製品O50Jに対して、アウェイクモードに切り替える指示を行う。
製品O50Hは、製品O50Jに、製品O50H宛のデータを送信する。
製品O50Jは、製品O50H宛のデータを受けると、製品O50Hに転送して、その後、スリープモードに切り替える。
以上のように、製品O50Hは、3Dマップを用いて、データを送信する場合の中継製品を決定し、決定した製品O50Jのみ、アウェイクモードに切り替える。これにより、不必要な他の製品を、アウェイクモードに切り替える必要がない。3Dマップがない場合には、製品O50Hは、製品O50Kまでの経路を確立するために、全製品をアウェイクモードに切り替え、経路探索を行う必要がある。
なお、実施例の図では、建築物として、家の、ワイヤフレームの3Dデータを用いて説明したが、家データは、個人情報であるとともに、旧い建築物では、家の3Dデータは作成されていない。このため、家の3Dデータの入手が一般家庭で可能となるまでの当面の間においては、家の3Dデータを用いないで、家の間取りを入手する方法が必要となる。
家の3Dデータがない状態では、家に相当する空間位置に、エアコンを数台配置した図を示している。家の3Dデータがないため、エアコンが取り付けられた部屋の間取りがわからない。
本発明のAPE対応のRF−IDを取り付けたエアコンに、超音波センサや、赤外センサなどの、距離や配置の検出手段を取り付けると、エアコンと、部屋の壁や、家具との相対位置が測定できる。このエアコンのRF−ID部に、本発明の3Dマッピング機能を持つ携帯装置を、接触させた時点で、RF−IDから、製品名や製造番号、Macアドレス認証鍵を読み出し、サーバに送る時に、携帯装置自体の位置の3D絶対座標データを、エアコンに送るか、サーバに送る。前述の部屋の相対位置の座標データと、この絶対座標データとを用いて較正すると、このエアコンと部屋の絶対座標の3Dデータもしくは2Dデータの配置図が得られる。数台ある、それぞれのエアコンの3D座標データを集めると、家の中の、エアコンのある部屋の、3Dもしくは2Dの配置を示す座標データ、つまり、ワイヤーフレームデータが得られるという効果がある。
Macアドレスや認証鍵という、他の機器との接続用の認証データも得られるため、ネットワークを介して、TVやDVDレコーダや冷蔵庫等の、家庭内の機器と、自動的に接続認証することができる。この端末は、エアコンでなくとも、家庭内の電気電子機器でよい。空気清浄機に測距センサを取り付けてもよい。しかし、エアコンのように、家庭内で固定されて設置された機器の方が、座標データが変わらないため、望ましい。この例では、エアコンのある部屋の3D座標データしか入手できないが、この携帯装置を持って、家の中を人が動き回るため、3次元の軌跡データが入手できる。この、座標の軌跡データを、サーバ等で分析することにより、各部屋の出入口の場所や、廊下の場所、他の場所の存在が、サーバの演算により推定できるため、家の配置を示す3Dデータを増加させることができる。この方法により、家の建築物の3Dの座標データがなくても、家の3Dワイヤーフレームデータが作成できるという効果がある。また、携帯装置のRF−ID部を、玄関のRF−ID読み取り機にタッチして、鍵を開ける方式において、この時、玄関の読み取り機のサーバ、もしくは、読み取り機に記録された位置精度が高い場合、座標精度識別子が高いことを示している。これをチェックすることにより、精度が高いことが分かるので、タッチした時点で、絶対座標を較正することにより1回のタッチで、鍵の開閉チェックと、座標の較正が行われるという効果がある。
なお、先述のように、向き情報O89からの情報で、補正がされる。つまり、向き情報O89は、情報を示すと考えられてもよいし、その情報の処理を行う機能ブロックを示すと考えられてもよい。適宜、他の符号についても同様である。
(実施の形態B6)
本発明の実施の形態B6について述べる。
図471は、本実施の形態において想定しているホームネットワーク環境について示す図である。
複数の無線ホームネットワークが、それぞれの宅内M2002、M2003、M2004、M2005に構成され、各ホームネットワークは、インターネットM2006を介して、登録サーバM2001に接続されている。
なお、ホームネットワーク内でのサービスが、宅内に限定される場合には、登録サーバM2001は、宅内に存在してもよい(図478のサーバ(ホームサーバ)99Aを参照)。
それぞれの無線AP(M2007、M2008、M20014、M2015、M2016)は、他のホームに対しても、電波が到達しており、それぞれのホームに存在する、インターネットに接続するTV(M2009、M2010、M2017、M2018)や、DVDレコーダ(M2011、M2019)や、デジタルカメラM2012からは、複数の無線APに、物理的に接続可能な環境にあることを想定する。
さらに、本実施の形態では、携帯電話M2013などのモバイル端末も、ホームネットワークを構成している端末とする。
そして、本発明における各機器は、近接無線通信デバイスを通して相互に、簡単なデータ通信が可能なものとし、各機器の情報を、近接無線通信デバイスにより取得し、ホームネットワークデバイスを通して、登録サーバM2001に登録するものとする。
図472は、本発明を実施する端末のハードウェア構成図を示す図である。
本発明における通信装置M2101(図480の携帯型通信装置98Bを参照)は、通信デバイスとして、2つのデバイスを搭載しているものとする。
1つは、近接無線通信デバイスM2102であり、一般的には、Near Field Communication(以下:NFC)や、RFタグといわれるものである。
もう1つは、インターネット通信デバイスM2103であり、宅内機器連携に用いられる無線Local Area Network(以下:無線LAN)や、ZigBeeなどの無線通信デバイス、Ethernet(登録商標)や、Power Line Communication(以下:PLC)などの有線通信デバイス、および、WiMaxや3GPPなどの、モバイル機器に利用される通信デバイスである。
さらに、通信装置は、ユーザインタフェースデバイスM2104を備えるものとする。
ここで、ユーザインタフェースデバイスとは、ボタンなどの入力デバイス、および、ディスプレイ、LEDなどの出力デバイスを示したものである。
なお、TVやエアコンなどの機器では、入出力は、リモコンで行うことが一般的であり、物理的には離れているものであるが、本発明では、説明の簡単化のため、ユーザIFデバイスとして扱うものとする。
さらに、通信装置は、自端末の地理的な位置情報を取得できる、GPSなどの位置情報取得デバイスを備えるものとする。なお、モーションセンサ等を用いて、正確な位置情報を知ることができれば、本発明の効果は、より大きくすることができる。
図473は、CPU(M2106)上で動作する機能を説明する機能ブロック図である。
通信装置M2101内の無線接続要請取得部M2202は、登録機器M2201から、実施の形態B1におい、機器固有IDを含む情報を取得するのと同様のタイミングで、無線接続要請を取得するものとする。なお、ただし、登録時には、無線接続を行わずに、後で、無線APへの接続要請が発生した場合には、この限りでは無い。
登録機器M2201は、無線接続要請および機器固有IDを含む無線接続要請情報を、無線接続要請送信部M2203から送信しているものとする。
無線接続要請取得部M2202から、機器固有IDおよび無線接続要請を含む無線接続要請情報を取得した、無線AP情報要請作成部M2204は、ホームID管理部M2205よりホームIDを取得し、位置情報取得部M2206から、位置情報を取得して、無線AP情報要請を作成する。
ここで、位置情報とは、携帯電話のGPSによって取得できる、地理的な位置情報を指しており、近接無線で通信した直後の通信装置は、登録機器と極めて隣接しているため、通信装置の位置情報と、登録機器の位置情報とは、ほぼ等しいと考えることができる。
これにより、登録機器は、自端末に、GPSなどの位置情報取得デバイスを内蔵するというコストを削減することが可能となる。
無線AP情報要請作成部M2204より、無線AP情報要請を受け取った無線AP情報通信部M2207は、登録サーバに向けて、無線AP情報要請を送信する。
無線AP情報要請を受信した登録サーバは、登録サーバに含まれる位置情報に応じて、その位置に最も近いと想定される無線APの情報、および、その無線APにアクセスするための認証鍵を送信する。
なお、無線AP情報データベースには、各ホームで利用されている無線APの情報(MACアドレス、位置情報など)、および、認証鍵が登録済みのものとする。
登録は、無線AP自身が行っても良いし、無線APに接続している他の機器が行ってもよい。
ここで、無線APの情報とは、無線APのMACアドレスなどを指し、認証鍵とは、無線LANにおけるWEPキーなどを指す。
ここで、ホームIDにより識別するのは、位置的には近いが、別の家の無線APを返すのを防ぐためであり、位置情報により識別するのは、ホームIDは一緒だが、位置的に接続するのが難しい無線APを返すのを防ぐためである。
情報を受け取った無線AP情報通信部M2207は、設定プログラム作成部M2210に転送する。
設定プログラム作成部M2210では、受け取った情報を基に、登録機器が自動的に無線APへのアクセス設定するプログラムを作成する。
ここで、プログラムとは、単に、情報のみではなく、受信すると、自動的に無線APへ設定する動作を行うものを指す。
こうすることにより、ユーザは、登録端末で操作をすることなく、無線APへの設定を完了させることができる。また、登録機器メーカは、登録機器側に、複雑な操作を必要とするユーザインタフェースを搭載する必要が無い。
また、通信装置M2101は、近接無線通信デバイスM2102を用いて、登録機器M2201にプログラムを送るものとする。
こうすることにより、登録機器M2201が、インターネットもしくはホームネットワークへの接続設定ができていない場合でも、安全に、プログラムを転送することが可能となる。
登録機器M2201内でプログラムを受信した設定プログラム実行部M2211は、無線AP(M2212)に、設定に必要なパケットを送信し、設定を完了する。
図474は、無線接続要請の処理を表すシーケンス図である。
デジタルカメラM2012など、登録機器M2201を無線接続したいと思ったユーザは、登録機器M2201の機器固有IDと、無線接続要請とを、近接無線通信を用いて、位置情報を取得可能なGPSなどのデバイスを備え、かつ、登録サーバへ通信可能な、携帯電話M2013などの通信装置M2101に送る。
ユーザは、自分のホームIDと、位置情報とを、通信装置M2101で付加して、登録サーバM2001に送信する。
なお、ここで、ホームIDは、通信装置M2101に備えたユーザIFデバイスM2104で入力してもよいし、通信装置に登録しておいてもよい。また、通信装置に固有のIDを、ホームIDとしてもよい。
登録サーバM2001は、送られてきた情報から、登録機器がアクセスすべき最適な無線APの情報と、アクセスに必要な認証鍵を返信する。
なお、これらの情報のやりとりは、携帯電話における3Gインターネット通信デバイスなどの、確実かつ安全に転送できるものであることが好ましい。
通信装置M2101は、送られてきた情報に、登録機器において自動的に無線APへの接続設定が完了するような、設定コマンドを付加して、登録機器M2201に対して、近接無線通信デバイスにて転送する。
転送された登録機器M2201送られてきた認証鍵を用いて、ホームNW無線通信デバイスの設定を自動的に完了する。
ここで、ホームNW無線通信デバイスとは、無線LANや、ZigBeeなどの、ある特定範囲の複数の機器から、接続可能なデバイスであり、接続するのに、認証処理が必要なものを指す。登録サーバM2001より、安全・確実な経路で、認証鍵をもらうことにより、ユーザは、認証鍵の入力といったような、複雑な操作をすることなく、安全に、無線APへの設定を完了することができる。
図475は、無線接続要請に対する、通信装置における処理を表すフローチャートである。
登録要求を受信した通信装置M2101は、登録要求内に、無線接続要請が含まれるかどうかを判断する(M2301)。
含まれない場合には(M2301:NO)、実施の形態B1と同様の処理を行うものとし、本実施の形態特有の処理は終了する。
なお、既に登録済みの機器の無線接続要請のみを受信する場合においても、本発明は有効である。
無線接続要請が含まれていた場合には(M2301:YES)、登録要求および位置情報を含む無線接続要請を作成する(M2302)。
通信装置M2101は、作成した無線接続情報を、登録サーバM2001に送信し(M2303)、応答を待つ。
応答を受信できなかった場合には(M2304:NO)、要請失敗をユーザに通知し(M2305)、処理を終了する。
応答が受信できた場合には(M2304:YES)、応答の中に、無線APの情報があるかどうかを判断し(M2306)、なかった場合には(M2306:NO)、アクセス可能な無線APが存在しないことを、ユーザに通知し(M2307)、処理を終了する。
なお、無線接続要請には、判定条件を設定してもよいし、複数の無線APを返してもらってもよい。そうすることにより、単に、近いだけ以外の、ユーザの所望の返事を得ることが可能となる。無線APの情報があった場合には、無線AP設定プログラムを作成し(M2308)、近接無線で送信する(M2309)。
(実施の形態B7)
本発明の実施の形態B7として、無線通信デバイスのチャンネルの設定を、効率化する方法について述べる。現在のホームネットワーク用の無線通信デバイスは、自律分散的に、チャンネルの設定を行うため、その場で得られる局地的な情報のみで、チャンネルの設定が行われる。HEMSなどの登場により、多くの家庭が、24時間、無線を利用するような状態では、このような設定方法は、非効率であり、近隣の家庭のチャンネル設定状況を踏まえて、チャンネル設定を行うことが好ましい。
図476は、チャンネル設定におけるネットワーク環境図を示した図である。
登録サーバには、無線AP(図485の処理装置96a、図378のアクセスポイント99cを参照)の情報(MACアドレス、ホームID、位置情報、認証鍵)に加えて、チャンネル情報と、セル半径とを追加するものとする。
ここで、位置情報は、無線APの位置情報でもよいし、家庭単位での各家電機器の中心点でも良い。
セル半径は、各家電機器が全体として周囲に干渉する範囲を表す情報である。
これらの情報を用いることにより、各無線デバイスは、最適なチャンネルを選択することができる。
図477は、チャンネル設定における機能ブロック図である。
実施の形態B6の機能に、干渉情報送信部M2250と、干渉情報データベースM2251とを加えたものとなっている。干渉情報送信部M2250は、自端末の周囲のチャンネル干渉情報を送信するものであり、これにより、登録サーバに登録されていない機器や、無線APの存在を推定することが可能となる。この情報を、サーバに送信することによって、サーバを用いたチャンネル設定の有効性が、自律分散より低いものになってしまうことを回避することが可能となる。チャンネル設定要請のシーケンスは、無線接続要請と同様である。登録サーバM2001では、送られてきた情報を基に、隣接する家庭と、同一チャンネルになる可能性が最も低いチャンネルを選んで、送信する。チャンネル選択のアルゴリズムは、将来的なチャンネル配置を推定してでのアルゴリズムでもよいし、現在の情報からのみ選んでもよい。
なお、先述のように、図440に示される端末装置Y01は、冷蔵庫(例えば、図427の冷蔵庫M1013等)、電子レンジ(電子レンジM1012)、洗濯機などの、電子的な端末機器である(図480の機器98aなどを参照)。
なお、この端末装置Y01は、例えば、インターネットに接続するTV(図427のテレビM1008など)等ではない、一般的に、汎用のネットワークY02N(図440、図427のインターネットM1004等)に接続されていない種類の端末機器(冷蔵庫M1013、電子レンジM1012など)でもよい。
そして、先述のように、端末装置Y01のメーカ側で、端末装置Y01の不具合の発生の可能性があると判定される場合において、サーバY04(図440)の機器管理DB Y041(図440、図442)が紐解かれる。そして、こうして、紐解かれれば、端末装置(機器)Y01が、どこに存在するか(端末装置Y01の位置、端末装置Y01を利用するユーザの携帯電話端末の製造番号など)が分かり、製品回収時間(端末装置Y01の回収に要する時間)を短縮し、不具合の、実際の発生を防ぐことが可能となる。これにより、製品使用の安心、安全に繋げることが可能となる。
なお、ここで、端末装置Y01がどこに存在するかとは、例えば、例えば、複数の住宅(図427の宅内M1001〜M1003を参照)のうちの、何れの住宅における位置に存在するか、または、その住宅のなかの複数の位置(例えば図447を参照)のうちの、何れの位置に存在するかなどでもよい(後述される、第1の位置情報、第2の位置情報などを参照)。
また、通信装置Y02(図480の携帯型通信装置98bを参照)が、携帯電話端末(例えば、図427の携帯電話M1014)などのように、表示機能がある装置である場合が考えられる。この場合には、不具合の可能性がある端末装置Y01が、複数のユーザの、複数の通信装置Y02のうちの、どの通信装置(機器)Y02と近接無線通信が可能であったかが分かることにより、次の処理ができる。その処理とは、端末装置Y01の不具合情報を、近接無線通信が可能であったことが分かった、対応する通信装置Y02に、サーバY04等が表示させる処理である。こうすれば、一般的に、表示機能がなく、汎用のネットワークに接続されていない端末装置Y01(冷蔵庫M1013、電子レンジM1012など)の不具合情報を、その端末装置Y01に対応する通信装置Y02に送信することで、その端末装置Y01を使用するユーザに、啓発を行うことができる。これにより、その端末装置Y01を使用するユーザの、より十分な安心、安全に繋がる機器(端末装置Y01)の提供を可能とできる。
従って、メーカ側で、端末装置Y01が不具合を起こし得ると判定したときに、端末装置Y01の回収が容易になったり、不具合の可能性があること(不具合情報)を、対応する通信装置Y02の表示部(例えば、図440の表示部Y02x)に表示するなどすることが可能となる。これにより、ひいては、製品(端末装置Y01)の、高いトレーサビリティを実現し、十分に安心、安全な機器(端末装置Y01)を提供することを可能とできる。
つまり、本システムにおいて、例えば、次の動作がされてもよい。ここで、次の動作は、例えば、ある局面でのみ行われてもよい。また、次の動作も、単なる一例である。
つまり、住宅(図447、図427の宅内M1001の住宅、図480の住宅99などを参照)のなかに、冷蔵庫M1013、電子レンジM1012などの装置(家電、白物家電)があってもよい。
装置Y01(図440に示される端末装置Y01、図480の機器98aなどを参照)は、例えば、これら、冷蔵庫M1013等のうちの1つである。
ここで、装置Y01のある住宅(宅内M1001の住宅)は、複数の住宅のうちの、その装置Y01を購入したユーザの住宅である。つまり、装置Y01のユーザは、それら、複数の住宅の、複数の人間のうちの、装置Y01のある住宅の人間である。
ここで、装置Y01を製造したメーカ等により、それらの複数の人間の情報(例えば、氏名、住所等)のうちで、装置Y01を購入した、装置Y01ユーザである人間の情報(図480の送信情報98o1などを参照)が利用されることがある。
つまり、装置Y01に、故障の可能性があると判定される場合に、装置Y01の回収、故障情報の、ユーザへの提供などの、装置Y01の故障の可能性の判定に応じた、メーカによる行動がされることがある。
そして、この行動において、ユーザの情報(例えば住所など)が利用されることがある。
なお、従来例においては、このような、利用される、ユーザの情報としては、例えば、ユーザの電話番号、住所、氏名などが考えられる。
そして、このような、ユーザの情報は、例えば、メーカが有するサーバY04(図440、図427の登録サーバM1005参照)に記憶されることも考えられる。
しかしながら、ユーザの情報が、メーカのサーバY04等へ送信される際には、ユーザの煩雑な行動が不要などで、容易に送信できることが望ましい。
しかも、このような、ユーザの情報は、例えば、当該ユーザの携帯電話端末(例えば、図427の携帯電話M1014)などの通信装置Y02(図440)が有する、当該通信装置Y02の製造番号(図440の製造番号Y025Nを参照)などでも足りることが多いと考えられる。
しかも、近年では、住宅において、近接無線通信(例えば、RFIDやICタグで用いられる通信)の機能が設けられた通信装置Y02(例えば、図427の携帯電話M1014)があることが多い。
そして、装置Y01を購入しない人間(図480における、機器98aが設置された住宅99の人間とは別の、住宅99の人間が所有する携帯電話等とは別の携帯電話等を所有する人間の、別の住宅991などを参照)の通信装置Y02は、例えば、装置Y01へのタッチがされないなどで、装置Y01との間での近接無線通信を確立しないと考えられる。つまり、購入したユーザの通信装置Y02のみが、装置Y01にタッチされるなどして、装置Y01との間での近接無線通信を確立すると考えられる。
そこで、通信装置Y02において、装置Y01との間での近接無線通信が確立されたことが検出されてもよい(図440のアンテナY021、図441のSY01〜SY03)。
そして、確立されたと検出された場合に、通信装置Y02が有する、製造番号Y025N等の情報が、近接無線通信が確立された装置Y01のユーザの情報として、装置Y01のメーカのサーバY04に送信されてもよい(通信部Y036、図441のSY09)。
なお、つまり、例えば、確立が検出されない場合には、この情報の送信がされなくてもよい。
これにより、単に、購入がされて、近接無線通信が確立されるだけで、ユーザの煩雑な行動が必要になることなく、購入したユーザの情報が容易にサーバY04に送信できる。
しかしながら、住宅においては、複数の装置Y01が設けられる。このため、複数の装置Y01の、複数のメーカにより、複数のサーバY04が設けられることが考えらえる。
このため、それら複数のサーバY04のうちの不適切なサーバY04に送信がされ、適切なサーバY04に送信されない恐れが考えられる。
しかも、ひいては、例えば、ユーザが、キーボード等により、適切なサーバY04を特定する情報(図450のアドレスY01Uaを参照)を入力する必要が生じてしまことも考えられる。
そこで、例えば、より具体的には、次の動作がされてもよい。
つまり、装置Y01が、ユーザにより購入された場合には、例えば、装置Y01に対して、そのユーザの通信装置Y02がタッチされるなどして、装置Y01と、ユーザの通信装置Y02との距離が、閾値(例えば、数センチメートル)よりも近い距離になると考えられる。
そこで、冷蔵庫M1013,電子レンジM1012等(装置Y01)において、次の機能が設けられてもよい。つまり、装置Y01が、ネットワークY02N(図327)に接続されない冷蔵庫M1013等であるにも関わらず、ネットワークY02Nにおける複数のサーバY04のうちから、その装置Y01のメーカのサーバY04を特定する、図440の情報Y015D(図450のアドレスY01Ua)を記憶してもよい。
そして、装置Y01が、近接無線通信が確立された場合に、確立された近接無線通信を介して、記憶される当該情報Y015Dを送信してもよい。
そして、通信装置Y02において、当該通信装置Y02と、装置Y01との距離が、閾値よりも近い距離である場合に(図440のアンテナY01、図441のSY01〜SY03)、次の処理がされてもよい。
つまり、通信装置Y02と、装置Y01との間での近接無線通信が確立された場合において、次の処理がされてもよい。
すなわち、近接無線通信が確立されたことが検出された場合に、次の処理がされてもよい。
つまり、確立が検出された場合において、近接無線通信を介して、装置Y01(冷蔵庫M1013等)により送信される、装置Y01のメーカのサーバY04を特定する情報Y015D(図327、図450のアドレスY01Ua、先述)が取得されてもよい(図441のSY04)。
そして、複数のメーカなどによる、複数のサーバY04のうちで、取得される情報Y015Dにより特定されるサーバY04に対して、当該通信装置Y02(メモリ Y024)が有する情報(図440の製造番号Y025N、情報Y036D、図442の情報Y051)が、通信装置Y02のユーザにより購入された、通信装置Y02に対する距離が(比較的)近い距離の装置(装置Y01)のユーザの情報として、送信されてもよい(通信部Y036、図441のSY09)。
なお、送信される情報は、例えば、先述のように、送信の後において、装置Y01のメーカにより、適宜利用され、例えば、その情報(製造番号Y025N)を有する通信装置Y02への通信(例えば電話など)がされてもよい。
具体的には、例えば、送信された情報が、メーカのサーバY04が有する機器管理DB Y041(図327)により記憶されてもよい(図442等を参照)。
これにより、単に、ユーザにより、装置Y01が購入され、通信装置Y02との間の距離が、閾値以下の距離になるだけで、装置Y01のメーカのサーバY04に、購入したユーザの情報(製造番号Y025N(情報Y025D)、情報Y036D)が送信され、容易に、装置Y01を購入したユーザの情報の送信ができる。
しかも、装置Y01により、アドレスY01Ua(図450)等が、近接無線通信で送信され、通信装置Y02により、送信されるアドレスY01Ua等が取得される。これにより、複数のメーカの、複数のサーバY04などの複数のサーバY04のうちから、取得されるアドレスY01Ua等により特定されるサーバY04への送信がされて、確実に、適切なサーバY04への送信ができる。
しかも、ユーザが、キーボードで、アドレスY01Uaを入力する必要等もなく、容易に、適切なサーバ04への送信ができる。
なお、これにより、ひいては、装置Y01の、メーカにとってのトレーサビリティが高くできる。
なお、具体的には、送信される、通信装置Y02の製造番号Y025Nが含まれる情報Y036D(図440)が、先述された、通信装置Y02の製造番号Y025Nと共に、距離が、近い距離である、装置Y01の製造番号Y015Nなどの、他の適切な情報も、さらに含んでもよい。
これにより、例えば、送信される情報Y036Dにより、当該情報Y036Dに含まれる製造番号Y025Nを有する通信装置Y02のユーザが、当該情報Y036Dに含まれる、他方の製造番号Y015Nの通信端末Y01のユーザとして特定されてもよい。
なお、さらに具体的には、例えば、送信される情報Y036Dは、当該通信装置Y02の位置を示す情報Y027D(図440)を含んでもよい。
なお、この情報Y027Dは、例えば、GPS(Global Positioning System)の機能で検出された情報でもよい。なお、このGPSの機能は、具体的には、例えば、通信装置Y02に設けられた位置情報測位部Y027(図440)などの機能でもよい。
ここで、情報Y036D(情報Y027D)により示される、通信装置Y02の位置は、先述のように、例えば、装置Y01の位置に対して、閾値以内の近い距離(例えば、数センチメール以内の距離)の位置である。
つまり、情報Y027Dは、装置Y01の位置を、比較的精度よく特定する情報である。なお、例えば、装置Y01がある住宅(例えば、図427の宅内M1001の住宅)の住所、電話番号よりも、より精度よく特定されてもよい。つまり、具体的には、例えば、宅内M1001における複数(多数)の位置(例えば、図447のエアコンN10Jの位置、エアコンN10Cの位置など)のうちの、何れの位置であるかが特定されてもよい。
このため、装置Y1として、実際の装置Y1(例えば、図447のエアコンN10J)の位置から、例えば3〜5メートルなどの近い距離の位置にある他の装置(例えば、エアコンN10Cなど)が、誤って特定されてしまう(誤認されてしまう)ことが回避される。つまり、確実に、装置Y1として、適切な装置(エアコンN10J)が特定できる。
なお、こうして、例えば、近接無線通信(ICタグ等における通信)を介して、端末装置(例えば、図440の端末装置Y01、図427の冷蔵庫M1013、電子レンジM1012、図447のエアコンN10Jなど)から端末装置情報(例えば、図440の情報Y015D、図450の情報Y01U(アドレスY01Ua))を読み出すとともに、汎用のネットワーク(例えば、図440のネットワークY02N、図427のインターネットM1004)を介して、サーバ(図440のサーバY04、図427の登録サーバM1005)に前記端末装置情報を送信する通信装置(図440の通信装置(携帯電話端末)Y02、図427の携帯電話M1014、図448のモバイル機器N20など)であって、前記近距離無線通信を介して、前記端末装置から、前記端末装置の製造情報が識別可能な端末装置識別情報(例えば、図440の製造番号Y015N、図450の製造番号Y01Un)を少なくとも含む前記端末装置情報(情報Y015D、情報Y01U(図337))を取得する端末装置情報取得部(図440のアンテナY021)と、前記通信装置の製造情報が識別可能な通信装置識別情報(例えば、図440の製造番号Y025N)を少なくとも含む通信装置情報(情報Y025D)を記憶する通信装置情報記憶部(メモリY024)と、取得される前記端末装置情報(情報Y015D、情報Y01U)に、記憶される前記通信装置情報(情報Y025D)を付与して、前記サーバへ送信する送信情報(図440の情報Y036D:付与により生成される、前記端末装置情報(情報Y015D)と、前記通信装置情報(情報Y025D)との両方が含まれる情報)を生成する情報付与部(情報付与部Y035)と、前記汎用のネットワークを介して、前記サーバへ、生成された前記送信情報(情報Y036D)を送信する通信部(図440の通信部Y036)とを有し、前記通信部は、前記端末装置からの前記端末装置情報(端末装置により送信された、端末装置に記憶された、複数のサーバY04から、当該端末装置の送信情報(情報Y036D)が送信されるのに適するサーバY04(当該端末装置のメーカのサーバY04)を特定する情報:例えば、サーバY04のアドレスY01Ua(図450)など)に基づいて、前記サーバを特定し、通信する通信装置が構成されてもよい。
なお、こうして、通信装置により、サーバY04への、情報Y036Dの送信がされる。このため、装置Y1(図1の冷蔵庫M1013など)は、上述の簡単な構成で足りて、つまり、ネットワークY02Nに接続されない冷蔵庫(冷蔵庫M1013、家電、白物家電)などでもよい。このため、装置Y01の種類に関わらずに、確実に、その装置Y01の情報Y036DのがサーバY04に送信できる。
そして、より具体的には、例えば、前記通信装置は、さらに、前記通信装置の(位置(例えば、図447におけるエアコンN10J(装置Y01)の、数センチメートル以内の位置)を特定する)位置情報(図440の情報Y027D)を取得する位置情報取得部(図440の位置情報測位部Y027)を有し、前記位置情報取得部は、前記端末装置情報取得部(アンテナY021)で、前記端末装置と前記通信装置との近接無線通信が確立しているタイミングで(確立される際において)、前記通信装置の位置情報(情報Y027D)を取得し、付与がされる前記通信装置情報(付与がされた後における通信装置情報(送信情報Y036D、または、送信情報Y036Dの一部))は、前記位置情報取得部で(前記タイミングにおいて)取得した、前記通信装置の位置情報(情報Y027D)を含んでもよい。
これにより、装置Y01(通信端末)が、単なる冷蔵庫(冷蔵庫M1013等)などで、GPSの機能等がなくても、送信される情報Y036Dに含まれる情報Y025Dに含まれる情報Y027Dにより、装置Y01の位置が特定される。これにより、装置Y01の種類に関わらずに、確実に、サーバY04に送信される情報Y036Dにより、装置Y01の位置が特定できる。
しかも、近接無線通信がされる、数センチメートルの距離の位置などの、十分に近い位置で検出された位置が特定され、特定される位置が、精度よくできる(先述された、図334のエアコンN01J、エアコンN10Cなどを参照)。
また、付与がされる前記通信装置情報には、当該通信装置Y02が設けられた家(例えば、宅内M1001の住宅)、あるいは、当該通信装置Y02を使用する人(通信装置Y02を使用するユーザ)の識別情報(例えば、先述のホームIDなど)を含んでもよい。
また、上述の通信装置(通信装置Y02)と、前記汎用のネットワークによって通信可能な前記サーバ(サーバY04)における、前記端末装置(装置Y01)の(情報(製造番号Y025N)の)管理方法であって、前記通信装置情報(通信装置識別情報、情報Y025D、図329の情報Y051)が付与された(後における)前記端末装置情報(付与がされた後における情報Y015D(情報Y036D))を取得する取得ステップ(図441のSY09)と、前記サーバの機器管理データベース(機器管理DB Y041:図327)から、付与された前記通信装置情報に含まれる前記通信装置識別情報(製造番号Y025D)を探索する(情報における複数の部分のうちから、適切な部分(製造番号Y025Dの部分)を特定する)探索ステップと、前記探索ステップの結果、前記取得ステップで取得した前記通信装置識別情報が、前記機器管理データベースに管理(記憶)されていないと判定した場合、付与された前記通信装置情報(情報Y025D:図327)の新規レコード(図442の情報Y051を参照)を作成して、前記新規レコードに、前記取得ステップで取得した前記端末装置情報(図440の情報Y015D、図442の情報Y052d(情報Y052〜Y054)を参照)を対応させるとともに、前記取得ステップで取得した(情報Y036D(情報Y015D)に付与された)前記通信装置識別情報(製造番号025N)が、前記機器管理データベースに既に管理されていると判定し(新規レコードが生成された後には、生成された新規レコードの装置(例えば電子レンジM1012)は、当該装置の通信装置識別情報が登録された装置と判定される)、かつ、前記通信装置識別情報を含むレコード(図442の情報Y041Dを参照)に、前記端末装置情報(例えば、電子レンジM1012(装置Y01)の情報Y052(図329)、図327の製造番号Y015Dを参照)が管理されていない場合には、前記レコードに、取得された前記端末装置情報(付与がされた、通信装置Y02の製造番号025Nの部分以外の他の部分の少なくとも一部である製造番号Y015、情報Y052)を追加する管理方法が構築されてもよい。
なお、例えば、こうして、サーバY04に、情報の送信がされることにより、サーバY04(または他の装置)に、ホームネットワークに必要な設定がされてもよい。これにより、ユーザが複雑な操作をする必要なく、十分に容易に、ホームネットワークに必要な設定ができる。
なお、単なる細部については、上述の各実施形態のうちの、適切である、何れの実施形態での処理がされてもよい。また、単なる細部については、単なる、公知技術があてはめられただけの形態にされてもよいし、更なる改良発明が加えられた形態などの、その他の形態にされてもよい。
なお、互いに異なる複数の実施形態に記載された、複数の技術事項などの、互いに離れた複数の箇所に記載された、複数の技術事項が、適宜、組み合わせられてもよい。
また、上述された各工程のうちの、適切な複数の工程を含んでなる方法が構築されてもよいし、複数の機能が実装された集積回路が構築されてもよいし、複数の機能をコンピュータに実行させるためのコンピュータプログラムが構築されてもよいし、そのコンピュータプログラムを通信する通信方法、そのコンピュータプログラムのデータ構造などが構築されてもよい。
このように、要するに、課題に関して、ホームネットワークの設定において、端末情報を近接無線を用いて送信するだけでは、周囲の端末の状況が不明であるため、不十分であり、ユーザにとって、十分に簡単にはならないことが考えられる。
そこで、解決手段に関して、GPSなどでの位置情報を取得できる端末で、近接無線を用いて通信し、近接無線で通信したときの位置情報を、ホームネットワークの設定を行いたい端末の位置情報として用いることにより、位置情報を基にした、周囲の端末の状況を考慮した、ホームネットワーク設定が可能となることが考えられる。
なお、こうして、例えば、物品(通信装置)に関する情報を提供するTV等の表示装置における種々の設定の簡素化を可能にする通信装置が提供される。つまり、RF−IDリーダライタ46との間で近接無線通信を行うRF−ID47を有する撮影装置1において、入力信号を、受信するデータ受信部105と、通信装置を特定する識別情報であるUID部75と、当該UID部75を参照してTV45によって実行される動作プログラム116とを記憶する第2メモリ52と、入力信号に応じて、UID部75および動作プログラム116を、RF−IDリーダライタ46に送信するデータ転送部108とを備え、UID部75および動作プログラム116は、RF−IDリーダライタ46を介してTV45に転送される(図336などを参照)。
(その他の形態)
以下では、この欄、すなわち、[発明を実施するための形態]の欄の冒頭で言及された、「(その他の形態)」が書かれる。
その言及の箇所で言われた上述の携帯型通信装置において、例えば、次の通りでもよい。
なお、前記位置情報は、複数の住宅(図480の住宅99、991など)のうちから、前記機器(機器98a)が設置された住宅(住宅99)を特定して、前記複数の住宅の位置(位置99P、991P)のうちから、特定される前記住宅の位置(図480の位置99P)を、前記近接無線通信がされる際における、当該携帯型通信装置の位置(位置99P)として示す、複数の住宅の、複数のID(ホームID)のうちの、設置された住宅(住宅99)のID(ホームID)でもよい。
つまり、前記機器が設置される前記所定の場所は、住宅の内部であり、前記携帯型通信装置は、当該携帯型通信装置のユーザの住宅を特定する情報である、住宅のID(ホームID)を記憶し、前記送信部は、前記位置情報と前記住宅のIDとを対応付けた前記送信情報(図483の送信情報98o1)を前記サーバ(サーバ98c)に送信することにより、送信される前記送信情報に含まれる、設置された前記住宅のIDと同じID(図483のホームID 98ca2)に対応付けて、当該送信情報に含まれる、当該ID以外のそれぞれの情報(製造番号98cbを参照)を、前記サーバに記憶させてもよい。
なお、例えば、送信される送信情報が、当該送信情報に含まれる位置情報とIDとを対応付け、互いに対応付けられた、それれ位置情報およびIDを含んでもよい。
また、前記機器が設置される前記所定の場所は、住宅の内部であり、前記位置情報取得部は、前記機器が設置される前記住宅(住宅99)に設けられた、当該住宅の前記IDを記憶するサーバである第2のサーバ(例えば図478のサーバ(ホームサーバ)99a)から、記憶された当該IDを、前記位置情報として取得してもよい。
また、前記位置情報取得部は、当該携帯型通信装置の記憶部(図479のメモリ98iなど)により記憶された、複数の装置から、当該携帯型通信装置(携帯型通信装置98b)を特定し、特定される当該携帯型通信装置のユーザの住宅(住宅99)の位置(位置99P)を、前記機器(機器98a)が設置された前記住宅の位置(位置99P)として特定する前記位置情報(図480の位置情報98j1)を、当該記憶部から取得してもよい。
また、前記送信部は、前記送信情報を前記サーバに送信して、送信された当該送信情報を(第1の)前記サーバ(図480のサーバ98c)に記憶させ、機器(機器98a)が、当該機器が設置された所定の位置から移動された場合(投棄(例えば、山林などへの不法投棄)された場合など)に、移動された当該機器を特定する機器情報(図480の機器情報98a1)と、前記サーバに記憶させた前記送信情報(送信情報98o1(98mc))に含まれる、設置された前記機器(機器98a)を特定する前記機器情報(図480の機器情報98ma)とが同じである場合に、当該サーバから、送信された当該送信情報(送信情報98mc)に含まれる前記位置情報(位置情報98mb:投棄がされる前における、機器98aが設置された位置を示す位置情報)を出力させてもよい。
これにより、移動前の位置の位置情報が出力され、いわゆるトレーサビリティが高くできる。
また、前記機器が設置される所定の場所は住宅の内部であり、前記送信部は、前記送信情報を送信することにより、その画像(例えば、図457マップ、図465の画像などを参照)における、当該送信情報が送信された前記機器が設置された位置(例えばテレビN10Aの位置)に、当該機器(テレビN10A)を表わす表示が重畳された(含まれた)、前記住宅の(内部の)構造(部屋の間取りなど)を表示する画像(図457のマップ)を、予め定められた画像生成装置(例えばサーバ98cでもよい:図457の位置情報作成部N48等を参照)に生成させてもよい。
なお、こうして、例えば、それぞれの機器の位置と、その位置の機器の情報(種類、製造番号など)とを特定するデータ(例えば、上述の画像)が生成されてもよい。
また、取得される前記機器情報(図480の機器情報98n1)は、複数の機器のうちから、設置された前記機器(機器98a)を特定する、当該機器の製造番号でもよい(図480などを参照)。
また、前記機器情報取得部は、設置された前記機器の種類を示す種類情報(図484の種類情報98ma2)と、当該機器が有する機能を示す機能情報(機能情報98ma3)との少なくとも一方を、前記近接無線通信で、当該機器から取得し、送信される前記送信情報(98o1)は、取得された当該少なくとも一方を含んでもよい。
なお、図451、図458なども、適宜参照されたい。
なお、上述の説明における、単なる細部においては、例えば、実施の形態B(例えばB4等)などの、上述の実施の形態(実施の形態A、Bなど)で説明された通りの動作がされてもよいし、更なる改良発明が加えられた動作がされてもよいし、適切である、その他の動作がされてもよい。
なお、上述の実施の形態(実施の形態A、Bなど)の動作の細部は、例えば、この「(その他の形態)」などで言われる通りなどでもよい。
なお、このように、例えば、次の動作がされてもよい。
すなわち、例えば、住宅99(図478)において、テレビ、BDレコーダ(BDレコーダN10B等を参照)、暖房機(暖房機N10K等を参照)、エアコン、太陽電池、火災報知器、太陽電池パネルなどの機器98a(図479、図480など)が設置されてもよい(図447等を参照)。
そして、機器98aが設置された場合に、例えば、設置をした、その機器98aのユーザの氏名などの情報が含まれるなどした予め定められた送信情報98o1(図480)が、予め定められたサーバ98cに送信され、送信された送信情報98o1がサーバ98cにより記憶されてもよい(データベース98mを参照)。
つまり、例えば、このサーバ98cは、設置された機器を製造した製造者のサーバなどでもよい。
しかしながら、このような送信に際しての、ユーザによる操作は、簡単であることが好ましい。
しかも、近年においては、比較的多くの住宅(住宅99など)におけるユーザにより、携帯電話、スマートフォンなどの、持ち運びがされる携帯型通信装置98b(例えば携帯電話)が所有される。
しかも、近年においては、電子マネーの決済、自動改札における改札などで行われる、NFC(先述)の通信、RF−IDの通信などの近接無線通信98c1(図480)が、携帯型通信装置98b(携帯電話など)によりされることも多い。
ここで、近接無線通信98c1については、例えば、通信がされる相手である相手装置(例えば、図480の機器98a)への、その携帯型通信装置の、ユーザによるタッチの操作などの操作がされる(タッチの操作による動き98b1、図443のY060、Y063などを参照)。
そして、例えば、近接無線通信98c1は、このタッチの操作などでの、携帯型通信装置98bの動き98b1がされるなどで、携帯型通信装置98bの位置が、通信がされる相手である相手装置(機器98a)の位置と同じ位置(略同一の位置、例えば、数センチメートルの範囲の近傍の位置など)である際に行われ、この動き98b1がされないなどで、同じ位置(略同一の位置)ではない際には行われない。
図482は、携帯型通信装置98bのフローチャートである。
例えば、携帯型通信装置98bにおいて、図482の処理がされてもよい。
そこで、例えば、住宅99に機器98aが設置された際に、設置された機器98aへの、携帯型通信装置98bのタッチがされるなどして(動き98b1を参照)、設置された機器98aと、携帯型通信装置98bとの間の近接無線通信98c1がされてもよい。
そして、この近接無線通信98c1が行われた場合に(図482の「S971:Yes」、図490の通信検出部98qなどを参照)、サーバ98cへの、送信情報98o1の送信が(送信装置(例えば当該携帯型通信装置98b)により)されてもよい。
なお、つまり、例えば、この近接無線通信98c1がされない場合には(図482の「S971:No」などを参照)、送信情報98o1の送信がされなくてもよい。
なお、具体的には、例えば、設置された機器98aと、携帯型通信装置98bとの間での、近接無線通信98c1がされるか否か(現在が、されている期間であるか否かなど)が判定されてもよい(図482のS971、図490の通信検出部98qなどを参照)。
そして、近接無線通信がされると判定された場合に(S971:Yes)、送信情報98o1が送信され、されないと判定された場合には(S971:No)、送信されなくてもよい。
これにより、設置がされた場合に行われる、送信情報98o1の送信が、単なる、設置された機器98aへの、携帯型通信装置98bのタッチの操作などの、簡単な操作で済んで、操作が簡単にできる。
しかしながら、設置がされた後に、設置された機器98aの製造者(図略)等により利用される利用情報は、携帯型通信装置98bにある(記憶された)、例えば、設置をした、その機器98aのユーザと同じユーザである、その携帯型通信装置98bのユーザの電話番号の情報などではなく、携帯型通信装置98bにない情報(例えば、設置される機器98aの製造番号など)であることも考えられる。
なお、このような、携帯型通信装置98bにない情報とは、例えば、近接無線通信98c1がされるより前には、携帯型通信装置98bにない情報などをいう。
一方で、このような、携帯型通信装置98bにない利用情報は、例えば、機器98aが製造される際などの、設置されるよりも前に、すでに、製造者等により特定される、その機器98aの製造番号の情報などである、設置前既知情報98a1であることも考えられる。
そこで、設置がされる機器98aにより、このような製造番号等の情報(設置前既知情報)98a1が記憶されるなどして、機器98aが設置される際に行われる、携帯型通信装置98bとの間の近接無線通信98c1で、(記憶された)製造番号等の情報98a1が送信されてもよい。
そして、携帯型通信装置98bにより、近接無線通信98c1で送信された製造番号等の情報(設置前既知情報)98a1が取得されてもよい。
そして、取得された製造番号等の情報(設置前既知情報)98a1が含まれる送信情報98o1が、サーバ98cに送信されてもよい。
これにより、携帯型通信装置98bなどへと、製造番号等の情報(設置前既知情報)98a1を入力する、ユーザによる操作などが不要にされて、操作が更に簡単にできる。
図484は、機器情報98ma1、種類情報98ma2、機能情報98ma3などを示す図である。
そして、このような設置前既知情報98a1のうちの少なくとも一部は、例えば、先述のように、その機器の製造番号などの、複数の機器(例えば、図480に示される第1の機器98aと、第2の機器98rなど)のうちから、その機器(第1の機器98a)を特定する機器情報98ma1(後述の図484を参照)でもよい。
一方、設置前既知情報98a1のうちの少なくとも一部は、例えば、テレビ、冷蔵庫、電子レンジなどの、機器の種類を特定する種類情報98ma2でもよい。。
また、設置前既知情報の少なくとも一部は、例えば、機器98aの機能を特定する機能情報98ma3でもよい。
なお、特定される機能は、具体的には、例えば、テレビなどが有する、表示の機能、地デジチューナの機能、アナログチューナの機能、録画の機能などでもよい。
また、特定される機能は、例えば、電子レンジの機能、暖房の機能、冷房の機能、予め定められた方式(DVD(Digital Video Disc)、Blue−rayなど)で記録がされた記録媒体の読み取りの機能、予め定められた方式(Bluetooth、ZigBee、イーサネットなど)で通信をする機能、発電(太陽光電池パネルでの発電など)の機能などでもよい。
なお、機能情報98ma3は、例えば、機器98aに含まれる構成(例えば、液晶表示装置などの表示部、地デジチューナなど)を特定して、特定される構成による機能を、その機器が有する機能として特定する構成情報と理解されてもよい。
なお、設置前既知情報98a1の少なくとも一部は、例えば、その設置前既知情報98a1が有する(付与された)属性(機器情報98ma1により示される製造番号、種類情報98ma2による種類、機能情報98ma3による機能、構成情報による構成など)を示し、属性情報(機器情報98ma1、種類情報98ma2による種類、機能情報98ma3など)と呼ばれてもよい。
しかしながら、近年においては、機器(例えば機器98a)が投棄(不法投棄)されることがあるのが、問題にされている。
また、設置された位置が、寒い地域か、暑い暑い地域か、住宅街か、角地か、傾斜地かなどの、設置された位置が、どの位置であるかに対応する、より適切なアフターサービス等がされることが望まれることなども考えられる。
このため、製造者等により利用される利用情報が、機器98aが設置された位置(例えば、設置された住宅の位置)を示す位置情報98j1(図480を参照)であることも考えられる。
そこで、設置された位置を特定する位置情報98j1が含まれる送信情報98o1がサーバ988cに送信され、サーバ98cにより記憶されてもよい。
これにより、サーバ98cに送信された送信情報98o1(位置情報98j1)を用いることにより、製造者等が、位置情報98j1を利用できる。
なお、これにより、ひいては、送信された送信情報98o1に含まれる位置情報98j1により、設置がされた位置が示されて、投棄された機器が、投棄がされる前に設置された位置が表示できたり、設置された位置が、傾斜地の位置であるか否かが表示できたりできる。
なお、上記のようにして、投棄がされた後に、位置が表示等されれば、その機器の、いわゆるトレーサビリティが高くできる。
しかしながら、上述のように、設置される機器98aと、携帯型通信装置98bとの間での近接無線通信98c1がされる。そして、近接無線通信98c1がされる際には、携帯型通信装置98bの位置が、設置される機器98aの位置と同じ位置(略同一の位置、機器98aの位置の近傍と、他の領域とのうちで、近傍の位置)であることに気づく。
しかも、近年においては、携帯電話(携帯型通信装置98bなど)に、GPSの装置が設けられるなどして、携帯型通信装置98bにおいて、その携帯型通信装置98bの位置を示す位置情報が取得(検出)されることがある。
一方で、設置される機器98aにおいて、設置がされた位置を示す位置情報が取得(検出)されたなら、例えば、機器98aにおいて、位置情報を取得する、GPSの装置を設ける必要が生じるなどにより、機器98aのコストが高くなってしまう。
そこで、近接無線通信98c1がされて、設置される機器98aの位置が、携帯型通信装置98bの位置と同じ位置である際に、携帯型通信装置98bの位置を示す位置情報98j1が取得(検出)されてもよい(位置情報取得部98j、図482のS973)。
そして、機器98aが設置された位置を示す位置情報として、取得された、携帯型通信装置98bの位置の位置情報98j1を更に含む送信情報98o1が送信されてもよい。
これにより、単に、携帯型通信装置98bにおいて位置情報98j1が取得されるだけで足りて、コストが、低いコストにできる。
なお、こうして、例えば、上述された、近接無線通信がされる時との判定がされる際に(S971:Yes)、その際における、携帯型通信装置98bの位置(機器98aが設置された位置と同じ位置)の位置情報98j1が取得され、利用されてもよい。
図481は、位置情報取得部98jなどを示す図である。
なお、位置情報98j1は、以下で説明される第1の位置情報98j1A(図481)でもよい。
つまり、第1の位置情報98j1Aは、複数の住宅(例えば図480の第1の住宅99、第2の住宅991など)の位置のうちから、機器98aが設置された住宅(第1の住宅99)の位置を特定するのに止まり、設置がされた住宅の各位置(例えば、図478のテレビN10Aの位置と、暖房機N10Kの位置などを参照)のうちから、設置された位置(例えば、テレビN10Aが設置された、図示される、テレビN10Aの位置)を特定しない位置情報98j1である。
つまり、例えば、第1の位置情報98j1Aは、比較的荒い(低い、大まかな)精度で位置を特定する一方で、データ量が比較的小さい位置情報98j1である。
つまり、例えば、位置情報取得部98jの少なくとも一部は、例えば、上述された、荒い精度の第2の位置情報98j1Aを取得するGPS装置98j1x(図440の経緯測位部Y028、図445のGPS N31、図462の位置情報センサ部091等などを参照)でもよい。
そして、このような、荒い精度の第1の位置情報98j1Aは、例えば、複数の住宅のうちから、機器が設置された住宅を特定することで、複数の住宅での位置のうちから、特定される住宅の位置を特定する住宅情報(図483の第2の位置情報98ca2を参照)でもよい。
図483は、ホームID 98ca2などを示す図である。
つまり、例えば、この住宅情報は、具体的には、例えば、互いに異なる複数の住宅の、互いに異なるID(ホームID)のうちの、特定される住宅のID 98ca2(図483)でもよい(ID:Identifier)。
つまり、ホームID 98ca2は、例えば、その住宅(例えば、第1の住宅99と、第2の住宅991とのうちの、機器98aが設置された第1の住宅99)に付与された番号、文字列などでもよい。
そして、例えば、送信情報98o1に含まれるホームID 98ca2(位置情報98j1、第1の位置情報)に対応付けて、そのホームID 98ca2により特定される住宅(第1の住宅99)に設置されるそれぞれの機器(例えば、図478のテレビN10A、暖房機N10Kなど)の、送信された送信情報98o1における、当該ホームID 98ca2以外の他の部分(例えば、テレビN10Aの製造番号98cb、暖房機N10Kの製造番号98cbなど)が、サーバ98cにより記憶されてもよい。
なお、図483では、こうして対応付けられることが、ホームID 98ca2と、2つの製造番号989cbのそれぞれとの間の線により模式的に示される。
図488は、位置情報取得部98jなどを示す図である。
他方、位置情報98j1は、機器98aが設置された住宅(第1の住宅99)の各位置(例えば、図478のテレビN10Aの位置と、暖房機N10Kの位置などを参照)のうちから、設置された位置(例えば、テレビN10Aが設置された、図示される、テレビN10Aの位置)を特定する第2の位置情報98j1Bでもよい。
つまり、例えば、第2の位置情報98j1Bは、比較的細かい(高い、精密な)精度で特定をして、データ量が比較的大きい位置情報98j1でもよい。
図485は、第1の位置96dP、第2の位置96cPなどを示す図である。
そして、例えば、送信される送信情報98o1に含まれる第2の位置情報98j1B(位置情報98j1、図485の位置情報98w)の処理をする処理装置96aがあってもよい。
つまり、処理装置96aは、例えば、機器98aが設置がされた住宅(第1の住宅99)に設けられた、設置された機器98aと無線通信をする、無線LANのアクセスポイントなどの無線通信装置でもよい。
そして、この処理装置96aにおいて、次の動作がされてもよい。
図486は、送信された位置情報98j1Bの処理のフローチャートである。
つまり、送信された送信情報98o1に含まれる第2の位置情報98j1B(位置情報98j1、図485の位置情報98w)が取得されてもよい(情報取得部96a1、図486のS97a)。
そして、取得された位置情報96j1B(位置情報98w)により示される位置(機器98aが設置された位置)が、第1の位置96cP(例えば、図478における暖房機N10Kの位置)であるか、第2の位置96dP(例えばテレビN10Aの位置)であるかが判定されてもよい(方式選択部96a2、図486のS97b)。
そして、第1の位置96cPと判定される場合に(S97b:第1の位置)、第1の位置96cPである場合に適する第1の処理(S97c1)がされ、第2の位置96dPであると判定される場合に(S97b:第2の位置)、第2の位置96dPである場合に適する第2の処理(S97c2)がされてもよい(無線通信部96a3)。
つまり、例えば、第1の位置96cP(暖房機N10Kの位置)は、当該第1の位置96cPに機器98a設置された場合には(設置された機器98aが、第1の位置96cPの第1の機器96cである場合には)、設置された機器98aとの間での無線通信として、第1の方式での無線通信96f1(第1の処理)が適切である位置でもよい。
そして、第2の位置96dP(テレビN10Aの位置)は、第2の位置96dPに設置された場合には(第2の機器96dである場合には)、第2の方式での無線通信96f2(第2の処理)が適切である位置でもよい。
つまり、行われる無線通信は、例えば、機器98aが設置がされる住宅(第1の住宅99)に設けられた、無線LAN(Local Area Network)のアクセスポイントなどの無線通信装置(処理装置96a、例えば、図478における符号99cで示された位置を有する)との間での無線通信でもよい。
つまり、例えば、第1の方式での無線通信96f1は、閾値よりも弱い電力での無線通信である一方で、第2の方式での無線通信96f2は、当該閾値よりも強い電力での無線通信でもよい。
なお、例えば、弱い電力での無線通信96f1が適する第1の位置96cP(暖房機N10Kの位置)は、例えば、アクセスポイント等(処理装置96a)の位置までの距離が、閾値Th(図485)よりも小さい距離である位置である一方で、第2の位置98dP(テレビN10Aの位置)は、閾値Thより大きい距離の位置でもよい。
つまり、例えば、上記の無線通信装置(処理装置96a)などにより、次の動作がされてもよい。
つまり、通信がされる相手である機器(第1の機器96c、第2の機器96c等)などから、その機器を特定する機器情報98v(例えば、その機器のアドレスなどでもよい)が取得されると共に、取得された機器情報98vと同じ機器情報(アドレス:例えば、図485の機器情報98r)が含まれる、送信された送信情報(送信情報98p、図480の送信情報98o1)に含まれる位置情報98s(位置情報98w)が取得されてもよい(情報取得部96a1、S97a)。
そして、こうして取得された位置情報98wに基づいて、上述の動作がされてもよい。
これにより、設置がされた、機器98aの位置が、第1の位置96dP(暖房機N10Kの位置)であるか、第2の位置96dP(テレビN10Aの位置)であるかに対応する適切な処理(第1の無線通信96f1、第2の無線通信96f2)がされ、位置が第1の位置96dPか、第2の位置96dPかに関わらず、確実に、適切な処理(適切な方式(適切な電力)での無線通信)ができる。
そして、単に、携帯電話などの携帯型通信装置98bが用いられて、送信情報98o1が送信されるだけで足り、設置がされた住宅(第1の住宅99)に、特殊な装置等を持ち込んだり、ユーザが複雑な操作をする必要などがなく、簡単に、適切な処理が確実にされて、簡単に適切な動作ができる。
なお、このように、送信情報98o1が送信されることにより、送信された送信情報98o1(の位置情報)に対応する適切な動作(第1の無線通信96f1、または、第2の無線通信96f2)がされてもよい。
つまり、このように、例えば、送信される送信情報98o1は、処理装置96aが行う動作を、適切な動作(第1の無線通信96f1、または、第2の無線通信96f2)にさせる制御の制御データでもよい。
なお、例えば、送信情報98o1が送信される第1のサーバ98c(図485(図480))は、例えば、いわゆるホームサーバ(例えば図478のサーバ99a)などの、住宅99に設置されたサーバなどでもよい。
なお、図478で示されるように、例えば、第1のサーバ99aは、サーバ99aがある住宅99の外部と通信するための通信線99bに接続されてもよい。
また、第1のサーバ98cは、上述されたアクセスポイント等の無線通信装置(処理装置96a)でもよい。
なお、送信情報98o1が送信される第1のサーバ98cは、例えば、通信線99bを介して通信がされる、住宅99の外部に設けられた、機器98aの製造者のサーバなどでもよい。
なお、先述された通り、位置情報981j(図480)は、先述されたGPS装置98j1x(図481)が用いられる際などにおける、例えば、は、緯度および経度などの、地図上における絶対的な位置を特定する絶対位置情報でもよい。
つまり、例えば、位置情報取得部98j(図480など)は、例えば、GPS装置98j1xを含むなどして、電波(GPSの衛星からの電波など)を受信して、受信される電波から、その電波が受信される位置を、当該位置情報取得部98jが設けられた携帯型通信装置98bの位置として示す、絶対位置情報である位置情報98j1を取得してもよい。
つまり、例えば、位置情報取得部は、GPS装置でもよいし(GPS装置を含んでもよい)、携帯電話の基地局から送信される電波を受信して、受信された電波から、その電波が受信された位置を特定する絶対位置情報(位置情報98j1)を取得する装置などでもよい。
しかしながら、絶対位置情報が用いられるのが不適切であることも考えられる。
つまり、例えば、絶対位置情報が取得されることが不能であることも考えられる。つまり、例えば、必要な程度に十分高い精度の絶対位置情報が取得されることが不能であることなども考えられる。
つまり、例えば、これらGPS装置などの、受信される電波を用いる装置等においては、受信される電波が、十分高い精度の位置情報が取得されるのに必要な程度に、十分に適切な電波ではなく、適切な絶対位置情報が取得されるのが不能であることが考えられる。
つまり、例えば、電波を送信する衛星、基地局などの製造者、管理者などが、携帯型通信装置98bの製造者などとは違い、送信される電波が、不適切な電波で、絶対位置情報の取得が不能であることも考えられる。
また、例えば、いわゆるカーナビゲーション装置(カーナビ)に設けられるGPS装置は、トンネルのなかでは、位置情報を取得しない。このように、位置情報が取得される位置が、電波から位置情報を取得するのに不適切な位置で、絶対位置情報が取得されるのが不能であることなども考えられる。
一方、当該基点の位置(例えば図485の基点98bx、図478のアクセスポイント99cの位置)からの、機器98aが設置された位置(暖房機N10Kの位置、テレビN10Aの位置など)への距離、方向(ベクトル)などの、当該基点の位置から、設置された位置までの差分により、設置された位置が、第1の位置か、第2の位置であるかが特定される、基点の位置があることも考えられる。
つまり、例えば、そのうような基点の位置は、上述された、アクセスポイントの位置(その位置(図485の処理装置96aの位置、図478のアクセスポイント99cの位置等)などが挙げられる。
そこで、取得される位置情報98j1は、例えば、(近接無線通信98c1がされる際における)携帯型通信装置98bの位置までの、上述のような、基点(基点98bx)の位置からの差分(方向および距離、ベクトルなど)を特定して、特定される差分だけ、基点(基点98bx)の位置から離れた位置を、機器98aが設置された位置として特定する相対位置情報でもよい。
つまり、例えば、相対位置情報は、当該相対位置情報のみからでは、機器98aが設置された位置の緯度・経度などの絶対位置情報が特定されない情報でもよい。
つまり、例えば、相対位置情報は、当該相対位置情報と、上述された基点の位置などとの複数の情報からは、例えば、基点の位置に対して、当該相対位置情報の差分だけ離れた位置の絶対位置情報などとして、機器98aが設置された位置の絶対位置情報を示すのに止まる情報などでもよい。
一方、近年においては、一部のスマートフォンなどの通信装置において、通信装置の動きの加速度を検出する加速度センサが設けられることがあるのが知られる。
なお、加速度センサは、例えば、携帯型通信装置98bにより表示される画面(例えば、文字を含む画面など)として、縦方向の(文字の)画面と、横方向(の文字)の画面とのうちで、検出される加速度の動きをした後にける、当該通信装置の方向(縦方向か、横方向か)に対応する方の適切な画面が表示されるセンサなどである。
しかも、近年における加速度センサにおいては、以前の加速度センサで検出される加速度の精度とは異なる、(かなり)高い精度の加速度が検出される。
また、近い将来には、更に高い精度で検出がされると考えられる。
そこで、位置情報取得部98jは、このような、当該携帯型通信装置98bに設けられた、当該携帯型通信装置98bの動きの加速度を検出する加速度センサ98j2x(図440の位置補正部Y030、図445の6軸センサN32、図462の加速度センサO98等などを参照)を含むなどして、検出された加速度を利用してもよい。
つまり、例えば、ユーザによる操作により、携帯型通信装置98bが(基点(図485の基点98bx、図478のアクセスポイント99cの位置など)から)移動されて、携帯型通信装置98bが、機器98a(暖房機N10K、テレビN10Aなど)が設置された位置まで移動する動きにおける加速度が検出されて、検出される加速度での動きをした後における、携帯型通信装置98bの位置(暖房機N10Kの位置、テレビN10Aの位置など)を示す位置情報(相対位置情報)が取得(算出)されてもよい。
なお、例えば、この動きをする前の位置は、上述された基点(基点98bx)の位置などである。
そして、こうして取得された、検出された加速度に基づいて取得された動きでの相対位置情報である位置情報98j1を含む送信情報98o1がサーバ98cに送信されてもよい。
つまり、例えば、こうして、検出された加速度に基づいて取得された相対位置情報である位置情報98j1により、(基点(図485の基点98bx、図478のアクセスポイント99cの)から)第1の位置96cP(例えば暖房機N10Kの位置)までにおける、携帯型通信装置98bの動き(その動きをした後の位置(例えば暖房機N10Kの位置)までの、基点の位置からの差分(距離および方向など))が示される場合に、機器98aが設置された位置が、第1の位置96cP(暖房機N10Kの位置)と判定されてもよい(図486のS97b:第1の位置)。
そして、第2の位置96dP(テレビN10Aの位置)までの動きが示される場合に、第2の位置96dPとの判定がされてもよい(S97b:第2の位置)。
これにより、受信される、GPS等の電波が、不適切な電波である際などで、絶対位置情報の取得が不能(適切な(精度等の)絶対位置情報が不能)である際にも、適切な動作がされ、確実に、適切な動作ができる。
図487は、位置情報などを示す図である。
なお、図487に示されるように、例えば、取得される位置情報98j1(図487)は、このような、加速度センサ98j2xを用いて取得されるなどした、基点98bx(図487)の位置98bPからの差分(携帯型通信装置98bの動き)98bDを示す相対位置情報96q2と、基点98bxの位置98bPの絶対位置情報96g1との両方が含まれてなる情報などでもよい。
なお、例えば、上述された、無線通信の第1の方式(図486のS97c1での方)は、無線LANのアクセスポイントなどの中継装置により中継されることにより、間接的に他の装置と通信する方式である一方で、第2の方式(図486のS97c2での方式)は、いわゆる、アドホックモードでの通信、または、Wi−Fi(Wireless Fidelity)ダイレクトの通信などの、中継がされず、直接行われる通信(ダイレクト通信)などでもよい。
そして、例えば、第1の位置96cPは、設置された機器98aと通信する相手である無線通信装置(例えばテレビN10A)からの距離が、直接の通信がされても、通信の品質が閾値より高い品質で、直接の通信がされる方が、より好ましい位置である、当該無線通信装置から比較的近い距離の位置(例えばBDレコーダN10Bの位置)などでもよい。
そして、例えば、第2の位置96dPは、上述された、通信の相手である無線通信装置(テレビN10A)からの距離が、直接の通信がされると低い品質であり、中継での通信がされる方が、より好ましい位置である、比較的遠い距離の位置(暖房機N10Kの位置、テレビN10Iの位置など)などでもよい。
なお、具体的には、例えば、直接の通信がされるのが比較的好ましい第1の位置96cPは、通信がされる相手である無線通信装置の位置が含まれる部屋(テレビN10Aの部屋)と同じ部屋における位置(BDレコーダN10Bの位置)でもよい。
つまり、例えば、このような第1の位置96cP(BDレコーダN10Bの位置)は、具体的には、通信がされる相手である無線通信装置(テレビN10A)が、テレビと、テレビが設置される部屋と同じ部屋に設置されるブルーレイレコーダ等とのうちの一方(テレビN10A)である際における、設置される、他方の装置である機器98a(BDレコーダN10B)が有する、一方の装置(テレビN10A)の部屋と同じ部屋における位置(BDレコーダN10Bの位置)などでもよい。
また、中継での通信がされる方がより好ましい第2の位置96dP(例えばテレビN10Iの位置)は、例えば、通信がされる無線通信装置(テレビN10A)の部屋とは異なる部屋(テレビN10Iの部屋)の位置でもよいし、当該無線通信装置(テレビN10A)のある階(1階)とは異なる階(テレビN10Iがある2階)の位置などでもよい。
図489は、リモコン98Iなどを示す図である。
なお、例えば、複数の機器(第1の機器98jx、第2の機器98kxなど(例えば図478のテレビN10Aと暖房機N10K等))のうちで、その機器の位置が、リモコン98Iが向けられた方向98I1の位置(例えば、第1の機器98jx(テレビN10A)の位置98jP)である機器(第1の機器98jx)のみにより、そのリモコン98Iにされた、ユーザによる操作での動作がされ、その方向98I1の位置ではない位置(例えば、第2の機器98kx(暖房機N10K)の位置98kP)の機器(第2の機器98kx)には、その操作に応じた動作がされなくてもよい。
しかしながら、その動作を指示する、リモコン98Iにより出力される信号が、電波による信号などの、無指向性の通信媒体での信号であることも考えられる。
つまり、例えば、リモコンは98I、具体的には、先述された、携帯電話などの携帯型通信装置98bなどでもよい。
このため、その方向98I1の位置(位置98jP、テレビN10Aの位置)ではない機器(第2の機器98kx、暖房機N10K)にも、信号が届いて、当該機器(第2の機器98kx、暖房機N10K)によっても、リモコン98Iにされた操作での動作(例えば、いわゆる誤動作)がされてしまうことが考えられる。
そこで、送信された、設置された機器98a(第1の機器98jx、第2の機器98kxなど)の送信情報98o1に含まれる位置情報98mb(図484)により特定される位置が、リモコン98Iが向けられた方向98I1における位置である第1の位置(位置98jP、テレビN10Aの位置)であるか(図486のS97b:第1の位置)、その方向98I1における位置98jPではない第2の位置(位置98kP、暖房機N10Kの位置)であるか(S97b:第2の位置)が判定されてもよい(図489の判定部96i1)。
そして、第1の位置と判定される場合には(S97b:第1の位置)、判定がされた機器(第1の機器98jx、テレビN10A)に対して、行われた操作による動作(チャンネルの切替、電源のオフなど)をさせる制御がされてもよい(第1の処理、S97c1)。
そして、第2の位置(暖房機N10Kの位置)と判定される場合には(S97b:第2の位置)、そのような動作をさせる制御がされず、その他の処理のみが含まれてなる第2の処理(S97c2)がされてもよい(図489の動作制御部96i2)。
なお、例えば、上述された、判定部96i1および動作制御部96i2のうちの一方または両方(制御装置96i)は、例えば、先述された、住宅99に設けられたホームサーバ(例えば、図478のサーバ99a)が備える機能の機能ブロックなどでもよい。
なお、荒い精度の第1の位置情報(図483のホームID 98ca2などを参照)は、例えば、設置がされる住宅99の住所、電話番号などでもよいし、その住宅99の住人の携帯電話等(例えば、上述された携帯型通信装置98b)の製造番号などでもよいし、住人の氏名などでもよい。
なお、例えば、送信情報98o1が送信されたサーバ98cにより、複数の住宅(例えば、図480の第1の住宅99、第2の住宅991など)のうちから、送信された送信情報98o1により示される位置の住宅(のID)が、機器98aが設置された住宅(のID(第1の住宅99のホームID))として(サーバ98cなどにより)特定されてもよい。
なお、例えば、携帯型通信装置98bにより、設置された第1の機器98a(例えば、図478のテレビN10A)に、当該携帯型通信装置98bがタッチされた際に、第1の機器98aの第1の送信情報98o1が送信されると共に、設置された第2の機器98a(例えば暖房機N10K)に、第1の機器98aへのタッチがされた当該携帯型通信装置98bと同じ当該携帯型通信装置98bがタッチされた際に、同じ当該携帯型通信装置98bにより、第2の機器98aの送信情報98o1が送信されてもよい。
なお、上述された第1の携帯型通信装置98bとは別の(第1の携帯型通信装置98bを所有するユーザとは別の、住宅99におけるユーザの)第2の携帯型通信装置98bのタッチが、設置された第2の機器98aに対してされた際に、別の第2の当該携帯型通信装置98bにより、第2の機器98aの第2の送信情報98o1が送信されてもよい。
そして、送信される第2の送信情報98o1が、送信される第1の送信情報98o1に含まれる情報(例えば、当該住宅99のIDなど)と同じ情報を含んでもよい。
そして、第2の送信情報98o1は、例えば、第2の携帯型通信装置98bにより、上述されたホームサーバ(例えば図478のサーバ99a)などのサーバなどから取得された、当該サーバにより記憶された、第1の送信情報98o1に含まれる上記の情報を含んでもよい。
なお、例えば、記憶される当該情報は、第1の携帯型通信装置98bが当該サーバに送信した情報でもよいし、第1の携帯型通信装置98bにより当該サーバから受信されて、受信された当該情報が、第1の送信情報98o1に含まれる情報などでもよい。
なお、利用される、装置(携帯型通信装置98b、設置される機器98aなど)を特定する特定情報は、例えば、上述されたような、その装置の製造番号などでもよいし、その装置が有するMAC(Media Access Control)アドレスなどでもよい。
つまり、上述された、機器98aが設置される住宅99のIDは、例えば、このような製造番号等で、その製造番号等の装置(携帯型通信装置98b等)を所有する住人の住宅(住宅99)を、複数の住宅のうちから特定する情報でもよい。
なお、このような、住宅のIDである製造番号等は、例えば、その住宅に設置される複数の機器(図478の各機器などを参照)のうちの、最初に、送信情報の送信がされる機器の製造番号等でもよい。
(実施の形態C)
以下の実施の形態Cでは、簡単な構成および処理で正しい位置を検知し得る、コストを抑えた位置検知装置について説明する。
以下、本発明の実施の形態Cについて、図面を参照しながら説明する。
図491は、本発明の実施の形態Cにおける位置検知装置の機能ブロック図である。この位置検知装置100は、移動端末に固定して備えられ、自らの位置をその移動端末の位置として検知する。このような位置検知装置100は、図491に示すように、加速度センサ101と、角速度センサ102と、地磁気センサ103と、移動量検出部104と、端末姿勢検出部105と、地磁気ノイズ検出部106と、座標推定部107と、地磁気ノイズパターン管理部108と、地磁気ノイズパターン格納部109と、座標補正部110とを備える。なお、位置検知装置100は移動端末に固定して備えられているため、移動端末の位置、向き、傾き、加速度、加速度方向、移動方向、移動距離、回転方向、および角速度などの移動端末の状態は、位置検知装置100のそれらの状態と同じである。
加速度センサ101は、位置検知装置100に固定して設定されたローカル座標系(X軸、Y軸およびZ軸からなる3軸の座標系)において、加速度センサ101が受ける重力および慣性力などの力の向きおよび大きさを検出する。例えば、位置検知装置100または上記移動端末の形状が、一方向に長い形状である場合には、その位置検知装置100または移動端末の長手方向がZ軸方向であり、それぞれZ軸に垂直な方向であって、互いに直交する方向がX軸方向およびY軸方向である。加速度センサ101は、予め定められた周期で、上述のような検出を行ってその検出結果を示す加速度情報を出力する。
角速度センサ102は、移動端末の回転方向および角速度を予め定められた周期で検出する。
地磁気センサ103は、そのローカル座標系における磁界強度を予め定められた周期で検出する。具体的には、地磁気センサ103は、上述のX軸、Y軸およびZ軸のそれぞれの軸に沿った方向の磁界強度を検出する。これらの3軸の磁界強度に基づいて、移動端末の位置における磁界(地磁気)が1つの磁界ベクトルとして表される。
端末姿勢検出部105は、加速度センサ101、角速度センサ102および地磁気センサ103による検出結果に基づいて、地球を基準にした移動端末の姿勢を予め定められた周期で算出(検出)する。姿勢は、移動端末の水平面に対する傾きと、水平面における移動端末の向きである。
移動量検出部104は、端末姿勢検出部105によって算出された姿勢と、加速度センサ101から出力される加速度情報とに基づいて、地球に固定して設定されたグローバル座標系、または宅内に固定して設定された宅内座標系における、移動端末の移動方向、移動速度および移動距離を予め定められた周期で算出(検出)する。なお、移動方向および移動距離を示すパラメータを移動量という。
地磁気ノイズ検出部106は、角速度センサ102による検出結果と、地磁気センサ103によって検出された磁界強度とに基づいて、地磁気の検出に対して異常が発生しているか否か、つまり地磁気ノイズが発生しているか否かを予め定められた周期で判別(検出)する。さらに、地磁気ノイズ検出部106は、地磁気ノイズが発生していると判別した際には、その地磁気ノイズが発生している間、その地磁気ノイズ(地磁気センサ103によって検出された磁界強度)の時系列上の変化を示す地磁気ノイズパターンを発生地磁気ノイズパターンとして地磁気ノイズパターン管理部108に出力する。
座標推定部107は、直前に算出された座標と、移動量検出部104によって算出された移動量とに基づいて、位置検知装置100の現在の位置を推定現在地座標として算出(推定)する。なお、この推定現在地座標は、次の推定現在地座標を算出するための、直前に算出された座標として用いられる。以下、この直前に算出された座標を前回推定座標という。
さらに、座標推定部107は、後述する前回認識基準点と推定現在地座標との間の距離、その間のカーブや傾きなどの移動の複雑さ、および、その間の移動にかかった時間のうち、少なくも1つに基づいて、その推定現在地座標に対する確度(正確さ)を推定現在地確度として算出する。そして、座標推定部107は、その推定現在地座標と推定現在地確度とを地磁気ノイズパターン管理部108に出力する。例えば、座標推定部107は、予め定められた周期で、推定現在地座標および推定現在地確度を算出して地磁気ノイズパターン管理部108に出力するとともに、その推定現在地座標を座標補正部110に出力する。
地磁気ノイズパターン格納部109は、記録媒体であって、基準点ごとに、その基準点における地磁気ノイズパターン(以下、基準ノイズパターンという)、その基準点の座標(以下、基準座標という)、およびその基準点の座標の確度(以下、基準確度という)を関連付けて示すテーブルを格納している。なお、基準点とは、推定現在地座標を補正するための基準となるグローバル座標系または宅内座標系における位置である。
地磁気ノイズパターン管理部108は、地磁気ノイズ検出部106から発生地磁気ノイズパターンを取得する。さらに、地磁気ノイズパターン管理部108は、その発生地磁気ノイズパターンを取得したとき、つまり、地磁気ノイズが発生しているときに座標推定部107によって算出された推定現在地座標および推定現在地確度をその座標推定部107から取得する。そして、地磁気ノイズパターン管理部108は、取得された発生地磁気ノイズパターン、推定現在地座標および推定現在地確度と、地磁気ノイズパターン格納部109のテーブルとに基づいて、その推定現在地座標を補正すべきか否かを判別する。なお、補正すべきか否かが判別される推定現在地座標は、処理対象の推定現在地座標であって、地磁気ノイズが発生しているときに座標推定部107によって算出された推定現在地座標であり、その発生が検出されたときに存在する位置検知装置100の位置である。
ここで、地磁気ノイズパターン管理部108は、補正すべきと判別したときには、その推定現在地座標の補正を座標補正部110に指示する。さらに、地磁気ノイズパターン管理部108は、必要に応じて地磁気ノイズパターン格納部109のテーブルを更新する。
座標補正部110は、座標推定部107から推定現在地座標を取得し、その推定現在地座標を出力する。ここで、座標補正部110は、地磁気ノイズパターン管理部108から推定現在地座標の補正の指示を受けると、補正後の座標である基準座標を地磁気ノイズパターン管理部108から取得する。そして、座標補正部110は、推定現在地座標を基準座標に置き換え、その基準座標を補正後の推定現在地座標として出力する。
図492は、地磁気ノイズパターン格納部109のテーブルを示す図である。
このテーブル109aは、上述のように、基準点ごとに、その基準点を識別するための基準点IDと、その基準点における基準ノイズパターンと、その基準点の基準座標と、その基準点の基準確度と、その基準点の更新時刻とを関連付けて示す。例えば、テーブル109aには、基準ノイズパターン「基準ノイズパターン1」、基準座標(X2,Y2,Z2)、基準確度「60パーセント」、および更新時刻「20000202:22:10:05」がそれぞれ基準点ID「p1」に関連付けて示されている。
このような位置検知装置100は、加速度センサ101、角速度センサ102、および地磁気センサ103による検出結果を用いた自律航法によって、自らの位置をリアルタイムに検知(推定)するとともに、地磁気ノイズに基づいてその検知された位置を適切に補正する。
図493は、宅内での地磁気ノイズ発生エリアの一例を示す図である。図493に示すように、位置検知装置100を備えた移動端末1000は、宅内(屋内)において、玄関である開始基準点p0から移動する。ここで、移動端末1000は、地磁気ノイズ発生エリアAである冷蔵庫付近を通る。このとき、移動端末1000に備えられた位置検知装置100は、冷蔵庫の有する金属板や冷蔵庫が出す磁気によって地磁気ノイズが発生したと判別する。つまり、位置検知装置100の地磁気センサ103は、地磁気によって論理的に検出される磁界と異なる磁界を検出する。例えば、位置検知装置100は、磁界強度が自然界の値と全く異なるケースなどでも異常と判断できる。同様に、位置検知装置100は、移動端末1000が地磁気ノイズ発生エリアBである階段下の鉄骨付近を通るときにも、その鉄骨の影響によって地磁気ノイズが発生したと判別する。また、位置検知装置100は、移動端末1000が2階に上がって地磁気ノイズ発生エリアCである2階の床鉄骨付近を通過するときにも、その鉄骨の影響によって地磁気ノイズが発生したと判別する。
このような地磁気発生エリアでは、宅内または屋内における電気設備または構造物などによって地磁気(磁界)が乱れる。また、このような地磁気ノイズ発生エリアAおよびBが、それぞれ基準点ID「p1」および「p2」として識別されて地磁気ノイズパターン格納部109のテーブル109aに示される。
図494は、発生地磁気ノイズパターンの一例を示す図である。
地磁気センサ103は、図494に示すように、X軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度を予め定められた周期ごとに(例えば10msごとに)検出する。ここで、移動端末1000が移動して、上述の冷蔵庫付近などの地磁気ノイズ発生エリアを通ると、地磁気センサ103によって検出されるX軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度は、想定される地磁気による磁界強度とは異なるように変化する。例えば、移動端末1000が移動中に、時刻t1から時刻t2までの期間、地磁気ノイズ発生エリアにあると、地磁気センサ103は、その期間において、想定される地磁気による磁界強度とは異なる磁界強度を3つの軸方向のそれぞれで検出する。
地磁気ノイズ検出部106は、このような期間に地磁気ノイズが発生したと判別する。そして、地磁気ノイズ検出部106は、この期間におけるX軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度の経時変化を示すパターン(地磁気ノイズパターン)を発生地磁気ノイズパターンとして地磁気ノイズパターン管理部108に出力する。また、この発生地磁気ノイズパターンは、移動端末1000が同じ地磁気ノイズ発生エリアを通る度に、再現される可能性が高い。
図495は、本実施の形態の位置検知装置100による座標推定に関する処理の流れを示すフローチャートである。
まず、端末姿勢検出部105は、加速度センサ101、角速度センサ102および地磁気センサ103によるそれぞれの検出結果に基づいて移動端末1000の姿勢を算出する(ステップS101)。
次に、移動量検出部104は、座標推定部107によって前回推定座標が算出されたとき以降に加速度センサ101から出力された加速度情報を取得する(ステップS102)。このとき、前回推定座標が算出されていなければ、移動量検出部104は、玄関などの予め設定された基準点を移動端末1000が通過したとき以降に出力された加速度情報を取得してもよい。また、位置検知装置100がGPS機能を有している場合には、最後にGPS機能によって座標(位置検知装置100の位置)が算出されたとき以降に出力された加速度情報を取得してもよい。そして、移動量検出部104は、端末姿勢検出部105から、その端末姿勢検出部105によって算出された姿勢を示す端末姿勢情報を取得する(ステップS103)。さらに、移動量検出部104は、その端末姿勢情報と加速度情報とに基づいて、移動端末1000の移動方向および移動距離を算出する(ステップS104)。
次に、座標推定部107は、移動量検出部104によって算出された移動距離だけ、移動量検出部104によって算出された移動方向に向かって前回推定座標から離れた位置を、推定現在地座標として算出する(ステップS105)。さらに、座標推定部107は、前回認識基準点と推定現在地座標との間の距離に応じた推定現在地確度を算出する(ステップS106)。なお、前回認識基準点は、直前に地磁気ノイズ検出部106によって地磁気ノイズが発生していると判別されたときの移動端末1000の位置である。つまり、座標推定部107は、過去に基準点を認識したときからの移動量の総量から、推定現在地確度を設定する。例えば、座標推定部107は、推定現在地座標が前回認識基準点よりも遠いほど、低い推定現在地確度を算出する。なお、推定現在地確度は、過去の基準点からの、移動距離、移動中に曲がった量や移動中の傾きなどに起因する移動の複雑さ、および、移動にかかった時間から総合的に算出されてもよいし、それらのうちの一つだけで算出されてもよい。
図496は、端末姿勢検出部105の処理の流れを示すフローチャートである。
端末姿勢検出部105は、まず、加速度センサ101から加速度情報を取得し、その加速度情報に基づいて、ローカル座標系における重力方向(鉛直方向)を算出する(ステップS201)。例えば、端末姿勢検出部105は、論理的に導き出される重力の値と、加速度情報によって示されるローカル座標系における力の向きおよび大きさとに基づいて、重力に相当する鉛直方向の力の向きを算出する。
次に、端末姿勢検出部105は、ローカル座標系におけるX軸、Y軸およびZ軸に対する重力方向の傾きに基づいて、移動端末1000の水平面に対する傾きを算出する(S203)。
さらに、端末姿勢検出部105は、地磁気ノイズの発生を地磁気ノイズ検出部106に確認することによって(ステップS203)、地磁気ノイズが発生しているか否かを判別する(ステップS204)。
ここで、端末姿勢検出部105は、地磁気ノイズが発生していないと判別すると(ステップS204のNo)、地磁気センサ103による検出結果を取得し、その検出結果と、ステップS202で算出された傾きとに基づいて、移動端末1000の水平面上の向きを算出する(ステップS205)。一方、端末姿勢検出部105は、地磁気ノイズが発生していると判別すると(ステップS204のYes)、角速度センサ102による検出結果を取得し、その検出結果と、ステップS202で算出された傾きとに基づいて、移動端末1000の水平面上の向きを算出する(ステップS206)。この場合、端末姿勢検出部105は、直前に水平面上の向きが算出されたとき以降に、角速度センサ102によって検出された回転方向および角速度に基づいて、その水平面上の向きの変化を特定する。そして、端末姿勢検出部105は、その直前に算出された水平面上の向きに、特定された向きの変化を加算することによって、現在の移動端末1000の水平面上の向きを算出する。なお、ステップS204で、地磁気ノイズが発生していないと判別されたときには(ステップS204のNo)、端末姿勢検出部105は、地磁気センサ103と角速度センサ102の両方の検出結果から、より正確に移動端末1000の水平面上の向きを算出してもよい。
このような処理によって、端末姿勢検出部105は、移動端末1000の姿勢を検出する。
図497は、地磁気ノイズ検出部106の処理の流れを示すフローチャートである。
地磁気ノイズ検出部106は、地磁気センサ103から、その地磁気センサ103の検出結果(X軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度)を取得する(ステップS301)。次に、地磁気ノイズ検出部106は、そのX軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度によって表される磁界ベクトルの大きさと、論理的な地磁気の大きさ(強度)との間に、予め定められた大きさまたは比率以上の差があるか否かを判定する(ステップS302)。
なお、論理的な地磁気の大きさ(強度)は予め定められた強度である。また、地磁気ノイズ検出部106は、位置検知装置100の位置に応じてその論理的な地磁気の大きさを変更してもよい。この場合、地磁気ノイズ検出部106は、地球上の位置ごとに、その位置における論理的な地磁気の大きさを示すデータベースを用いる。例えば、位置検知装置100がGPS機能を有している場合には、地磁気ノイズ検出部106は、最後にGPS機能によって算出された座標(位置検知装置100の位置)に基づいて、位置検知装置100の現在の地球上の位置を予測し、その位置における論理的な地磁気の大きさをそのデータベースから選択する。このとき、地磁気ノイズ検出部106は、最後にGPS機能によって算出された座標を現在の地球上の位置として予測してもよい。また、地磁気ノイズ検出部106は、ユーザによる操作によって地球上の位置を受け付け、その位置における地磁気の大きさをデータベースから選択してもよい。
ここで、地磁気ノイズ検出部106は、差があると判定した場合は(ステップS302のYes)、地磁気ノイズが発生したと判別する。その結果、地磁気ノイズ検出部106は、X軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度を示す3軸磁界強度情報を地磁気ノイズパターン管理部108に出力する(ステップS305)。
一方、地磁気ノイズ検出部106は、差がないと判定した場合は(ステップS202のNo)、角速度センサ102による検出結果に基づいて、予め定められた時間における移動端末1000の水平面上の向きの変化量を算出する(ステップS303)。次に、地磁気ノイズ検出部106は、上記予め定められた時間におけるX軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度の変化から導出される移動端末1000の向きの変化量と、ステップS303で算出された向きの変化量との間に、予め定められた量または比率以上の差があるか否かを判定する(ステップS304)。つまり、地磁気ノイズ検出部106は、角速度センサ102によって検出される位置検知装置100の向きの変化量と、地磁気センサ103によって検出される上記3軸方向の磁界強度の変化から導出される移動端末1000の向きの変化量とを比較することによって、地磁気の検出に異常が生じているか否かを検出する。
ここで、地磁気ノイズ検出部106は、差があると判定した場合は(ステップS304のYes)、地磁気ノイズ(異常)が発生していることを検出する。その結果、地磁気ノイズ検出部106は、X軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度を示す3軸磁界強度情報を地磁気ノイズパターン管理部108に出力する(ステップS305)。
一方、地磁気ノイズ検出部106は、差がないと判定した場合は(ステップS304のNo)、地磁気ノイズ(異常)が発生していないことを検出する。
地磁気ノイズ検出部106は、ステップS301〜S305までの処理を周期的(例えば10msごとに)に繰り返して行う。その結果、地磁気ノイズ検出部106は、例えば図493に示すような時刻t2〜t3の期間では、ステップS305の処理を繰り返し実行する。つまり、地磁気ノイズ検出部106は、その期間において3軸磁界強度情報を順次出力することによって、X軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度の時系列に沿った変化を示す発生地磁気ノイズパターンを、地磁気ノイズパターン管理部108に出力することになる。
なお、地磁気ノイズ検出部106は、3軸磁界強度情報を地磁気ノイズパターン管理部108に出力する際には、端末姿勢検出部105によって算出された姿勢に基づいて、その3軸磁界強度情報によって示されるX軸方向、Y軸方向およびZ軸方向のそれぞれの磁界強度を、予め定められた基本姿勢における磁界強度に修正する。そして、地磁気ノイズ検出部106は、その修正された磁界強度を示す3軸磁界強度情報を地磁気ノイズパターン管理部108に出力する。
このように本実施の形態では、ステップS304において、角速度センサ102によって検出される移動端末1000の向き(位置検知装置100の向き)の変化量と、地磁気センサ103によって検出される上記3軸方向の磁界強度の変化から導出される移動端末1000の向きの変化量との間に、予め定められた量または比率以上の差がある場合に、地磁気の検出に異常が生じていると検出される。
通常では、特定の位置または場所の緯度および経度にしたがって論理的に導き出される磁界強度と異なる磁界強度が検出されるときには、その位置または場所において地磁気の検出に異常が発生していると検出される。逆に言えば、その論理的に導き出される磁界強度と略同じ磁界強度が検出されるときには、その位置または場所において地磁気の検出に異常は発生していないと検出される。しかし、地磁気と関係しない磁場が位置検知装置100の近くにあっても、位置検知装置100の向きが変わることによって、その論理的に導き出される磁界強度と略同じ磁界強度が検出されるという特殊なケースが生じることがある。この特殊なケースにおいても、地磁気の検出に異常が発生していると検出されるべきである。そこで、角速度センサ102によって検出される位置検知装置100の向きの変化量と、地磁気センサ103によって検出される磁界強度の変化に基づいて導出される位置検知装置100の向きの変化量とを比較することによって、上述のような特殊なケースであっても、地磁気の検出に異常が発生していると適切に検出することができる。つまり、上述のような特殊なケースでは、角速度センサ102によって検出される位置検知装置100の向きの変化量と、地磁気センサ103によって検出される磁界強度の変化に基づいて導出される位置検知装置100の向きの変化量とは異なり、これらの変化量の差が予め定められた量または比率以上ある場合に、地磁気の検出に異常が発生していると検出することができる。
また、ステップS303およびS304の処理によって、地磁気ノイズが発生しているか否かの検出、つまり、地磁気の検出に異常が生じているか否かの検出において、誤検出を防ぐことができる。つまり、位置検知装置100の向きの変化に応じて、地磁気センサ103によって検出される磁界強度(X軸、Y軸およびZ軸のそれぞれの方向に沿った磁界強度)も変化する場合がある。このような場合に、その磁界強度の変化によって、地磁気の検出に異常が生じていると誤って判断してしまうことを防ぐことができる。
図498は、地磁気ノイズパターン管理部108の処理の流れを示すフローチャートである。
まず、地磁気ノイズパターン管理部108は、地磁気ノイズ検出部106から発生地磁気ノイズパターンを取得したときに、つまり、地磁気ノイズが発生しているときに座標推定部107によって算出された推定現在地座標(処理対象の推定現在地座標)および推定現在地確度を、その座標推定部107から取得する(S401)。さらに、地磁気ノイズパターン管理部108は、地磁気ノイズパターン格納部109のテーブル109aを参照し、その発生地磁気ノイズパターンと類似する基準ノイズパターンを類似基準ノイズパターンとしてテーブル109aから検索する(S402)。
次に、地磁気ノイズパターン管理部108は、ステップS402で少なくとも1つの類似基準ノイズパターンが見つけ出されると、さらに、その少なくとも1つの類似基準ノイズパターンの中から、テーブル109aにおいて推定現在地座標に近い基準座標に関連付けられ、且つ、発生地磁気ノイズパターンと間の類似度が高い類似基準ノイズパターンを、補正基準ノイズパターンとして検索する(ステップS403)。つまり、地磁気ノイズパターン管理部108は、処理対象の推定現在地座標の周辺にある基準座標に関連付けられた、発生地磁気ノイズパターンに類似するパターンである補正基準ノイズパターンを検索する。
ここで、地磁気ノイズパターン管理部108は、ステップS402およびS403において検索を行うときには、発生地磁気ノイズパターンを各基準ノイズパターン(各比較対象の基準ノイズパターン)と比較する。つまり、地磁気ノイズパターン管理部108は、発生地磁気ノイズパターンと各基準ノイズパターンとのパターンマッチングを行う。このとき、地磁気ノイズパターン管理部108は、事前に、その発生地磁気ノイズパターンの時間軸上のスケーリングを行う。つまり、地磁気ノイズパターン管理部108は、発生地磁気ノイズパターンが生成されたとき、すなわち地磁気ノイズが発生したときの移動端末1000の移動速度を移動量検出部104から取得する。そして、地磁気ノイズパターン管理部108は、その移動速度と、予め定められた移動速度(比較基準速度)との比に応じて、その発生地磁気ノイズパターンを時間軸方向にスケーリングする。その結果、発生地磁気ノイズパターンの時間軸上のスケールが、比較対象の基準ノイズパターンの時間軸上のスケールに整合する。その後、地磁気ノイズパターン管理部108は、スケーリングされた発生地磁気ノイズパターンと基準ノイズパターンとの比較(パターンマッチング)を行う。
例えば、地磁気ノイズパターン管理部108は、ステップS402およびS403では、処理対象の推定現在地座標と、比較対象の基準ノイズパターンに対応する基準座標との間の距離が短いほど大きな値を示す指標値と、発生地磁気ノイズパターンと比較対象の基準ノイズパターンとのパターンマッチングによって得られる類似度との和を、基準ノイズパターンごとに算出する。そして、地磁気ノイズパターン管理部108は、それらの算出された和のうち、最も大きい値であって、予め定められた閾値よりも大きい和に対応する基準ノイズパターンを、補正基準ノイズパターンとして選択する。
ステップS403での検索の結果、地磁気ノイズパターン管理部108は、補正基準ノイズパターンが存在するか否かを判別する(ステップS404)。
ここで、地磁気ノイズパターン管理部108は、補正基準ノイズパターンが存在すると判別すると(ステップS404のYes)、さらに、テーブル109aにおいてその補正基準ノイズパターンに関連付けられている基準確度が、ステップS401で取得された推定現在地確度よりも高いか否かを判別する(ステップS405)。
地磁気ノイズパターン管理部108は、ステップS405で、基準確度が推定現在地確度よりも高いと判別すると(ステップS405のYes)、テーブル109aにおいてその補正基準ノイズパターンに関連付けられている基準座標に、推定現在地座標を置き換えるように、推定現在地座標の補正を座標補正部110に指示する(ステップS406)。これにより、座標補正部110は、地磁気ノイズパターン管理部108から基準座標を取得する。そして、座標補正部110は、座標推定部107から取得された推定現在地座標をその基準座標に置き換えることによって、その推定現在地座標を補正し、その補正後の推定現在地座標(=基準座標)を出力する。また、地磁気ノイズパターン管理部108は、テーブル109aにおいてその補正基準ノイズパターンに関連付けられている基準座標を前回認識基準点として座標推定部107に通知する。
このように、補正基準ノイズパターンが存在する場合には、その補正基準ノイズパターンに関連付けられた基準確度が推定現在地確度よりも高い場合に、処理対象の推定現在地座標が補正されるため、補正基準ノイズパターンに関連付けて地磁気ノイズパターン格納部109に格納されている基準座標の確度が、推定現在地座標の確度以下の場合にまで、その推定現在地座標を補正してしまうことを防ぐことができ、より正しい位置を検知することができる。
一方、地磁気ノイズパターン管理部108は、ステップS405で、基準確度が推定現在地確度以下であると判別すると(ステップS405のNo)、地磁気ノイズパターン格納部109のテーブル109aにおいてその補正基準ノイズパターンに関連付けられている基準座標および基準確度を更新する。つまり、地磁気ノイズパターン管理部108は、補正基準ノイズパターンに関連付けられている基準座標および基準確度をそれぞれ、推定現在地座標および推定現在地確度に置き換える(ステップS407)。これにより、地磁気ノイズパターン格納部109に格納されている基準座標の確度を高めることができる。また、このとき、地磁気ノイズパターン管理部108は、その推定現在地座標を前回認識基準点として座標推定部107に通知する。
また、地磁気ノイズパターン管理部108は、ステップS408で、補正基準ノイズパターンが存在しないと判別すると(ステップS404のNo)、発生地磁気ノイズパターン、推定現在地座標、および推定現在地確度をそれぞれ、新たな基準ノイズパターン、基準座標、および基準確度として関連付けて、地磁気ノイズパターン格納部109のテーブル109aに登録する(ステップS408)。このとき、地磁気ノイズパターン管理部108は、その新たな基準ノイズパターンなどに、新たな基準点IDおよび更新時刻も関連付けてテーブル109aに登録する。なお、更新時刻は、その登録が行われるときの時刻である。また、新たに登録される発生地磁気ノイズパターンは、上述のように時間軸上にスケーリングされたパターンである。また、ステップS408の後、地磁気ノイズパターン管理部108は、その新たな基準座標を前回認識基準点として座標推定部107に通知する。
図499は、本実施の形態における位置検知方法を示すフローチャートである。
本実施の形態における位置検知方法は、移動端末1000の移動された位置を示す座標を推定することによって、その位置を検知する位置検知方法である。この位置検知方法では、まず、座標推定部107が、自らの現在の位置を示す推定現在地座標を推定する(ステップS14)。次に、地磁気ノイズ検出部106が、地磁気センサ103による地磁気の検出に異常が発生しているか否かを検出し、異常が発生している間、地磁気センサによって検出された磁界強度の時系列上の変化を示すパターンである地磁気ノイズパターン(発生地磁気ノイズパターン)を生成する(ステップS16)。
次に、地磁気ノイズパターン管理部108が、その異常が発生しているときに推定された処理対象の推定現在地座標の周辺にある座標に関連付けられた、地磁気ノイズパターンに類似するパターンである補正基準ノイズパターンを、記録媒体(地磁気ノイズパターン格納部109)に格納された少なくとも1つのパターン(基準ノイズパターン)の中から検索する(ステップS18)。ここで、検索によってその補正基準ノイズパターンが見つからなかった場合には(ステップS18のNo)、地磁気ノイズパターン管理部108は、処理対象の推定現在地座標および地磁気ノイズパターンを関連付けて記録媒体に格納する(ステップS20)。一方、検索によって補正基準ノイズパターンが見つかった場合には(ステップS18のYes)、地磁気ノイズパターン管理部108は、処理対象の推定現在地座標の補正を指示する(ステップS22)。そして、座標補正部110は、その補正の指示に応じて、補正基準ノイズパターンに関連付けて記録媒体に格納されている座標(基準座標)に、処理対象の推定現在地座標を補正する(ステップS24)。
このように、本実施の形態では、地磁気センサ103による地磁気の検出に異常が発生している間、地磁気ノイズパターンが生成され、地磁気ノイズパターン格納部109の中から、その地磁気ノイズパターンに類似する補正基準ノイズパターンが検索され、その補正基準ノイズパターンが見つかれば、異常が発生しているときに推定された処理対象の推定現在地座標が、その補正基準ノイズパターンに関連付けて地磁気ノイズパターン格納部109に格納されている基準座標に補正される。ここで、地磁気ノイズパターンには再現性があるため、その基準座標が正しい座標であれば、その発生地磁気ノイズパターンに基づいて、処理対象の推定現在地座標を正しい座標に補正することができる。また、補正基準ノイズパターンの検索では、処理対象の推定現在地座標の周辺にある基準座標に関連付けられた補正基準ノイズパターンが検索されるため、処理対象の推定現在地座標が、遠く離れた座標に誤って補正されてしまうことを防ぐことができる。なお、処理対象の推定現在地座標から予め定められた距離以内にある基準座標を、その処理対象の推定現在地座標の周辺にある基準座標として扱ってもよい。
また、本実施の形態において、補正後の正しい座標を導出するために行われる処理は、単に、発生地磁気ノイズパターンに類似する補正基準ノイズパターンの検索である。つまり、発生地磁気ノイズパターンと、比較対象の基準ノイズパターンとの比較(パターンマッチング)が行われる。したがって、本実施の形態では、上記特許文献1で必要とされているカメラが不要となり、カメラによって得られた画像と通気口の形状とのパターンマッチングを行うような画像処理も不要である。その結果、簡単な構成および処理で正しい位置を検知することができ、コストを抑えることができる。
また、本実施の形態では、補正基準ノイズパターンが見つからなければ、処理対象の推定現在地座標および発生地磁気ノイズパターンが関連付けられて地磁気ノイズパターン格納部109に格納される。その結果、ユーザがわざわざ、座標とパターンとの組み合わせを地磁気ノイズパターン格納部109に格納する手間を省くことができ、その組み合わせを示すデータベースを自動的に構築して発展させることができる。その結果、宅内のようなユーザ毎に多様な空間となる環境においても、その位置検知装置100の利便性を向上することができる。
また、本実施の形態における位置検知装置100では、ステップS14で推定現在地座標を推定する前に、端末姿勢検出部105が、加速度センサ101および地磁気センサ103による検出結果に基づいて、移動端末1000の姿勢を検出する。次に、移動量検出部104が、端末姿勢検出部105によって検出された姿勢と、加速度センサ101による検出結果とに基づいて、移動端末1000の移動方向および移動距離を示す移動量を検出する。その結果、上述のステップS14において、座標推定部107は、移動量検出部104によって検出された移動量だけ、前回推定された座標から離れた座標を上述の推定現在地座標として推定する。
このように本実施の形態では、加速度センサ101、地磁気センサ103、端末姿勢検出部105および移動量検出部104による検出結果に基づいて、推定現在地座標が移動端末1000および位置検知装置100の現在の位置として検知される。つまり、自律航法によって位置検知装置100の現在の位置が検知される。その結果、位置検知装置100の現在の位置を正確に検知することができ、その位置をより正しい位置に補正することができる。なお、本実施の形態では、自律航法によって位置検知装置100の現在の位置を検知しているが、例えばGPSなどを用いた他の方法によって位置検知装置100の現在の位置を検知または推定してもよい。
また、本実施の形態では、予め定められたサンプリング周期で磁界強度を検出することによって地磁気ノイズパターンが生成される。この場合に、位置検知装置100が同じ位置を繰り返し通過する際、位置検知装置100の移動速度が異なれば、生成される地磁気ノイズパターンも異なってしまう。そこで、本実施の形態では、地磁気ノイズパターン格納部109に格納された比較対象の基準ノイズパターンと発生地磁気ノイズパターンのそれぞれの時間軸上のスケールが整合するように、発生地磁気ノイズパターンがスケーリングされる。これにより、適切な補正基準ノイズパターンを検索することができる。また、補正基準ノイズパターンが見つからなかった場合には、予め定められた移動速度(比較基準速度)でスケーリングされた地磁気ノイズパターンが記録媒体に格納されるため、異常が発生しているときに検出された移動速度を地磁気ノイズパターン格納部109に格納する必要がなく、地磁気ノイズパターン格納部109の容量を抑えることができる。
(変形例1)
ここで、本実施の形態における第1の変形例について説明する。本変形例に係る地磁気ノイズパターン管理部108は、移動端末1000の移動速度も地磁気ノイズパターン格納部109のテーブルに格納する点に特徴がある。
図500は、本変形例に係る地磁気ノイズパターン格納部109のテーブルを示す図である。
このテーブル109bは、基準点ごとに、その基準点を識別するための基準点IDと、その基準点における基準ノイズパターンと、その基準点の基準座標と、その基準点の基準確度と、その基準点を通過するときの移動端末1000の移動速度と、その基準点の更新時刻とを関連付けて示す。例えば、テーブル109bには、基準ノイズパターン「基準ノイズパターン1」、基準座標(X2,Y2,Z2)、基準確度「60パーセント」、移動速度「1.5m/秒」および更新時刻「20000202:22:10:05」がそれぞれ基準点ID「p1」に関連付けて示されている。
地磁気ノイズパターン管理部108は、発生地磁気ノイズパターンを比較対象の基準ノイズパターンと比較する際には、比較対象の基準ノイズパターンを時間軸方向にスケーリングする。つまり、地磁気ノイズパターン管理部108は、処理対象の推定現在地座標を移動端末1000が通過したときの移動速度を移動量検出部104から取得する。なお、この移動速度は、地磁気ノイズが発生したときの移動端末1000の移動速度である。そして、地磁気ノイズパターン管理部108は、処理対象の推定現在地座標を移動端末1000が通過したときの移動端末1000の移動速度と、テーブル109bにおいて比較対象の基準ノイズパターンに関連付けられている移動速度との比に応じて、比較対象の基準ノイズパターンを時間軸方向にスケーリングする。これにより、発生地磁気ノイズパターンと比較対象の基準ノイズパターンは同一のスケールで比較(パターンマッチング)される。
地磁気ノイズパターン管理部108は、発生地磁気ノイズパターンを新たな基準ノイズパターンとしてテーブル109bに登録する際には、地磁気ノイズ検出部106から出力されたスケーリングされていない発生地磁気ノイズパターンを登録する。さらに、地磁気ノイズパターン管理部108は、処理対象の推定現在地座標を移動端末1000が通過したときの移動速度を新たな基準ノイズパターンに関連付けてテーブル109bに登録する。
このように本変形例では、地磁気ノイズパターン格納部109に格納された比較対象の基準ノイズパターンと発生地磁気ノイズパターンのそれぞれの時間軸上のスケールが整合するように、比較対象の基準ノイズパターンがスケーリングされる。これにより、適切な補正基準ノイズパターンを検索することができる。また、補正基準ノイズパターンが見つからなかった場合には、移動速度も、処理対象の推定現在地座標などと関連付けて地磁気ノイズパターン格納部109に格納されるため、スケーリングに必要とされるその移動速度を容易に取得して利用することができる。
(変形例2)
ここで、本実施の形態における第2の変形例について説明する。本変形例に係る地磁気ノイズパターン管理部108は、1つの基準点に対して複数の基準ノイズパターンを地磁気ノイズパターン格納部109のテーブルに登録する点に特徴がある。
図501は、本変形例に係る地磁気ノイズパターン格納部109のテーブルを示す図である。
このテーブル109cは、基準点ごとに、その基準点を識別するための基準点IDと、その基準点における1つまたは複数の基準ノイズパターンと、その基準点の基準座標と、その基準点の基準確度と、その基準点の更新時刻とを関連付けて示す。例えば、テーブル109cには、基準ノイズパターン「基準ノイズパターン1a,1b」、基準座標(X2,Y2,Z2)、基準確度「60パーセント」、移動速度「1.5m/秒」および更新時刻「20000202:22:10:05,20000205:10:10:03」がそれぞれ基準点ID「p1」に関連付けて示されている。
本変形例に係る地磁気ノイズパターン管理部108は、上記実施の形態と同様、図498に示すステップS404で、補正基準ノイズパターンが存在すると判別すると(ステップS404のYes)、ステップS406およびS407の処理を実行する。このとき、本変形例に係る地磁気ノイズパターン管理部108は、さらに、その補正基準ノイズパターンと同じ基準点IDに関連付けられるように、発生地磁気ノイズパターンを新たな基準ノイズパターンとしてテーブル109cに登録する。
なお、地磁気ノイズパターン管理部108は、既存の基準点IDに関連付けて新たな基準ノイズパターンをテーブル109cに登録する際には、既存の更新時刻に加えて、その登録時の時刻も新たな更新時刻としてテーブル109cに登録する。
また、本変形例に係る地磁気ノイズパターン管理部108は、図498に示すステップS402およびS403で検索を行うときには、同一の基準座標(例えば(X2,Y2,Z3))に関連付けられた2つの基準ノイズパターン1aおよび1bを含むテーブル109cの中から、発生地磁気ノイズパターンに対する補正基準ノイズパタンを検索する。
このように本変形例では、同一の基準座標に関連付けて複数の基準ノイズパターンが地磁気ノイズパターン格納部109に格納されるため、処理対象の推定現在地座標をその同一の基準座標に補正する確率を高めることができる。つまり、多くの互いに異なる基準ノイズパターンが同一の基準座標に関連付けられて登録されるほど、処理対象の推定現在地座標をその同一の基準座標に補正する確率を高めることができる。その結果、より正しい位置を検知することができる。
なお、地磁気ノイズパターン管理部108が、同一の基準座標に関連付けられた複数の基準ノイズパターンのそれぞれと、発生地磁気ノイズパターンとのパターンマッチングを行うときには、最近の更新時刻に関連付けられた基準ノイズパターンから優先的にパターンマッチングを行ってもよい。これにより、最近の基準ノイズパターンほどその信頼性が高いため、処理対象の推定現在地座標の適切な補正を行うことができる。つまり、時刻の経過に応じて変動する地磁気ノイズパターンに対しても対応することができる。
(変形例3)
ここで、本実施の形態における第3の変形例について説明する。本変形例に係る地磁気ノイズパターン管理部108は、基準ノイズパターンの種別も地磁気ノイズパターン格納部109のテーブルに登録する点に特徴がある。
図502は、発生地磁気ノイズパターンの一例を示す図である。
例えば、地磁気ノイズ発生エリアの中でも、モータやコイルが多く含まれた機器などが存在するエリアでは、図502に示すように、磁界強度が激しく変化する。
本変形例に係る地磁気ノイズパターン管理部108は、図498のステップS402およびS403において、発生地磁気ノイズパターンを基準ノイズパターンと比較する際には、まず、発生地磁気ノイズパターンの種別を特定する。つまり、地磁気ノイズパターン管理部108は、その発生地磁気ノイズパターンによって示される時系列上の磁界強度の単位時間あたりの変化量と閾値とを比較する。その結果、地磁気ノイズパターン管理部108は、その変化量が閾値よりも大きいと判別すると、その発生地磁気ノイズパターンの種別「乱れ」を特定する。一方、地磁気ノイズパターン管理部108は、その変化量が閾値以下であると判別すると、その発生地磁気ノイズパターンの種別「定常」を特定する。
図503は、本変形例に係る地磁気ノイズパターン格納部109のテーブルを示す図である。
このテーブル109dは、基準点ごとに、その基準点を識別するための基準点IDと、その基準点における基準ノイズパターンと、その基準ノイズパターンの種別と、その基準点の基準座標と、その基準点の基準確度と、その基準点の更新時刻とを関連付けて示す。例えば、テーブル109dには、基準ノイズパターン「基準ノイズパターン1」、種別「乱れ」、基準座標(X2,Y2,Z2)、基準確度「60パーセント」、および更新時刻「20000202:22:10:05」がそれぞれ基準点ID「p1」に関連付けて示されている。さらに、テーブル109dには、基準ノイズパターン「基準ノイズパターン2」、種別「定常」、基準座標(X3,Y3,Z3)、基準確度「80パーセント」、および更新時刻「20030303:23:13:03」がそれぞれ基準点ID「p2」に関連付けて示されている。
そこで、地磁気ノイズパターン管理部108は、発生地磁気ノイズパターンの種別が「乱れ」であれば、パターンマッチングを行うことなく、種別「乱れ」に関連付けられた基準ノイズパターンを類似基準ノイズパターンまたは補正基準ノイズパターンとしてテーブル109dから検索する。例えば、地磁気ノイズパターン管理部108は、種別「乱れ」に関連付けられた基準ノイズパターンが複数ある場合には、その複数の基準ノイズパターンの中から、処理対象の推定現在地座標に最も近い基準座標に関連付けられた基準ノイズパターンを補正基準ノイズパターンとして検索する。
一方、発生地磁気ノイズパターンの種別が「定常」であれば、地磁気ノイズパターン管理部108は、種別「定常」に関連付けられた基準ノイズパターンをテーブル109dから抽出する。そして、地磁気ノイズパターン管理部108は、種別「定常」に関連付けられた少なくとも1つの基準ノイズパターンの中から、パターンマッチングによって、類似基準ノイズパターンまたは補正基準ノイズパターンを検索する。
また、本変形例に係る地磁気ノイズパターン管理部108は、図498のステップS408において発生地磁気ノイズパターンを新たな基準ノイズパターンとして地磁気ノイズパターン格納部109のテーブル109dに登録する際には、その発生地磁気ノイズパターンに対して特定された種別もそのテーブル109dに登録する。
このように本変形例では、地磁気ノイズパターンの種別が乱れを示す場合には、乱れを示す種別に関連付けて地磁気ノイズパターン格納部109に格納された基準ノイズパターンが補正基準ノイズパターンとして検索されるため、パターンマッチングを行うことなく、補正基準ノイズパターンを簡単に検索することができる。つまり、補正基準ノイズパターンの検索に要する演算量を削減することができるとともに、位置検知の精度向上の両立を図ることができる。また、発生地磁気ノイズパターンおよび比較対象の基準ノイズパターンのそれぞれによって示される磁界強度の時系列上の変化が激しい場合には、パターンマッチングが難しいが、このような種別を用いた検索を行うことによって、適切な補正基準ノイズパターンを見つけることができる。
本発明の位置検知装置100について、上記実施の形態およびその変形例を用いて説明したが、本発明はこれらに限定されるものではない。
例えば、上記実施の形態およびその変形例では、位置検知装置100は角速度センサ102および地磁気ノイズパターン格納部109を備えているが、これらを備えていなくてもよい。例えば、位置検知装置100が地磁気ノイズパターン格納部109を備えていない場合には、位置検知装置100は、その外部に接続された記録媒体に格納されているテーブル109a〜109dを用いてもよい。また、位置検知装置100が角速度センサ102を備えていない場合には、端末姿勢検出部105は、図496に示すステップS204で、地磁気ノイズが発生していると判別すると、ステップS206において、その地磁気ノイズの発生前の最後に算出された向きから、移動端末1000の現在の向きを推定する。さらに、この場合には、地磁気ノイズ検出部106は、図497に示すステップS303およびS304の処理を省略する。
また、上記実施の形態およびその変形例では、位置検知装置100は加速度センサ101、移動量検出部104および端末姿勢検出部105を備えているが、これらを備えていなくてもよい。この場合には、位置検知装置100は例えばGPSセンサを備え、座標推定部107はそのGPSセンサから位置情報を取得し、その位置情報に基づいて推定現在地座標を推定する。または、位置検知装置100は例えば無線LAN通信部を備え、座標推定部107は、その無線LAN通信部が受信する電波の電界強度を取得し、その電界強度に基づいて推定現在地座標を推定する。
また、上記実施の形態およびその変形例では、地磁気ノイズパターン管理部108は、図498に示すステップS405で、基準確度が推定現在地確度以下であると判別したときに、地磁気ノイズパターン格納部109のテーブルの基準確度を更新したが、その他のタイミングでも基準確度を更新してもよい。例えば、地磁気ノイズパターン管理部108は、基準点を通過するごとに、その基準点に対応する基準確度を増加させてもよい。具体的には、地磁気ノイズパターン管理部108は、同一の基準座標に対してステップS406の処理を繰り返すごとに、その同一の基準座標に関連付けてテーブルに登録されている基準確度を、予め定められた値だけ増加する。
また、上記実施の形態およびその変形例では、発生地磁気ノイズパターンおよび基準ノイズパターンをそれぞれ、3軸(X軸、Y軸およびZ軸)のパターンとして扱ったが、1つの合成されたパターンとして扱ってもよい。
また、上記実施の形態およびその変形例では、地磁気ノイズ検出部106は、図497に示すフローチャートの順序にしたがって各ステップを実行するが、ステップS302の処理の前に、ステップS303およびステップS304の処理を行ってもよい。
また、上記実施の形態では、発生地磁気ノイズパターンをスケーリングし、変形例1では、基準ノイズパターンをスケーリングしたが、発生地磁気ノイズパターンと比較対象の基準ノイズパターンとのスケールが一致すれば、何れをスケーリングしてもよく、両パターンをスケーリングしてもよい。
また、以下のような場合も本発明に含まれる。
(1)上記の装置および端末は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の装置または端末を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。例えば、集積回路は、移動量検出部104と、端末姿勢検出部105と、地磁気ノイズ検出部106と、座標推定部107と、地磁気ノイズパターン管理部108と、地磁気ノイズパターン格納部109と、座標補正部110とを備える。
(3)上記の装置または端末を構成する構成要素の一部または全部は、装置または端末に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
(実施の形態D1)
以下の実施の形態D1〜D5では、例えば情報表示装置の向きを変えるなどユーザが多様な持ち方をした場合でも、ユーザが違和感なく見ることができる向きにGUIを表示できる情報表示装置について説明する。
以下、本発明の実施の形態D1〜D5について、図面を参照しながら説明する。
実施の形態D1は、遠心力やユーザがモバイルを振る動作を検知して、画面の表示向きを変更することで、ユーザが違和感なく見ることができる向きにGUIを表示する処理の流れについて説明する。
図504は、本発明の実施の形態D1における情報表示装置の姿勢と画面表示向きの関係を示す図である。図504に示すとおり、ユーザがモバイルを見ている状態での、初期状態を(A)とする。(A)ではモバイルは水平面である机に対して、画面が鉛直方向から20度ずれた状態になっている。この状態から時計回りに90度まわすと(B)の状態になり、すなわちモバイルは鉛直方向に縦長の状態になり、GUIが鉛直方向の上に相当する辺を上部としてGUIが表示される。
このよう、画面表示部が水平状態にないモバイルでは、加速度センサ等で重力を検知することで鉛直方向の上側を上部としたGUI表示をすることができる。
さらには、(C)のようにモバイルを水辺に倒した場合は、(B)の表示が維持される。その後に、モバイルを水平面上で反時計回りに向きを変えたときに(D)のように(C)において上部だった方向にGUIが表示される。ここでは机を、水平面を表すために利用しているが、床や天井、手に持った状態などでもかまわない。
ここで、図505を用いて(A)や(B)の状態の検知をしつつ、(C)及び(D)へ端末姿勢を変えたときに、表示向きを決定する方法についてさらに詳しく説明する。図505は、本発明の実施の形態D1における情報表示装置の画面の表示向きを判定する処理部の内部構成を示す図である。
図505に示すとおり、本発明のモバイル装置は、加速度センサ101と、角速度センサ102と、地磁気センサ103と、これらのセンサの情報を元にモバイルの水平面に対する角度や、水平面上の向きなどの端末姿勢情報を検出する端末姿勢検出部104と、端末姿勢情報などからモバイルの画面に表示するGUIの表示向きを判定する表示向き判定部105と、端末の過去の状態として、端末姿勢情報やGUIの表示向きを時系列端末状態保存部107に保存し管理する時系列端末状態管理部106と、画像表示部108とを有する。
次に、図506を用いて処理の流れを示す。図506は、本発明の実施の形態D1における情報表示装置の処理の流れを説明するための図である。
まず、ステップ100aで、端末姿勢検出部は、各種センサから端末の姿勢変化を検出したかどうかを判定し、検出しなかった場合はステップ100aに戻る。
次に、ステップ100bで、検出した場合、端末姿勢検出部104が、加速度センサの値を取得し、重力方向を取得する。
次に、ステップ100cで、端末姿勢検出部104が、モバイルの水平面に対する任意の角度(例えば20度)以上の傾きを検出したかどうかを判定する。
ステップ100cにおいて、Yesの場合は、ステップ100dへ進み、端末姿勢検出部104が重力方向の情報から検出された姿勢の中で、傾きによってもっとも鉛直方向の上側にある辺を判定する。
次に、ステップ100eで、表示向き判定部105が検出した辺が画面表示上の上部になるよう表示画面の向きを変更し、次に、ステップ100fで、時系列端末状態管理部が端末姿勢情報を現状の表示向きとともに保存する。
次に、ステップ100gで、表示処理終了したかを判定する。Yesの場合は、終了する。終了しなければ(Noの場合)、ステップ100aへ戻る。
なお、ステップ100cで、Noの場合は、図507のW01へ進む。
続いて、図507を用いて処理の流れを示す。図507は、本発明の実施の形態D1における情報表示装置の処理の流れを説明するための図である。
まず、ステップ101aで、表示向き判定部が時系列端末状態管理部から一つ前の端末の姿勢情報と表示向きを取得する。
次に、ステップ101bで、端末姿勢検出部が、角速度又は地磁気センサ、又はその両方お用いて、現時点の端末の姿勢として水平面上の向きの変化を取得する。
次に、ステップ101cで表示向き判定部が、一つ前の端末の姿勢情報と現時点の端末の姿勢情報を比較する。
次に、ステップ101dで、一つ前の端末の姿勢情報がモバイルの水平面に対する任意の角度(例えば20度)以上の傾きを有することをあらわす?かどうかを判定する。
Yesの場合は、ステップ101eへ進み、表示向き判定部が、一つ前の端末の表示向きを変更せずに表示を継続する。そして、図506のW02へ戻る。
一方、Noの場合は、ステップ101fへ進み、向きの変化が任意の確度(70度)を超えている?かどうかを判定する。
次いで、ステップ101gで、表示向き判定部が、向きの変化の方向と逆に画面を90度変更して、図506のW02へ戻る。
このようにして、本実施の形態の情報表示装置(モバイル)は、ユーザが違和感なく見ることができる向きにGUIを表示することができる。
(実施の形態D2)
本実施の形態では、遠心力を用いた向きの設定及び、ユーザの手持ち状態を考慮したモバイルの筐体の振れ幅も用いたから向きを設定する方式について開示する。
図508は、本発明の実施の形態D2における情報表示装置の向きを設定する処理部の内部構成を示す図である。図508に示す構成は、実施の形態D1に示した構成に対して遠心力方向検出部111が加わる点が異なる。
次に、図509を用いて処理の流れを示す。図509は、本発明の実施の形態D2における情報表示装置の処理の流れを説明するための図である。
まず、ステップ110aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
次に、ステップ110bで、端末姿勢検出部が、重力方向の値から、端末の水平線に対する姿勢情報を算出する。
次に、ステップ110cで、自機器の表示部があらかじめ決められた誤差以内の水平に近い状態かどうかを判定する。
Yesの場合は、ステップ110eへ進み、遠心力方向検出部が、水平方向の加速度の値を取得する。
次にステップ110fで、任意の時間内で、水平方向の加速度成分が一定方向に出続けており、かつ逆方向に成分がないケースがあるかどうかを判定する。
ここで、Yesの場合は、ステップ110hへ進み、取得された方向の遠いほうの辺を上部としてGUIを表示し、図510のW03へ進む。
Noの場合は、ステップ110gへ進み、あらかじめ設定されていた表示向きに従ってGUIを表示し、図510のW03へ進む。
なお、ステップ110cで、Noの場合は、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示し、図510のW03へ進む。
続いて、図510を用いて処理の流れを示す。図510は、本発明の実施の形態D2における情報表示装置の処理の流れを説明するための図である。
まず、ステップ111aで、端末姿勢検出部が、加速度センサの値を取得し、合成ベクトルから重力方向を取得する。
次に、ステップ111bで、端末姿勢検出部が、重力の基準値を自端末が計測により保存する位置情報を元に算出する。または、自端末の位置情報を元に重力の基準値をクラウド上のサーバにアクセスして取得する。
次に、ステップ111cで、取得された3軸加速度の合成値が重力の基準値と比較して大きいかどうかを判定する。
Yesの場合は、ステップ111gへ進み、もっとも大きいベクトルに近づくよう、重力方向を補正する。
次に、ステップ111hで、重力成分を除いた合成ベクトルが水平面上で示す方向の遠いほうの辺を上部としてGUIを表示し、図511のW04へ進む。
なお、ステップ111cで、Noの場合は、ステップ111dへ進み、自機器の表示部があらかじめ決められた閾値(角度)以内の水平に近い状態?かどうかを判定する。
Yesの場合は、ステップ111eへ進み、あらかじめ設定されていた表示向きに従ってGUIを表示し、図511のW04へ進む。
Noの場合は、ステップ111fへ進み、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示し、図511のW04へ進む。
続いて、図511を用いて処理の流れを示す。図511は、本発明の実施の形態D2における情報表示装置の処理の流れを説明するための図である。
まず、ステップ112aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
次に、ステップ112bで、端末姿勢検出部が角速度センサ又は加速度センサから、検出された姿勢の中で揺れ幅の大きい辺を検出する。
次に、ステップ112cで、端末向き判定部が、検出した振れ幅の大きい辺と、予め設定されているか又は過去に保存された振れ幅の大きい辺と先頭方向との関係を示す情報を用いて、GUIの向きを設定する。
次に、ステップ112dで、任意の時間(例5秒)以内にユーザが、一定値を超える傾きまたは遠心力によって先頭方向を検知するかどうかを判定する。
Noの場合は終了する。
一方、Yesの場合は、ステップ112eへ進み、振れ幅によって検出された辺と違うかどうかを判定する。ここで、Noの場合は終了し、Yesの場合は、ステップ112fへ進み、端末向き判定部が、振れ幅の大きい辺と、その後一定時間以内にユーザが先頭方向とした辺の関係を保存して終了する。
このようにして、本実施の形態の情報表示装置(モバイル)は、遠心力を用いた向きの設定及び、ユーザの手持ち状態を考慮したモバイルの筐体の振れ幅も用いたから向きを設定し、ユーザが違和感なく見ることができる向きにGUIを表示することができる。
(実施の形態D3)
本実施の形態では、モバイルが内蔵センサを用いた自律航法によってモバイル自身の位置情報を取得することと、モバイルがあらかじめ位置が登録されている周辺のデバイスや物、位置情報を有する仮想的なタグ情報といった周辺環境の情報を用いたGUIやアプリケーションを表示する場合の画面の向きの決定方法について説明する。
図512は、本発明の実施の形態D3における情報表示装置の構成を示す図である。
図512に示す構成は、実施の形態D1の構成と比較して、モバイルが内蔵センサによって取得した情報からモバイルの移動量を検出する移動量検出部121と、モバイルの現在地座標を推定する座標推定部と、モバイルが周辺環境の情報をポイント対象として探索する、ポイント対象探索部とポイント対象となる周辺のデバイスや物、位置情報を有する仮想的なタグ情報などのリストを位置情報として登録するデータベースである位置DB124が加わる点が異なる。
なお、圧力センサによる高さの検知など、位置を特定する為に有用なセンサであれば内蔵センサとして用いることができる。
また、位置DB121は、端末内部にあっても良いが、クラウド上に置かれていてもよく、その保存場所は問わない。
続いて、図513を用いて処理の流れを示す。図513は、本発明の実施の形態D3における情報表示装置の処理の流れを説明するための図である。
まず、ステップ120aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
次に、ステップ120bで、端末姿勢検出部が、重力方向の値から、端末の水平面に対する姿勢情報を算出する。
次に、ステップ120cで、端末姿勢検出部が加速度センサと角速度センサ地磁気センサから端末姿勢を決定する。
次に、ステップ120dで、移動量検出部が前回座標推定時からの加速度センサの値を取得する。
次に、ステップ120eで、移動量検出部が端末姿勢検出部から端末姿勢情報を取得する。
次に、ステップ120fで、移動量検出部が端末姿勢情報と加速度センサの値から、端末の移動方向、移動距離を算出する。
次に、ステップ120gで座標推定部が一つ前の座標推定時の座標値からの、移動方向、移動距離を元に現時点のモバイルの座標値である推定現在地座標を算出する。
次に、ステップ120hで、座標推定部が、過去に基準点を認識したときからの移動量の総量から、座標推定確度を設定して、図514のW05へ進む。
続いて、図514を用いて処理の流れを示す。図514は、本発明の実施の形態D3における情報表示装置の処理の流れを説明するための図である。
まず、ステップ121aで、ポイント対象探索部が、端末がポイントする対象物サーチ状態かどうかを確認(例えばユーザのボタン押下、特定位置、静止状態)する。
次に、ステップ121bで、対象物サーチ状態かどうかを判定する。
Noの場合は、図515のW06へ進む。一方、Yesの場合は、ステップ121cへ進み、ポイント対象探索部が、姿勢制御部から端末姿勢を取得し、端末の先頭方向の向きを特定する。
次に、ステップ121dで、ポイント対象探索部が座標推定部から自機器の座標値を取得する。
次に、ステップ121eで、ポイント対象探索部が、位置DB上に登録された位置情報を有する機器などの対象物が自機器の座標値から端末の先頭の向いた方向に存在するかどうかを確認する。
次に、ステップ121fで、対象物が存在するかどうかを判定する。
Noの場合は、図515のW06へ進む。一方、Yesの場合は、ステップ121gへ進み、ポイント対象に関連する機能を起動(例えば対象機器の制御GUI)して、図515のW06へ進む。
続いて、図515を用いて処理の流れを示す。図515は、本発明の実施の形態D3における情報表示装置の処理の流れを説明するための図である。
まず、ステップ122aで、表示向き判定部が、ポイント対象に関連するGUIを表示しているモードかどうかを判定する。
次に、ステップ122bで、表示向き判定部が、端末姿勢検出部から、端末姿勢を取得する。
次に、ステップ122cで、自機器の表示部があらかじめ決められた閾値(例:±10度)以内の水平に近い状態?かどうかを判定する。
Yesの場合は、図516のW08へ進む。一方、Noの場合は、図516のW07へ進む。
続いて、図516を用いて処理の流れを示す。図516は、本発明の実施の形態D3における情報表示装置の処理の流れを説明するための図である。
W07において、ステップ123aで、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示して、終了する。
W08において、ステップ123bで、表示向き判定部が、自機器の座標値とポイント対象物の座標値を結ぶ直線状のポイント対象物に近いほうの辺を算出する。
次に、ステップ123cで、算出した辺と、自機器の座標値とポイント対象物の座標値を結ぶ直線が任意の角度(例90度+−20度)以内かどうかを判定する。
Yesの場合は終了し、Noの場合は、ステップ123dへ進み、位置DBから取得したポイント対象の位置の正確度が任意のレベル(例80%)以上かどうかを判定する。ここで、Yesの場合は終了し、Noの場合は、ステップ123eへ進み、表示向き判定部が、時系列端末状態管理部の情報から、現状が回転中かどうかを判定する。
次に、ステップ123fで、算出した辺と、自機器の座標値とポイント対象物の座標値を結ぶ直線が任意の角度(例90度+−20度以内)になる方向に回転中であるかどうか判定する。
Yesの場合は、終了し、Noの場合は、ステップ123gへ進み、現状の向きを変えないで表示を続け終了する。
図517は、位置DBに格納されるポイント対象の情報の例である。図517に示すように対象物は、それぞれの3次元空間上の絶対座標値、又はモバイルが位置を特定するために使用したいづれかの基準点を基準とした相対座標値を持つ。さらには、対象物自身を基準点と考えた場合の、座標値の正確さを表す基準点角度情報を持つことも可能である。また、対象物の座標や基準点角度情報を更新した場合の更新時刻情報を持つことが可能である。
このようにして、本実施の形態の情報表示装置によれば、ユーザがポイントしたい対象を意識している状況で、ユーザがモバイルを多様な持ち方をして使っていても、ユーザが違和感なくモバイルを操作することができるGUIの表示が実現する。
(実施の形態D4)
アイコン表示することによってユーザにより分かりやすい表示を実現する方法について述べる。例えば、モバイルの画面向きを変えた場合に、モバイル自身の筐体の姿勢とモバイル自身の画面の向きとの関係がわかりにくくなることを防ぐため、現時点のモバイルの姿勢を示すアイコンを表示する。
以下、図を用いて、本発明の実施の形態D4における情報表示装置(モバイル自身)の向きを示すアイコンを表示する方法を説明する。図521は、本発明の実施の形態D4における情報表示装置(モバイル自身)において、常に端末の正位置を示すアイコンのバリエーションを示す図である。また、図522〜図530は、本発明の実施の形態D4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。
図521において、モバイルの画面の左上にあるアイコンはボタン・カメラ・スピーカ位置を誇張表現したモバイル自身の絵を縮小したものである。このアイコンは画面の向きが変わっても常に見やすい位置に、端末自体の向きを表示し続ける。具体的には縦向き横向きにかかわらず左上にモバイル端末の現状態の位置が表示される。このとき、モバイルの筐体がどの向きを向いても、アイコンの向きは筐体に対して不変であり、画面内の他のコンテンツが色々な方向を向いても、アイコンだけは筐体と同じ向きで表示される。
また、図525のように右下や左下に表示しても良く、さらには右上など、画面内の表示位置は何処にあっても良い。ここで水平面から70度に傾いた絵を用いているが、一例であり、角度は問わない。
なお、図522、図523も同様にアイコンの種別のバリエーションを表すものである。また、図524の(A)〜図530では、横位置と縦位置について左右や上下片方の絵しか見せない場合のアイコンを開示する。図524に示すように、モバイルによっては、前面にカメラやスピーカーがついているなどして、縦位置、横位置に対して、カメラが上にある必要があるなど、正しい位置(正位置)というものがある。この場合は、ユーザに表示するときのアイコンは縦と横のときの正位置を示すものとして2種類あればよい。
図531〜図537は、本発明の実施の形態D4における情報表示装置がユーザに正位置を促すアイコンを示す図である。
例えば、図531に示すようにアイコンは、縦位置に対して正位置となる方向にアイコンの上方向が来て、モバイルが縦位置に対して正位置とは反対の姿勢のときは、アイコンが反対を向くので、ユーザが違和感を持つ。これによってユーザに正位置にするよう促すことができる。図532〜図537もユーザに正位置を促すアイコンを開示したものである。図中に別の例としてあるものは、左上にアイコン表示させたものである。
また、アイコンを左右非対称とし、方向性をもたせることで、現在の端末の位置から、どちらに回転させれば正位置になるかをユーザに示唆することができる。例えば図531に示すように、目をモチーフとしたアイコンが右を見ている場合は、端末の右側を上にすることで正位置にすることができることを示している。図532〜図537も同様に、アイコンの顔の向き、指差しの向き、体の向きが正位置の方向を示している。
また、図529では縦位置と横位置によって絵が別のものに変わるアイコンを示している。横位置では鳥に見えたものが、縦位置ではウサギに見えるものと、横位置ではペンギンだが縦位置ではマンボウに見える。これによって、違和感のある絵のときは筐体の向きがおかしいという風にユーザに感じさせることができる。
この場合は、ユーザにとって違和感のあるアイコンの表示をなくすことができる。このとき、アイコンを表示するモジュールが、事前に画面の向きの上方向を認識し、常にGUIの上側を基準として、横位置と縦位置にあわせたアイコン表示となるようにすることができる。
(実施の形態D5)
本実施の形態では、情報表示装置の一態様としてデジタルカメラ等のモバイル端末の電気的構成について、図538を用いて説明する。図538は、本発明の実施の形態D5における情報表示装置の一態様のモバイル端末の構成を示す図である。
〔1−1.概要〕
本実施の形態にかかるモバイル端末5000は、タッチパネルなど外部入力とディスプレイを持ち、インターネットブラウジングや映像の閲覧、音楽の視聴、TVや家電製品の操作などを行うことができる多機能なモバイル端末である。本実施の形態のモバイル端末5000は、その使用目的上、モバイル端末を縦向きや横向きに回転させることが想定されるが、ユーザの向いている方向に常に画面の向きを回転させて表示させることで、ユーザがモバイル端末5000をどのように回転させても、常に見やすい表示方向で画面を表示させることを可能にする。
〔1−2.構成〕
〔1−2−1.電気的構成〕
図538に示すモバイル端末5000は、角速度センサ1002および地磁気センサ1003を持ち、これらの入力を用いて表示方向制御部1005に現在ユーザがどの方向からモバイル端末5000を持っているかを検出させ、表示方向を決定する。そして決定した表示方向を画面表示制御部1006へ伝える。画面表示制御部1006は、制御方向制御部の情報を元に、実際にモバイル端末のディスプレイ1004へ出力する情報を生成し、ディスプレイ1004へ送る。ディスプレイ1004は受信した情報をディスプレイ画面に表示させる。以下、モバイル端末5000の構成を詳細に説明する。
外部入力部1030は、タッチパネルやハードウェアキーなどにより構成される。ユーザの操作を受け付けることで、モバイル端末5000を操作する様々な入力を受け取ることができる。ディスプレイ1004がタッチパネル付きで外部操作を受け付けることができる場合、ディスプレイ1004と兼用することも可能である。
コントローラ1020は、モバイル端末5000全体を制御する制御手段である。コントローラ1020は、半導体素子などで実現可能である。コントローラ1020は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ1020は、マイコンなどで実現できる。コントローラ1020は、角速度センサ1002や地磁気センサ1003などによって検出されたモバイル端末5000の向いている方位、鉛直方向の傾きによって、ユーザにとって利便性の高い画面表示方向を制御し、画面に表示させることができる(詳細は後述する)。
角速度センサ1002は、モバイル端末5000の角速度を検出するためのセンサであり、複数軸方向の角速度を検出することができる。
地磁気センサ1003は、モバイル端末5000が向いている水平方向の方位情報を検出するためのセンサであり、方位情報を取得することができる。
表示方向制御部1005は、角速度センサ1002と、地磁気センサ1003との情報を元にモバイル端末5000の表示方向を制御する。モバイル端末5000が例えば水平方向に時計回りに90度の回転を検出した場合、これはユーザがモバイル端末5000を長辺方向から短辺方向に回転させたとみなせるため、反時計回りに90度表示画面を回転させることを指令するなどの制御を行うことができる。どのタイミングでどの程度回転を行うかに関しては後述する。
画面表示制御部1006は、表示方向制御部1005の情報を元に、ディスプレイ1004へ送信するUI画面を実際に生成する部分である。画面表示制御部1006はソフトウェアで実装しても良いし、負荷の高い処理をハードウェア化するなど、ハードウェアとソフトウェアのハイブリッドで実装することも可能である。
ディスプレイ1004は、画面表示制御部1006より送信されるUI画面を表示させることができる。メモリ1010から読み出した情報を表示可能である。また、ディスプレイ1004は、モバイル端末5000の各種設定を行うための各種メニュー画面等を表示可能である。
メモリ1010は、フラッシュメモリや強誘電体メモリなどで構成される。メモリ1010は、モバイル端末5000全体を制御するための制御プログラムや、典型的なメニュー画面を生成するための、ボタン、アイコン情報や、映像、音楽情報、テキスト情報、モバイル端末5000の表示方向の変更のための閾値情報などに関する情報等を記憶している。特に、本実施の形態においては、メモリ1010は、表示方向を切り替えるための判断情報となる初期表示方位と、水平方向回転閾値情報と、鉛直方向回転閾値情報と、切り替える表示メニュー情報と、現在のメニュー画面を回転させるライブラリ情報とを記憶する。
〔1−2−2.用語の対応〕
角速度センサ1002は、モバイル端末5000の姿勢を検出するための情報取得手段の一例である。地磁気センサ1003は、モバイル端末5000の向いている水平方向の向きすなわち方位情報や水平方向の回転を検出する手段の一例である。
また、コントローラ1020は、情報取得手段、回転判定手段、回転検出手段、及び制御手段の一例である。内部メモリ1010は記憶手段の一例である。ディスプレイ1004は表示手段の一例である。
〔1−3−1.ユースケース〕
本実施の形態で想定するユースケースの一例を図539、図540を用いて説明する。
今、図539のようにAさんがモバイル端末5000を短編方向をAさんに向けて(本実施の形態ではこれを縦向き持ちと呼ぶ)操作していて、映像など長編方向をAさんに向けて(本実施の形態ではこれを横向き持ち)みた方が良い場合などにおいても、図539の右図のように、画面が回転することはないため、Aさんは縦持ちから横持ちに切り替えた場合は別途画面を回転させる必要があった。
しかし、本実施の形態では、図540のように、Aさんが図540の左図ように縦向き持ちから図540の右図のように横向き表示に切り替えた場合において、Aさんの見やすい方向に画面が自動で回転することを特徴とする。
〔1−3−2.表示画面の回転制御(全体)〕
本実施の形態のモバイル端末5000の一連の動作を説明するため、説明の便宜上ユースケース別に通常ケースと特殊ケースとに分けて説明を行う。
図541および図542は、本実施の形態の説明で用いるモバイル端末5000の水平方向、垂直方向の姿勢に関する変数の定義を示す図である。
図541を用いて、モバイル端末5000の水平方向の方位に関する変数を定義する。すなわち、モバイル端末5000の初期状態でモバイル端末5000が向いている方位をD0と定義する。また、モバイル端末5000が水平方向に回転し、現在向いている方位をD1と定義する。
なお、本実施の形態ではD0/D1は方位情報を用いて説明を行うが、D0/D1モバイル端末5000の水平方向の回転を検出するための情報であれば良く、例えばジャイロセンサの水平方向の加速度を累積して、モバイル端末5000が向いている相対方向を検出しても良い。
続いて、図542を用いて、モバイル端末5000の鉛直方向の傾きに関する変数を定義する。モバイル端末5000が水平方向に向いている場合の傾きを0度とし、垂直に立てた場合を90度とする。現在のモバイル端末5000の傾きをHと定義する。HThrは後述する表示回転を行うための鉛直方向の傾き閾値である。
図543は、モバイル端末5000をTVリモコンとして操作した場合のメニュー画面の一例を示す図である。モバイル端末5000を縦向き表示させた場合を図543の左図に示しており、モバイル端末5000を横向き表示させた場合を図543の右図に示している。縦向きの場合はチャンネルボタンを大きく、横向き表示の場合は番組に関する付随情報などをあわせて表示させ、縦向き表示と横向き表示で表示させる内容を変えることでユーザが欲しい情報に簡単にアクセスできるようになる。ここで、図544〜図547は、モバイル端末5000をTVリモコンとして操作した場合のユースケースの一例を示す図である。図548は、モバイル端末5000の別の操作のユースケースの一例を示す図である。
図549から図554を用いて本実施の形態におけるモバイル端末5000の制御フローを説明する。図549〜図554は、本発明の実施の形態D5におけるモバイル端末5000の制御フローを説明するための図である。
まず、ステップ601aで、モバイル端末5000電源がONされる。
次に、ステップ601bで、表示方向制御部1005が地磁気センサ1003より現在のモバイル端末5000の方位情報D1を取得する。
次に、ステップ601cで、表示方向制御部1005が初期表示方位Doを方位情報D1で初期化する。
次に、ステップ601eで、表示方向制御部1005が水平方向の回転が許可されているかを検出する。Noの場合は、ステップ601dに進む。Yesの場合はステップ601fに進む。
ここで、水平方向の回転が許可されているか否かに関して解説する。モバイル端末5000はユーザ操作によって回転を許可する/許可しないを設定可能とする。またモバイル端末5000を図544のようにリモコンとして操作している場合、モバイル端末5000の回転を検出しても表示を回転させない場合も存在する。このため、水平方向の表示回転を許可/不許可する機能を持たすことで。意図しない画面回転を防止することができる。
次に、ステップ601fで、表示方向制御部1005はメモリ1010より現在のモバイル端末5000の初期方位情報D0・水平方向回転閾値DThrを取得する。
次に、ステップ601gで表示方向制御部1005は地磁気センサ1003より現在のモバイル端末5000の方位情報D1を取得する。
次に、ステップ601hで表示方向制御部1005は検出した方位情報D1が初期方位情報D0よりDThr以上変化しているか?を判定する。Noの場合はステップ601dに進む。Yesの場合はステップ601jに進む。
次に、ステップ601jで初回のみ回転検出開始時刻を記録する。
次に、ステップ601kで表示方向制御部1005は現在時刻は回転検出時刻より所定時間経過しているか?を検出する。
Noの場合はステップ601mで一定時間待機後ステップ601gに進む。Yesの場合はステップ601nに進む。
次に、ステップ601j〜601nで一定時間回転量を検出する時間を設けているのは、ユーザがモバイル端末5000を180度回転させた場合など、回転閾値の2倍以上モバイル端末5000を回転させた場合に、モバイル端末5000の回転をスムーズに行うためである。また、一度回転閾値以上モバイル端末5000を回転させ、すぐに反対方向に回転させた場合などにおいて、反対方向の回転が連続し、ユーザの目がちらついてしまうことを防止するためである。
次に、ステップ601nで表示方向制御部1005はモバイル端末5000のディスプレイ面が鉛直方向上向きか下向きかを検出する。
次に、ステップ601oで表示方向制御部1005はD0方向が表示画面の上部になるように画面を回転させる命令を画面表示制御部1006に通知する。
ステップ601n、ステップ601oに関しては図548のように例えばユーザが仰向けになってモバイル端末5000を操作している場合、モバイル端末5000がD1方向させた場合に補正のために画面を回転させる向きが、モバイル端末5000のディスプレイ1004が鉛直方向下向きと仰向きで逆になるためである。
次に、ステップ601pで表示方向制御部1005は画面回転のちらつき・閾値制御処理実施する。
次に、ステップ601rで画面表示制御部1006は新規画面作成がOKかどうかを判定する。Noの場合はステップ601sで一定時間待機後、ステップ601qに進む。Yesの場合はステップ601sに進む。
このステップは、例えばモバイル端末5000のユーザインターフェース層のソフトが優先度の高い別処理(例えば画面スクロールなど)を行っている場合に、優先度が高い処理が完了するのを待つ処理を意味している。
次に、ステップ601tで画面表示制御部1006は回転対象の画面を新規に作成するかどうかを判定する。
Noの場合はステップ601xで前回表示画面を回転させ、ディスプレイ1004に描画する。Yesの場合はステップ601uに進む。
以下、ステップ601tで回転対象の画面を新規に作成する理由を説明する。
モバイル端末5000は前述したように、動画プレイヤーやTVリモコンなど様々な用途が想定される。このため、モバイル端末5000が利用している機能によっては、そのまま表示方向を回転させた方が良いもの(例えば動画プレイヤーなど)や、縦向き表示と横向き表示で表示内容を変えた方が良いもの(例えばリモコン)が存在する。本ステップによって、ユーザがモバイル端末5000を回転させることによる利便性をさらに向上させる。
次に、ステップ601uで画面表示制御部1006は新規画面を作成する。
次に、ステップ601vでディスプレイ1004は新規作成画面を描画する。
次に、ステップ602aで表示方向制御部1005は角速度センサ1002より現在のモバイル端末5000の仰角情報H1を取得する。
次に、ステップ602bで表示方向制御部1005は検出した仰角情報H1の絶対値が鉛直方向回転閾値HThr2より大きいかどうかを判定する。
Noの場合はステップ601wに進む。Yesの場合はステップ602cに進む。
次に、ステップ602cで表示方向制御部1005は画面の高位に有る側の辺が表示画面の上部になるように、画面を回転させる命令を 画面表示制御部1006に通知する。
次に、ステップ602dで画面表示制御部1006は回転対象の画面を新規に作成するかどうかの判定を行う。
Noの場合はステップ602gで前回表示画面を回転させ、ディスプレイ1004に描画する。Yesの場合はステップ602eに進む。
次に、ステップ602eで画面表示制御部1006は新規画面を作成する。
次に、ステップ602fでディスプレイ1004は新規作成画面を描画する。
次に、ステップ602hで表示方向制御部1005は角速度センサ1002より現在のモバイル端末5000の仰角情報H1を取得する。
次に、ステップ602jで表示方向制御部1005は検出した仰角情報H1の絶対値が鉛直方向回転閾値HThr1より小さいかを判定する。
Noの場合はステップ602hに進む。Yesの場合はステップ602mに進む。
次に、ステップ602kで表示方向制御部1005は現状の方位D1をD0として設定する。
ステップ602j〜ステップ602mの処理によって、ユーザがモバイル端末5000を一度鉛直方向に傾けた後、水平方向に戻した際に現在のモバイル端末5000が向いている方向を初期方位D0として設定することで、回転方向をリセット、あるいは補正することが可能になる。
次に、図554において、モバイル端末5000がスリープ状態から復帰したときの動作を説明する。
まず、ステップ603aでモバイル端末5000はスリープ状態からの復帰を検出する。
次に、スリープ状態からの復帰を検出すると、ステップ603bに進む。
次に、ステップ603bで画面表示制御部1006は前回スリープ時の表示方向をメモリより読み出す。
次に、ステップ603cで画面表示制御部1006前回スリープ時の表示方向と同じ画面をディスプレイ1004に描画する。
次に、ステップ601dに遷移する。
なお、本実施の形態では、初期化(あるいはスリープ復帰)の後水平方向への回転を実施する内容で説明を行ったが、図555〜図559のように、鉛直方向の回転を行う処理を行うことも可能である。ここで、図555〜図559は、本発明の実施の形態5におけるモバイル端末の別の制御フロー示す図である。
初期化時やスリープからの復帰時は、水平方向の初期方位D0や現在のモバイル端末5000の水平方向の方位情報D1の値が現状と正しくない場合あることが想定されるため、直後に鉛直方向の回転判定を行うことで、より精度良く表示画面の回転を行うことが可能となる。
〔1−3−3.表示画面の回転制御(詳細補足)〕
図544、図545、図546を用いて図550のステップ601eについて補足する。モバイル端末5000は前述したように多くの機能が装備され例えば汎用リモコン機能なども備えている。例えば汎用リモコンモードで操作中、ユーザがTVから90度回転した位置にあるコンポを操作しようとしてユーザがリモコンを持って回転すると、表示方向も回転してしまうことになり、利便性が損なわれる。図546のようにモバイル端末5000でネットサーフィンなどをしていて、リモコンモードに切り替えて、TVを操作するために、TVにモバイル端末5000を向けた場合も同様である。このため、モバイル端末5000は図547のように、操作モード毎に、垂直方向の回転を行う、水平方向の回転を行うという回転判定を持つことが好ましい。これによって、ユーザが意図しない画面回転を防止することができ、操作性を向上させることが可能となる。
本実施の形態では、モバイル端末5000が例えば床に置いてあるTVを操作するときなどは、TVを操作するときの傾きが鉛直方向回転閾値HThr2を超えてしまうと、画面が回転してしまい、利便性が下がってしまう。このため、モバイル端末5000は操作モードによって鉛直方向回転閾値や水平方向回転式位置を可変にすることが望ましい。
またTVの操作は一般的に赤外線で行うため、リモコンモードで、赤外線を発信する面がモバイル端末5000の中で下を向いている場合などにおいては、鉛直方向回転閾値HThr2を大きくする、あるいは鉛直方向の回転を抑制するなどによって、ユーザの操作性が良くなる。
(実施の形態D6)
本実施の形態では、ユーザがモバイル機器を机の上で立てたり、倒して回転させたりしながら利用する場合の動作を、図560〜図570を用いて説明する。
図560に示す処理フローを以下解説する。
まず、ステップ1020aでスタートして、ステップ1020bでモバイル機器が水平に倒された時のモバイル機器の向いている方角を基準方向として、また、モバイル機器が水平に倒された時のモバイル機器の画面の向きを、ユーザにとって最適な表示方向として画面表示方向として保持する。基準方位の更新方法は、図561を用いて後に詳細を説明する。
次に、ステップ1020cで方位センサの値を現在方位として取得する。
次に、ステップ1020dで基準方位と現在方位との差を計算し、回転角度とする。
次に、ステップ1020eで回転角度と画面表示テーブルとの関係より、画面表示方向を決定する。画面表示方向を決定方法は、図567〜図569を用いて後に詳細を説明する。
次に、ステップ1020fで画面を表示して、ステップ1020bに戻る。
図561は、図560の基準方位の更新方法(ステップ1020b)を説明するためのフロー図である。図561に示す処理フローを以下解説する。
まず、ステップ1010aでスタートし、ステップ1010bでモバイル機器が水平に倒されたかどうかを検知する。モバイル機器が水平に倒されたかどうかの検知方法は、図562〜図564を用いて後に詳細を説明する。
次に、ステップ1010cでモバイル機器が水平に倒されたかどうかを検知されたかどうか確認する。
Noの場合はステップ1010fに進み、終了する。Yesの場合はステップ1010dに進み、水平に倒された時のモバイル機器の方位センサの値を基準方位として保持し、ステップ1010eで、水平に倒された時のモバイル機器の回転方向から表示画面方向を保持する。なお、表示画面方向の決定方法については、図565、図566を用いて後に詳細を説明する。
そして、ステップ1010fで終了する。
図562は、図561のモバイル機器が水平に倒れた事の検知方法(1010b)を説明するためのフロー図である。
図562に示す処理フローを解説する。
まず、ステップ1030aでスタートする。
次に、ステップ1030bで前回のモバイル機器の水平状態を取得する。
次に、ステップ1030cで3軸の磁気センサの絶対値を取得する。ここで、図563は、モバイル機器の磁気センサの3軸の方向の例を示す図である。
次に、ステップ1030dでx軸とy軸のセンサ値を合計した値がz軸のセンサ値よりも閾値以上大きいかどうか確認する。
ステップ1030dがYesの場合はステップ1030eに進み、現在の水平状態を水平と判断する。
次に、ステップ1030gで前回の水平状態が“非水平”で現在の水平状態が“水平”かどうか確認する。
ステップ1030gがYesの場合はステップ1030hに進み、モバイル機器が水平に倒されたと判断して、ステップ1030iで終了する。
なお、ステップ1030dがNoの場合はステップ1030fに進み、現在の水平状態を非水平と判断して、ステップ1030gに進み、ステップ1030gがNoの場合はステップ1030iに進み、終了する。
次に、図565、図566を用いて、図561の表面画面方向の検出方法(1010e)を解説すると、まず、ステップ1070aでスタートして、ステップ1070bでモバイル機器が水平に倒された直前と直後のジャイロセンサの(PitchおよびRoll)の値を取得し、PitchおよびRollの変化量を求める。ここで、モバイル機器のPitchとRollは、図565に示すx軸とy軸それぞれの回転角である。
次に、ステップ1070cで、Pitchの変化量>Rollの変化量かどうかを確認する。
Yesの場合はステップ1070dに進み、Pitch>0かどうかを確認する。Yesの場合はステップ1070eに進み、+y軸方向を表示画面方向として保持して、ステップ1070jで終了する。一方、ステップ1070dがNoの場合はステップ1070fに進み、−y軸方向を表示画面方向として保持して、ステップ1070jで終了する。
なお、ステップ1070cがNoの場合はステップ1070gに進み、Roll>0かどうかを確認して、Yesの場合はステップ1070hに進み、+x軸方向を表示画面方向として保持して、ステップ1070jで終了する。
次に、ステップ1070gがNoの場合は、ステップ1070iへ進み、−x軸方向を表示画面方向として保持して、ステップ1070jで終了する。
続いて、図567〜図569を用いて、図561の画面表示方向を解説する。
図569に示す処理フローを解説する。
まず、ステップ1100aでスタートして、ステップ1100bで、図567で示す画面表示方向変更テーブルを参照し、回転角度から遷移ステップを求める。
次に、ステップ1100cで、図568で示す画面表示方向遷移図を参照し、保持していた水平に倒された時のモバイル機器の表示画面方向の状態を取得する。
次に、ステップ1100dで、ステップ1100cで取得した状態からステップ1100bで求めたステップだけ状態を進める。
次に、ステップ1100eで進めた先の状態の方向を表示画面の方向として保持して、ステップ1100fで終了する。
懸かる方法によれば、水平に置かれたモバイル機器を繰り返し回しながら使用した場合でも、モバイル機器の画面を、ユーザに対して常に適切な方向に対して表示可能、という効果を得ることができる。
例えば、モバイル機器を図504の(B)の状態から、図504の(C)の状態のように、机の上に水平に倒し、図504の(D)のように反時計回りに90度回転させたとする。ユーザにとっては常に画面表示が、自分の方向に対して表示されることが望まれる。
このとき、図566のフローによると、図504に示すモバイル機器の001−aの辺が回転角と見なされ、+y軸方向が表示画面方向として保持される。この場合の、回転の例を、図570を用いて説明する。図570の(A)にて、モバイル機器の方位は270度の向きを指している。この270度が水平に倒されたときの方位であるため、基準方位=270度が保持される。図572の(B)にて、ユーザによりモバイル機器が回転された場合のモバイル機器の方位が230度である。この場合、回転角度は230−270=−40度である。図567の画面表示方向変更テーブルを参照すると、−40度は回転表示方向の遷移が0ステップであるため、画面表示方向は、+y方向のままである。次に、ユーザが図572の(C)までモバイル機器を回転させた場合、モバイル機器の現在方位は180度である。このとき、回転角度は180−270=−90度である。図567の画面表示方向テーブルを参照すると、−90度は3ステップ進めるであり、図568の画面表示方向遷移図で、現在の方向が+y軸方向であるため、3ステップ進めた+x軸方向が、新しい画面表示方向となる。
なお、図569のモバイル機器が水平に倒されたかどうかの検知方法(ステップ1010b)として、図562で示した磁気センサを用いた方法を説明したが、加速度センサを用いた検知方法でもよい。加速度センサを用いた検知方法を、図564を用いて説明する。
まず、ステップ1050aでスタートして、ステップ1050bで前回のモバイル機器の水平状態を取得する。
次に、ステップ1050cで加速度センサの値を取得する。
次に、ステップ1050dで2軸方向の加速度と動加速度との差が閾値以下か?どうかを確認する。
Yesの場合はステップ1050eに進み、現在の水平状態を水平と判断する。
次に、ステップ1050gで前回の水平状態が“非水平”で現在の水平状態が“水平”か?どうかを確認する。
Yesの場合はステップ1050gに進み、モバイル機器が水平に倒れたと判断して、ステップ1050hで終了する。
ステップ1050dがNoの場合はステップ1050fに進み、現在の水平状態を非水平と判断して、ステップ1050gに進み、ステップ1050gがNoの場合はステップ1030hに進み、終了する。
なお、方位センサを用いずに、ジャイロスコープを用いて機器の回転を検出し、機器の回転に従い、表示画面を変えるとしても良い。この方法では、方位センサよりも回転させる毎に累積誤差が発生するが、方位センサを保有していない機器でも、機器の回転にあわせて画面の向きを適切な方向に表示することができるという効果を得ることができる。
また、実施の形態D5において、モバイル端末5000に、近接センサまたは接触を検知するセンサなどを装備し、スリープ解除時に、起動する画面をユーザに向けるようにしても良い。これによって、スリープ解除時や電源ONの時にモバイル端末5000とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
また、実施の形態D5において、モバイル端末5000が車に乗っているときにはモバイル端末5000の回転を抑止する制御を行っても良い。具体的には車載モードと連携して、回転制御を行ったり、GPSや加速度情報から移動速度が閾値以上であったり場合は、車及びその他の移動手段に乗っていると判断し、画面の回転を抑止しても良い。これによってよりユーザの利便性が向上する。
(実施の形態E1)
以下の実施の形態Cでは、無線端末の端末姿勢や基地局と無線端末とユーザの位置関係による電波の受信電界強度に対する影響を低減し、無線端末の位置を高精度に推定する位置推定装置について説明する。
以下、本発明の実施の形態E1について、図面を参照しながら説明する。本発明の位置推定装置100は、例えば、携帯電話などの無線端末に備えられ、該無線端末(以下、対象端末とする。)の現在位置を推定する機能を有する。
<1−1.構成>
図576は実施の形態E1における位置推定装置100の構成を示すブロック図である。図576に示すように、位置推定装置100は、センサ部101、無線処理部104、制御部105および記憶部114を備える。また、センサ部101は、加速度センサ102および方位センサ103を備え、制御部105は、端末情報検出部106、無線強度測定部110、距離推定部111、位置推定部112および補正部113を備える。端末情報検出部106は、さらに、装着情報検出部107、移動方向検出部108および端末姿勢検出部109を備える。
加速度センサ102は、対象端末の3軸方向の加速度を検出し、電気信号に変換した加速度情報として端末情報検出部106へ出力する。
地磁気センサ103は、3軸方向の地磁気を検出し、電気信号に変換した地磁気情報として端末情報検出部106へ出力する。
無線処理部104は、アンテナなどから構成され、基地局と通信するために無線信号を送受信する機能を有する。ここで、基地局は、対象端末を含む無線端末と無線通信を行うための装置であり、例えば、携帯電話やPHSの親局、無線LANアクセスポイントなどが挙げられる。
端末姿勢検出部107は、センサ部101から入力される加速度情報および地磁気情報を用いて、加速度情報から重力方向に対する対象端末の姿勢を、地磁気情報から平面直角座標系に対する対象端末の姿勢をそれぞれ算出し、対象端末の端末姿勢情報として補正部113に出力する。
移動方向検出部108は、センサ部101から入力される加速度情報および地磁気情報に基づいて、対象端末の移動方向を判定し、移動方向情報として補正部113に出力する。
なお、上記端末姿勢検出部107および移動方向検出部108は、地磁気センサからの地磁気情報を用いる他に、例えば、角速度センサからの角速度情報を用いることにより、対象端末の方位を算出して、端末姿勢情報および移動方向を算出することもできる。
装着状態検出部109は、対象端末がユーザのどの部位に装着されているかを示す装着状態を検出する。装着状態検出部109は、センサ部101から入力される加速度情報のパターンと、記憶部114にあらかじめ保存されている各装着状態における加速度情報のモデルパターンとのマッチングを行って装着状態を判定し、装着状態情報として補正部113に出力する。
図579は、記憶部114で記憶される装着状態のモデルパターン情報400の例である。モデルパターンは、加速度情報の波形データであり、各モデルパターンのフィールドには、実際の波形データが記憶される領域のアドレスが格納されており、上記アドレスが示す記憶領域にアクセスすることで各装着状態における加速度情報のモデルパターンを得る。
また、精度情報は、上記モデルパターンとして、本人データを用いているか、一般データを用いているかを示すものである。精度情報は、初期状態では、一般データであり、対象端末のアプリケーションなどによってユーザ情報を取得することで、本人データに更新される。精度情報に応じて装着状態の判定精度を算出し、判定精度に応じて、後述の処理における補正量を変化させることが可能である。更新時刻もまた、精度情報と同様に、判定精度を評価する目的に使用することが可能である。
図580は、端末姿勢検出部107で検出された端末姿勢情報、移動方向検出部108で検出された移動方向情報および装着状態検出部109で検出された装着状態情報の具体例である。図580の例では、対象端末は、重力方向つまり地面に対して下面が向かい合い、北を示す方位に正面が向き、ユーザの胸ポケットに装着され、南に向かって移動していると検出されている。
図576に戻り、各構成の説明を続ける。無線強度測定部110は、無線処理部104が受信した信号の受信電界強度を基地局ごとに測定する。無線強度測定部110は、測定した受信電界強度を、各基地局を識別する基地局IDと対応付けた受信強度情報として距離推定部111に出力する。
距離推定部111は、無線強度測定部110から入力された受信強度情報および記憶部114であらかじめ記憶されている送信強度情報に基づいて基地局それぞれと対象端末との間の距離を推定し、基地局IDと対応付けた距離情報として位置推定部112および補正部113に出力する。
上述の送信強度情報は、後述の処理で使用する基地局に関するデータとともに、記憶部114で記憶される。図581は、基地局管理情報600の例である。基地局管理情報600は、基地局IDレコード群からなり、各基地局IDレコードは、帯域情報、送信強度、位置情報および更新時刻の各項目からなる。ここで、基地局IDは、各基地局を一意に特定するID情報であり、帯域情報は、各基地局の利用する周波数帯域を示す。また、送信強度は、各基地局の電波の送信電力を示し、位置情報は、各基地局の座標(座標系におけるX軸、Y軸およびZ軸)を示す。更新時刻は、基地局管理情報600を更新する際に、更新時刻を比較して最新の情報を記録するなどの用途に用いる。
図582は、無線強度測定部110で測定された受信強度情報および距離推定部111で推定された距離情報の具体例である。図582の例では、基地局IDが「AP−1」、「AP−2」および「AP−3」の基地局から送信された信号の受信電界強度がそれぞれ「−49dBm」、「−60dBm」および「−54dBm」であり、推定された距離情報がそれぞれ「5m」、「15m」および「10m」である場合を示している。
図576に戻り、各構成の説明を続ける。位置推定部112は、記憶部114で記憶されている基地局の位置情報および距離推定部111から入力される距離情報に基づいて対象端末の位置(X軸、Y軸およびZ軸)を推定する。位置推定部112は、推定された対象端末の位置を仮位置情報として補正部113に出力する。
また、位置推定部112は、後述の補正部113から入力される補正距離情報および基地局の位置情報に基づいて対象端末の現在位置を推定する機能を有する。
位置推定部112は、少なくとも3つ基地局の位置情報および基地局からの距離が得られれば、対象端末の位置を推定することができる。
補正部113は、端末情報検出部から入力される端末姿勢情報、移動方向情報および装着状態情報、位置推定部112から入力される仮の位置情報および前述の基地局情報に基づいて、距離推定部111から入力される距離情報を補正し、補正結果の補正距離情報を位置推定部112に出力する。
ここで、補正部113による距離推定部112から入力される距離情報の補正について詳しく説明する。
まず、基地局に対する端末姿勢と受信感度の関係について説明する。基地局に対する端末姿勢とは、基地局に対象端末のどの面が向いているかを示す姿勢情報である。
図583は、基地局に対する端末姿勢を示す説明図である。端末形状が正面の面積が広い場合などにおいては、端末内部のアンテナの構成に依存するが、多くの無線端末では、無線端末内のアンテナの配置状態やアンテナの指向性の影響により、基地局に対する端末姿勢によって、基地局から送信される信号の受信電界強度は、無線端末が同じ位置であっても変化する。
一般的には、基地局に対する無線端末の端末姿勢が正面である場合と比べて、基地局に対する無線端末の端末姿勢が正面以外の場合は、受信電界強度が小さく測定され、その結果、基地局と無線端末との間の距離が長いと推定される。
例えば、図583において、基地局「AP−4」は、無線端末「Mobile−2」の右側面に位置する。また、基地局「AP−5」は、無線端末「Mobile−2」の正面に位置する。実際には、基地局「AP−4」から無線端末「Mobile−2」までの距離と、基地局「AP−5」から無線端末「Mobile−2」までの距離が等しく、さらに、基地局「AP−4」および「AP−5」の送信強度が等しかったとしても、無線端末の受信する信号の受信強度は異なり、「AP−4」は遠くに、「AP−5」は近くに推定される。
本実施例の位置推定装置100は、後述の処理によって対象端末の基地局に対する端末姿勢を算出し、記憶部114にあらかじめ記憶してある図584に例を示す基地局に対する端末姿勢と補正倍率を示すテーブル900を参照することによって、距離情報の補正を行う。
次に、基地局と無線端末とユーザの位置関係と受信強度の関係について説明する。
図585は、基地局と無線端末とユーザの位置関係を示す説明図である。基地局と無線端末とユーザの位置関係において、基地局と無線端末の間にユーザ(人体)が存在すると、無線端末は、基地局からの距離による減衰に加えて人体干渉により減衰した無線信号を受信するため、受信電界強度が小さく測定され、その結果、基地局と無線端末との間の距離が実際の距離よりも長く推定される。
例えば、図585において基地局「AP−6」と無線端末「Mobile−3」の間にはユーザ(人体)が存在しない。また、基地局「AP−7」と無線端末「Mobile−3」の間にはユーザ(人体)が存在する。実際には、基地局「AP−6」から無線端末「Mobile−3」までの距離と、基地局「AP−7」から無線端末「Mobile−3」までの距離が等しく、さらに、基地局「AP−6」および「AP−7」の送信強度が等しかったとしても、無線端末の受信する信号の受信強度は異なり、基地局「AP−7」は、基地局「AP−6」に比べて遠くに推定される。
また、人体干渉による受信強度の影響は、基地局の利用する周波数帯域により変化する。周波数が高いと直進性が高くなり、透過性が低くなる。従って、基地局の利用する周波数帯域が高いほど人体干渉による影響を受けることになる。
本実施例の位置推定装置100は、後述の処理によって基地局と無線端末とユーザの位置関係を算出し、記憶部114にあらかじめ記憶してある図586に例を示す基地局と無線端末とユーザの位置関係と補正倍率を示すテーブル1100を参照することによって、距離情報の補正を行う。
なお、基地局と無線端末とユーザの位置関係は同じでも、無線端末の装着状態によって(例えば、無線端末が胸ポケットに装着されているかズボンポケットに装着されているかによってなど)、人体干渉による受信強度の影響は変化する。従って、上記位置関係および装着状態に応じて、人体干渉の影響を複数段階に分け、段階に応じて距離情報の補正を行うことも可能である。
図581に戻り、記憶部114は、端末装着状態情報のモデルパターン情報400および基地局管理情報600を記憶する。また、記憶部114は、図584に示す基地局に対する端末姿勢と補正倍率の関係を示すテーブル900、図586に示す基地局と端末とユーザの位置関係における補正倍率の関係を示すテーブル1100を記憶する。
<1−2.動作>
次に、本実施形態における位置推定装置100の動作について説明する。
図587は、本実施形態における位置推定装置100の動作全体を示すフローチャートである。図587に示すように、位置推定装置100の動作は、加速度情報および方位情報を取得し、端末情報(装着状態、移動方向および端末姿勢)の検出を行うステップ(ステップS1201)、基地局から対象端末までの距離を示す距離情報を推定するステップ(ステップS1202)、対象端末の仮の位置を示す仮位置情報を推定するステップ(ステップS1203)、ステップ1202で推定した距離を補正して補正距離情報を算出するステップ(ステップS1204)、補正距離情報に基づいて対象端末の現在位置を示す現在位置情報を推定するステップ(ステップS1205)、および、現在位置情報の再推定が必要かを判定するステップ(ステップS1206)からなる。
図588はステップ1201で実行する端末情報の検出動作の詳細を示すフローチャートである。図588に示すように、位置推定装置100は、まず、加速度センサ102の出力から対象端末が前回位置推定時から移動しているかどうかを判定し、移動していれば次のステップに進む(ステップS1301)。
なお、前回位置推定時から対象端末が移動していなければ、位置推定装置100は、前回推定時に推定された位置情報をそのまま現在位置情報としてステップS1201に戻り、次回推定時まで待機する。
端末姿勢検出部107は、加速度センサ102から入力された加速度情報および方位センサ103から入力された方位情報に基づいて端末姿勢情報を算出する(ステップS1302、S1303、S1304)。
移動方向検出部108は、加速度センサ102から入力される加速度情報および方位センサから入力される方位情報に基づいて移動方向を検出する(ステップS1305)。
装着状態検出部109は、加速度センサ102から入力される加速度情報のパターンと、記憶部114にあらかじめ保存されている各装着状態における加速度情報のモデルパターンとに基づいて装着状態を検出する(ステップS1306)。
上記図588に示す処理により、図580に示す対象端末の端末情報が取得される。
図589は、ステップ1202で実行する推定距離情報の推定動作の詳細を示すフローチャートである。図589に示すように、無線強度測定部110は、まず、複数の基地局が送信する信号の受信電界強度を測定し、測定した受信電界強度と基地局IDを対応付けた受信強度情報を距離推定部111に出力する(ステップS1401)。
次に、距離推定部111は、無線強度測定部110が測定した基地局を、受信電界強度が強い順に選択する(ステップS1402)。
距離推定部111は、選択した基地局を示す基地局IDに対応する基地局の位置情報が記憶部114に記憶されているかどうかを判定する(ステップS1403)。記憶部114に選択された基地局の位置情報が記憶されていればステップS1404に進み、記憶部114に選択された基地局の位置情報が記憶されていなければ、ステップS1402に戻る。
距離推定部111は、選択された基地局からの信号の受信強度に基づいて、選択された基地局から対象端末までの距離を推定し、基地局IDと対応付けて位置推定部112および補正部113に出力する(ステップS1404)。
ステップS1404の処理の後、距離推定部111は、対象端末の位置推定に必要な数の基地局、つまり、3つ以上の基地局からの距離情報を推定できたかどうかを判定する(ステップS1405)。3つ以上の距離情報を推定できた場合は、距離情報を推定する処理を終了し、ステップS1203に進む。3つ以上の距離情報を推定できなかった場合には、ステップS1402に戻る。
なお、ステップS1402において、無線強度測定部110が測定したすべての基地局を選択しても、3つの距離情報が推定できなかった場合には、対象端末の位置情報を推定することができないため、ステップS1201に戻り、次回位置推定時まで待機する。
上記図589に示す動作により、基地局それぞれから対象端末までの距離が推定される。
図587に戻り、ステップS1203の対象端末の仮の位置を推定する処理を説明する。例えば、ステップS1202によって、3つの基地局「AP−1」、「AP−2」および「AP−3」からの信号の受信強度が測定され、基地局「AP−1」、「AP−2」および「AP−3」から対象端末までの距離がそれぞれL1、L2およびL3と推定されたとする。この場合、図578に示すように、基地局「AP−1」を中心とする半径L1の円と、基地局「AP−2」を中心とする半径L2の円と、基地局「AP−3」を中心とする半径L3の円の交点を対象端末の仮の位置として推定し、上記仮の位置を示す仮位置情報を補正部113に出力する。
なお、上記ではZ座標をすべて同じ(固定)として説明したが、Z座標のことを考慮すると、3つの球面の交点は2点定まる。その場合、4つ目の距離情報を用いる、もしくは、あらかじめ基準となる対象端末の高さを決めておく、などの方法で1点に絞り込むことが可能である。
図590は、ステップS1204で実行する距離情報を補正動作の詳細を示すフローチャートである。まず、補正部113は、位置推定部112が位置推定に利用した基地局を順に選択する(ステップS1501)。
補正部は、ステップS1501で選択した基地局に対する対象端末の端末姿勢を算出する(ステップS1502)。本実施形態では、まず、補正部113は、位置推定部112から入力される仮位置情報と記憶部114に記憶されている基地局の位置情報に基づいて、対象端末から選択された基地局への方位を算出する。
補正部113は、算出された対象端末から選択された基地局への方位と、端末情報検出部106から入力される端末姿勢から、選択された基地局に対する対象端末の端末姿勢を算出する。
図591に対象端末から選択された基地局への方位の算出結果例、および、基地局に対する対象端末の端末姿勢の算出結果例を示す。図591は、対象端末から基地局「AP−1」、「AP−2」および「AP−3」の方位はそれぞれ「北」、「南」および「東」と算出され、基地局に対する対象端末の端末姿勢それぞれ「正面」、「背面」および「右側面」と算出されていることを示している。
基地局に対する対象端末の端末姿勢を算出すると、補正部113は、記憶部114で記憶する基地局に対する端末姿勢と補正倍率を示すテーブル900を参照して、補正倍率の算出を行う(ステップS1503)。
次に、補正部113は、ステップS1501で選択した基地局と対象端末とユーザの位置関係において基地局と対象端末の間にユーザが存在するかどうかを判定する(ステップS1504)。
ここで、基地局と対象端末とユーザの位置関係を算出する処理について説明する。まず、補正部113は、端末情報検出部106から入力される装着状態から対象端末がユーザの前面に装着されているか、後面に装着されているかを判定する。本実施形態では、装着状態が胸ポケットやズボン前ポケットならば、対象端末はユーザの前面に装着されていると判定し、装着状態がズボン後ポケットならば、対象端末はユーザの後面に装着されていると判定する。
次に、ユーザの向いている方位を特定する。端末情報検出部106から入力される対象端末の移動方向がユーザの移動方向を示しているため、本実施形態では、対象端末の移動方向をそのままユーザの向いている方位とする。
ここで、補正部113は、ステップS1502で算出した対象端末から選択された基地局への方位とユーザの向いている方位が一致して、対象端末がユーザの前面に装着されている場合と、ステップS1502で算出した対象端末から選択された基地局への方位とユーザの向いている方位が正反対の方位を示し、対象端末がユーザの後面に装着されている場合に、基地局と対象端末の間にユーザが存在すると判定する。
図592に、基地局と対象端末の間にユーザが存在するかどうかの判定結果例を示す。図592において、基地局「AP−1」および「AP−3」と対象端末の間にユーザは存在しないと判定され、基地局「AP−2」と対象端末との間にユーザが存在すると判定されている。
なお、上述したように、基地局と無線端末とユーザの位置関係は同じでも、無線端末の装着状態によって、人体干渉による受信強度の影響は変化する。従って、上記位置関係および装着状態に応じて、人体干渉の有無ではなく、人体干渉の程度を複数段階にわけたテーブルを作成し、装着状態に応じて補正量を変更することも可能である。
基地局と対象端末の間にユーザが存在する場合、補正部113は、記憶部114で記憶する基地局と対象端末ユーザの位置関係と補正倍率を示すテーブル1100を参照して、補正倍率を算出する(ステップS1505)。
ステップS1505の後、補正部113は、距離推定部111から入力された距離情報に対して、ステップS1503およびステップS1505で算出した補正倍率を乗算して補正を行う(ステップS1506)。
補正部113は、ステップS1501で位置推定に利用したすべての基地局を選択したかどうかを判定し、すべての基地局を選択したならば、ステップS1205に進み、そうでないならば、ステップS1501に戻る(ステップS1507)。
図587に戻り、ステップS1205の処理を説明する。位置推定部112は、ステップS1205では、補正部113から入力される補正距離情報および記憶部114に記憶されている基地局の位置情報に基づいて対象端末の現在位置を推定する。推定方法は、距離推定部111から入力される距離情報の代わりに、上記補正距離情報を用いてステップS1203と同様の処理を行い、対象端末の現在位置を推定する。図593に補正された距離情報を用いて推定された現在位置の例を示す。図593は、補正部113により、基地局「AP−1」、「AP−2」および「AP−3」から端末までの距離がそれぞれL1’、L2’およびL3’と補正され、ステップS1203で推定された対象端末の仮の位置から距離L離れた位置に現在位置情報が推定されていることを示している。
ステップS1206では、位置推定部112は、ステップS1205で推定した現在位置情報の再推定が必要かどうかを判定する。位置推定部112は、ステップS1203で推定した仮位置情報とステップS1205で推定した現在位置情報を比較して、2つの位置情報の間の距離Lが所定のしきい値(例えば、3m)以上であった場合に現在位置情報の再推定が必要であると判断し、ステップS1205で推定した現在位置情報を仮位置情報として、ステップS1204に戻る。2つの位置情報が表す距離の差が一定値未満ならば、ステップS1205で推定した現在位置情報を最終的な位置推定結果として処理を終了する。
<1−3.まとめ>
本実施形態における位置推定装置100は、各基地局からの信号の受信電界強度から推定される距離情報に対して、基地局に対する対象端末の端末姿勢、並びに、基地局と対象端末とユーザの位置関係に応じた補正を行っている。
この構成によれば、上記端末姿勢や位置関係による影響で、受信電界強度が弱くなり、実際よりも基地局と対象端末との間の距離が長く推定される場合でも、基地局と対象端末との間の距離をより高精度に算出することが可能であり、その結果、対象端末の位置をより正確に推定することができる。
(実施の形態E2)
以下、本発明の一実施形態である位置推定装置1900について説明する。実施の形態E1では、基地局が送信する信号の受信電界強度から基地局と対象端末との間の距離を推定し、位置情報の分かっている基地局からの距離を用いて、対象端末の現在位置を推定している。実施の形態E2では、一定間隔の位置ごとに受信できる基地局からの信号の受信電界強度を記録した電界強度マップを有し、上記電界強度マップを用いて位置推定を行う点において実施の形態E1と異なる。実施の形態E1と同じ構成要素については同じ符号を用い、説明を省略する。
<2−1.構成>
図594は、実施の形態E2における位置推定装置1900の構成を示すブロック図である。図594に示すように、位置推定装置1900は、実施の形態E1の位置推定装置100の構成と比較して、制御部105、位置推定部112、補正部113および記憶部114の代わりに制御部1901、位置推定部1902、補正部1903および記憶部1904を備え、距離推定部111を削除した構成である。
位置推定部1902は、無線強度測定部110から入力される受信強度情報および記憶部1904であらかじめ記憶されている電界強度マップを用いて、対象端末の仮の位置を示す仮位置情報を推定し、補正部1903へ出力する。
また、位置推定部1902は、後述の補正部1903から入力される補正強度情報および電界強度マップに基づいて対象端末の現在位置を推定する機能を有する。
図595は、電界強度マップ2000の具体例である。図595に示すように、電界強度マップ2000は、一定間隔の位置ごとに、受信できる基地局の受信電界強度を記録したものであり、各基地局の受信電界強度を用いて電界強度マップ2000を参照することで、対象端末の現在位置を推定することが可能である。
図594に戻り、説明を続ける。補正部1903は、端末情報検出部から入力される端末姿勢情報、移動方向情報および装着状態情報、位置推定部1902から入力される仮の位置情報および基地局の位置情報に基づいて、無線強度測定部から入力される受信強度情報を補正し、補正結果の補正強度情報を位置推定部1902に出力する。なお、実施の形態E1では距離が短くなるように補正倍率を設定したが、本実施形態では、受信強度が強くなるように補正倍率を設定する。
記憶部1904は、図579に示す装着状態のモデルパターン情報400、図581に示す基地局管理情報600および図595に示す電界強度マップ2000を記憶する。また、記憶部1904は、基地局に対する端末姿勢と補正倍率の関係を示すテーブル、基地局と端末とユーザの位置関係における補正倍率の関係を示すテーブルを記憶する。
<2−2.動作>
次に、本実施形態における位置推定装置1900の動作について説明する。図596は、本実施形態における位置推定装置1900の動作全体を示すフローチャートである。
図596に示すように、位置推定装置1900の動作は、加速度情報および方位情報を取得し、端末情報(装着状態、移動方向および端末姿勢)の検出を行うステップ(ステップS1201)、基地局から送信される信号の受信強度を測定するステップ(ステップS2101)、対象端末の仮の位置を示す仮位置情報を推定するステップ(ステップS2102)、ステップ2101で測定した受信強度を補正して補正強度情報を算出するステップ(ステップS2103)、補正強度情報に基づいて対象端末の現在位置を示す現在位置情報を推定するステップ(ステップS2104)、および、現在位置情報の再推定が必要かを判定するステップ(ステップS1206)からなる。
ステップS1201は、実施の形態E1と同様の処理を行うため、説明を省略する。
ステップS2101において、無線強度測定部110は、複数の基地局が送信する信号の受信電界強度を測定し、測定した受信電界強度と基地局IDを対応付けた受信強度情報を位置推定部1902および補正部1903に出力する。
ステップS2102において、位置推定部1902は、無線強度測定部110から入力される受信強度情報および記憶部1904で記憶されている電界強度マップに基づいて、対象端末の仮の位置を示す仮位置情報を推定し、補正部1903に出力する。
図597は、ステップS2103で実行する受信強度情報の補動作の詳細を示すフローチャートである。まず、補正部1903は、無線強度測定部110が測定した基地局を順に選択する(ステップS2201)。
補正部は、ステップS2201で選択した基地局に対する対象端末の端末姿勢を算出する(ステップS2202)。基地局に対する対象端末の端末姿勢を算出する処理は、実施の形態E1におけるステップS1502の処理と同様の処理を行う。
基地局に対する対象端末の端末姿勢を算出すると、補正部1903は、記憶部1904で記憶する基地局に対する端末姿勢と補正倍率を示すテーブルを参照して、補正倍率の算出を行う(ステップS2203)。
次に、補正部1903は、ステップS2201で選択した基地局と対象端末とユーザの位置関係において基地局と対象端末の間にユーザが存在するかどうかを判定する(ステップS2204)。基地局と対象端末とユーザの位置関係において基地局と対象端末の間にユーザが存在するかどうかを判定は、実施の形態E1におけるステップS1504の処理と同様の処理を行う。
基地局と対象端末の間にユーザが存在する場合、補正部1903は、記憶部1904で記憶する基地局と対象端末ユーザの位置関係と補正倍率を示すテーブルを参照して、補正倍率を算出する(ステップS2205)。
ステップS2205の後、補正部1903は、無線強度測定部110から入力された受信強度情報に対して、ステップS2203およびステップS2205で算出した補正倍率を乗算して補正を行う(ステップS2206)。
補正部1903は、無線強度測定部111の測定した全ての基地局を選択したかどうかを判定し、すべての基地局を選択したならば、ステップS2104に進み、そうでないならば、ステップS2201に戻る(ステップS2207)。
図596に戻り、ステップS2104の処理を説明する。位置推定部1902は、ステップS2104では、補正部1903から入力される補正強度情報および記憶部114に記憶されている電界強度マップに基づいて対象端末の現在位置を推定する。
ステップS2105では、位置推定部1902は、ステップS2104で推定した現在位置情報の再推定が必要かどうかを判定する。位置推定部1902は、ステップS2102で推定した仮位置情報とステップS2104で推定した現在位置情報を比較して、2つの位置情報の間の距離Lが所定のしきい値(例えば、3m)以上であった場合に現在位置情報の再推定が必要であると判断し、ステップS2104で推定した現在位置情報を仮位置情報として、ステップS2103に戻る。2つの位置情報が表す距離の差が一定値未満ならば、ステップS2104で推定した現在位置情報を最終的な位置推定結果として処理を終了する。
<2−3.まとめ>
本実施形態における位置推定装置1900は、各基地局からの信号の受信電界強度から電界強度マップを参照して対象端末の位置推定を行っている。
この構成によれば、距離情報の算出に要する処理や、位置情報の算出に要する時間を削減することができ、実施の形態E1の位置推定装置と比較して高速に位置推定を行うことが可能である。
(3−1.補足)
以上、本発明に係る位置推定装置の実施形態を説明したが、例示した位置推定装置を以下に示すように変形することも可能であり、本発明は上述の実施形態に限られるものではない。
(1)上述の各実施形態において、図581に示す基地局管理情報600は記憶部にあらかじめ記憶されているとしているが本発明はこれに限られるものではない。
上記基地局管理情報600は、例えば、外部に存在する記憶装置に記憶され、対象端末が必要に応じて通信を行うことにより、基地局管理情報を取得してもよい。
(2)上述の実施形態は、補正対象の距離情報や受信強度情報に対して、補正倍率を乗算することにより、補正を行っているが、距離情報や受信強度情報の補正方法はこの限りではない。上記情報の補正方法は、例えば、各内容に応じた補正量を記録したテーブルを用いて、加算や減算を行うことにより補正を行ってもよい。
(3)上述の各実施形態及び各変形例を、部分的に組み合せてもよい。
(4)上述の実施形態で示した距離推定処理や補正処理等を、位置推定装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
(5)上述の実施形態で示した各機能構成要素は、その機能を実行する回路として実現されてもよいし、1又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、本発明の位置ステイ装置は、IC、LSIその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
なお、距離推定部、位置推定部および補正部等の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップされてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。(3−2.補足2)
以下、本発明の一実施形態としての位置推定装置の構成およびその変形例と効果について説明する。
(a)本発明の一実施形態の位置推定装置は、無線端末の現在位置を推定する位置推定装置であって、前記無線端末の加速度情報および方位情報を検出する検出手段と、複数の基地局から受信した信号の受信強度を用いて前記基地局からの距離を示す距離情報を推定する距離推定手段と、前記基地局の位置を示す基地局情報および前記距離情報を用いて前記無線端末の仮の位置を示す仮位置情報を推定する位置推定手段と、前記加速度情報、前記方位情報、前記基地局情報および前記仮位置情報を用いて前記距離情報を補正する補正手段とを備え、前記位置推定手段は、さらに、前記基地局情報および前記補正された距離情報を用いて前記無線端末の現在位置を示す現在位置情報を推定することを特徴とする。
(b)上記実施形態(a)の位置推定装置は、さらに、前記加速度情報および前記方位情報を用いて前記無線端末の姿勢情報を検出する端末姿勢検出手段を備え、前記補正手段は、前記基地局情報、前記仮位置情報および前記姿勢情報に応じて前記距離情報を補正するとしてもよい。
上述の(a)および(b)の構成によれば、加速度情報および方位情報に基づいて、無線端末の端末姿勢を算出し、端末姿勢に応じて距離情報を補正することで、基地局との間の距離情報の精度を高くすることできる。本発明に係る位置推定装置は、精度の高い距離情報を位置推定に用いることで、推定される位置情報の精度も同様に高くすることができる。
(c)上記実施形態(a)の位置推定装置は、さらに、前記加速度情報を用いて前記無線端末がユーザのどの部位に装着されているかを示す装着情報を判定する装着情報検出手段と、前記加速度情報および前記方位情報を用いて前記無線端末の移動方向を検出する移動方向検出手段とを備え、前記補正手段は、前記基地局情報、前記仮位置情報、前記装着情報および前記移動方向を用いて基地局とユーザと無線端末の位置関係を特定し、前記位置関係に応じて前記距離情報を補正するとしてもよい。
上記構成によれば、基地局と無線端末との間にユーザ(人体)が存在することを判定でき、人体干渉による信号の減衰に応じた補正を行うことができる。
(d)上記実施形態(c)の位置推定装置において、前記補正手段は、前記位置関係および前記基地局の利用する周波数帯域に応じて前記距離情報を補正するとしてもよい。
上記構成によれば、直進性や透過性など周波数の性質によって変わる無線信号の減衰に対して、基地局の利用する周波数帯域に応じて補正した距離情報を推定することができる。
(e)本発明の一実施形態の位置推定装置は、無線端末の現在位置を推定する位置推定装置であって、前記無線端末の加速度情報および方位情報を検出する検出手段と、複数の基地局が送信する信号の受信強度を測定する測定手段と、一定間隔の位置ごとに基地局から受信した信号の受信強度を記録した電界強度マップを記憶する記憶手段と、前記受信強度および前記電界強度マップを用いて前記無線端末の仮の位置を示す仮位置情報を推定する位置推定手段と、前記加速度情報、前記方位情報、前記仮位置情報を用いて前記受信強度を補正する補正手段とを備え、前記位置推定手段は、さらに、前記補正された受信強度および前記電界強度マップを用いて前記無線端末の現在位置を示す現在位置情報を推定することを特徴とする。
上記構成によれば、加速度情報および方位情報に基づいて、無線端末の端末姿勢を算出し、端末姿勢に応じて受信強度を補正することで、基地局からの受信強度の精度を高くすることできる。本発明に係る位置推定装置は、精度の高い受信強度を位置推定に用いることで、推定される位置情報の精度も同様に高くすることができる。
また上記構成によれば、無線強度マップを用いて位置推定を行うので、距離推定および位置推定にかかる処理時間を削減し、位置推定に要する時間を短縮することができる。
(実施の形態F)
以下の実施の形態Fでは、あらかじめ位置の分かっている基地局の数が少ない場合に、特別な測位装置を追加で必要とせず、位置推定精度の向上を図ることが可能な位置推定装置について説明する。
以下、本発明の実施の形態Fについて、図面を参照しながら説明する。本発明の位置推定装置100は、例えば、携帯電話などの無線端末に備えられ、該無線端末(以下、対象端末とする。)の現在位置を推定する機能を有する。
<1.構成>
図598は、実施の形態Fにおける位置推定装置100の構成を示すブロック図である。図598に示すように、位置推定装置100は、センサ部101、無線処理部105、制御部106および記憶部119を備える。また、センサ部101は、加速度センサ102、角速度センサ103および地磁気センサ104を備え、制御部106は、端末情報算出部107、自律航法位置推定部110、無線強度測定部111、距離推定部112、RSSI位置推定部113、仮位置設定部114、通信モード変更指示部115、送受信制御部116、存在可能領域算出部117および補正部118を備える。端末情報算出部107は、さらに、姿勢変化量算出部108および端末移動量算出部109を備える。
加速度センサ102は、対象端末の3軸方向の加速度を検出し、電気信号に変換した加速度情報として端末情報算出部107へ出力する。
角速度センサ103は、対象端末の3軸方向の角速度を検出し、電気信号に変換した角速度情報として端末情報算出部107へ出力する。
地磁気センサ104は、3軸方向の地磁気を検出し、電気信号に変換した地磁気情報として端末情報算出部107へ出力する。
無線処理部105は、アンテナなどから構成され、他の無線局と通信するために無線信号を送受信する機能を有する。ここで、無線局とは、他の無線局と無線通信を行う機能を持った装置である。無線局の例として、携帯電話の親局や無線LANアクセスポイントなどの基地局、携帯電話やPHSなどの移動局、無線機能を有するテレビジョンなど位置の固定される固定局が挙げられる。
姿勢変化量算出部108は、センサ部101から入力される角速度情報から前回位置推定時からの姿勢変化量を算出し、算出した姿勢変化量を自律航法位置推定部110へ出力する。本実施形態では、角速度情報を積分することにより算出される、角速度センサの3軸方向に対する対象端末の角度の変化量を、上記姿勢変化量として用いる。
端末移動量算出部109は、センサ部101から入力される加速度情報および地磁気情報に基づいて、前回位置推定時からの対象端末の移動量を算出し、算出した対象端末の移動量を自律航法位置推定部110へ出力する。本実施形態では、加速度情報および地磁気情報を用いて、地心直交座標系におけるX軸方向(東西方向)、Y軸方向(南北方向)およびZ軸方向(高さ)の加速度を算出し、算出した加速度を2回積分することにより算出される距離を前回位置推定時からの移動量として用いる。
自律航法位置推定部110は、図598に記載していない計時手段を有し、(1)前回位置推定時からの経過時間を計測する機能、(2)前回位置推定時の位置情報に対して、端末情報算出部107から入力される対象端末の移動量の加算を行い、自律航法により推定された位置を示す自律位置情報を算出する機能、および、(3)端末情報算出部107から入力される対象端末の姿勢変化量および移動量、並びに、上述の経過時間を用いて、上記仮の位置の精度を示す自律位置精度情報を算出する機能を有する。自律航法位置推定部110は、算出した自律航法位置情報および自律航法精度情報を仮位置設定部114に出力する。
ここで、自律航法精度情報について説明する。センサ部からの入力には、ある程度の誤差が含まれる。一般的に、検出対象の値(加速度、角速度および地磁気方向)が急激な変化をするほど、誤差は大きくなり、また、時間経過に従って誤差が蓄積されていく。
上記問題を鑑みて、自立航法位置推定部110は、対象端末の姿勢変化量、対象端末の移動量および前回位置推定時からの経過時間の各値が大きくなるに従って、低くなるような値を自律航法精度情報として算出する。本実施形態では、例えば、対象端末の姿勢変化量の3軸合計、対象端末の移動量の3軸合計および前回測定時からの経過時間をそれぞれ所定のしきい値Tangle[rad](例えば、π/18[rad])、Tdistance[m](例えば、100[mm])およびTtime「s」(例えば、100[ms])で割った商を100から減算した値を自律航法精度情報として算出する。
無線強度測定部111は、無線処理部105が受信した信号の受信電界強度を無線局ごとに測定する。無線強度測定部111は、測定した受信電界強度を、各無線局を識別する無線局IDと対応付けた受信強度情報として距離推定部112に出力する。
距離推定部112は、無線強度測定部111から入力された受信強度情報を用いて各無線局までの推定距離およびその精度を算出し、それぞれ無線局IDと対応付けて推定距離情報および距離精度情報としてRSSI位置推定部113および存在可能領域算出部117に出力する。
ここで、距離推定部112は、記憶部119に距離推定対象の無線局の送信出力が記憶されている場合は、その送信出力を用いて、推定距離情報および距離精度情報の算出を行う。
無線局のうち基地局の送信出力は、後述の処理で使用する基地局に関するデータとともに、記憶部119であらかじめ記憶されている。図599は、基地局管理情報200の例である。基地局管理情報200は、基地局IDレコード群からなり、各基地局IDレコードは、送信出力、位置情報の各項目からなる。ここで、基地局IDは、各基地局を一意に特定するID情報である。また、送信出力は、各基地局の電波の送信電力を示し、位置情報は、各基地局の地心直交座標系における座標(緯度、経度および高さ)を示す。
また、距離推定部112は、他の無線局と通信することにより距離推定対象の無線局の送信出力を取得できた場合も同様に、送受信制御部116より入力される送信出力を用いて、推定距離情報および距離精度情報を算出する。
上述の距離精度情報について説明する。図600は、無線の受信電界強度と距離の関係を示す図である。図600に示すように、受信電界強度は信号を送信した無線局と受信した無線局との間の距離が短いほど、大きな変化を示すため、受信電界強度が強いほど推定距離情報の精度が高くなる。従って、距離推定部112は、受信強度が強い場合に値が高くなるように距離精度情報を算出する。
図601は、距離推定部112の推定および算出した推定距離情報および距離精度情報の例である。図601では、無線局「AP−1」,「Mobile−2」および「TV−1」の推定距離情報がそれぞれ「3m」、「9m」および「5m」と推定され、距離精度がそれぞれ「90」、「60」および「80」と算出されていることを示している。
図598に戻り、各構成の説明を続ける。RSSI位置推定部113は、距離推定部112から入力される推定距離情報および距離精度情報のうちの基地局からの推定距離情報および距離精度情報、ならびに、記憶部119で記憶される基地局の位置情報に基づいて、対象端末の受信電界強度により推定された位置を示すRSSI位置情報の推定およびRSSI位置情報の精度を示すRSSI精度情報を算出し、仮位置設定部114に出力する。RSSI精度情報は、本実施の形態では、例えば、RSSI位置情報の推定に用いた推定距離情報の距離精度情報の平均値をRSSI精度情報とする。
RSSI位置推定部113の推定するRSSI位置情報について説明する。例えば、距離推定部112から、3つの基地局「AP−1」、「AP−2」および「AP−3」からの距離情報「L1」、「L2」、「L3」が入力され、また、記憶部119に、基地局「AP−1」、「AP−2」および「AP−3」の位置情報(X1,Y1,Z1)、(X2,Y2,Z2)および(X3,Y3,Z3)が記憶されていたとする。RSSI位置推定部113は、基地局「AP−1」を中心とした半径L1の球面((X−X1)2+(Y−Y1)2+(Z−Z1)2=L12)と、基地局「AP−2」を中心とした半径L2の球面((X−X2)2+(Y−Y2)2+(Z−Z2)2=L22)と、基地局「AP−3」を中心とした半径L3の球面((X−X3)2+(Y−Y3)2+(Z−Z3)2=L32)の交点をRSSI位置情報として推定する。上記式においては、RSSI位置情報として2点定まるが、Z軸を固定する、4つ目の距離情報を用いるなどによりRSSI位置情報が1点に定まる。
仮位置設定部114は、自律航法位置推定部110から入力される自律航法位置情報および自律航法精度情報、ならびに、RSSI位置推定部113から入力されるRSSI位置情報およびRSSI精度情報に基づいて、対象端末の仮の位置を示す仮位置情報およびその精度を示す仮位置精度情報を算出し補正部118に出力する。仮位置設定部114は、例えば、自律航法精度情報およびRSSI精度情報を重みとした自律航法位置情報およびRSSI位置情報の加重平均を仮位置情報として算出し、自律航法精度情報およびRSSI精度情報の平均値を仮位置精度情報とする。
なお、仮位置設定部114は、RSSI位置推定部113が、RSSI位置情報を推定できない場合には、自律航法位置情報および自律航法精度情報を仮位置情報および仮位置精度情報として補正部118に出力する。
図602は、宅内などのプライベート空間の構成を示すマップ情報およびマップ情報における無線局の配置例である。一般的に、宅内などのプライベート空間では、複数の無線局が存在し、それらの無線端末は同一のネットワークに属している。
図598に戻り、通信モード変更指示部115は、上記同一ネットワークに属する無線局に対し、一時的に通信モードを変更するように指示する。通信モード変更部115は、例えば、移動局や固定局に対してテザリングモードなど無線アクセスポイントのように振舞うよう指示や、アドホックモードなど同様の状態にするよう指示を行う。位置推定装置100は、上記指示に応じて、無線局が送信した信号を受信することにより、基地局以外の無線局に対しても推定距離情報を算出することが可能になる。
なお、上記通信モード変更指示において、即時応答(通信モードを変更する前に無線局の持つ情報を送信)するよう指示することや、計測完了後応答(無線局に距離計測機能がある場合には、計測した距離情報および距離精度情報を送信)するように指示することも可能である。計測完了後応答においては、対象端末は、無線局の計測した対象端末との間の距離情報を受信することによる双方向の距離情報を用いることで距離情報の精度を高めることが可能である。また、対象端末は、無線局の計測した他の無線局との距離情報を受信することにより、対象端末を含む3つの無線局の間の相対的な距離情報を取得することが可能である。
送受信制御部116は、上記同一ネットワークに属する無線局と通信を行い、各無線局が当該無線局の送信出力や位置情報など保持している場合はその送信出力や位置情報を取得する。図603は、無線局IDと取得した送信出力および位置情報とを対応付けた無線局情報600の具体例である。図603は、無線局「Mobile−2」の送信出力、無線局「TV−1」の位置情報を取得したことを示している。
また、送受信制御部116は、上記同一ネットワークに属する無線局にも、対象端末と同様に他の無線局との距離を推定する機能があり、推定距離情報および距離精度情報を保持している場合には、その推定距離情報および距離精度情報を取得する。図604は、無線局が保持する推定距離情報および距離精度情報を示す他無線局情報700の具体例である。図604は、無線局「Mobile−2」が、無線局「TV−1」の推定距離情報および距離精度情報を保持していることを示している。
図598に戻り、送受信制御部116は取得できた無線局情報600および他無線局情報700を、距離推定部112および存在可能領域算出部117へ出力する。
次に、存在可能領域算出部117の説明を行う。存在可能領域算出部117は、距離推定部112から入力される推定距離情報に基づいて、対象端末がマップ情報の示す空間において存在可能な領域を示す存在可能領域を算出し、補正部に出力する。
マップ情報の例を図602に示す。図602に示すようにマップ情報は、各無線局の送信する信号を減衰させる障害物の構成を含んでいる。存在可能領域算出部117は、図602で示されるようなマップ情報に対して、推定距離情報により示される線分の両端が存在可能な領域を存在可能領域として算出する。
以下、存在可能領域の算出方法について、図面を参照して詳細に説明する。説明の際、位置推定対象の対象端末の無線局IDを「Mobile−1」として丸印で示す。また、存在可能領域の算出に利用される他の無線局は、無線局IDを「Mobile−2」、「Mobile−3」、「TV−1」としてや三角印で示す。
図605は、マップ情報の示すマップ上に障害物がない場合の、存在可能領域の算出方法を示す説明図である。
まず、存在可能領域算出部117は、図605の(a)のように、無線局「Mobile−2」をマップの四隅のうち左下(南西)に固定して、推定距離情報だけ離れた対象端末「Mobile−1」の動く軌跡を調べる。マップは、対象端末「Mobile−1」の動く軌跡によって2つの領域に分けられる。2つの領域のうち無線局「Mobile−2」を固定したマップの左下(南西)を含まない方の領域が、(1)対象端末「Mobile−1」が無線局「Mobile−2」よりも上(北)かつ右(東)に位置する場合の対象端末「Mobile−1」の存在可能領域となる。
存在可能領域算出部117は、無線局「Mobile−2」をマップの四隅の右下(南東)、左上(北西)および右上(北東)に固定して、同様の処理を行い、(2)対象端末「Mobile−1」が無線局「Mobile−2」よりも上(北)かつ左(東)に位置する場合の対象端末「Mobile−1」の存在可能領域、(3)対象端末「Mobile−1」が無線局「Mobile−2」よりも下(南)かつ右(東)に位置する場合の対象端末「Mobile−1」の存在可能領域、および、(4)対象端末「Mobile−1」が無線局「Mobile−2」よりも下(南)かつ左(西)に位置する場合の対象端末「Mobile−1」の存在可能領域を算出する。
存在可能領域算出部117は、上記算出した4つの存在可能領域の和集合を取ることによって、マップ情報の示すマップ上に障害物がない場合の、対象端末「Mobile−1」の存在可能領域を算出する。図605の(b)に対象端末「Mobile−1」の存在可能領域の算出結果例を示す。
次に、マップ上に障害物が存在する場合について説明する。前述したように、マップ情報には、無線信号を減衰させる障害物を含むことがある。存在可能領域算出部117は、存在可能領域の算出する際に、対象端末「Mobile−1」と無線局「Mobile−2」の間に上記障害物が存在する場合には、その障害物の種類と数に応じた補正を推定距離情報に対して行った補正距離情報を用いて存在可能領域の算出を行う。
図606は、障害物の種類と補正倍率のテーブル900の例である。存在可能領域算出部117は、例えば、対象端末「Mobile−1」と無線局「Mobile−2」の間に「壁(薄)」が存在する場合には、推定距離情報に補正倍率0.9を乗算した補正距離情報を用いて存在可能領域の算出を行う。また、存在可能領域算出部117は、対象端末「Mobile−1」と無線局「Mobile−2」の間に「壁(薄)」と「壁(厚)」の2つの障害物が存在する場合には、推定距離情報に補正倍率0.9×0.8=0.72を乗算した補正距離情報を用いて存在可能領域の算出を行う。
図607は、マップ情報の示すマップ上に障害物が存在する場合の、存在可能領域の算出方法を示す説明図である。
まず、存在可能領域算出部117は、図607の(a)のように、無線局「Mobile−2」をマップの四隅のうち左下(南西)に固定して、対象端末「Mobile−1」の動く軌跡を調べる。この際に、対象端末「Mobile−1」と無線局「Mobile−2」との間の距離として、間に障害物が存在しない場合には推定距離情報を用い、間に障害物が存在する場合には、障害物の種類と数に応じた補正を行った補正距離情報を用いる。2種類の距離情報を用いることによって発生する不連続点間を直線で結び対象端末「Mobile−1」の動く軌跡とする。
マップは、対象端末「Mobile−1」の動く軌跡によって2つの領域に分けられる。2つの領域のうち無線局「Mobile−2」を固定したマップの左下(南西)を含まない方の領域が、(1)対象端末「Mobile−1」が無線局「Mobile−2」よりも上(北)かつ右(東)に位置する場合の対象端末「Mobile−1」の存在可能領域となる。
存在可能領域算出部117は、無線局「Mobile−2」をマップの四隅の右下(南東)、左上(北西)および右上(北東)に固定して、同様の処理を行い、(2)対象端末「Mobile−1」が無線局「Mobile−2」よりも上(北)かつ左(東)に位置する場合の対象端末「Mobile−1」の存在可能領域、(3)対象端末「Mobile−1」が無線局「Mobile−2」よりも下(南)かつ右(東)に位置する場合の対象端末「Mobile−1」の存在可能領域、および、(4)対象端末「Mobile−1」が無線局「Mobile−2」よりも下(南)かつ左(西)に位置する場合の対象端末「Mobile−1」の存在可能領域を算出する。
存在可能領域算出部117は、上記算出した4つの存在可能領域の和集合を取ることによって、マップ情報の示すマップ上に障害物が存在する場合の、対象端末「Mobile−1」の存在可能領域を算出する。図607の(b)に対象端末「Mobile−1」の存在可能領域の算出結果例を示す。
送受信制御部116が、図603に例を示す無線局情報600のうち無線局の位置情報を取得した場合には、存在可能領域算出部117は、無線局の位置情報を用いた存在可能領域の算出を行う。
図608は、無線局の位置情報を用いた存在可能領域の算出方法を示す説明図である。無線局「TV−1」の位置情報が取得できた場合には、無線局「TV−1」を中心とした半径を推定距離情報とした円周上に対象端末「Mobile−1」が存在する。距離推定の誤差を考慮に入れて、距離推定部112から入力される距離精度情報に比例する幅のドーナツ型領域を、対象端末の存在可能領域とする。
送受信制御部116が、図604に例を示す他無線局情報700を取得した場合には、存在可能領域算出部117は、他無線局情報700を用いた存在可能領域の算出を行う。例えば、距離推定部112から、無線局「Mobile−2」および「Mobile−3」との間の推定距離情報が入力され、送受信制御部116から、無線局「Mobile−2」と無線局「Mobile−3」との距離推定情報L7が入力されたとする。この場合、3つの距離情報を用いて、対象端末「Mobile−1」、無線局「Mobile−2」および無線局「Mobile−3」の相対位置を示す三角形を算出することができる。この三角形がマップ上を移動した場合に、三角形の頂点のうち対象端末「Mobile−1」を示す頂点の描く軌跡が、対象端末「Mobile−1」の存在可能領域となる。
図609および図610は、他無線局情報700を用いた存在可能領域の算出方法を示す説明図である。まず、三角形の頂点が、時計回りに、対象端末「Mobile−1」、無線局「Mobile−2」および無線局「Mobile−3」となっている場合について説明する。
存在可能領域算出部117は、図609の(a)のように、無線局「Mobile−2」をマップの四隅のうち左下(南西)に固定して、推定距離情報L2だけ離れた対象端末「Mobile−1」の動く軌跡を調べる。また、存在可能領域算出部117は、無線局「Mobile−3」をマップの四隅のうち左下(南西)に固定して対象端末「Mobile−1」の動く軌跡を調べる。
次に、存在可能領域算出部117は、図609の(b)のように、無線局「Mobile−2」がマップの四隅のうち左下(南西)、無線局「Mobile−3」がマップの左端(西端)に接する状態から、無線局「Mobile−3」マップの四隅のうち左下(南西)、無線局「Mobile−2」がマップの下端(南端)に接する状態へ、無線局「Mobile−2」および無線局「Mobile−3」をマップの外端に沿わせながら移動させて、対象端末「Mobile−1」の動く軌跡を調べる。
上記操作によって図609の(c)に示す軌跡が得られる。この軌跡によって分けられる2つの領域のうち、マップの左下(南西)を含まない方の領域が、(1)対象端末「Mobile−1」が無線局「Mobile−2」よりも上(北)、かつ、対象端末「Mobile−1」が無線局「Mobile−3」よりも右(東)に位置する場合の対象端末「Mobile−1」の存在可能領域となる。
残る四隅に対しても同様の操作を行い、(2)対象端末「Mobile−1」が無線局「Mobile−2」よりも右(東)、かつ、対象端末「Mobile−1」が無線局「Mobile−3」よりも下(南)に位置する場合の対象端末「Mobile−1」の存在可能領域、(3)対象端末「Mobile−1」が無線局「Mobile−2」よりも下(南)、かつ、対象端末「Mobile−1」が無線局「Mobile−3」よりも左(西)に位置する場合の対象端末「Mobile−1」の存在可能領域、および、(4)対象端末「Mobile−1」が無線局「Mobile−2」よりも左(西)、かつ、対象端末「Mobile−1」が無線局「Mobile−3」よりも上(北)に位置する場合の対象端末「Mobile−1」の存在可能領域を算出する。
存在可能領域算出部117は、上記算出した4つの存在可能領域の和集合を取り、他無線局情報を用いた場合における対象端末「Mobile−1」の存在可能領域を算出する。図610の(a)に対象端末「Mobile−1」の存在可能領域の算出結果例を示す。
三角形の頂点が、時計回りに、対象端末「Mobile−1」、無線局「Mobile−3」および無線局「Mobile−2」となっている場合についても存在可能領域も算出し、図610の(a)に示す存在可能領域との和集合を取ることによって図610の(b)に示す存在可能領域が算出される。
こうして算出された存在可能領域が、他無線局情報を用いた場合における対象端末「Mobile−1」の存在可能領域となる。
存在可能領域算出部117は、入力された推定距離情報、無線局情報および他無線局情報に基づいて算出された複数の存在可能領域の積集合をとって、補正部118へ出力する。
図602に示すマップ情報および無線端末の配置例における存在可能領域の算出例を図611〜図614に示す。図611は、対象端末「Mobile−1」と無線局「Mobile−2」との間の推定距離情報を用いた存在可能領域の算出例である。また、図612は、対象端末「Mobile−1」と無線局「TV−1」との間の推定距離情報および無線局「TV−1」から取得した無線局情報を用いた存在可能領域の算出例であり、図613は、対象端末「Mobile−1」と無線局「AP−1」との間の推定距離情報および記憶部119に記憶されている基地局管理情報を用いた存在可能領域の算出例である。存在可能領域算出部117は、例えば、これら3つの存在可能領域を算出し、積集合をとった図614に示す存在可能領域を補正部118に出力する。
図598に戻り、位置推定装置100の構成の説明を続ける。補正部118は、存在可能領域算出部117から入力される存在可能領域に基づいて、仮位置設定部から入力される仮位置情報を補正する。具体的には、補正部118は、仮位置情報の示す座標が、存在可能領域内であるか存在可能領域外であるかを判定し、存在可能領域外である場合に、存在可能領域内で仮位置情報の示す座標に一番近い位置に補正する。その際に、存在可能領域内で仮位置情報の示す座標に一番近い位置が複数ある場合は、それらの位置の中から、例えば、ランダムで選んだ位置に仮位置情報を補正する。なお、存在可能領域内で仮位置情報の示す座標に一番近い位置が複数ある場合は、上記ランダムに位置を決める方法の他に、あらかじめ決めておいたルールに従って選択してもよい(例えば、12時方向から時計回りにみて最初の位置を選択、複数の位置の重心方向に近い位置を選択など)。
記憶部119、基地局情報200、マップ情報500、および、障害物と補正倍率のテーブル900を記憶する。
なお、上記説明において、平面上における存在可能領域を算出しているが、3次元における存在可能領域についても同様の手法で算出する。つまり、8つの頂点を支点として、対象端末の軌跡を調べることによって存在可能領域を算出する。
<2.動作>
次に、本実施形態における位置推定装置100の動作について説明する。
図615は、本実施形態における位置推定装置100の動作全体を示すフローチャートである。図615に示すように、位置推定装置100の動作は、自律航法により自律航法位置情報を推定するステップ(ステップS1801)、受信電界強度を用いてRSSI位置情報を推定するステップ(ステップS1802)、対象端末の仮の位置を示す仮位置情報を設定するステップ(ステップS1803)、仮位置情報に補正が必要かどうかを判定するステップ(ステップS1804)、および、存在可能領域を用いて仮位置情報を補正するステップ(ステップS1805)からなる。
図616は、自律航法位置情報を推定するステップ(ステップS1801)の動作を示すフローチャートである。
図616に示すように、まず、姿勢変化量算出部108は、角速度センサ103から入力される角速度情報に基づいて対象端末の姿勢変化量を算出し(ステップS1901)、端末移動量算出部は、加速度センサ102から入力される加速度情報および地磁気センサから入力される地磁気情報に基づいて対象端末の移動量を算出する(ステップS1902)。
次に、自律航法位置推定部110は、記憶部119で記憶される前回位置推定時の現在位置情報および対象端末の移動量に基づいて自律航法位置情報を算出し(ステップS1903)、前回位置推定時からの経過時間、対象端末の姿勢変化量および対象端末の移動量に基づいて自律航法精度情報を算出する(ステップS1904)。
図616に示す動作により、位置推定装置100は、自律航法位置情報および自律航法精度情報を算出する。
図617は、RSSI位置情報を推定するステップ(ステップS1802)の動作を示すフローチャートである。図617に示すように、まず、無線強度測定部111は、まず、複数の基地局が送信する信号の受信電界強度を測定する(ステップS2001)。
次に、距離推定部112は、無線強度測定部111が測定した基地局を、受信電界強度が強い順に選択する(ステップS2002)。
距離推定部112は、選択された基地局の受信電界強度が、あらかじめ定められたしきい値以上であるか判定する(ステップS2003)。受信電界強度がしきい値よりも小さい場合は、ステップS2005に進む。
距離推定部112は、選択された基地局の受信電界強度がしきい値以上であった場合、選択された基地局からの信号の受信強度に基づいて、選択された基地局から対象端末までの距離を推定し、基地局IDと対応付けた推定距離情報および、推定距離情報の精度を示す距離精度情報を算出する(ステップS2004)。
図600に示すように、受信電界強度は信号を送信した無線局と受信した無線局との間の距離が短いほど、大きな変化を示すため、受信電界強度が弱いと推定される距離情報の精度は低くなる。したがって、あらかじめしきい値を設定して、受信強度がしきい値以上の場合のみ距離推定を行うことで、推定距離情報の最低限の精度を確保する。
図617に戻り、距離推定部112は、無線強度測定部111が測定したすべての基地局の推定距離情報を算出したかどうか判定し(ステップS2005)、推定距離情報を算出していない基地局が残っている場合は、ステップS2002へ戻る。
無線強度測定部111が測定したすべての基地局の推定距離情報を算出すると、RSSI位置推定部113は、距離推定部112が3つ以上の基地局の推定距離情報を推定したかどうかを判定する(ステップS2006)。距離推定部112が推定できた基地局が3つよりも少なかった場合は、ステップS1803に進む。
RSSI位置推定部113は、距離推定部112が3つ以上の基地局の推定距離情報を推定した場合、記憶部119に記憶されている基地局の位置情報および該推定距離情報を用いてRSSI位置情報およびRSSI精度情報を算出する(ステップS2007)。
図615に戻り、仮位置設定部114は、自律航法精度情報およびRSSI精度情報を重みとした自律航法位置情報およびRSSI位置情報の加重平均を仮位置情報として算出し、自律航法精度情報およびRSSI精度情報の平均値を仮位置精度情報として算出する(ステップS1803)。
なお、RSSI位置推定部113が、RSSI位置情報を推定できなかった場合は、自律航法位置情報および自律航法精度情報を仮位置情報および仮位置精度情報とする。
補正部118は、仮位置精度情報があらかじめ定められたしきい値よりも小さいかどうかを判定し(ステップS1804)、しきい値以上の場合は仮位置情報を最終的な位置推定結果として処理を終了する。
仮位置精度情報があらかじめ定められたしきい値よりも小さい場合、位置推定装置100は、存在可能領域を用いて仮位置情報を補正する(ステップS1805)。
図618は、存在可能領域を用いて仮位置情報を補正する動作を示すフローチャートである。
まず、通信モード変更指示部115は、同一ネットワークに属する無線局に通信モードを変更するように指示し(ステップS2101)、送受信制御部116は、同一ネットワークに属する無線局と通信を行い、無線局情報および他無線局情報を取得する(ステップS2102)。
また、無線強度測定部111は、同一ネットワークに属する無線局が送信する信号の受信電界強度を測定する(ステップS2103)。
次に、距離推定部112は、無線強度測定部111が測定した無線局を、受信電界強度が強い順に選択する(ステップS2104)。
距離推定部112は、選択された無線局の受信電界強度が、あらかじめ定められたしきい値以上であるか判定する(ステップS2105)。受信電界強度がしきい値よりも小さい場合は、ステップS2107に進む。
距離推定部112は、選択された無線局の受信電界強度がしきい値以上であった場合、選択された無線局からの信号の受信強度に基づいて、選択された無線局から対象端末までの距離を推定し、無線局IDと対応付けた推定距離情報および、推定距離情報の精度を示す距離精度情報を算出する(ステップS2106)。
無線強度測定部111が測定したすべての無線局の推定距離情報を算出したかどうか判定し(ステップS2107)、推定距離情報を算出していない無線局が残っている場合は、ステップS2104へ戻る。
無線強度測定部111が測定したすべての無線局の推定距離情報を算出すると、存在可能領域算出部117は、推定距離情報、無線局情報、他無線局情報およびマップ情報に基づいて存在可能領域を算出する(ステップS2108)。
存在可能領域が算出されると、補正部118は、存在可能領域を用いて、仮位置情報の補正を行い(ステップS2109)、補正結果を最終的な位置推定結果として処理を終了する。
<3.まとめ>
本実施形態における位置推定装置100は、仮位置情報に対して、空間の構成を示すマップ情報と同一ネットワークに属する無線局の情報とを用いて存在可能領域を算出し、存在可能領域を用いて仮位置情報の補正を行っている。
この構成によれば、基地局の数が少ない場合や、特別な測位装置を持たない無線端末においても、マップ情報および同一ネットワークに属する無線局情報を利用して対象端末の位置をより正確に推定することができる。
(補足)
以上、本発明に係る位置推定装置の実施形態を説明したが、例示した位置推定装置を以下に示すように変形することも可能であり、本発明は上述の実施形態に限られるものではない。
(1)上述の実施形態において、図599に示す基地局管理情報200は記憶部にあらかじめ記憶されているとしているが本発明はこれに限られるものではない。
上記基地局管理情報200は、例えば、外部に存在する記憶装置に記憶され、対象端末が必要に応じて通信を行うことにより、基地局管理情報を取得してもよい。
(2)上述の実施形態は、加速度情報を2回積分することにより、対象端末の移動量を算出しているが、対象端末の移動量を算出する方法はこの限りではない。例えば、対象端末を利用するユーザの歩幅等の情報を、ユーザからの入力によってあらかじめ取得しておき、加速度情報を用いて、ユーザの歩数を検出し、歩幅と歩数の積によって対象端末の移動量を算出してもよい。
(3)上述の実施形態において、存在可能領域は、対象端末以外の無線局を支点におき、対象端末の動く軌跡を調べることによって、対象端末の存在可能領域を算出しているが、存在可能領域の算出方法はこの限りではない。例えば、マップ上の特定座標に対象端末が存在すると仮定して、推定距離情報に基づいて対象端末以外の無線局がマップ上に存在可能ならば上記特定座標を存在可能座標、推定距離情報に基づいて対象端末以外の無線局がマップ上に存在不可能ならば上記特定座標を存在不可能座標として、マップ上のすべての座標を存在可能座標および存在不可能座標に分類し、上記存在可能座標の集合を存在可能領域としてもよい。
(4)上述の各実施形態及び各変形例を、部分的に組み合せてもよい。
(5)上述の実施形態で示した距離推定処理や補正処理等を、位置推定装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
(6)上述の実施形態で示した各機能構成要素は、その機能を実行する回路として実現されてもよいし、1又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、本発明の位置ステイ装置は、IC、LSIその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
なお、距離推定部、各位置推定部、存在可能領域算出部および補正部等の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップされてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
(補足2)
以下、本発明の一実施形態としての位置推定装置の構成およびその変形例と効果について説明する。
(a)本発明の一実施形態の位置推定装置は、無線端末の現在位置を推定する位置推定装置であって、前記無線端末の仮の位置情報を設定する設定手段と、空間の構成を示すマップ情報を記憶する記憶手段と、無線局から受信した信号の受信強度を用いて、前記無線局それぞれからの距離を示す距離情報を推定する推定手段と、前記マップ情報および前記距離情報を用いて存在可能領域を算出する算出手段と、前記仮の位置情報が前記存在可能領域外である場合に、前記仮の位置情報を前記存在可能領域内に補正する補正手段とを備えることを特徴とする。
上記構成によれば、マップ情報と無線局からの距離情報とを用いることにより、あらかじめ位置の分かっている基地局の数が少ない場合においても、特別な測位装置を追加で必要とせず無線端末の位置推定精度の向上を図ることができる。
(b)上記実施形態(a)の位置推定装置において、前記マップ情報は、無線信号を減衰させる障害物の構成を有し、前記算出手段は、前記マップ情報における前記距離情報が示す2点間に前記障害物が存在する場合は、前記障害物に応じて前記距離情報を補正して前記存在可能領域を算出するとしてもよい。
上記構成によれば、無線信号を減衰させる障害物に応じて、距離情報の補正を行うので、無線端末の位置推定精度の向上を図ることができる。
(c)上記実施形態(a)の位置推定装置は、さらに、同一ネットワークに属する無線局に通信モードを変更するように指示する指示手段を備え、前記推定手段は、前記指示に応じて前記無線局が送信する信号の受信強度を測定し、測定した受信強度を用いて前記距離情報を推定するとしてもよい。
上記構成によれば、同一ネットワークに存在する無線局それぞれからの距離情報を推定でき、位置推定に利用することができる。
(d)上記実施形態(c)の位置推定装置は、さらに、前記無線局それぞれと通信し、前記無線局それぞれが保持する無線局情報を取得する取得手段を備え、前記算出手段は、前記マップ情報、前記距離情報および前記無線局情報を用いて前記存在可能領域を算出するとしてもよい。
(e)上記実施形態(d)の位置推定装置において、前記取得手段は、前記無線局それぞれが保持する前記無線局の位置情報を前記無線局情報として取得するとしてもよい。
上記構成によれば、同一ネットワークに属する無線局の位置情報を利用して存在可能領域を算出し、算出した存在可能領域を用いて位置推定を行うので、無線端末の位置推定精度の向上を図ることができる。
(f)上記実施形態(d)の位置推定装置において、前記取得手段は、前記無線局それぞれが保持する前記無線局と他の無線局との間の距離情報を前記無線局情報として取得するとしてもよい。上記構成によれば、前記無線局それぞれが保持する前記無線局と他の無線局との間の距離情報を用いて同一ネットワークに属する無線局同士の相対的な位置関係を算出し、同一ネットワークに属する無線局同士の相対的な位置関係を利用して存在可能領域を算出することができる。その結果、算出した存在可能領域を用いて行う無線端末の位置推定の精度向上を図ることができる。
(g)上記実施形態(d)の位置推定装置において、前記取得手段は、前記無線局それぞれの送信する信号の送信強度を前記無線局情報として取得し、前記推定手段は、前記受信強度および前記送信強度を用いて前記距離情報を推定するとしてもよい。
上記構成によれば、無線局からの距離の推定精度の向上を図ることができ、その結果、無線端末の位置の推定精度の向上を図ることができる。
(実施の形態G)
以下の実施の形態Gでは、特別な機器を屋内に設置することを必要とせず、自らの位置を高精度に推定することができる位置推定装置、位置推定方法について説明する。
以下本発明の実施の形態Gについて、図面を参照しながら説明する。
なお、以下で説明する本発明の実施の形態Gは、本発明の好ましい一具体例を示すものである。本実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲だけによって限定される。よって、以下の実施の形態Gにおける構成要素のうち、独立請求項に記載されていない構成要素は、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
(実施の形態G)
図619は、本発明の実施の形態Gにおける位置推定装置の機能ブロック図である。
図619に示す位置推定装置10は、例えば携帯端末などの移動端末に固定して備えられ、自らの位置をその移動端末の位置として検知する。
図619に示す位置推定装置は、加速度センサ101と、角速度センサ102と、地磁気センサ103と、移動状態検出部104と、端末姿勢検出部105と、位置推定部106と、情報保存部107と、偏りパターン情報保持部108と、指示検出部109と、偏在算出部110と、位置補正部111と、GUI表示部112とを備える。
なお、位置推定装置10は移動端末に固定して備えられているため、移動端末の位置、向き、傾き、加速度、加速度方向、移動方向、移動距離、回転方向、および角速度などの移動端末の状態(端末移動状態)は、位置推定装置10のそれらの状態と同じである。
加速度センサ101は、位置推定装置10に固定して設定されたローカル座標系(X軸、Y軸およびZ軸からなる3軸の座標系)において、加速度センサ101が受ける重力および慣性力などの力の向きおよび大きさを検出する。例えば、位置推定装置10または上記移動端末の形状が、一方向に長い形状である場合には、その位置推定装置10または移動端末の長手方向がZ軸方向であり、それぞれZ軸に垂直な方向であって、互いに直交する方向がX軸方向およびY軸方向である。
角速度センサ102は、移動端末の回転方向および角速度を予め定められた周期で検出する。
地磁気センサ103は、ローカル座標系における磁界強度を予め定められた周期で検出する。具体的には、地磁気センサ103は、上述のX軸、Y軸およびZ軸のそれぞれの軸に沿った方向の磁界強度を検出する。これらの3軸の磁界強度に基づいて、移動端末の位置における磁界(地磁気)が1つの磁界ベクトルとして表される。
移動状態検出部104は、本発明の移動状態検出部に対応し、端末姿勢検出部105によって検出された姿勢(姿勢情報)と、加速度センサ101による検出結果とに基づいて、位置推定装置10の移動方向および移動距離を示す移動量と、位置推定装置10が移動されている状態を示す端末移動状態とを検出(算出)する。
具体的には、移動状態検出部104は、姿勢検出部105によって算出された姿勢(姿勢情報)と、加速度センサ101から出力される加速度情報とに基づいて、地球に固定して設定されたグローバル座標系、または宅内に固定して設定された宅内座標系における、移動端末の移動方向、移動速度および移動距離を予め定められた周期で算出(検出)する。なお、移動方向および移動距離を示すパラメータを移動量という。
換言すると、移動状態検出部104は、加速度センサ101の出力(加速度情報)を解析し、位置推定装置10が移動状態であるかどうかを判定する。このようにして、移動状態検出部104は、位置推定装置10が端末移動状態であるかを算出(検出)する。また、移動状態検出部104は、直近に累積した加速度センサ101の出力(加速度情報)および地磁気センサ103等による方位情報から、位置推定装置10の移動方向を算出(検出)する。
本実施の形態では、例えば、移動状態検出部104は、位置推定装置10が移動状態である場合に、例えば直前の指示方向が指し示す位置に偏りがあった時刻から、指示対象物を見つけた時刻までの間の移動量、つまりある2点の時刻間での移動量を算出する。ここで、指示対象物とは、例えば、宅内にあるTVやエアコン等である。
姿勢検出部105は、本発明の姿勢検出部に対応し、少なくとも加速度センサ101と地磁気センサ103による検出結果に基づいて、位置推定装置10の姿勢を検出(算出)する。ここで、姿勢は、移動端末の水平面に対する傾きと、水平面における移動端末の向きである。本実施の形態では、姿勢検出部105は、角速度センサ102によって検出される位置推定装置10の向きの変化量と、加速度センサ101および地磁気センサ103による検出結果とに基づいて、位置推定装置10の姿勢を検出する。
つまり、姿勢検出部105は、加速度センサ101、角速度センサ102および地磁気センサ103による検出結果に基づいて、地球を基準にした移動端末の姿勢を予め定められた周期で算出(検出)する。より具体的には、端末姿勢検出部105は、加速度センサ101の値(加速度情報)を取得し、重力方向を取得する。端末姿勢検出部105は、取得した重力方向から、位置推定装置10の水平面(上記xy平面)に対する姿勢(姿勢情報)を算出(検出)する。そして、端末姿勢検出部105は、角速度センサ102による過去の姿勢からの変化、または、地磁気センサ103の値を取得し、水平面上の位置推定装置10の姿勢(向き)を算出(検出)する。
位置推定部106は、本発明の位置推定部に対応し、位置推定装置10の現在位置を示す現在地座標を推定する。また、位置推定部106は、端末移動状態と前回推定時の現在位置の情報(現在地座標)とから、現在位置を推定する。具体的には、位置推定部106は、移動状態検出部104によって検出された移動量だけ、前回推定された座標から離れた座標を現在地座標として推定する。より具体的には、位置推定部106は、直前に算出された座標と、移動状態検出部104によって算出された移動量とに基づいて、位置推定装置10の現在地座標を現在位置として算出(推定)する。なお、この現在地座標は、次の現在地座標を算出するための、直前に算出された座標として用いられる。以下、この直前に算出された座標を直前現在地座標ともいう。例えば、位置推定部106は、前回推定時の直前現在地座標(X0,Y0,Z0)からの移動量によって、今回の現在地座標(X、Y、Z)を推定する。
なお、位置推定部106は、さらに、位置推定装置10が直近に通過した基準点の座標からの、位置推定装置10の移動距離、位置推定装置10の移動の複雑さ、および、位置推定装置10の移動にかかった時間のうちの少なくとも1つに応じて、現在地座標の精度である推定位置精度を算出するとしてもよい。その場合、位置推定部106は、推定した現在地座標と、算出した推定位置精度とを関連付けて、情報保存部に保存する。
指示検出部109は、指示方向検出部1091と、指示対象物検出部1092とを備える。
指示方向検出部1091は、本発明の指示方向検出部に対応し、ユーザにより位置推定装置10を用いて指し示された方向である指示方向を検出する。
指示対象物検出部1092は、本発明の対象物検出部に対応し、指示方向検出部1091により検出される指示方向に基づいて、ユーザが指し示している対象物である指示対象物を検出する。具体的には、指示対象物検出部1092は、位置推定装置10の上方向(Z軸方向)である指示方向の延長線上に指示対象物があるか否かを検索(検出)する。ここで、指示対象物とは、上述したように、例えば、宅内にあるTVやエアコン等である。指示対象物は、予め情報保存部107に、指示対象物の候補として座標と共に保存されている。
情報保存部107は、本発明の情報保存部に対応し、位置推定部106により推定された現在地座標と、位置推定部106により算出された推定位置精度とが関連付けられ保存される。
また、情報保存部107には、指示対象物の候補である候補対象物が、その候補対象物の座標とともに、保存されている。なお、情報保存部107は、候補対象物が登録された方法に応じて算出された候補対象物の座標の精度である対象物位置精度が、対応する候補対象物およびその座標とともに保存されるとしてもよい。
偏在算出部110は、本発明の偏在算出部に対応する。偏在算出部110は、指示対象物検出部1092により指示対象物が検出される直前の予め決められた時間以内に、その指示対象物が存在しないエリアであって指示方向検出部1091により検出された指示方向が指し示す位置に偏りがある(位置が偏在する)エリアを特定する。つまり、偏りがある(偏在する)エリアとは、指示対象物のない特定エリアであり、ユーザにより一定以上の偏りの分布を持って指示方向により指し示される位置を含むエリアである。そして、偏在算出部110は、特定した偏りがある(偏在する)エリアに対する方向である偏在方向を算出する。ここで、予め決められた時間とは、例えば3秒間である。
換言すると、偏在算出部110は、指示対象物検出部1092により指示対象物が検出される時(現時刻)において、その現時刻からさかのぼって、例えば3秒間などの予め決められた時間以内に指示方向の偏りがあるエリアを特定する。
ここで、偏在算出部110は、偏りがある(偏在する)エリアを探索するために一定の大きさで区切られた複数の探索エリアのうちの一つを、偏りがある(偏在する)エリアとして特定する。
なお、偏在算出部110は、推定位置精度または対象物位置精度の位置精度に応じて、探索エリアの広さを調節するとしてもよい。例えば、偏在算出部110は、位置精度が低い場合には、探索エリアの広さを大きくする。
具体的には、偏在算出部110は、情報保存部107に保存されている現在地座標と、当該現在地座標に関連付けられた推定位置精度とに応じて、探索エリアの大きさを変更するとしてもよい。例えば、偏在算出部110は、現在地座標に関連付けられた推定位置精度が閾値以下の場合、探索エリアが大きくなるよう変更する。換言すると、偏在算出部110は、情報保存部107に保存されている推定位置精度の値が閾値以下の場合、探索エリアが大きくなるよう変更する。
また、偏在算出部110は、指示対象物検出部1092により検出された指示対象物と、情報保存部107に保存されている、その指示対象物に対応する候補対象物の対象物位置精度とに応じて、探索エリアの大きさを変更するとしてもよい。例えば、偏在算出部110は、情報保存部107に保存されている対象物位置精度の値が閾値以下の場合、探索エリアが大きくなるよう変更する。
偏りパターン保持部108は、偏在算出部110が算出した偏在したエリア(偏りのあるエリア)を特定するための情報を保持している。例えば、偏りパターン保持部108は、ユーザにより一定以上の偏りの分布を持って指示されていたエリアを特定するための偏りパターンを保持している。また、偏りパターン保持部108は、偏在算出部110により特定されたエリアとそれに対する偏在方向とを保持しているとしてもよい。
位置補正部111は、本発明の位置補正部に対応し、偏在算出部110により算出された偏在方向を用いて、位置推定部106により推定された現在地座標を補正する。
ここで、位置補正部111は、ユーザにより位置推定装置10を用いて指し示されたときにその位置推定装置10が真に存在する可能性のある座標を含むエリアである存在可能エリアを、検出された指示対象物の位置を基準に、上記偏在方向を用いて算出する。そして、位置補正部111は、算出した存在可能エリアの中で、ユーザにより位置推定装置10を用いて指し示されたときに位置推定装置10が真に存在する座標であって、補正すべき座標を決定し、決定した座標に現在地座標を補正する。
より具体的には、位置補正部111は、偏りがあった時刻の位置推定装置10の現在位置から、算出された偏在したエリアに対する方位(偏在方向)を用いて、論理空間上に仮の指示対象物が配置されたとする場合の仮の指示対象物の現在位置から、上記方位の逆方向の直線上の予め決められた幅のエリアを存在可能エリアとして算出する。つまり、位置補正部111は、自端末の現在位置の情報(現在地座標)が存在する可能性のあるエリア(存在可能エリア)を、指示対象物の位置(座標(X2、Y2、Z2))を基準として定義する。そして、位置補正部111は、算出した存在可能エリアの中で、現在地座標(現在位置)から最も近い座標にその現在地座標を補正する。なお、位置補正部111は、算出した存在可能エリアの中で、現在地座標(現在位置)から最も近い座標にその現在地座標を補正する場合に限られない。位置補正部111は、算出した存在可能エリアの中心にその現在地座標を補正するとしてもよい。
なお、位置補正部111は、推定位置精度または対象物位置精度の位置精度に応じて存在可能エリアの幅(領域)の広さを調節するとしてもよい。
具体的には、位置補正部111は、情報保存部107に保存されている現在地座標と、当該現在地座標に関連付けられた推定位置精度とに応じて、存在可能エリアの幅(領域)を変更するとしてもよい。例えば、位置補正部111は、現在地座標に関連付けられた推定位置精度が閾値以下の場合、存在可能エリアの幅(領域)が小さくなるよう変更する。換言すると、位置補正部111は、情報保存部107に保存されている推定位置精度の値が閾値以下の場合、存在可能エリアの幅(領域)が小さくなるよう変更する。
このように、位置補正部111は、推定位置精度が低い場合には、存在可能エリアの幅(領域)を狭く取ることで、位置補正を強くかかるようにする。
また、位置補正部111は、指示対象物検出部1092により検出された指示対象物と、情報保存部107に保存されている、その指示対象物に対応する候補対象物の対象物位置精度とに応じて、存在可能エリアの幅(領域)の大きさを変更するとしてもよい。例えば、位置補正部111は、情報保存部107に保存されている対象物位置精度の値が閾値以下の場合、存在可能エリアの幅(領域)が大きくなるよう変更する。
このように、位置補正部111は、対象物位置精度が低い場合には、存在可能エリアの幅(領域)の広さを大きくする。このように、位置推定装置10は、対象物精度が低い場合には、存在可能エリアの幅(領域)を広く取ることで、位置補正があまりかからないようにする。
なお、上記は、位置推定装置10が移動状態でない場合について説明したが、それに限らない。位置推定装置10が構成される移動端末は、ユーザが携行可能であるので、ユーザが移動しながら、指示対象物を指し示す場合もある。その場合には、位置補正部111は次のように構成すればよい。
すなわち、位置補正部111は、端末移動状態が検出され、かつ、対象物検出部により指示対象物が検出された場合、位置推定装置10の移動量を加味して現在地座標を補正する。具体的には、位置補正部111は、予め決められた時間のうち、偏在算出部110が指示方向の偏在したエリアを特定したときから指示対象物検出部1092により指示対象物が検出されるまでの時間の間における位置推定装置10の移動量だけ、算出された偏在方向を用いて補正された座標から離れた座標を現在地座標に対して補正する。
GUI表示部112は、本発明の表示部に対応し、指示対象物検出部1092により指示対象物が検出された場合に、その指示対象物に関連する制御情報を表示する。ここで、指示対象物に関連する制御情報とは、例えば、制御用リモコン画面などのGUI(Graphical User Interface)画面であり、ユーザインタフェース情報(UI情報)である。
以上のように、位置推定装置10は構成される。
この構成によれば、例えば、屋内GPSのような専用のアンテナなど特別な機器を屋内に設置することを必要とせず、自らの位置を高精度に推定することができる。
なお、情報保存部107は必ずしも位置推定装置10が備える必要はない。クラウドなど、位置推定装置10が備えられる携帯端末等の移動端末がアクセスできるネットワーク上のどこかに存在し、必要に応じて情報を取得できればよい。
続いて、実施の形態Gに係る位置推定装置10の特徴的な動作について説明する。具体的には、位置推定装置10が、推定した現在位置の情報(現在地座標)に誤差があると判断し、その現在位置の情報(現在地座標)を補正する方法の例について説明する。
ユーザが、実際に目に見えている指示対象物に対して位置推定装置10を用いて指し示すが、すぐに指示対象物が検出されなかった。そのため、ユーザが位置推定装置10の先端をランダムに振った場合に、指示対象物が検出されたという場面について説明する。なお、以下では、移動端末に位置推定装置10が備えられているとして、ユーザが実際に手に取る移動端末という用語を用いて説明する。
図620A及び図620Bは、上記場面において、ユーザと移動端末とが指示対象物に対して認識する位置関係の違いを示す図である。図620Aは、ユーザが認識する位置関係について示しており、図620Bは移動端末が認識する位置関係について示している。
具体的には、図620Aでは、まず、ユーザは、実際に見えている指示対象物D1(座標(X2、Y2、Z2))に対して、移動端末を図中の上部に(図のT1のように)指し示す様子を示している。ここで、ユーザが携行する移動端末の現在位置の情報(現在地座標)が正確であれば、指示対象物D1がすぐに検出され、指示対象物D1に関連付けられた制御情報が表示される。一方、移動端末の現在位置の情報(現在地座標)にずれていた(誤差があった)場合には、移動端末は指示対象物D1を検出することができない。図620Aは、移動端末の現在位置の情報がずれている場合を示している。つまり、移動端末はユーザに指示対象物D1に向けて(移動端末T1のように)指し示されても、移動端末の現在位置の情報に誤差があるため、指示対象物D1を検出することができない。
次に、ユーザは、一度指し示した指示対象物D1の周辺を、移動端末を使って指し示す。具体的には、ユーザは、移動端末が指示対象物を検出できるように移動端末の上部をランダムに振るなどして指示方向を変動させる。
すると、移動端末は、図のT2に示すように、指示対象物が実際に存在しない場所D2(座標(X3、Y3、Z3))に指し示されたときに、指示対象物D1を検出する。これを図620Bに示す移動端末の視点で説明すると、移動端末の現在位置の情報(現在地座標)は、ユーザが実際にいる座標(X1、Y1、Z1)ではなく、座標(X4、Y4、Z4)を推定している。そのため、ユーザにより図のT2に示すように指し示された場合に、その指示方向の延長線上に指示対象物D1を検出する。
つまり、ユーザが実際にいる正確な位置は、座標(X1、Y1、Z1)であるものの、移動端末が推定している現在位置の情報(現在地座標)は座標(X4、Y4、Z4)であるので、ユーザは、実際に見えている指示対象物D1(座標(X2、Y2、Z2)に対して、移動端末を指し示しても指示対象物D1が検出できなかったのである。
次に、図620A及び図620Bに示す場面において、本発明の位置推定装置10を備える移動端末が、推定した現在位置の情報(現在地座標)に誤差があったか否かを判断する方法について説明する。
図621は、移動端末が、推定した現在位置の情報(現在地座標)に誤差があったか否かを判断する方法の例を説明するための図である。ここで、図621には、移動端末が推定した現在位置の情報(現在地座標)を基準にした座標が示されている。
図621に示すように、移動端末は図のT2に示すように指し示されたときに、指示対象物D1を検出すると、指示対象物D1を検出した直前にユーザが指し示していた指示方向が指し示す位置の偏在したエリアがあったかどうかを算出する。偏在したエリアとは、言い換えると、ユーザが指し示していたエリアであって、ユーザが指し示す位置に一定の偏りのあったエリアである。なお、この偏在したエリアは、ユーザにとって実体が見えていた方向にあるエリアとなっていると考えられる。
そのため、移動端末は、偏在したエリアがあったと判断できれば、移動端末の現在位置の情報(現在地座標)がずれていたと判断できる。これは、移動端末が推定する現在位置の情報(現在地座標)は座標(X4、Y4、Z4)が実際の位置とずれている場合に、指示対象物D1の位置とは異なるエリアに対して、直前にユーザは指し示していると考えられるからである。
次に、移動端末が、推定した現在位置の情報(現在地座標)に誤差があると判断した場合に、その現在位置の情報(現在地座標)を補正する方法の例について図を用いて説明する。
図622は、移動端末が、推定した現在位置の情報に誤差があったと判断した場合にその現在位置の情報を補正する方法の例を説明するための図である。ここでも、図622には、移動端末が推定した現在位置の情報(現在地座標)を基準にした座標が示されている。
すなわち、まず、移動端末は、ユーザが直前に指し示していた指示対象物の位置(座標(X5、Y5、Z5))が指示対象物の位置(座標(X2、Y2、Z2))であると仮定する。ここで、移動端末は、自端末の現在位置の情報(現在地座標)が存在する可能性のあるエリア(存在可能エリア)を、指示対象物の位置(座標(X2、Y2、Z2))を基準として定義する。具体的には、移動端末は、推定した現在位置の情報(現在地座標(X4、Y4、Z4))からユーザが直前に指し示していた指示対象物の位置(座標(X5、Y5、Z5))への方位(方位情報)を、指示対象物D1を横切るように平行移動させる。そして、指示対象物D1の位置から、上記方位の逆方向の直線を中心に一定の幅のあるエリアを存在可能エリアとして算出する。
そして、移動端末は、算出した存在可能エリアの中で、現在地座標(現在位置)から最も近い座標にその現在地座標を補正する。このようにして、移動端末は、ユーザの操作を通じて、推定する現在地座標の誤差を補正することができるので、推定したその現在地座標の精度を向上させることできる。なお、ここでは、移動端末は、算出した存在可能エリアの中で、現在地座標(現在位置)から最も近い座標にその現在地座標を補正するとして説明したが、その場合に限られない。上述したように、移動端末は、算出した存在可能エリアの中心にその現在地座標を補正するとしてもよい。
ここで、図623を用いて、移動端末が指示対象物D1を検出した直前にユーザの指し示していた指示方向に偏在したエリアがあったかどうかを算出する方法について説明する。
図623は、移動端末が指示方向の偏りがあるエリアの有無を判定する方法の例を説明するための図である。
一定のエリアに指示方向が偏在することを判定するためには、移動端末とそのエリアを含む平面との距離に依存する。
本実施の形態では、図623の(a)に示すように、例えば、移動端末により指し示される指示方向を軸として、移動端末と例えば5mの予め決められた距離に論理的な平面(計測面)を設定する。また、移動端末は、図623の(b)に示すように、設定した計測面において、一定の大きさのブロックに分割する。例えば、計測面をそれぞれ50cm四方のブロックに分割すればよい。
この計測面を用いて、上述したように、例えば3秒間などの予め決められた時間以内に指し示されたエリアのうち、偏りのある(偏在した)エリアがあるかどうかを判定する。例えば、移動端末は、この計測面を用いて偏在したエリアを判定する場合には、3x3ブロック単位(探索エリア単位)で指示方向と交差する座標の計測を行い、指示方向と交差する座標の痕跡を算出する。そして、指示方向と交差する座標の痕跡(存在)が平均に比べて閾値(例:5倍)以上の値を示し、かつ、痕跡(存在)がもっとも多いブロック(探索エリア)を、偏りのある(偏在した)エリアであると判定することができる。
なお、移動端末は、指示方向と交差する座標の痕跡(存在)が平均に比べて閾値(例:5倍)より小さい場合には、偏りのある(偏在した)エリアはないと判定する。
また、移動端末は、推定位置精度または対象物位置精度の位置精度に応じて、探索エリアの広さを調節してもよい。例えば、移動端末は、位置精度が低い場合には、探索エリアの広さを3x3ブロック単位から5x5ブロック単位へと大きくするとしてもよい。
以上のようにして、位置推定装置10が、推定した現在位置の情報(現在地座標)に誤差があると判断し、その現在位置の情報(現在地座標)を補正する。
なお、上記では、位置推定装置10が移動状態でない場合について説明したが、それに限らない。位置推定装置10が構成される移動端末は、ユーザが携行可能であるので、ユーザが移動しながら、指示対象物を指し示す場合もある。以下、位置推定装置10が移動状態の場合について、推定した現在位置の情報(現在地座標)に誤差があると判断し、その現在位置の情報(現在地座標)を補正する方法の例について説明する。
説明する場面は、図620Aおよび図620Bと同様である。異なる点は、ユーザが、位置推定装置10を用いて、実際に目に見えている指示対象物に対して指し示した時点と、ユーザが位置推定装置10の先端をランダムに左右に振った場合に指示対象物が検出された時点において、移動端末が移動している点である。
図624A及び図624Bは、上記場面において、ユーザと移動端末とが指示対象物に対して認識する位置関係の違いを示す図である。図624Aは、ユーザが認識する位置関係について示しており、図624Bは移動端末が認識する位置関係について示している。
具体的には、図624Aでは、まず、ユーザは、実際に見えている指示対象物D1(座標(X2、Y2、Z2))に対して、移動端末を図中の上部に(図のT3のように)指し示す様子を示している。ここで、図624Aは、図620Aと同様に、移動端末の現在位置の情報がずれている場合を示している。つまり、移動端末はユーザに指示対象物D1に向けて(移動端末T1のように)指し示されても、移動端末の現在位置の情報に誤差があるため、指示対象物D1を検出することができない。
次に、ユーザは、一度指し示した指示対象物D1の周辺を、移動端末を使って指し示す。具体的には、ユーザは、移動端末が指示対象物を検出できるように移動端末の上部をランダムに振るなどして指示方向を変動させる。ここで、例えばユーザ(移動端末)は移動中である。
次に、移動端末は、図のT4に示すように、指示対象物が実際に存在しない場所D2(座標(X3、Y3、Z3))に指し示されたときに、指示対象物D1を検出する。これを図624Bに示す移動端末の視点で説明すると、移動端末の現在位置の情報(現在地座標)は、移動後のユーザが実際にいる座標(X1、Y1、Z1)ではなく、座標(X4、Y4、Z4)を推定している。そのため、ユーザにより図624Aまたは図624BのT4に示すように指し示された場合に、その指示方向の延長線上に指示対象物D1を検出する。
つまり、移動端末が指示対象物を検出した時刻におけるユーザが実際にいる正確な位置は、座標(X1、Y1、Z1)である。しかし、移動端末が指示対象物を検出した時点の時刻に推定している現在位置の情報(現在地座標)は、図のT4に示すように、座標(X4、Y4、Z4)であるので、ユーザは、実際に見えている指示対象物D1(座標(X2、Y2、Z2))に対して、移動端末を指し示しても指示対象物D1が検出できなかったのである。換言すると、ユーザは、図624BのT3に示すように移動端末を指し示し、図624BのT4‘に示すように、一定の移動後に移動端末を指し示したときに、移動端末は、推定している現在位置の情報(現在地座標)である座標(X4、Y4、Z4)で指示対象物を検出する。
次に、移動端末が、推定した現在位置の情報(現在地座標)に誤差があると判断した場合に、その現在位置の情報(現在地座標)を補正する方法の例について図を用いて説明する。なお、移動端末が、推定した現在位置の情報(現在地座標)に誤差があったか否かを判断する方法については、図621と同様のため説明を省略する。
図625、図626A及び図626Bは、移動端末が、推定した現在位置の情報に誤差があったと判断した場合にその現在位置の情報を補正する方法の例を説明するための図である。ここで、図625、図626A及び図626Bには、移動端末が推定した現在位置の情報(現在地座標)を基準にした座標が示されている。
図625に示すように、まず、移動端末は、図622で説明したのと同様に、偏りのあった時刻を基準にして存在可能エリアを定義する。その後、移動状態検出部104は、直前の指示方向の偏りがあった時刻から、指示対象物を見つけた時刻までの間の、移動端末の移動量を算出する。そして、位置推定部106は、移動状態検出部104に算出された移動端末の移動量を用いて、存在可能エリアを移動量の分だけ移動する。
次に、移動端末は、算出した存在可能エリアの中で、現在地座標(現在位置)からもっとも近い位置に、その現在地座標(現在位置)を補正する。このようにして、移動端末は、移動中であっても、ユーザの操作を通じて、推定する現在地座標の誤差を補正することができるので、推定した現在値座標の精度を向上させることができる。
以上のようにして、特別な機材を屋内に設置することなく位置の補正を行うことができる。
これを、図626A及び図626Bを用いて説明する。図626Aは図624Aと同様の図である。異なる点は、図624AのD2が移動端末の認識で置き換えられている。つまり、図624AのD2が、図626Aでは、指示対象物を見つける直前にユーザが指し示していた偏りのあるエリアD3(座標(X5、Y5、Z5))として示されている点である。また、動端末が指示対象物を検出した時点の時刻の現在位置の情報(現在地座標)が座標(X4、Y4、Z4)として示されている。
図626Bに示すように、まず、移動端末は、指示対象物を検出する直前にユーザが指し示していた偏りのあったエリアD3の位置(座標(X5、Y5、Z5))は指示対象物の位置(座標(X5、Y5、Z5))であると仮定する。ここで、移動端末は、偏りのあるエリアD3を指し示されてから、実際に指示対象物を検出するまでは、移動している。したがって、移動端末は、自端末の移動量を加味した上で、自端末の現在位置の情報(現在地座標)が存在する可能性のあるエリア(存在可能エリア)を、指示対象物の位置(座標(X2、Y2、Z2))を基準として定義する。
具体的には、移動端末は、まず、指示対象物D1(座標(X2、Y2、Z2))に対して、移動量を加味して、移動量を追加した仮の指示対象物D1‘の位置を決定する。次に、移動端末は、指示対象物を検出する直前にユーザが指し示していた偏りのあるエリアD3に対するその時刻の現在位置の情報(現在地座標(X5、Y5、Z5))の方位(方位情報)を、仮の指示対象物D1‘を横切るように平行移動させる。そして、仮の指示対象物D1‘の位置から、上記方位の逆方向の直線を中心に一定の幅のあるエリアを存在可能エリアとして算出する。
次に、移動端末は、算出した存在可能エリアの中で、現在地座標(現在位置)から最も近い座標にその現在地座標を補正する。
このようにして、移動端末は、ユーザの操作を通じて、推定する現在地座標の誤差を補正することができるので、推定したその現在地座標の精度を向上させることできる。
なお、ここでは、移動端末は、算出した存在可能エリアの中で、現在地座標(現在位置)から最も近い座標にその現在地座標を補正するとして説明したが、その場合に限られない。上述したように、移動端末は、算出した存在可能エリアの中心にその現在地座標を補正するとしてもよい。
続いて、移動端末の処理の流れについて、図を用いて説明する。
図627〜図632は、移動端末の処理の流れを説明するためのフローチャートである。
まず、図627に示す処理について説明する。なお、図627には、移動端末が現在位置の情報(現在地座標)を推定するまでの処理の流れが示されている。
図627において、まず、移動状態検出部104は、加速度センサ101の出力(加速度情報)を解析し、移動端末が移動状態であるかどうかを判定する(S101)。
次に、移動状態検出部104により移動端末が移動状態(端末移動状態)でないと判定されれば(S102のNo)、図628のF01に進む。
一方、移動状態検出部104により、移動端末が移動状態(端末移動状態)であると判定されれば(S102のYes)、姿勢検出部105は、加速度センサ101の値を取得し、重力方向を取得する(S103)。
次に、姿勢検出部105は、取得した重力方向の値から、移動端末の水平面に対する姿勢(姿勢情報)を算出する(S104)。
次に、姿勢検出部105は、角速度センサ102による過去の姿勢からの変化、または、地磁気センサ103の値を取得し、水平面上の移動端末の向きを算出する(S105)。
次に、移動状態検出部104は、直近に累積した加速度センサ101の出力、及び地磁気センサ103等による方位情報から得られた移動端末の移動方向を算出する(S106)。
そして、位置推定部106は、前回推定時の現在位置の情報(例えば、前回推定時の現在地座標(X0、Y0、Z0))からの移動量によって、今回の現在位置の情報(座標(X、Y、Z))を推定する(S107)。
次に、移動端末は、図630のF02に処理を進める。
続いて、図628に示す処理について説明する。なお、図628には、移動端末が指示対象物を検出する処理の流れが示されている。
図628において、まず、指示検出部109は、移動端末の指示方向の延長線上にTVなどの指示対象物があるかどうかを検索(検出)する(S108)。具体的には、図627のS102において、移動状態検出部104により移動端末が移動状態でないと判定された場合に(S102のNo)、指示方向検出部1091は、ユーザにより移動端末を用いて指し示された方向である指示方向を検出する。次いで、指示対象物検出部1092が、移動端末の指示方向の延長線上に指示対象物があるか否かを検索(検出)する。
次に、指示対象物検出部1092により指示対象物があると検出されなかった場合(S109のYes)、図631のF05に進む。
一方、移動状態検出部104により、指示対象物検出部1092により指示対象物があると検出された場合(S109のYes)GUI表示部112は、指示対象物に関連付けられたリモコン画面等のGUIなどの制御情報を表示する(S110)。
次に、GUI表示部112は、ユーザが制御情報を使用しているかを判定する(S111)。GUI表示部112によりユーザが制御情報(GUI)を使用していないと判定された場合(S111のNo)、図631のF05に進む。
一方、GUI表示部112によりユーザが制御情報(GUI)を使用していると判定された場合(S111のYes)、図629のF03へ進む。
続いて、図629に示す処理について説明する。なお、図629には、移動端末が、偏りのあったエリア(偏在したエリア)を用いて、推定した現在位置の情報(現在地座標)を補正(修正)するまでの処理の流れが示されている。
図629において、まず、偏在算出部110は、偏りのあったエリアがあるかどうかを判定する(S112)。具体的には、S111において、GUI表示部112によりユーザが制御情報(GUI)を使用していると判定された場合(S111のYes)、偏在算出部110は、指示対象物検出部1092により指示対象物が検出される直前の予め決められた時間以内に、その指示対象物が存在しないエリアであって指示方向検出部1091により検出された指示方向が指し示す位置が偏在したエリアを特定できるかを判定する。
なお、GUI表示部112によりユーザが制御情報(GUI)を使用しているかどうかの判定をトリガとせずに、偏在算出部110が、偏りのあったエリアがあるかどうかを判定するとしてもよい。
S112において、偏在算出部110により、偏りのあったエリアがあったと算出されなかった場合(S112のNo)、図632のF06に進む。
一方、S112において、偏在算出部110により、偏りのあったエリアがあったと算出された場合(S112のYes)、指示対象物検出部1092は、偏りのあったエリアに、ユーザが所望の指示対象物とは異なる候補対象物があったかどうかを判定する(S113)。
S113において、指示対象物検出部1092により、ユーザが所望の指示対象物とは異なる候補対象物が偏りのあったエリアに検出された場合(S113のYes)、図632のF06に進む。
一方、S113において、指示対象物検出部1092により、ユーザが所望の指示対象物とは異なる候補対象物が偏りのあったエリアに検出されなかった場合(S113のNo)、S114へと処理を進める。すなわち、移動状態検出部104は、偏りのあったエリアに指示対象物の実体があったと仮定し、移動端末が偏りのあったエリアを指していたときの方位情報を取得する(S114)。
方位情報としては、例えば、図621において、移動端末の座標に対するD3の座標の方位である。
次に、現時点の移動端末の位置から、取得した方位情報の示す方位に対して、論理空間上の指示対象が配置された場合の指示対象物の位置から、上記方位の逆方向の直線上の予め決められた幅のエリアを存在可能エリアとして算出する(S115)。
そして、図632のF06に進む。
続いて、図630に示す処理について説明する。なお、図630には、移動端末が指示対象物を検出する処理の流れが示されている。
図630において、まず、指示方向検出部1091は、移動端末の指示方向の延長線上に指示対象物(TVなど)があるかどうかを検索(検出)する(S116)。
次に、指示対象物検出部1092は、指示対象物があるかどうかを判定する(S117)。
次に、指示対象物検出部1092により指示対象物がないと判定されれば(S117のNo)、図631のF05に進む。
一方、指示対象物検出部1092により指示対象物があると判定されれば(S117のYes)、GUI表示部112は、指示対象物に関連付けられた制御情報を表示する(S118)。ここで、制御情報とは、リモコン画面等のGUIなどである。
次に、GUI表示部112は、ユーザがGUIを使用しているかを判定する(S119)。
次に、GUI表示部112によりユーザがGUIを使用していないと判定されれば(S119のNo)、図631のF05に進む。
一方、GUI表示部112によりユーザがGUIを使用していると判定されれば(S119のYes)、偏在算出部110は、現時刻からさかのぼって、予め決められた時間(3秒)以内に指示方向の偏りがあるエリアがあるかどうか判定する(S120)。
つまり、偏在算出部110は、指示対象物検出部1092により指示対象物が検出される直前の予め決められた時間以内に、その指示対象物が存在しないエリアであって指示方向検出部1091により検出された指示方向が指し示す位置が偏在する(偏りがある)エリアを特定できるかを判定する。
そして、図631のF04に進む。
続いて、図631に示す処理について説明する。なお、図631には、移動端末が移動状態であるとき(移動中)に、指示対象物を検出する処理の流れが示されている。
図631において、まず、偏在算出部110は、偏りのあったエリアがあるかどうかを判定する(S121)。具体的には、S121において、GUI表示部112によりユーザが制御情報(GUI)を使用していると判定された場合(S119のYes)、偏在算出部110は、指示対象物検出部1092により指示対象物が検出される直前の予め決められた時間以内に、その指示対象物が存在しないエリアであって指示方向検出部1091により検出された指示方向が指し示す位置が偏在したエリアを特定できるかを判定する。
なお、GUI表示部112によりユーザが制御情報(GUI)を使用しているかどうかの判定をトリガとせずに、偏在算出部110が、偏りのあったエリアがあるかどうかを判定するとしてもよい。
S121において、偏在算出部110により、偏りのあったエリアがあったと算出されなかった場合(S121のNo)、図632のF07に進む。
一方、S121において、偏在算出部110により、偏りのあったエリアがあったと算出された場合(S121のYes)、指示対象物検出部1092は、偏りのあったエリアに、ユーザが所望の指示対象物とは異なる候補対象物があったかどうかを判定する(S122)。
S122において、指示対象物検出部1092により、ユーザが所望の指示対象物とは異なる候補対象物が偏りのあったエリアに検出された場合(S122のYes)、図632のF07に進む。
一方、S122において、指示対象物検出部1092により、ユーザが所望の指示対象物とは異なる候補対象物が偏りのあったエリアに検出されなかった場合(S122のNo)、S123へと処理を進める。すなわち、移動状態検出部104は、直前に指示方向の偏りがあった時刻から,指示対象物を見つけた時刻までの間の、移動端末の移動量を算出する(S123)。
次に、移動状態検出部104は、偏りのあったエリアに指示対象物の実体があったと仮定し、移動端末が偏りのあったエリアを指していたときの方位情報を取得する(S124)。
次に、位置補正部111は、指示対象物の位置に対して移動量を追加して仮の指示対象の座標を作成する(S125)。
次に、位置補正部111は、偏りがあった時刻の移動端末の位置から、取得した方位に対して、論理空間上に仮の指示対象物が配置された場合の仮の指示対象物の位置から、上記方位の逆方向の直線上の予め決められた幅のエリアを存在可能エリアとして算出する(S126)。
そして、図632のF06へ進む。
続いて、図632に示す処理について説明する。なお、図632には、現在位置の情報(現在地座標)の地点からもっとも近い存在可能エリア内の位置を、現在位置の情報となるよう補正する処理の流れが示されている。
まず、移動端末は、推定した現在地座標の精度である推定位置精度情報を取得する(S127)。
次に、移動端末は、指示対象物の位置精度(対象物位置精度)を取得する(S128)。
次に、移動端末は、その推定位置精度の値が高いか(例えば80%以上)を確認する(S129)。
次に、移動端末は、推定位置精度情報の値の大きさに応じて、存在可能エリアの幅を大きく取る(S130)。例えば、移動端末は、(推定位置精度の値−80)/10*(存在可能エリアの幅)を算出して、存在可能エリアの幅を決定する。
次に、移動端末は、指示対象物の位置精度の値が低いか(例60%以下)を確認する(S131)。
次に、移動端末は、指示対象物の位置精度の値の小ささに応じて、存在可能エリアの幅を大きく取る(S132)。例えば、移動端末は、(60−位置精度)/10*(存在可能エリアの幅)を算出して、存在可能エリアの幅を決定する。
次に、移動端末は、現在位置の情報の地点からもっとも近い存在可能エリア内の位置を現在位置の情報となるよう補正する(S133)。
次に、移動端末は、機能終了かを判定し(S134)、機能終了であると判定した場合には(S134のYes)、処理を終了する。
一方、移動端末は、機能終了はしないと判定した場合には(S134のNo)、図627のF08に戻って、処理を開始する。
なお、移動端末は、図632に示すS20の処理すなわちS127〜S132の処理を行うとして説明したが、S20の処理は行わないとしてもよい。
以上のようにして、移動端末は処理を行う。
なお、移動端末は、算出した存在可能エリアの中で、現在地座標(現在位置)から最も近い座標にその現在地座標を補正する場合に限られない。移動端末は、算出した存在可能エリアの中心にその現在地座標を補正するとしてもよい。
以上、本発明によれば、特別な機器を屋内に設置することを必要とせず、自らの位置を高精度に推定することができる位置推定装置および位置推定方法を実現することができる。
なお、本実施の形態では、位置推定装置10は、加速度センサ101と、角速度センサ102と、地磁気センサ103と、移動状態検出部104と、端末姿勢検出部105と、位置推定部106と、情報保存部107と、偏りパターン情報保持部108と、指示検出部109と、偏在算出部110と、位置補正部111と、GUI表示部112とを備えるとしたが、それに限られない。位置推定装置10の最小構成として、図633に示す最小構成部10Aを備えていればよい。ここで、図633は、本発明に係る位置推定装置の最小構成を示す機能ブロック図である。すなわち、位置推定装置10の最小構成部10Aは、位置推定部106と、指示方向検出部1091および指示対象物検出部1092を有する指示検出部109と、偏在算出部110と、位置補正部111とを備えていればよい。この最小構成部10Aを少なくとも備えることにより、特別な機器を屋内に設置することを必要とせず、自らの位置を高精度に推定することができる。
また、以下のような場合も本発明に含まれる。
(1)上記の装置および端末は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の装置または端末を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。例えば、集積回路は、移動量検出部104と、端末姿勢検出部105と、地磁気ノイズ検出部106と、座標推定部107と、地磁気ノイズパターン管理部108と、地磁気ノイズパターン格納部109と、座標補正部110とを備える。
(3)上記の装置または端末を構成する構成要素の一部または全部は、装置または端末に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
(実施の形態H)
スマートフォン等のモバイル端末を使用した家電タッチ操作の実施の形態について、図634〜図673を用いて説明する。
図640及び図641は、本実施の形態の構成図及び、シーケンスを示した図である。
図640の7034、図641の7038は近接通信機能を備えた家電を表す。図640の7035、図641の7039は近接通信機能と汎用ネットワーク通信機能を備え、様々アプリケーションをインストールすることによって機能をカスタマイズできるスマートフォンなどのモバイル端末である。図640の7036、図641の7040は汎用ネットワーク通信機能を備えたサーバーである。
図647から図651は本実施の形態の手続きを示したフローチャート図である。
上記フローチャート図、図648を用いて、図634及び図635を参照しながら、本実施の形態について説明する。
まず、ユーザがモバイル端末上で家電タッチアプリケーションを起動する。ここで起動するアプリケーションは画面全体を占有するものであってもよく、明示的に画面を占有しないアプリケーションであってもよい(S7100F)。
本手続きは図634において画面7000と7002に対応する。画面7000はアプリのランチャ画面を示し、一方、7002はユーザがモバイル端末を手に持ち、家電のそばに立っている様子を表している。ポーリング状態はOFFとなっており、家電を近づけても通信しない。
また同様に、図635も本手続きに対応した内容を表している。
図635の画面7004はモバイル端末のランチャ画面を示している。図635の家電タッチアプリケーションはバックグラウンドで動作しているため、画面の前面に明示的にUIを提示しない。また、7003はユーザがモバイル端末を手に持ち、家電にタッチしようとしている様を表している。
次にモバイル端末は近接通信機能を起動しポーリング状態をONに設定する。
ここで既に近接通信機能が起動していればなにもしなくともよい。(S7100G)
本手続きは図634において画面7001と7003に対応し、画面7001ではピクト領域に近接通信を通知していることを示している。
7003ではユーザが持っているモバイル端末においてポーリング状態がONとなり、家電タッチが可能となっている様子を示している。
次に、上記フローチャート図、図647、図636、図637、図638及び図639を用いてスマートフォン等のモバイル端末に備わっている画像認識を機能を用いた家電タッチ操作の補助の実施の形態について説明する。
まず、ユーザーが家電タッチアプリのランチャアイコンをタップする。
このとき、省電力の観点から近接通信(NFC)のポーリング状態はOFFとなっており、家電を近づけても通信しない。(S7100A)
本手続きは図636の7010、7013、及び図638の7020、7023に対応する。ここで、7010、7020はアプリのランチャ画面を示す。7013、7023はユーザーがモバイル端末を手に持ち、家電のそばに立っていることを表している。ポーリング状態はOFFとなっており、家電を近づけても通信しない。
次に、モバイル端末は家電タッチアプリを起動する。
例えば「家電にタッチしてください」の様な表示を行い、タッチを促す一方、モバイル端末は近接通信(NFC)のポーリング状態をONにする。
モバイル端末はカメラを起動し、ユーザの調整によって対象家電を画角にとらえる一方、画像認識機能を起動する。ここでユーザーに家電の種類を選択するためのボタンを提示してもよい。
ユーザーがある家電、例えば“電子レンジ”を選択すれば、モバイル端末は“電子レンジ”に関する情報、例えば画像認識のためのパターン情報をサーバーから取得する。(S7100B)
本手続きは図636の7011、7014、及び図638の7021、7024にて示す内容に対応する。7011、7012では家電識別のためのUIが提示され、カメラ機能から取得した画像が提示される。一方、7014、7024ではユーザがモバイル端末をもち、対象家電をカメラの画角に捕らえている様を示している。
そして、カメラの画角の中に認識可能な家電が存在する(S7100C)ならば、モバイル端末は画像認識機能を使い、カメラでとらえた家電の固体を識別し、ユーザーに提示する。(S7100D)
本手続きは図636の7012、7015、及び図638の7022、7025に対応する。7012、7022ではカメラで捕らえた家電の固体を識別し、四角の枠で囲み提示することで、ユーザに家電の固体を通知している。7015、7025では対応する家電について画像パターン情報などをサーバーから取得している様を示している。
一方、7015ではさらに補助の精度を高めるために、ユーザに対してLEDランプを点灯させることを要求する。
一定時間のあいだにユーザーが家電をNFCでタッチしなかった場合S7100Cに戻る。
また、ユーザーがモバイル端末によって識別された家電の個体を選択した(タップした)場合、モバイル端末は、家電のパターン情報から家電の機種を判定し、画像認識機能を使い家電の形状、向きを識別し、ユーザーに近接通信(NFC)の受送信部を提示する。
ここで、ユーザーに家電の電源ランプ(LED)の点灯をうながすメッセージを提示し、家電のLEDランプを点灯させ、LEDランプとの相対距離により、より高い精度で、近接通信(NFC)受送信部を提示してもよい。
またモバイル端末の近接通信の送受信部の位置を画面に合わせて提示してもよい。モバイル端末の送受信部と家電の受送信部を結ぶ破線、もしくは直線を提示することによりユーザにより直感的に簡単にNFCタッチを促すようにしてもよい。
本手続きは図637の7016、7018、及び図639の7026、7031、そして7027、7032に対応する。
画面7016では識別した家電の個体の形状、向きを識別し、ユーザーにその家電の固体の近接通信(NFC)の受送信部を図示している。
7018はユーザーが手に持ったモバイル端末を家電にタッチする様を示している。一方、7031では7022の指示にしたがい、ユーザーが対象家電のボタンを押下している様を示している。7026は家電のLEDが点灯しているものをカメラが捕らえ、LEDを認識している様を示している。
そして、7027では識別した家電の個体の形状、向きを識別し、ユーザーにその家電の固体の近接通信(NFC)の受送信部を図示している。また、7032はユーザーが手に持ったモバイル端末を家電にタッチする様を示している。
次に、フローチャート図、図647、図648、図649、画面遷移図、図635、図637、図639と、構成およびシーケンスを示す図640、図641、モバイル端末が持つ情報を示す図638、家電が送信する情報を示す図643、近接通信を実施する際のデータ構成の一例としてNDEFを用いた場合を示した図644を用いて、家電をタッチしたときに、タッチした家電に対応する家電操作アプリを取得する処理について説明する。
家電とモバイル端末の近接通信の送受部が通信可能距離内に近接する(S7100H)。
本手続きは図640のシーケンスでは、家電タッチアプリケーション起動(S7037A)、ポーリング(S7037B)、ポーリング応答(S7037C)に対応する。
また、図641のシーケンスでは同様に、家電タッチアプリケーション起動(S7041A)、ポーリング(S7041B)、ポーリング応答(S7041C)に対応する。
家電は近接通信の通知を受けると、家電に関係するアプリケーション識別と、家電に関係する情報と、を合わせて送信用データとして構成する。
図643は7043にてモバイル端末に送信するデータの内容の一例を示している。
ここで送信用データはNDEF形式を適用する。ただし、必ずしもNDEF形式である必要はなく他のフォーマットであってもよい。
アプリケーション識別は例えばNDEF形式であれば、NDEFMessageの中にNDEFRecordとしてアプリケーションを識別する文字列もしくはバイト列としてエンコードされる。例えばJAVA(c)で用いられるパッケージ名や、アプリケーションに対応したURLもしくはURIであってもよい。
家電に関する情報は家電の種類によって変化してもよく、前記家電に関するアプリケーションによって使用される情報であってもよい。
例えば、家電の型番、製造番号、使用履歴、故障状況であってもよく、前記家電に関係するアプリケーションによって製造元にコンタクトするためのメールアドレスもしくはホームページのURLであってもよい。
図644の7044にてNDEF形式でのデータ構成を示している。7044はNDEF Message形式で家電が送信する情報を示している。7045はアプリケーション識別をNDEFRecord形式で表現したものである。同様に7046、7047、7048、7049、7050及び7051はそれぞれ、型番、製造番号、故障コード、使用履歴、メールアドレス、URLをNDEFRecord形式で表現している。
また、7049使用履歴のNDEFRecordは内部にNDEFRecordをさらに包含しており、7052にて、最終使用時刻、使用時間をそれぞれNDEFRecord形式で包含していることを示している(S7100I)。
また、本手続きは図640、図641のシーケンスにおいて、家電情報送信S7037D、S7041Dに対応する。
次にモバイル端末は近接通信を用いて家電が構成した送信用データを受信し、端末内メモリに展開する(S7100J)。
本手続きは図640、図641のシーケンスにおいて、家電情報送信S7037E、S7041Eに対応する。
モバイル端末は取得した家電の情報を精査する(S7100K)。
そして、まず、家電に関するアプリケーション識別を検索し、アプリケーション識別を読み出す(S7100L)。
アプリケーション識別に対応するアプリが既に端末に存在するか否かをチェックする(S7100M)。
アプリが存在しなければ、S7100Oに進む。アプリが存在していれば、S7100Rに進む。
モバイル端末は端末に保持しているサーバー特定情報を用いてサーバーにログインする。
図642は7042にてモバイル端末が持つ情報の一例を示している。7042はサーバー特定情報を保持している。
ここでサーバー特定情報は、サーバーのURL、アカウントID、アカウントパスワードである。
また、アカウントIDの他にサービスを識別するサービスID、サービスの提供者を特定するプロバイダIDをさらに用いてもよい。
また、そもそも既にログイン処理を実施済みでサーバーからアカウントトークンを取得していれば、サーバーへのログイン処理を省略してもよい。(S7100O)
本手続きは図641のシーケンスの“サーバ特定情報のURLでアクセス(S7041F)”、“モバイル端末が保持しているサーバー特定情報でログインする(S7041G)”、“サーバーへの接続通知(S7041H)”に対応する。
モバイル端末はログイン処理で取得したトークンを用いて、家電の情報をサーバーに登録する。
ここで家電の情報とともにモバイル端末の情報、例えば、型番、製造番号、位置情報を一緒に送信してもよい(S7100P)。
本手続きは図641のシーケンスの“家電情報を登録(S7041I)”に対応する。
サーバーは家電情報のアプリケーション識別に対応するアプリを検索、準備し、モバイル端末はアプリのダウンロードを開始する。
ここでモバイル端末において、アプリのダウンロードの実施の可否をポップアップ等で通知し、ユーザーに確認を促してもよい(S7100Q)。
本手続きは図641のシーケンスの“家電操作アプリをダウンロード(S7041G)”に対応する。
モバイル端末はアプリケーション識別に対応するアプリを起動する(S7100R)。
本手続きは図640及び図641のシーケンスの“家電アプリ起動(S7041K)”に対応する。
また、画面遷移図、図635、図637、図639における、7005、7017、7028にそれぞれ対応する。同様に家電操作アプリによって提示された家電に対応した画面を提示している。また、7009、7019、7033は、ユーザがモバイル端末を手に持ち、家電にタッチしていると同時に、近接通信で取得した情報を元に、この家電の情報の提示や操作するために必要となるデータ、アプリケーションを取得している様を示している。
アプリケーション識別に対応した起動されたアプリに対しモバイル端末は家電からの送信用データの内、家電に関する情報を通知する(S7100S)。
モバイル端末は図643の7043で示すアプリケーション識別以外の家電に関する情報、型番、製造番号、故障コード、使用履歴、メールアドレス、URLをアプリケーション識別に対応した機動されたアプリに通知する。
アプリケーション識別に対応した起動したアプリは、通知された家電情報を使用し、家電の種別に応じた処理を行う。例えば、型番、製造番号、故障状況をモバイル端末が保持している位置情報と合わせて家電の位置としてモバイル端末に記憶させる。
これによりモバイル端末はこれまでにタッチした家電の位置を知ることができる(S7100T)。
次に取得した家電情報とモバイル端末に保持している位置情報、及び間取り情報に基づくエリアリストを使用して、家電とその位置情報で構成される。
家電リストを作成、更新する手続きについて、フローチャート図、図650、図651と、モバイル端末が持つ情報を示す図642、家電が送信する情報を示す図643、間取り情報に基づくエリアリストを示す図645、家電とその位置情報で構成される、モバイル端末で保持する家電リスト図646、画面遷移図、図635、図637、および図639を用いて説明する。
以下、フローチャート図、図650に沿って順を追って説明する。
モバイル端末はタッチされた家電が既に登録済みか否かを家電情報の型番および製造番号7043をモバイル端末が保持している。
家電リスト7056の型番、製造番号を比較することによりチェックする(S7100T)。
家電リストに同じ型番、製造番号のエントリが存在しない場合、S7100Wに進む。
家電リストに同じ型番、製造番号のエントリが存在する場合、S7100Uに進む。
モバイル端末はタッチされた家電を新たに家電リスト7056に追加する。
ここでモバイル端末はユーザに対して家電の追加登録についてボップアップなどの機能や、画面の提示によって可否を問い合わせてもよい(S7100W)。
本手続きは画面遷移図、図635、図637、図639の7006、7016、7029に対応し、それぞれ、ユーザーに対して家電の追加登録について問い合わせをしている画面を示している。
モバイル端末は新たに登録された家電と合わせて構成されている位置情報を家電リスト7056に登録する。
ここで位置情報とはタッチした時点でのモバイル端末が持つ情報7042の位置情報と精度識別のことである。
また、ここでモバイル端末はユーザに対して家電の位置情報の登録についてポップアップ等の機能や画面の提示によって可否を問い合わせてもよい(S7100X)。
本手続きは画面遷移図、図635、図637、図639の7007、7017、7030に対応し、それぞれ、ユーザーに対して家電の位置情報の登録について問い合わせをしている画面を示している。
S7100Tで家電リストに同じ型番、製造番号のエントリが存在する場合、モバイル端末はタッチされた家電と合わせて構成されている位置情報と、家電リスト7056に登録されている同じ型番、製造番号の位置情報を比較する。
ここで位置情報とはタッチした時点でのモバイル端末が持つ情報7042の位置情報のことである。
位置情報が一致しない場合、S7100Vに進む。知事情報が一致する場合は、図651のS7100Yに進む。
モバイル端末は位置情報と対応付けられて登録されている精度識別を、タッチされた家電と家電リスト7056のエントリで比較し、タッチされた家電の精度識別がより高精度であれば家電リスト7056のエントリの位置情報と精度識別を更新する。
ここで位置情報とはタッチした時点でのモバイル端末が持つ情報7042の位置情報のことである。
また、ここでモバイル端末はユーザーに対して家電の位置情報の更新を、ポップアップ等の機能や、画面の提示によってその可否を問い合わせてもよい(S7100V)。
モバイル端末は新たに登録した家電の位置情報とモバイル端末で保持しているエリアリスト7055と比較する。
図646の7055にエリアリストの例を示す。
エリアリスト7055はあらかじめモバイル端末が取得している間取り情報の3次元マップから算出したリストである。そのエントリはある頂点(eX,eY,eZ)とその頂点からの奥行(eD)、幅(eW)、高さ(eH)で定義される。そのエントリで定義したエリアが他のエントリを含むか否かを識別する種別(G:グループの意(さらにエントリを含む)、T:終端の意(内部にエントリを含まない))と、他の何れかのエントリで定義されたエリアに所属している場合、その所属エリアを定義する(S7100Y)。
新たに登録した家電の座標(X、Y、Z)それぞれに対して、エリアリストのエリアの座標(eX、eY、eZ)及び、奥行(eD)、幅(eW)、高さ(eH)を比較し、eX<X<eX+eD、かつ、eY<Y<eY+eW、かつ、eZ<Z<eZ+eHとなった場合、そのエリア識別名をグループ名として、所属グループとして家電リストに登録する(S7100Z)。
比較したエリアリストのエントリが終端でない場合(内部に他のエリアを包含する場合)、エリアリストにある他の未比較のエントリを比較する。
比較したエリアリストのエントリのエリアが終端(内部に他のエリアを包含しない)の場合、若しくは、すべてのエントリを比較した場合、家電情報とモバイル端末に保持している位置情報、及び間取り情報に基づくエリアリストを使用して、家電とその位置情報で構成される家電リストを作成、更新する処理が終了する。
上記、本実施の形態を用いることで、以下の効果をもたらすことができる。
1)モバイル端末の機能である画像認識を用いて近接通信を行う際のユーザーの操作を補助することができ、ユーザーの操作をより容易にすることができる。
2)ユーザーに余計なボタン操作やタップを強いることなく、家電タッチを実施した対象家電の操作のためのアプリケーションを簡単に取得することができる。
3)家電タッチした対象の家電の位置の情報を間取り情報に合わせてグループ属性を持たせてグループ化することができ、家電操作アプリケーションを使用する際にグループ単位での操作が可能になる。
(実施の形態I)
スマートフォン等のモバイル端末を使用した位置情報を用いた家電操作の実施の形態について、図652〜図663を用いて説明する。
本実施の形態は、実施の形態Hの構成を元に実現されるものであり、実施の形態Hで記述された機能、構成要素、データ構造などは、本実施の形態でも同様に使用する。
図652は本実施の形態の構成を示した図である。
図652の7150は宅内を現す。7157で示す無線LAN、宅内サーバーとの通信が可能な範囲として定義する。
7151はサーバーであり7150の外側、宅外に存在し汎用ネットワーク上に存在する。7153の無線通信装置を通じて、モバイル端末7154、7155と通信する。7153の無線通信装置は、いわゆる3G回線であってもよいし、公衆無線LANであってもよい。
また、その他広域無線通信であれば適用可能である。またもちろん7150の枠内であっても通信は可能である。
7152は本実施の形態で使用するデータベースである。
サービスサーバー7151はデータベース7152に間取り情報とエリアリスト7055、モバイル端末に対応する家電リスト7056を保持している。
7154、7155は本実施の形態で使用するモバイル端末である。近接無線通信の機能を持ち、基準台7155、無接点充電器7159と通信することができ、また無線通信装置7153を通じてサービスサーバー7151と、無線LAN宅内サーバーと通信することが可能である。
無線LAN・宅内サーバー7157はデータベース7158を持つ。
宅内サーバー7157はデータベース7158に間取り情報とエリアリスト7055、モバイル端末に対応する家電リスト7056を保持している。
図653は本実施の形態を実現した時、特に家電操作アプリを使用開始した際のモバイル端末の画面の提示内容と、俯瞰図を含めた周辺の家電と本実施の形態の構成との関係を示した図である。
7160は本実施の形態を実現した邸宅の上空からの俯瞰図を表す。7161は家電操作アプリを開始する際にタッチする基準台、7162は宅内で本実施の形態のサービスを提供するための無線LAN・宅内サーバー、7163はモバイル端末に充電のため電気を供給するとともに無線LAN・宅内サーバーと接続して、基準台と同様に、モバイル端末にて家電操作アプリを使用開始する際にタッチする無接点充電器を表す。
7164はユーザーがモバイル端末を手に持ち、基準台7161にタッチする様を示している。
7165は本実施の形態で操作対象となる家電である門灯、7166は玄関灯を表す。また本実施の形態では家電をグループ化して操作することが可能である。7167は邸宅の2F部分を、7168は邸宅の1F部分を示している。本実施の形態ではそえぞれ1F、2Fに存在する家電群をグループで操作することができる。
図654は本実施の形態を実現した時、特に家電操作アプリを使用中のモバイル端末の画面の提示内容と、俯瞰図を含めた周辺の家電と本実施の形態の構成との関係を示した図である。
なお、7160´〜7168´は図653と同様であることから説明を省略する。
図659から図663は本実施の形態の手続きを示したフローチャート図である。
まず、図653の基準台7161を用いた家電操作アプリ開始の処理について、図659のフローチャート図を用いて、順を追って説明する。
モバイル端末において家電操作アプリケーションを起動する。
ここで起動するアプリケーションは画面全体を占有するものであってもよく、明示的に画面を占有しないアプリケーションであってもよい(S7200A)。
次に、モバイル端末において近接通信機能を起動しポーリング状態をONに設定する。
ここで既に近接通信機能が起動していればなにもしなくともよい(S7200B)。
玄関、もしくは門等に設置され鍵の機能を具備した近接通信送受信部をもつ基準台7161とモバイル端末の近接通信の送受部が通信可能距離内に近接する(S7200C)。
モバイル端末と基準台7161は互いに正当な端末であることを認証する(端末認証)。
ここで基準台はモバイル端末から供給される電力で動作している(S7200D)。
なお、図650の7169は端末認証が実施された様子を示したものである。
端末認証が成功すればS7200Eに進む。
端末認証が失敗すれば、ユーザーにその旨を通知し、アプリは終了する。
S7200Dにて端末認証が成功すれば、モバイル端末はユーザーが認証されているか確認する。ここで、モバイル端末はユーザー認証のために予め記憶したパスフレーズをユーザに入力させるための画面を提示し、ユーザーにパスフレーズを入力させることによって、ユーザ認証を実施してもよい。
また、若しくは、モバイル端末はユーザーが予め登録した指紋情報等の生体情報をユーザに入力させる画面を提示し、ユーザーに生体情報を入力させることによって、ユーザ認証を実施してもよい。
図650の7170はユーザ認証をユーザに求めている画面を示したものである。
ユーザ認証が成功すれば、S7200Fに進む。ユーザ認証に失敗すれば、ユーザにその旨を通知し、アプリは終了する。
モバイル端末は基準台7161にユーザ認証完了通知と開錠要求を行う(S7200F)。
基準台7161は認証完了通知を受けると、自身の回路に電力が供給されていること、宅内の無線LANアクセスポイントの電源が入っていること、宅内のサーバーが起動していることを確認する(S7200G)。
自身の回路に電力が供給されていて、宅内の無線LANアクセスポイントの電源が入っていれば、S7200Iに進む。自身の回路に電力が供給されていないか、宅内の無線LANアクセスポイントの電源が入っていなければ、S7200Hに進む。
自身の回路に電力が供給されていないか、宅内の無線LANアクセスポイントの電源が入っていない場合、基準台7161は宅内の無線LANアクセスポイント、宅内のサーバーに起動及び、基準台7161への電力の供給を要求する(S7200H)。
基準台7161への電力供給、及び宅内サーバーの起動に成功すれば、S7200Iに進む。
失敗すれば、図662のS7203Aに進む。
基準台は宅内サーバーに相互認証の上暗号化して相互認証しているモバイル端末のIDとともに開錠許可の要求を通知する(S7200I)。
ここでモバイル端末のIDとはモバイル端末の製造番号でもよいし、一定のアルゴリズムのハッシュ関数をかけたものであってもよい。
宅内サーバーは送付されたモバイル端末のIDが登録されているものであることを確認し開錠命令を基準台に通知する(S7200J)。
宅内サーバーはデータベース7158の中で、図658の開錠テーブル7182を保持している。ここで開錠テーブル7182を参照し、鍵機能付基準台のIDの鍵を開けることができる開錠可能モバイル端末IDに通知されたモバイル端末IDが合致しているかを確認している。
開錠が許可されていないモバイル端末IDであった場合、その旨基準台を通じてモバイル端末に通知し、アプリを終了する。ここで、アプリは鍵が合わなかった旨ユーザに提示してもよい。
基準台は開錠処理を実施するとともに、モバイル端末に宅内サーバーのアドレスと基準台の位置情報と開錠の通知を行う(S7200K)。
これによりユーザは基準台を用いて開錠を実現するとともに、宅内位置情報を用いた家電操作アプリケーションの開始処理を完了することができた。
図661を用いて、エリアリスト更新が発生した場合の処理について説明する。
家電操作アプリケーションの開始処理が完了すると、モバイル端末は端末内の位置情報は基準台7161の位置に情報に更新し、宅内サーバーから宅内の間取り情報とエリアリスト、家電リストを取得する。ここで、モバイル端末は間取り情報からエリアリストを更新してもよい。
エリアリストはモバイル端末が取得した間取り情報の3次元マップから算出したリストである。そのエントリはある頂点とその頂点からの奥行、幅、高さで定義され、そのエントリで定義したエリアが他のエントリを含むか否かを識別する種別と、他の何れかのエントリで定義されたエリアに所属している場合、その所属エリアを定義する(S7202A)。
もし、エリアマップの更新があると、モバイル端末は宅内サーバーに更新したエリアリストを通知し、宅内サーバーとエリアリストを同期する(S7202B)。
一方、S7200Hにて基準台への電源供給がなく、宅内サーバーも起動しなかった場合の処理について、図663を用いて順を追って説明する。
基準台7161は自動での開錠が不可能であることと、宅外にあるサービスサーバー7151のURLをモバイル端末に通知する。
ここで基準台7161はサービスサーバー7151のサーバー認証のための証明書を送付してもよい(S7202A)。
モバイル端末は基準台7161から取得したURLでサービスサーバー7151に接続し、システムにログインする。モバイル端末とサービスサーバー7151はSSL通信によって接続する。
ここで、サーバー認証に基準台7161から取得した証明書を使用してもよい。システムのログインにはユーザー認証で取得したパスフレーズでもよい。ここで、ユーザー認証で生体認証を用いた場合、生体認証によって取得でいる有限桁の英数字を用いてもよい。また、サーバーログイン用に新たに暗証番号を設定してもよい。この場合ログイン時にユーザーに暗証番号の入力を促す(S7202B)。
モバイル端末はサービスサーバー7151にモバイル端末のIDと基準台7161のIDと開錠要求を暗号化して送信する。
ここでモバイル端末のIDと基準台のIDはそれぞれの機器の製造番号であってもよいし、製造番号に同一のアルゴリズムのハッシュ関数をかけたものであってもよい(S7202C)。
サービスサーバー7151は取得したモバイル端末のIDと基準台のIDが開錠可能なペアであることを確認する(S7202D)。
サービスサーバー7151はデータベース7152の中で、図655の開錠テーブル7182を保持している。サービスサーバー7151はここで開錠テーブル7182を参照し、鍵機能付基準台のIDと、開錠可能モバイル端末IDのペアが送付された基準台のIDとモバイル端末のIDのペアに一致しているか否かを確認している。
もし一致するペアがなければ、S7202Eに進む。一致するペアがあれば、S7202Gに進む。
S7202Dにて一致するペアがない場合、サービスサーバー7151はモバイル端末に開錠不可の通知を返す(S7202E)。
モバイル端末は開錠不可能の旨を画面に提示する(S7202F)。
S7202Dにて一致するペアが存在する場合、サービスサーバー7151はモバイル端末に開錠許可通知を返す(S7202G)。
開錠通知を受けると、モバイル端末は強制開錠モードに遷移し、基準台7161に手動開錠要求を通知する(S7202H)。
手動開錠要求を受けると基準台7161はモバイル端末の近接通信から取得する電力でロック制御を手動開錠に変更する(S7202I)。
ユーザが門、もしくは玄関の取っ手、もしくはドアノブをまわすと、基準台7161は門の取っ手、もしくは玄関のドアノブの回転軸に発電器を具備しており、回転によって発電した電力で錠を解除する(S7202J)。
基準台7161はモバイル端末に基準台の位置情報と開錠の通知を行う(S7202K)。
モバイル端末は基準台7161から基準台の位置情報と開錠の通知を受けると端末内の位置情報は基準台の位置に情報に更新し、サービスサーバー7151から宅内の間取り情報とエリアリスト7055、家電リスト7056を取得する。処理としては、図663、S7204Aに進む。
無接点充電器7163を用いたモバイル端末上の家電操作アプリケーション開始処理について、図660を用いて順を追って説明する。
モバイル端末において家電操作アプリケーションを起動する。
ここで起動するアプリケーションは画面全体を占有するものであってもよく、明示的に画面を占有しないアプリケーションであってもよい(S7201A)。
モバイル端末において近接通信機能を起動しポーリング状態をONに設定する。
ここで既に近接通信機能が起動していればなにもしなくともよい(S7201B)。
近接通信送受信部をもち、宅内サーバーとネットワークで接続された無接点充電器7163とモバイル端末の近接通信の送受部が通信可能距離内に近接する(S7201C)。
ポーリング状態ONで通信可能距離内なると、モバイル端末と無接点充電器7163はまず互いに正当な端末であることを認証する(端末認証)(S7201D)。
もし、端末認証が失敗すれば、ユーザーにその旨を通知し、アプリは終了する。成功すれば、S7201Eに進む。
端末認証に成功すると、モバイル端末はユーザーが認証されているか確認する。ここで、モバイル端末はユーザー認証のために予め記憶したパスフレーズをユーザーに入力させるための画面を提示し、ユーザーにパスフレーズを入力させることによって、ユーザー認証を実施してもよい。
また、若しくは、モバイル端末はユーザーが予め登録した指紋情報等の生体情報をユーザに入力させる画面を提示し、ユーザーに生体情報を入力させることによって、ユーザー認証を実施してもよい(S7201E)。
もし、ユーザー認証が失敗すれば、ユーザにその旨を通知し、アプリは終了する。成功すれば、S7201Fに進む。
ユーザー認証が成功するとモバイル端末は無接点充電器7163にユーザ認証完了通知を行う(S7201F)。
ユーザー認証完了の通知を受けると、無接点充電器7163はモバイル端末に宅内サーバーのアドレスと無接点充電器の位置情報の通知を行う(S7201G)。
上記の手続きにより、無接点充電器を用いて、モバイル端末上の家電操作アプリケーションの開始処理を実施することができる。
フローチャート図、図663と、家電操作アプリケーションを使用中のUI画面と本実施の形態の構成との関係を示した図654、グループ化した家電メニューの操作の画面遷移を示した図652、図653、間取り図の情報、各エリアにおいてモバイル端末上で家電操作アプリケーションを使用した場合のUI画面を示した図654を用いて本実施の形態での間取り情報と位置情報を用いた家電のグループ化及びモバイル端末による家電の提示方法について説明する。
鍵付基準台、もしくは無接点充電器を用いて家電操作アプリケーションの開始処理を実施した後、モバイル端末は家電操作可能な状態になる。
この状態で、モバイル端末を宅内に向かって傾けると、モバイル端末は保持している家電位置データに基づき、家電リストに存在する家電について現在位置に近い家電のメニューを手前に、逆に遠い家電のメニューを奥に画面上に配置する(同様に右側のものを右に、左側のものを左に置く)。
モバイル端末は現在の位置情報がエリアリスト7055の中のどのエリアに属するかを判断し、そのエリアに対応するグループに所属する家電のメニューを提示する。
また、モバイル端末は家電単独だけでなく、グループとして登録されている家電リストについてひとつのメニューとして、他の家電と同様に提示する。
グループ化されたメニューでは一部の家電をグループの外部公開登録家電としてグループ外から参照できるようにしてもよい(S7204A)。
ここで、図654の7171は本手続きに対応した画面を提示しており、門灯の手前から正面玄関に向かってモバイル端末を傾けたときの画面を示している。
もっとも手前の門灯7165´は前面に、建物の前面にある玄関灯7166´は門灯7165´の背面に位置している。
図654の7171には玄関灯7166´の奥に1F7168´に含まれる家電群のグループと、その上部に2F7167´に含まれる家電群のグループとがある。図654の7171では2F7167´のグループの外部公開登録家電として、“フロア照明型番:FSA9999”が登録されている。
S7204Aの手続きは、ユーザーが移動し、モバイル端末の位置が変化したり、ユーザーがモバイル端末を持つ角度を変化させたりした場合繰り返し実施する。
ある間取りの中で、ユーザーが移動し、モバイル端末の位置が変化したり、ユーザーがモバイル端末をもつ角度を変化させたりした場合のモバイル端末の画面の例を図654にて示す。間取り図の7178は“松下邸”の“1F”の様子を上方から俯瞰したものである。
それぞれ3つの位置丸1の7183、丸2の7184、丸3の7185で、家電操作アプリケーションを使用したときの画面を7179、7180、7181で示している。
丸1の7183では、左手前方から単独の家電として、ポット、レンジがあり、前方にリビングがあるため、再前面にポットのメニュー、その背面にレンジのメニュー、さらに奥に、リビングの家電をグループ化したメニューが提示されている。
丸2の7184の位置に移動すると、モバイル端末が現在いる場所はリビングとなるので、リビング内の家電のメニューを直接操作できる。
右手の手前からTV、エアコンと家電が単独で存在し、左手には寝室があるため寝室内の家電がグループ化して提示されている。
次に、丸3の7185の位置に移動すると、寝室にはエアコンがあるが、ユーザーの背後に存在するため、モバイル端末のメニューとしては提示されていない。一方で、左手のTVと、今度は寝室に移り、リビングから離れたため、リビングの家電グループのメニューが提示されている。
このように、モバイル端末がいる位置によって、画面に提示される家電のメニューと、グループ化されるメニューが動的に更新される。
この仕組みによってユーザーにより直感的で、使いやすい家電操作アプリケーションを実現することができる。
ユーザーがある家電のメニューをタップ(選択)した場合、モバイル端末はユーザーにタップされた家電のメニューを画面の前面に提示する(S7204B)。
本手続きは図652の7172から7173の操作、図653の7175から7176の操作に対応する。
図652では“門灯”の背後にあった“玄関灯”をタップし、前面に表示している。図653ではさらに“玄関灯”の背後にあった“2Fの家電”をタップすることにより、前面に提示を行っている。
ここで(S7204B)ユーザーが家電メニューを操作すると、モバイル端末は対象の家電に対してユーザーから指示された操作を通知する(S7204E)。
もしくは、ユーザーが(S7204B)でメニューをダブルタップする、もしくはLockボタンをタップすると、モバイル端末は対象の家電の操作アプリケーションを起動し全面に提示する(S7204C)。
本手続きは図652の7173から7174の操作、図653の7176から7177の操作に対応する。
図652では既に前面に出ている“玄関灯”のメニューをダブルタップすることによって前面にロックし、全面を使って対象家電の操作メニューを提示する。ここで、“玄関灯”の操作メニューでは、画面の一部のメニューとして提示されていたときと比べて、より詳細な操作(調光機能)を行うことができる。
図653では既に前面に出ている“2Fの家電”のメニューをダブルタップすることによって前面にロックし、全面を使って家電グループに関する操作メニューを提示する。ここで、外部公開登録家電だけでなく、“他の家電”ボタン等をユーザーに提供し、該当グループに存在する他の家電をメニューから呼び出せるようにしてもよい。
全面に提示された家電操作メニューは再度ダブルタップや、UnLockボタン、もしくはモバイル端末に備わっている“戻る”ボタンの押下によって、その全画面占有、全面ロックは解除される。
ここで、全画面への遷移に関する操作について、ダブルタップではなく、メニューの長押しであったり、急速な加速度検知によるトリガ(ジェスチャ)であったり、その他、ソフトあるはハードの専用ボタン、もしくは兼用ボタンであってもよい。
上記の手順を実施することにより、間取り情報と位置情報を用いた家電のグループ化及び直感的でわかりやすい家電のメニュー提示を方法を実装することができる。それにより、ユーザーにとってより使いやすい家電操作アプリケーションを実現することができる。
(実施の形態J)
本実施の形態では、主に宅内にある家電機器などのユーザの周辺機器が、故障やステートの変化などによってユーザに情報を通知したい場合に、特にディスプレーなどの高額なモジュールを用いずに、安価に通知する方法を提供する方式について説明する。
エアコンやテレビなどほとんどの家電製品はLED(Light Emitting Diode:発光ダイオード)を用いて、ユーザに対して何らかの情報を提供している。
例えば緑色にLEDが光っている場合は正常動作で、赤色の点滅の場合は異常といった情報をユーザに伝える。ただし、この場合は、ユーザは予め説明書などを読んで、ユーザ自身でLEDの発光状態を見て判断する必要がある。
ここでは、ユーザの所持するスマートフォンなどの携帯端末を用いて、LEDの発光パターンをセンシングすることで、周辺機器の送信する情報を取得する方法を開示する。
図664は、本実施の形態で開示される光通信による通信の状況を示す例である。
図664にあるように携帯端末のカメラをテレビのLEDに向ける。このとき、テレビは送信したい情報をLEDの発光パターンに変調して出力している。携帯端末はLEDの点滅といった発光パターンをカメラの撮像素子が取得し信号を復調することで、変調された情報を取り出すことができる。携帯端末が取り出した情報をユーザに通知することで、ユーザは目でLEDの状態を確認するよりも多くの情報をLEDから取得することができる。センシングには、主にカメラを使うが、フォトダイオードなど光通信の受信に使えるダイオードを用いてもよい。
図665は、本実施の形態の携帯端末の構成である。
図665に示すように本実施例の携帯端末は、カメラ6301と加速度センサ6032と角速度センサ6303と地磁気センサ6304とLED点滅パターン解析部6305と端末姿勢及び端末移動量検出部6306と光通信情報取得部6307と周辺機器絞込み部6308と周辺機器情報保存部6309と位置情報算出部6310とサーバ連携通信部6311とUI表示部6312とを有する。
周辺機器情報保存部6309は、宅内にある家電機器などの情報であり、機器のIDとその設置された位置情報を含む。また、位置情報の精度識別子、機器の属性、設置向きなどの情報を有しても良い。
角速度センサと地磁気センサは、両方を用いて携帯端末の姿勢情報算出に利用しても良いがどちらか一方でも実現可能である。なお、本実施例では、このような構成としているが、必ずしもこのような構成である必要はない。例えば、サーバ連携を行わない場合は、サーバ側に相当する情報を端末に保存しておくなど、構成を変えることもできる。カメラ6301の代わりにフォトダイオードなど専用の受光部を有しても良い。
図666にあるように、エアコンやテレビなどの周辺機器は、可視光通信等の光の発光パターンを変化させることで情報を通信する技術である光通信技術を用いて、自身の情報を送信する。ユーザは携帯端末のカメラを用いて光通信による情報を取得する。例えばエアコンのフィルタ掃除が必要な場合、取得されるデータは、周辺機器の型番などを用いたID情報とフィルタ掃除の必要性を示すエラーコードとなる。携帯端末はこれらの情報を、そのままユーザに表示しても良いが、必要に応じてクラウド上のサーバ(この場合はエアコンのメーカなどが管理する顧客サポート用のサーバを想定)にアクセスし、対応するよりリッチなGUIや、アプリケーション、サポートサイトへのアクセス情報などをダウンロードしてユーザに提示することで、よりわかりやすいユーザインターフェースを実現する。
図667は、光通信で周辺機器側が送信する情報の例である。必要に応じて、送信情報として機器のIDとエラーコードだけではなく、機器名や、予め設定された機器の設置位置情報なども含むこともできる。これらの情報があれば、ユーザへ提示する情報や、クラウド上での検索、携帯端末の有する位置情報の補正に利用することができる。特に、周辺機器のLEDによる光通信出力の情報を取得可能な位置は限定されるため、携帯端末がその情報を取得できている時点で、限定された位置となるため、携帯端末がその位置になかった場合は、補正することが可能である。
図668は、宅内を想定したマップ上でのユーザ位置と周辺機器との光通信による通信の例である。ここでは、携帯端末を持ったユーザの位置によって、光通信によって情報を取得する予定の、周辺機器を絞り込むことができる。例えば、座標X0、Y0、Z0の位置では、ユーザの進行方向に対してエアコン、テレビ、ビデオがあるため、携帯端末の画面例6330のように、テレビ、ビデオ、エアコン、その他の可能性を考慮した、「その他」のメニューが表示される。その後ユーザが移動し、X1、Y1、Z1にいる場合は、エアコンのみが対象となるため、携帯端末の画面例6331のようにエアコンとその他がメニューに現れる。
さらに、座標X5、Y5、Z5にいる場合は、携帯端末の画面例6332のようにテレビとその他が表示される。このようにしてユーザの位置と進行方向から、周辺機器を絞り込むことができて、ユーザにわかりやすい情報提示ができる上に、光通信による情報取得時に予め機器の候補が絞れているために、すばやく情報を補完することができるため、ユーザにすばやく情報提示ができる上に追加の情報を含むことができるという利点がある。
これより処理の流れを説明する。図669より処理フローを開始する。
ステップS6301aで携帯端末が加速度センサ、地磁気センサ、角速度センサによる情報から、端末の移動量を測定して、自端末の位置を推定し、(X、Y、Z)座標として保持する。
ステップS6301bで携帯端末が端末の移動方向の進行方向側からユーザの進行方向を検出する。
ステップS6301cで携帯端末がユーザ端末の光通信用アプリを起動機器に携帯端末のカメラを向けるようUIを表示(この時、光通信用ダイオードなど光通信用受信機能である光通信モジュールがある携帯端末の場合は、それを向けるようにUIを表示)する。
ステップS6301dで携帯端末が端末の現在位置と端末の姿勢情報から周辺機器の位置情報リストを参照し、ユーザの近くの機器のリストを取得する。
ステップS6301eで携帯端末がユーザに機器のリストとそれ以外の機器から選択する画面を表示する。
ステップS6301fでボタンが押されずに端末の姿勢がカメラが水平方向に近くなるように変わった(センサが検知)かどうかを確認する。
Yesの場合はステップS6301gへ進み、携帯端末がユーザに携帯端末を対象機器に向けるようUIを表示する。
ステップS6301hで携帯端末がカメラによる光通信情報取得機能を起動して、F6301へ進む。
ステップS6301fでNoの場合はステップS6301iへ進み、その他を選択するボタンが押された?かどうかを確認する。Yesの場合はステップS6301gへ進む。
Noの場合はステップステップS6301jへ進み、機器情報と光通信の発光部の位置と情報取得のためにカメラを向ける必要のある最長時間を表示し、ステップS6301hへ進む。
ステップS6301dでの携帯端末の位置情報を用いた周辺機器の絞込みの結果が1つに特定されていて、ステップS6301fによって、ユーザが対象となる周辺機器に携帯端末をかざす所作を取得することで、ユーザがボタンを押すなどわずらわしい操作をしなくても、光通信による情報取得が開始できる。
図670について解説する。
F6301からステップS6311aで携帯端末が対象機器の特定(あらかじめ分かっている場合を含む)と対象機器の出力する必要な情報(エラーコードなど)を取得できた?(取得中にユーザに表示可能な情報が取得できれば順次表示してもよい)かどうかを確認する。
Yesの場合はステップS6311bへ進み、携帯端末がクラウド上のサーバに対象機器のIDと取得情報を送り、対応するユーザ提示情報をダウンロード(クラウド上のサーバはユーザの登録するサポートサイト、または機器IDより判断されたメーカーサポートサイト等に該当する。)する。
ステップS6311cで、携帯端末が取得したユーザ提示情報がURLの場合はウェブサイトにアクセス。ユーザ提示情報がテキスト、画像、アプリなどの場合はそれを表示する。
ステップS6311dで対象機器が故障、フィルタ交換など対応が必要な場合、携帯端末がユーザに対応方法を提示する。
ステップS6311eで部品取り寄せする事をユーザが選択するかどうかを確認する。
Yesの場合はステップS6311fへ進み、携帯端末が現時点のユーザを使用者として認証済みかどうかを確認する。Yesの場合はステップS6311gへ進み、F6302へ進む。
ステップS6311aでNoの場合はステップS6311aへ戻る。
ステップS6311eでNoの場合はF6302へ進む。
ステップS6311fでNoの場合はステップS6311hへ進み、ユーザに対して、カード(クレジットカードなど課金に使用可能なもの)にNFC通信用に携帯端末をタッチするようUI表示して、ステップS6311gへ進む。
このようにして、携帯端末が光通信によって取得した情報を元に、サポート情報を取得し、さらには、携帯端末による課金に必要なユーザ認証処理を行うことで、ユーザは携帯端末を用いた処理以外のわずらわしい作業を行う必要がなくなり利便性が向上する上に、部品の発注などでの入力ミスといった問題も発生しない。
次に、図671について解説する。
F6302からステップS6321aで、ユーザの選択の結果、専用スタッフのサポートを頼むか、ユーザが自分で作業するかを確認する。
ユーザが作業する場合はF6303へ進む。
サポートに頼む場合は、ステップS6321bへ進み、携帯端末が無線通信により周辺機器に故障や消耗品交換などのサポートの必要があるかどうか問い合わせる。
ステップS6321cで周辺機器が問い合わせを受けて消耗品の交換時期が目前にせまっているものがある場合、機器IDと部品IDを携帯端末に通知する。
ステップS6321dで携帯端末がユーザに他の機器から通知された他の機器の部品を交換するかどうかを確認し、ユーザがYESと回答(入力)したサポート内容について必要な全てのサポートと部品の提供が可能なユーザ宅(サポート対象機器)の周辺のサポートセンターを検索する。
ステップS6321eで携帯端末がマップを表示し、検索の結果対象となるベスト5のユーザの使用履歴とユーザ宅の周辺のサポートセンターの位置と過去の納期履歴を表示する。
ステップS6321fで携帯端末がユーザの選択を受けて対象となるサポートセンターに依頼(機器リスト、消耗品、使用履歴)する。
ステップS6321gでサポートの担当者が到着? したかどうかを確認する。
Yesの場合はF6304へ進む。Noの場合はステップS6321gへ戻る。
次に、図672について解説する。
F6303からステップS6331aで携帯端末が作業手順を表示してアプリ終了する。
ステップS6331bで部品がユーザに届くかどうかを確認する。
Yesの場合はステップS6331cへ進み、部品の箱にRFIDがあれば携帯端末でタッチする。
ステップS6331dで携帯端末が作業手順と対象機器名を表示する。
ステップS6331eで携帯端末が手順の中に光通信で途中の対象機器のステートを確認出来る場合はユーザに通知してカメラモードになる(光通信モジュールがある場合はそれを起動する)。
ステップS6331fで対象機器は作業終了後、1分間LED点滅により終了したステートを送信して、終了する。
Noの場合はステップS6331bへ戻る。
次に、図673を解説する。
F6304からステップS6341aでサポートの対象機器が対応している赤外線リモコンコードに「サポート用出力開始」がある場合、サポート用出力を開始するリモコンコードをサポート担当者が所有する赤外線送信装置から発行する。サポート用出力では、より細かい情報が送信される。この時、点滅Hzは最大になるよう変更してもよい。
ステップS6341bでサポート担当者は、サポート対象機器に情報出力ボタンがある場合ボタンを押す。
ステップS6341cで対象機器は最大の点滅周期となるようモードを変えてサポート用の情報(使用履歴、故障情報等)を出力する。
ステップS6341dでサポート担当者は、修理、交換の対応を完了後、ユーザに完了を伝える。
ステップS6341eでサポート担当者の携帯端末からクラウド上のサーバに対応完了とその内容を通知し、次回メンテナンスまでの期間の予測情報を入手してユーザに通知して、F6305へ進む。
ここで、図674を用いてユーザにわかりやすい点滅パターンと光通信を同時に実現する方法について説明する。
光通信では変調時に送信する情報を多くする場合は、周波数を高くすることが想定される。例えば30Hzより高い周波数で送信する場合は、ユーザの目には何を意図した点滅かを判断することは難しい。そのため120ms点灯、120ms消灯を3回といったユーザに視認できるレベルの点滅を一定時間行い、その後に光通信用の高い周波数での送信を行う。
これにより、ユーザに光通信での情報送信中であることを伝えたうえで、且つ光通信でのデータ通信も同じLEDで行うことができる。なお、光通信部分は、任意の回数(例:5回)繰り返しても良い。これにより情報取得ミスに対するリカバリが早くなる。
次に、図675について解説する。
F6305からステップS6351aで宅内ユーザ周辺機器が例えば5Hz以下のON/OFF等比較的ユーザに分かり易い点滅を行う(120ms点灯、120ms消灯×3)。なお、これよりユーザに異常を伝える。情報は含まなくてよい。
ステップS6351bで次に300msの間(可視光通信の変調により)、受信側の端末の受信可能な最高に近い周波数に変調(例、カメラで受信30Hz、光通信専用ダイオードなどで受信時1000Hz)する。
ステップS6351cで受信側の携帯端末は例えば30Hz以上の周波数で変調された光を受信解析し、それ以下の周波数で変調された物を捨てる事で必要な情報を取り出す。
ステップS6351dで携帯端末が取り出した情報でユーザに必要なUI表示を行い、F6306へ進む。
ここで、図676を用いて、NFCと光通信とを用いた情報交換方法について説明する。ウォシュレットなどは、NFCを用いて携帯端末を近づけるということに抵抗があるユーザも多い。この場合は、最初に一度だけNFCでの情報交換を行い、その後は光通信で情報を携帯端末で取得するような処理が有効である。光通信では、NFCに比べて距離をとっても情報の取得ができる。
本実施の形態では、最初に携帯端末からNFCを用いて、あらかじめウォシュレットに
1)携帯端末のユニークなID、2)次回以降光通信でのエラーコード送信を行う識別子
3)乱数、4)携帯端末の現在位置(XYZ)を書き込む。
なお、このときに、携帯端末の受信可能な性能(100Hz等)を書き込み、ウォシュレットの点滅パターンを変えてもよい。
ユーザは光通信で送信される情報の中で、使用回数や時間帯、省電力設定といった履歴情報に相当するものは、誰にでも読める情報としたくないという要望がある。NFCによって、暗号化に必要な乱数や携帯端末のIDを交換し、その情報を元に暗号化して光通信での送信データに加えることで、ユーザが保有する携帯端末でのみ情報を閲覧できるようになるという効果がある。
図677は、ウォシュレットからの情報を送信するときのメッセージの例と、画面表示情報である。画面表示では、暗号化された部分は、鍵マークがついており、ユーザが表示するボタンを幼い限り表示されない。このとき、携帯端末自身が持つユーザ認証機能を利用してさらにロックしても良い。例えばさらにパスワードを入力することで、画面が遷移するといった設定もできる。これによって、本人以外のユーザが携帯端末を用いて情報を取得することを防ぐことができる。
次に、図678を解説する。
F6306からステップS6361aでユーザが携帯端末をウォシュレットのRFIDダグにタッチする。携帯端末から、1)携帯端末のユニークなID、2)乱数、3)携帯端末の現在位置(XYZ)を書き込む。なお、これによりウォシュレットに2回目以降、携帯端末をNFC通信のためにタッチしなくて良くなる。
ステップS6361bでウォシュレットが、故障が発生、またはユーザが光通信用ボタンを押すなどのトリガによって、LEDによる光通信用の点滅を開始する。
ステップS6361cでウォシュレットが点滅に変調する情報のうち、使用回数、日時などの情報を携帯端末から入手したIDと乱数を用いて暗号化して情報を送信する。
ステップS6361dでユーザが携帯端末をウォシュレットにかざす。データを取得し、暗号部分をNFCで交換した情報により復号する。
ステップS6361eで携帯端末が暗号化されていない部分を表示し、暗号化されている部分を表示するかどうかを問い合わせるボタンを表示してF6307へ進む。
図679は、ウォシュレットと携帯端末とのNFCでの通信時に、携帯端末がウォシュレットから情報を得ておき、その後に二回目以降の通信はこの情報を元に光通信を用いる。
あらかじめウォシュレットのNFCタグにタッチしてウォシュレットから、1)暗号キー、2)機器IDなどウォシュレットの情報を取得し、光通信に対応していることを示す識別子を出力する。この情報により、携帯端末は対象となるウォシュレットが今後光通信でも情報を送信しており、情報を取得可能であることを理解する。また、暗号化されていた場合は、交換された暗号キーを用いて復号可能であることがわかる。
暗号キーは今後NFCで暗号キーを発行させないように、予めNFCでのタッチの回数を制限するなどの処理があっても良い。その場合、リセットキーにより数の制限がなくなるが、履歴情報も消える処理にしておくことで、情報の漏洩を防ぐができる。
また、光通信に対応していることを示す識別子がONの場合、携帯端末は位置情報をもとに光通信が可能な周辺機器を絞り込むときの対象にウォシュレットを加える。
また、光通信に対応していることを示す識別子が情報に含まれない場合は、機器IDを用いてクラウド上のサーバ(家電等の機器情報を管理するサーバ)に問い合わせることで、光通信の対応/非対応の情報を取得する。
次に、図680を解説する。F6307からステップS6371aでユーザが携帯端末をウォシュレットのRFIFタブにタッチする。ウォシュレットから、1)ID、2)位置情報(X、Y、Z)、3)暗号キーを入手(ウォシュレット側に情報を書き込まない場合)する。
ステップS6371bでウォシュレットが、故障が発生、またはユーザが光通信用ボタンを押すなどのトリガによって、LEDによる光通信用の点滅を開始する。
ステップS6371cでウォシュレットがLEDの点滅に変調する情報のうち、使用回数、日時などの履歴情報をウォシュレットの内部に保存された暗号キーを用いて暗号化して情報を送信する。
ステップS6371dでユーザが携帯端末をウォシュレットにかざす。データを取得し、暗号部分をNFCで交換した情報により復号する。
ステップS6371eで携帯端末が暗号化されていない部分を表示し、暗号化されている部分を表示するかどうかを聞くボタンを表示して問い合わせて、F6308へ進む。
図681では、機器IDを分割して送信し、エラーコードなどの重要な情報を取得するまでに機器IDを受信するための時間的なロスを減らす方法について記載する。本実施例では携帯端末が位置情報により対象となる周辺機器が特定できている場合は、機器IDの取得が必要なくなる。そのため、図681のように1回分のコード取得後に、コードと機器の特定が出来ているためより早く必要な情報を取得する事が出来、ユーザに提示できる。
機器が特定できていない場合は、3回分の情報取得で、必要な情報がそろう。
分割した機器IDの送付時には、情報の先頭に分割であることを示す識別子をつけるなどの方法がある。
次に、図682を解説する。
F6308からステップS6381aでウォシュレットが情報をLEDの点滅で送信する時に故障コードなどの重要な情報を分割せず他の情報を細かく分割して送信する。
ステップS6381bで携帯端末は自らの位置情報を元に、対象機器を絞りこむ。例えば、携帯端末の現在位置の周辺位置の周辺機器がウォシュレット一つ絞りこめている?かを確認する。
Yesの場合はステップS6381cへ進み、機器と故障コードを比較して、ウォシュレットが出しうるコードであるかどうかを確認する。
Yesの場合はF6309へ進む。これにより機器のIDを取得しなくてもよい分、高速にユーザに表示できる。また、ステップS6381b、またはステップS6381cでNoの場合はステップS6381dで必要な情報(機器IDを含む)が取得できるまでユーザに携帯端末をかざしてもらって、F6309へ進む。
次に、図683について解説する。
F6309から、ステップS6391aで携帯端末がクラウド上のサーバに対象機器のIDと取得情報を送り、対応するユーザ提示情報をダウンロード(クラウド上のサーバはユーザの登録するサポートサイト、または機器IDより判断されたメーカーサポートサイト等に該当する。)する。
ステップS6391bで携帯端末が取得したユーザ提示情報がURLの場合はウェブサイトにアクセスし、ユーザ提示情報がテキスト、画像、アプリなどの場合はそれを表示する。
ステップS6391cで対象機器が故障、フィルタ交換など対応が必要な場合、携帯端末がユーザに対応方法を提示して、F6310へ進む。
図684では、携帯端末が光通信により対象機器の位置情報が取得できた場合に、その位置情報を元に、携帯端末内部で推定している自身の位置情報を補正する方法について説明する。
図にあるように対象機器の光通信による送信情報を受信できる範囲はエアコンから出力された一定角度に放射線状に広がるエリアとなる。このエリアは、LEDの筐体内での位置や指向性に依存するため、機種ごとに異なる。
そのためサーバなどによって、存在可能エリアを算出するための情報として、出力される角度情報を管理し、携帯端末からの要求にしたがってその情報を送信する。
角度情報から存在可能エリアを定義し、そのエリア内に、携帯端末がない場合、光通信の情報を受信できていることと矛盾するため、携帯端末の現在位置情報を存在可能エリア内に補正する。
次に、図685について解説する。
F6310からステップS6400aで携帯端末が対象機器を特定できる情報と対象機器の位置情報、及び設置向き情報を取得できたかどうかを確認する。
Yesの場合はステップS6400bへ進み、携帯端末がクラウド上のサーバに対象機器のID情報(型番のみでもよい)を送り、対象機器の形状と発光場所を特定する。
ステップS6400cで携帯端末が、発光場所と対象機器の位置から、発光を受信できた時点での存在可能エリアを特定する。
ステップS6400dで、携帯端末内で推定している現在位置が、存在可能エリアにない場合は、存在可能エリア内の最も近いところへ補正する。なお、補正先の位置は存在可能エリア内であれば、対象周辺機器の正面などでも良く、予め決めておくか、学習的に選択しても良い。
ステップS6400eで受信した情報にしたがって、対象機器の状態に対する対応が完了したかどうかを確認して、Yesの場合は終了する。
ステップS6400aでNoの場合はステップS6400aへ戻る。
ステップS6400eでNoの場合はF6311へ進む。
このようにして可視光通信等の光通信技術によって家電機器などの周辺機器が情報を送信することで、ユーザの所持するスマートフォンなどの携帯端末を用いて、LEDの発光パターンをセンシングすることで、周辺機器の送信する情報を取得することができる。特に宅内にある家電機器などのユーザの周辺機器が、故障やステートの変化などによってユーザに情報を通知したい場合に、特にディスプレイなどの高額なモジュールを用いずに、安価に情報を通知でき、ユーザには十分にリッチなUIでの情報提示が可能となる。
なお、図686および図687を用いて、家電が入手できる人間の位置情報から携帯端末の位置情報をさらに補正する方法を説明する。
エアコン8001は人間8023の位置(方向、距離)を検出する光センサ8009を持っているため、人間のエアコンに対する相対的な位置情報を検出できる。
方向を変えられる光センサ8010やCCDセンサ8011を用いて得た人間の相対位置情報8002は、エアコンの風の方向や制御手段8004や風量制御手段8020に送られ、快適な室内温度を実現するとともに通信手段8000を介してネットワーク8019経由で無線通信手段8018を介して携帯端末8022に人間の位置情報8014が送られる。具体的にはエアコン等の家電の位置情報8015と家電に対する人間の相対的な位置情報8016、具体的には家電に対する人間のθ等の方向データ8013や距離データ8013aが携帯端末8022に送られる。
携帯端末8022は3軸の加速度センサや3軸の角速度センサを持っているため、1.携帯端末8022が人間8023の服の中にあるか、もしくは2.人間の手にもたれているか、もしくは3.人間と離れておいてあるかを検出することができる。
1もしくは2の場合、人間と携帯電話の距離は極めて近いことと判断できるため、家電からの位置データ8014を用いて、携帯電話の第2位置情報を得ることができる。
GPSや、自律航法用の9軸のジャイロセンサ、地磁気センサ、加速度センサの位置検出手段を用いて位置検出する携帯電話の場合、第1位置情報をもっているが、自宅内に入るとGPSの電波が弱くなることや位置検出手段の誤差が蓄積されるため、精度が落ちる問題点がある。
本発明では家電の位置情報8015には、家電やレストラン等のIDを持つ物件のタグに実際の位置情報が入っていない場合でも、機器IDや物件IDや地図上の識別情報(日本MAP−ID等)が入っており、そのIDに対応する位置情報はサーバーに送信されてサーバーのメモリに記録されているため、携帯端末8022は上記のIDをサーバーに送ることにより、エアコンなどの固定された家電やレストラン等の物件の現実の緯度、経度等の位置情報を得ることができる。通信端末側にIDに対応するデバイスや物件の物理的な位置情報を予め持っていてもよい。
この位置情報と家電、物件、建物等と人間の相対位置情報8016を用いて通信端末側の現実の位置情報が得られる。この場合、エアコン等の家電やレストラン等の物件では、位置を測定した装置や環境によりタグの位置情報の精度が異なる。
このためタグには位置情報の精度情報が記録されている。この家電の位置精度情報が携帯端末の精度情報より精度が高ければ、携帯の位置情報を補正し、精度が低ければ補正しなければよい。
こうして、携帯の物理的な位置情報を得ることにより、携帯の物理的な位置情報を補正することができる。一番精度がとれるのは、家電や物件のNFCタグに携帯のNFCリーダーを近接もしくは接触させると互いの距離は1〜2cmと近接しているため、さらにタグの元来の精度の位置情報が入手できる。
図686では、家電としてエアコンを用いて本発明の効果を説明したが、エアコンに限定されるものではない。図687に示すように、エアコン8001の動作は図686で説明した。TV8037の場合は、本体に人間の存在を検知する人間センサ8036の搭載が今後増加することが予想される。一つの動作は、省電力でTVの前に人がいなくなれば、電源をOFFもしくは、低消費電力モードに切り替える。こうすることにより、消費電力の低減がはかれる。この方式は広く使用される可能性が高い。
もう一つの動作は、3DTVの場合、人間の目などの方向、角度、距離の位置を検出して、その方向で見た場合に最適な3D映像が得られるようにディスプレイの3D情報を制御することである。
いずれにしても、TVの人間センサ8036からの人間とTVとの相対位置情報8033が得られるので、TVの位置情報がわかれば、家の中の人間の位置情報が得られる。
TVの位置情報を得るには、TVにNFCタグを搭載し、位置情報検知機能を持つ携帯端末と近接通信させることにより、TVの位置情報をTVが持つ。この位置情報はTVの機器IDとリンクさせてサーバー側で持っても良い。
こうして、人間の相対位置情報8033と家電の位置情報8034を、家の中のネットワーク8031を経由し、無線LANのアクセスポイント等の無線送受信機器の無線ネットワーク8030を経由して、人間が持つスマートフォン等の携帯端末に送信する。次のステップで、携帯端末8035は位置情報8032を得て、自分の物理的な位置情報を補正する。
これにより、GPSの届かない家の中でも自分の位置を補正することができるという効果がある。
電子レンジ8042a、冷蔵庫8050、炊飯器8051、洗濯機8050は、開閉する扉を搭載している。従って、扉の開閉データ8042等の機器を人間が直接操作したことを示す操作データ8041を知ることができる。この操作があると言うことは、機器の前に人間がいると言うことを示す。つまり人間センサの一種としての活用が考えられる。
この操作データ8041を家電の位置情報8033とともにネットワーク8031aを経由し、無線LANのアクセスポイント等の無線ネットワーク8030aを経由してスマートフォン等の携帯端末8035aに送る。
前述の手法を用いて携帯端末8035aは人間が携帯端末を持っていることを判別できるため、もし、持っている場合は、次のステップで、操作データ8041から人間が家電の前にいる可能性が高いことを、検知できる。そのため、家電の位置情報8033から携帯端末の位置情報を得ることができる。
位置情報の精度を示す精度識別情報より位置情報8033の精度が携帯端末の位置情報の精度より高い場合は、位置情報を補正する。この補正より、従来は困難であった、家庭内での位置情報の高精度の検出が可能となる。この場合、各家電にNFC機能を持たせているため、高い精度の家電の位置情報が得られるという効果がある。
NFCのタグのメモリ部には物理的な位置情報を記録してもよいし、機器IDにリンクした位置情報をサーバーに記録してもよいが、前記メモリ部には、位置情報をサーバーに記録可能かどうかを識別できる識別情報が記録されている。
そのため、携帯端末は家電の位置情報がサーバーにあることを即時に検知できるという効果がある。この方式は、説明を省略するが、前記の全ての実施例の位置情報の補正等に適応できることは言うまでもない。将来、家電がサーバーとネットワークで連携した場合、極めて有効な発明技術となる。
なお、本発明における実施の携帯において、無線通信端末は、外部端末から近接無線通信手段を用いて位置情報を取得することも可能である。無線通信端末は一般的に屋内などでは正確な位置情報を取得することができないため、例えば特定場所に設置された外部端末に位置情報を記録しておき、無線通信端末がこの外部端末と近接無線通信手段によって位置情報を取得することで、屋内でも無線通信端末の位置情報を取得することが可能である。
さらに、外部端末は、外部通信端末の識別情報を無線通信端末に送信する構成にしても同等の効果を得ることができる。さらに、外部端末は、外部通信端末の識別情報を無線通信端末に送信し、無線通信端末は、サーバにこの識別情報を送信し、サーバで識別情報を位置情報に変換し、無線通信端末が位置情報を受信する構成にしても良い。
この構成によって、サーバが無線通信端末に、現在の無線通信端末の位置情報に関連した情報を送信することが可能となる。また、無線通信端末がサーバに送信する情報には、無線通信端末の操作履歴や検索履歴などに基づく嗜好情報を送信し、サーバが無線通信端末に送信する情報には、現在の無線通信端末の位置情報と、嗜好情報にマッチした情報を含ませても良い。無線通信端末の嗜好情報を加えることで、より無線通信端末操作者に有益な情報を送信することができる。
また、無線通信端末が近接無線通信手段を備えた撮像装置と、近接無線通信手段と、無線LAN等の高速無線通信を用いて、撮像装置に記録している写真データを無線通信端末の通信手段によってインターネットサービスに送信する構成にすることも可能である。
すなわち、撮像素子は、無線LANなどの高速無線通信の接続情報と、撮像装置に記録されたアップロードしたい写真と、アップロードするインターネットサービスを識別する情報と、このインターネットサービスのログイン情報を無線通信端末に送信する。
具体的な手順としては、まず、近接無線通信手段によって、撮像装置は無線通信端末に無線LANなどの高速無線通信の接続開始情報を送信する。この情報は、規格化された相互接続処理を開始するという合図情報だけでも良いし、接続するためのチャネル情報や暗号キー情報などでも良い。撮像装置が無線通信端末へアップロードしたい写真と、アップロードするインターネットサービスを識別する情報と、このインターネットサービスのID・パスワードなどのログイン情報を送信する。
無線通信端末はこれらの情報を元に、インターネットサービスにアクセスし、アップロードしたい写真を送信する。あるいは、アップロードしたい写真のサムネイル情報のみを第一のステップとして無線通信端末へ送信し、無線通信端末で最終の送信したい写真を選択後、インターネットサービスにアップロードを開始しても良い。
また、アップロードするインターネットサービスを識別する情報と、このインターネットサービスのID・パスワードなどのログイン情報は近接無線通信手段を用いて送信することも可能である。
撮像装置でアップロードしたい写真やアップロードしたいインターネットサービスをあらかじめ設定し、近接無線通信手段による通信をきっかけとしてアップロードを開始することで即座に写真のアップロードが可能となる。また、無線通信端末は撮像装置よりインターネットへの接続手段が多いため、より様々な場所で写真をインターネットサービスにアップロードすることが可能となる。
以上、本願発明について各実施形態を例に挙げて、詳細に説明してきたが、前述の説明は、あらゆる点において、本願発明の例示にすぎず、その範囲を限定しようとするものではない。本願発明の範囲を逸脱することなく、各実施の形態に対して、種々の改良や変形を行うことができる。
つまり、例えば、本発明は、装置(システム)として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録した、コンピュータ読み取り可能な、CD−ROMなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号などとして実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等のネットワークを介して配信されてもよい。
また、本発明の主旨を逸脱しない範囲で、上記の実施の形態および変形例に対して当業者が思いつく各種変形を施して得られる形態や、実施の形態および変形例における構成要素を任意に組み合わせて得られる他の形態も、本発明に含まれる。
また、本発明によって、サーバへ保存した画像等の情報を、簡単な手続きで、テレビなどの受信装置で受信することが可能となり、テレビや、PC等の表示装置が、インターネットを通じて情報を取得する操作を、簡略化するシステム全般に有効である。また、本発明に係る通信装置は、識別情報、および、仮想マシン用プログラムを格納したRF−IDを備える、あらゆる機器、例えば、カメラ等の電子機器、炊飯器や冷蔵庫等の家電機器、歯ブラシ等の日常品にも、適用できる。