JP5792473B2 - Sensor network system, information providing method and program - Google Patents
Sensor network system, information providing method and program Download PDFInfo
- Publication number
- JP5792473B2 JP5792473B2 JP2011013589A JP2011013589A JP5792473B2 JP 5792473 B2 JP5792473 B2 JP 5792473B2 JP 2011013589 A JP2011013589 A JP 2011013589A JP 2011013589 A JP2011013589 A JP 2011013589A JP 5792473 B2 JP5792473 B2 JP 5792473B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- imaging
- unit
- detection device
- notification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、センサネットワークシステムにおいて収集される情報をユーザにわかりやすく提供するとともに、ユーザが楽しみながらセンサネットワークシステムを利用できるようにする技術に関する。 The present invention relates to a technology for providing information collected in a sensor network system to a user in an easy-to-understand manner and enabling a user to use a sensor network system while enjoying the information.
従来より、現実世界の様々な監視対象に応じたセンサノード（検出装置）をネットワークで接続し、当該センサノードにより検出された情報をパソコン等に収集するシステム（以下、「センサネットワークシステム」と称する。）が提案されている。センサネットワークシステムの一例としては、家庭内に配置された電化製品に電力測定装置（電力測定センサ）を取り付け、これらをネットワークで接続し、それぞれの電化製品において消費された電力を情報としてパソコン等に収集するシステムが知られている。 Conventionally, a system (hereinafter referred to as a “sensor network system”) in which sensor nodes (detection devices) corresponding to various monitoring targets in the real world are connected via a network and information detected by the sensor nodes is collected in a personal computer or the like. .) Has been proposed. As an example of a sensor network system, power measurement devices (power measurement sensors) are attached to electrical appliances installed in the home, and these are connected via a network, and the power consumed by each electrical appliance is used as information in a personal computer. A collection system is known.
一方、現実世界に存在するＡＲマーカ（バーコードやＱＲコード（登録商標）のような二次元画像）をＷｅｂカメラ等で撮像し、撮像されたＡＲマーカを画像解析することにより、撮像画像におけるＡＲマーカの近傍にキャラクタを表示させるＡＲ（Augmented Reality：誇張現実）技術も提案されている。ＡＲ技術では、ＡＲマーカに画像として埋め込まれている識別子によりキャラクタを特定するとともに、撮像画像におけるＡＲマーカの大きさや向きにより表示させるキャラクタの大きさや向きを変化させる。これにより、ＡＲ技術では、現実世界には実際には存在しないキャラクタを現実世界を撮像した撮像画像にオーバーレイさせて、あたかもそのようなキャラクタが存在しているかのような画像を合成することができる。 On the other hand, an AR marker (two-dimensional image such as a barcode or QR code (registered trademark)) existing in the real world is imaged with a Web camera or the like, and the captured AR marker is subjected to image analysis, whereby an AR in the captured image is obtained. AR (Augmented Reality) technology for displaying a character in the vicinity of a marker has also been proposed. In the AR technique, a character is specified by an identifier embedded as an image in the AR marker, and the size and orientation of the character to be displayed are changed depending on the size and orientation of the AR marker in the captured image. Thereby, in the AR technology, a character that does not actually exist in the real world can be overlaid on a captured image obtained by imaging the real world, and an image as if such a character exists can be synthesized. .
さらには、ＡＲマーカを用いないＡＲ技術も提案されている。例えば、そのような技術が特許文献１に記載されている。特許文献１に記載されている技術では、カメラに搭載されているＧＰＳセンサやジャイロセンサによって、撮像位置や撮像方向を検出し、地図情報を参照して、撮像画像に撮像されている被写体を特定する。そして、特定された当該被写体に関するメッセージを、キャラクタの代わりに、撮像画像にオーバーレイさせることにより、ユーザに被写体に関する情報提供を行うものである。
Furthermore, an AR technique that does not use an AR marker has also been proposed. For example, such a technique is described in
従来のセンサネットワークシステムにおいては、センサノードにより取得され収集された情報を表示したとしても、一般に、センサノードから得られる情報は、時系列で取得された数値の羅列であり、ユーザが容易に理解できないという問題があった。 In a conventional sensor network system, even if information acquired and collected by a sensor node is displayed, generally, information obtained from the sensor node is an enumeration of numerical values acquired in time series, and is easily understood by the user. There was a problem that I could not.
このような問題を解決する１つの手法として、センサノードから得られた情報をグラフや図形等に加工して表示することも可能である。しかし、そのような工夫がされたとしても、ユーザにとって、センサノードから得られる情報を逐一確認し、状況を把握して、必要な対応を決定し、行動を起こすことは、困難で面白みのない退屈な作業であるという問題があった。特に、一般家庭に設置されるセンサネットワークシステムにおいては、いかにユーザに飽きさせず、使用を継続させるかが重要なポイントになる。 As one method for solving such a problem, it is also possible to process and display information obtained from the sensor node into a graph or a graphic. However, even if such a contrivance is made, it is difficult and interesting for the user to check the information obtained from the sensor node one by one, grasp the situation, decide the necessary response, and take action There was a problem of being tedious work. In particular, in a sensor network system installed in a general home, how to keep using the user without getting bored becomes an important point.
本発明は、上記課題に鑑みてなされたものであり、センサネットワークシステムにおいて収集される情報をユーザにわかりやすく提供するとともに、ユーザが楽しみながらセンサネットワークシステムを利用できるようにする技術を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a technique for providing information collected in a sensor network system to a user in an easy-to-understand manner and enabling the user to use the sensor network system while enjoying the user. With the goal.
上記の課題を解決するため、請求項１の発明は、センサネットワークシステムであって、現実世界を表現した情報を監視情報として取得する１以上の検出装置と、前記検出装置により取得された監視情報を収集する情報処理システムとを備え、前記情報処理システムは、キャラクタに関する情報を記憶する記憶手段と、現実世界を撮像して撮像情報を取得する撮像手段と、前記撮像手段により取得された撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、前記特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、前記撮像手段により取得された撮像情報とともに前記作成手段により作成された報知情報を出力する出力手段とを備え、前記報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含み、前記撮像手段は、前記１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像して撮像情報を取得する。
In order to solve the above problems, the invention of
また、請求項２の発明は、請求項１の発明に係るセンサネットワークシステムであって、前記１以上の検出装置との間で、直接的な無線通信を行う通信手段と、前記通信手段における無線通信の状態を評価し、当該評価に基づいて前記特定手段により特定された報知対象となる検出装置と前記撮像手段との間の距離を推定する評価手段とをさらに備え、前記撮像手段は、前記通信手段と一体的な構造物を構成しており、前記作成手段は、前記評価手段により推定された距離に応じて前記報知対象となる検出装置に対応して作成すべき報知情報を作成するとともに、前記評価手段により推定された距離に応じて前記１以上の検出装置の中から報知対象となる検出装置を特定するとともに、当該特定した報知対象となる検出装置に対応して作成すべき報知情報を作成する。
The invention of
また、請求項３の発明は、現実世界を表現した情報を監視情報として取得する１以上の検出装置と、前記検出装置により取得された監視情報を収集する情報処理システムとを備え、前記情報処理システムは、キャラクタに関する情報を記憶する記憶手段と、前記１以上の検出装置との間で、直接的な無線通信を行う通信手段と、前記通信手段における無線通信の状態を評価し、当該評価に基づいて前記１以上の検出装置と前記撮像手段との間の距離を推定する評価手段と、前記通信手段と一体的な構造物を構成し、現実世界を撮像して撮像情報を取得する撮像手段と、前記撮像手段により取得された撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、前記特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、前記撮像手段により取得された撮像情報とともに前記作成手段により作成された報知情報を出力する出力手段とを備え、前記報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含み、前記作成手段は、前記評価手段により推定された距離に応じて前記特定手段により特定された報知対象となる検出装置に対応して作成すべき報知情報を作成するとともに、前記評価手段により推定された距離に応じて前記１以上の検出装置の中から報知対象となる検出装置を特定するとともに当該特定した報知対象となる検出装置に対応して作成すべき報知情報を作成する。
The invention of
また、請求項４の発明は、請求項１ないし３のいずれかの発明に係るセンサネットワークシステムであって、前記出力手段は、前記撮像手段により撮像された撮像画像に含まれるマーカを他の画像に置換する。
The invention of
また、請求項５の発明は、現実世界を表現した情報を監視情報として取得する１以上の検出装置と、前記検出装置により取得された監視情報を収集する情報処理システムとを備え、前記情報処理システムは、キャラクタに関する情報を記憶する記憶手段と、現実世界を撮像して撮像情報を取得する撮像手段と、前記撮像手段により取得された撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、前記特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、前記撮像手段により取得された撮像情報とともに前記作成手段により作成された報知情報を出力する出力手段とを備え、前記報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含み、前記出力手段は、前記撮像手段により撮像された撮像画像に含まれるマーカを他の画像に置換する。
Further, the invention of
また、請求項６の発明は、請求項１ないし５のいずれかに記載のセンサネットワークシステムであって、前記出力手段により出力された報知情報を報知履歴情報として保存する保存手段をさらに備える。
また、請求項７の発明は、請求項１ないし６のいずれかの発明に係るセンサネットワークシステムであって、前記特定手段は、特定した報知対象となる検出装置と前記撮像手段との間の距離を、前記撮像手段により取得した撮像情報を解析することにより推定し、前記作成手段は、前記特定手段により特定された報知対象となる検出装置に対応して作成すべき報知情報を、前記特定手段により推定された距離に応じて作成する。
The invention according to
The invention of
また、請求項８の発明は、情報提供方法であって、キャラクタに関する情報を記憶手段に記憶する工程と、現実世界を表現した監視情報を１以上の検出装置によって取得する工程と、前記１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像して撮像情報を取得する工程と、現実世界を撮像して撮像情報を取得する工程と、取得された前記撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する工程と、特定された前記報知対象となる検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含むとともに、前記報知対象となる検出装置に対応した報知情報を作成する工程と、取得された前記撮像情報とともに作成された前記報知情報を出力する工程とを有する。
Further, the invention of
また、請求項９の発明は、現実世界を表現した情報を監視情報として取得する１以上の検出装置とネットワークを介して接続されるコンピュータによって実行されるプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、キャラクタに関する情報を記憶する記憶手段と、現実世界を撮像して撮像情報を取得する撮像手段と、前記撮像手段により取得された撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、前記特定手段により特定された報知対象となる検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含むとともに、前記報知対象となる検出装置に対応した報知情報を作成する作成手段と、前記撮像手段により取得された撮像情報とともに前記作成手段により作成された報知情報を出力する出力手段とを備えるコンピュータとして機能させ、前記撮像手段は、前記１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像する。
The invention according to
請求項１に記載の発明は、現実世界を表現した情報を監視情報として取得する１以上の検出装置と、検出装置により取得された監視情報を収集する情報処理システムとを備え、情報処理システムは、キャラクタに関する情報を記憶する記憶手段と、現実世界を撮像して撮像情報を取得する撮像手段と、撮像手段により取得された撮像情報を画像解析することにより１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、撮像手段により取得された撮像情報とともに作成手段により作成された報知情報を出力する出力手段とを備え、報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と記憶手段に記憶されたキャラクタに関する情報とを含む。これにより、現実世界を撮像した撮像情報とともに、現実世界の状況に応じて動的に変化する演出情報が出力されるので、例えば監視情報に対する臨場感が高まり、ユーザが楽しみながらセンサネットワークシステムを使用することができる。また、演出情報を工夫することにより、検出手段により収集された監視情報を直感的に把握できるようになるため、ユーザは現実世界の状況を容易に理解することができるようになる。また、撮像手段は、１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像して撮像情報を取得するので、管理が容易になる。
また、請求項３に記載の発明は、現実世界を表現した情報を監視情報として取得する１以上の検出装置と、検出装置により取得された監視情報を収集する情報処理システムとを備え、情報処理システムは、キャラクタに関する情報を記憶する記憶手段と、１以上の検出装置との間で、直接的な無線通信を行う通信手段と、通信手段における無線通信の状態を評価し、当該評価に基づいて１以上の検出装置と撮像手段との間の距離を推定する評価手段と、通信手段と一体的な構造物を構成し、現実世界を撮像して撮像情報を取得する撮像手段と、撮像手段により取得された撮像情報を画像解析することにより１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、撮像手段により取得された撮像情報とともに作成手段により作成された報知情報を出力する出力手段とを備え、報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と記憶手段に記憶されたキャラクタに関する情報とを含み、作成手段は、評価手段により推定された距離に応じて特定手段により特定された報知対象となる検出装置に対応して作成すべき報知情報を作成するとともに、評価手段により推定された距離に応じて１以上の検出装置の中から報知対象となる検出装置を特定するとともに当該特定した報知対象となる検出装置に対応して作成すべき報知情報を作成する。これにより、現実世界を撮像した撮像情報とともに、現実世界の状況に応じて動的に変化する演出情報が出力されるので、例えば監視情報に対する臨場感が高まり、ユーザが楽しみながらセンサネットワークシステムを使用することができる。また、演出情報を工夫することにより、検出手段により収集された監視情報を直感的に把握できるようになるため、ユーザは現実世界の状況を容易に理解することができるようになる。また、特定手段による特定が困難な場合でも、評価手段によって推定される距離の違いに応じて、演出情報を選択できる。
また、請求項５に記載の発明は、現実世界を表現した情報を監視情報として取得する１以上の検出装置と、検出装置により取得された監視情報を収集する情報処理システムとを備え、情報処理システムは、キャラクタに関する情報を記憶する記憶手段と、現実世界を撮像して撮像情報を取得する撮像手段と、撮像手段により取得された撮像情報を画像解析することにより１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、撮像手段により取得された撮像情報とともに作成手段により作成された報知情報を出力する出力手段とを備え、報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と記憶手段に記憶されたキャラクタに関する情報とを含む。これにより、現実世界を撮像した撮像情報とともに、現実世界の状況に応じて動的に変化する演出情報が出力されるので、例えば監視情報に対する臨場感が高まり、ユーザが楽しみながらセンサネットワークシステムを使用することができる。また、演出情報を工夫することにより、検出手段により収集された監視情報を直感的に把握できるようになるため、ユーザは現実世界の状況を容易に理解することができるようになる。また、出力手段は、撮像手段により撮像された撮像画像に含まれるマーカを他の画像に置換するので、報知情報がより見えやすくなる。
また、請求項８に記載の発明は、キャラクタに関する情報を記憶手段に記憶する工程と、現実世界を表現した監視情報を１以上の検出装置によって取得する工程と、１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像して撮像情報を取得する工程と、現実世界を撮像して撮像情報を取得する工程と、取得された撮像情報を画像解析することにより１以上の検出装置の中から報知対象となる検出装置を特定する工程と、特定された報知対象となる検出装置により取得された監視情報に応じた演出情報と記憶手段に記憶されたキャラクタに関する情報とを含むとともに、報知対象となる検出装置に対応した報知情報を作成する工程と、取得された撮像情報とともに作成された報知情報を出力する工程とを有する。これにより、現実世界を撮像した撮像情報とともに、現実世界の状況に応じて動的に変化する演出情報が出力されるので、例えば監視情報に対する臨場感が高まり、ユーザが楽しみながらセンサネットワークシステムを使用することができる。また、演出情報を工夫することにより、検出手段により収集された監視情報を直感的に把握できるようになるため、ユーザは現実世界の状況を容易に理解することができるようになる。また、管理が容易になる。
また、請求項９に記載の発明は、現実世界を表現した情報を監視情報として取得する１以上の検出装置とネットワークを介して接続されるコンピュータによって実行されるプログラムであって、プログラムのコンピュータによる実行は、コンピュータを、キャラクタに関する情報を記憶する記憶手段と、現実世界を撮像して撮像情報を取得する撮像手段と、撮像手段により取得された撮像情報を画像解析することにより１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、特定手段により特定された報知対象となる検出装置により取得された監視情報に応じた演出情報と記憶手段に記憶されたキャラクタに関する情報とを含むとともに、報知対象となる検出装置に対応した報知情報を作成する作成手段と、撮像手段により取得された撮像情報とともに作成手段により作成された報知情報を出力する出力手段とを備えるコンピュータとして機能させ、撮像手段は、前記１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像する。これにより、現実世界を撮像した撮像情報とともに、現実世界の状況に応じて動的に変化する演出情報が出力されるので、例えば監視情報に対する臨場感が高まり、ユーザが楽しみながらセンサネットワークシステムを使用することができる。また、演出情報を工夫することにより、検出手段により収集された監視情報を直感的に把握できるようになるため、ユーザは現実世界の状況を容易に理解することができるようになる。また、管理が容易になる。
The invention according to
The invention described in
The invention according to
According to an eighth aspect of the present invention, each of the step of storing information relating to the character in the storage means, the step of acquiring monitoring information representing the real world by one or more detection devices, and the one or more detection devices One or more detection devices by imaging a board listing corresponding markers and acquiring imaging information, imaging a real world and acquiring imaging information, and analyzing the acquired imaging information Including a step of identifying a detection device to be notified from among the above, production information according to the monitoring information acquired by the specified detection device to be notified, and information on the character stored in the storage means, A step of creating notification information corresponding to the detection device to be notified, and a step of outputting the notification information generated together with the acquired imaging information. As a result, together with imaging information that captures the real world, production information that changes dynamically according to the situation in the real world is output. can do. In addition, by devising the production information, the monitoring information collected by the detection means can be intuitively grasped, so that the user can easily understand the situation in the real world. Moreover, management becomes easy.
The invention according to
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
＜１． 第１の実施の形態＞
図１は、第１の実施の形態におけるセンサネットワークシステム１の構成を示す図である。なお、第１の実施の形態におけるセンサネットワークシステム１は、家庭内に配置された電化製品において消費された電力量（情報）を収集するシステムを例に説明する。すなわち、詳細は後述するが、第１の実施の形態におけるセンサネットワークシステム１を構成するセンサノード２は、いわゆる電力測定センサであり、通常は家庭内に設置される。
<1. First Embodiment>
FIG. 1 is a diagram illustrating a configuration of a
ただし、センサネットワークシステム１としては、例えば、家庭で育成されている動植物の近傍に環境センサ（気温センサや土壌センサ、湿度センサ等）を配置し、これらの環境センサから得られた情報を収集して動植物の育成を支援するシステムや、ガスや水漏れ、施錠状態等を監視するセンサを用いたセキュリティシステムなどであってもよい。すなわち、センサネットワークシステム１の用途は本実施の形態に示すものに限定されるものではない。そして、センサネットワークシステム１の用途に応じて、どのような機能を有するセンサノードがセンサノード２として採用されてもよい。
However, as the
図１に示すように、センサネットワークシステム１は、センサノード２と情報処理システム３とを備えている。ただし、センサネットワークシステム１が備えるセンサノード２の数は、図１に示すように１つに限定されるものではなく、通常は、多数のセンサノード２によってセンサネットワークシステム１が形成される。
As shown in FIG. 1, the
図２は、第１の実施の形態におけるセンサノード２のブロック図である。第１の実施の形態におけるセンサノード２は、家庭内に配置された、対応する電化製品（例えば、冷蔵庫や電子レンジ、電気ポット、テレビ、電気カーペット等）に取り付けられ、当該対応する電化製品の消費電力量を測定し、情報処理システム３に送信する機能を有している。
FIG. 2 is a block diagram of the
図２に示すように、センサノード２は、ＣＰＵ２０、記憶装置２１、検出部２２および通信部２３を備えており、主に家庭内に設置される。
As illustrated in FIG. 2, the
ＣＰＵ２０は、記憶装置２１に記憶されているプログラム２１０に従って動作することにより、センサノード２が備える各構成を制御する機能を有している。ＣＰＵ２０が提供する機能としては、例えば、記憶装置２１へのデータの読み書き（アクセス制御）、検出部２２に対するセンシング制御、通信部２３を介してのゲートウェイ４あるいは情報処理端末７との間の通信制御等がある。
The
記憶装置２１は、各種データを記憶・保存しておく機能を有しており、特に、プログラム２１０および監視情報２１１を記憶する。また、図２において図示を省略しているが、記憶装置２１には、センサノード２を個別に識別するための情報（以下、「センサ識別子」と称する。）が記憶されている。センサノード２にセンサ識別子が付与されていることにより、センサネットワークシステム１において複数のセンサノード２が存在したとしても、それぞれのセンサノード２を識別しつつ、通信や監視情報２１１の管理等を行うことができる。
The
このように、第１の実施の形態におけるセンサノード２は、ＣＰＵ２０および記憶装置２１を備えることにより、コンピュータとしての機能および構成を備えている。なお、センサノード２がＭＣＵを備え、マイクロコンピュータとして構成されていてもよい。
As described above, the
検出部２２は、センサノード２に対応する電化製品において消費された電力を測定し、監視情報２１１を作成する。検出部２２により作成された監視情報２１１は、ＣＰＵ２０により、一旦、記憶装置２１に記憶される。このようにセンサノード２が検出部２２を備えることにより、センサノード２は、現実世界において、当該センサノード２に対応する電化製品によって消費された電力を表現した情報（消費電力量を表現した数値など）を監視情報２１１として取得する機能を発揮する。
The
通信部２３は、センサノード２が情報処理システム３との間でデータ通信を行う機能を提供する。第１の実施の形態における通信部２３は、ゲートウェイ４との間では、無線通信および商用電力線８を用いたＰＬＣによる有線通信を行うことができるように構成されている。
The
一方、通信部２３は、情報処理端末７との間では直接的な無線通信が可能となっている。ここにいう「直接的な無線通信」とは、センサノード２と情報処理端末７との間に、無線基地局や中継機等の装置を介在させることなく、データ通信が可能となる無線通信という意味である。いいかえれば、センサノード２の通信部２３から送信された信号（電波信号や赤外線信号等が想定される）が、直接、情報処理端末７に受信される方式の無線通信を意味するものである。
On the other hand, the
センサノード２と情報処理端末７との間で直接的な無線通信を実現する方式としては、従来から提案されているどのような無線方式が採用されてもよいが、例えば、ＩｒＤＡ（赤外線無線通信）やＢｌｕｅｔｏｏｔｈ、ＷｉＦｉ（Wireless Fidelity）などの規格が採用可能である。また、これらの無線通信方式は、センサノード２とゲートウェイ４との間の無線通信にも共通して採用されてもよい。
As a method for realizing direct wireless communication between the
このように、第１の実施の形態におけるセンサノード２は、情報処理端末７が無線通信の通信可能エリア内に存在すれば、直接的な無線通信を用いて情報処理端末７との間でデータ通信を行うことが可能である。また、情報処理端末７が無線通信の通信可能エリア内に存在しない場合には、センサノード２は、ゲートウェイ４およびルータ５を介して、情報処理端末７との間でデータ通信を行うことができる。
As described above, the
なお、センサノード２と情報処理端末７との間で、どのルートを使用してデータ通信を行うかは、送受信する情報の種類によって選択されてもよい。例えば、監視情報２１１やセンサノード２に対する制御情報等はゲートウェイ４およびルータ５を介して送受信する。その一方で、センサノード２の存在を報知するビーコン信号等は直接的な無線通信により情報処理端末７に送信するようにしてもよい。
Note that which route is used for data communication between the
第１の実施の形態では、センサノード２（検出部２２）によって取得された監視情報２１１は、一旦、記憶装置２１に記憶された後、通信スケジュールに従って、通信部２３によりサーバ６に向けて送信される。
In the first embodiment, the
さらに、センサノード２の外面には、ＡＲマーカ２４が貼付されている。ＡＲマーカ２４とは、ＡＲ（Augmented Reality）技術において、画像合成や音声出力等の対象となる物体を識別するためのマーカであり、一般的には二次元画像として提供される。ＡＲマーカ２４については、従来から提案されているＡＲ技術を適宜採用することができるので、ここでは詳細な説明を省略する。ただし、少なくとも、ＡＲマーカ２４には、当該ＡＲマーカ２４が撮像された画像を画像解析することにより、当該ＡＲマーカ２４を特定（識別）するための識別子（以下、「マーカ識別子」と称する。）が含まれている。
Further, an
なお、ＡＲマーカ２４は必ずしもセンサノード２に貼付されていなければならないわけではない。例えば、冷蔵庫の消費電力を測定するためには、センサノード２を冷蔵庫の裏側に配置するのがよい場合がある。このような場合、冷蔵庫の裏側に配置されたセンサノード２に貼付されたＡＲマーカ２４を容易に撮像することはできない。したがって、このようにセンサノード２を直接撮像することが困難な場合などにおいては、ＡＲマーカ２４を当該冷蔵庫の外面等に貼付してもよい。また、例えば、複数のセンサノード２を一元的に管理するためのボードを作成し、当該ボードに全てのセンサノード２のＡＲマーカ２４を掲載するようにしてもよい。このような場合には、当該ボードを撮像するだけで、全てのセンサノード２のＡＲマーカ２４を撮像することが可能となり、管理が容易になる。
The
また、ＡＲマーカ２４は、１つのセンサノード２について複数存在してもよい。上記例では、センサノード２の外面、冷蔵庫の外面および管理ボードのそれぞれにＡＲマーカ２４が貼付されていてもよい。また、その場合、ＡＲマーカ２４は完全に同一でなくてもよい。
A plurality of
さらに、ＡＲマーカ２４をセンサノード２に貼付する手法は、接着剤が塗布されたシールを用いてもよいし、マグネット等により着脱自在に貼付してもよい。
Further, the
以上が、センサノード２についての説明である。なお、図１には特に図示していないが、センサノード２は、電源部（商用電源から電力の供給を受けるための構成や太陽光発電パネル、電池等）を備えており、当該電源部から供給される電力により動作する。また、センサノード２は、ユーザによって操作される操作部（電源ボタンや設定ボタン、テンキー等）や、ユーザに状況を知らせる出力部（ＬＥＤやブザー等）等を備えていてもよい。
The above is the description of the
図１に示す情報処理システム３は、ゲートウェイ４、ルータ５、サーバ６および情報処理端末７から構成されている。そして、情報処理システム３は、各装置（ゲートウェイ４、ルータ５、サーバ６および情報処理端末７）が、ネットワーク（インターネット９等）を介してデータ通信が可能な状態で接続された構成を有している。すなわち、情報処理システム３自体も、各装置がネットワークで接続されたネットワークシステムを構成している。これにより、詳細は後述するが、情報処理システム３は、センサノード２（より詳細には検出部２２）により取得された監視情報２１１をネットワーク（商用電力線８や無線通信）を介して収集し、管理・分析する機能を有している。
An
ゲートウェイ４は、センサノード２との通信をインターネット網に接続できる通信に変換する機能を有している。また、ルータ５は、ネットワークアドレス等を用いて、家庭内の装置（センサノード２や情報処理端末７等）を外部のインターネット９に接続する機能を提供する。なお、センサノード２が直接インターネット網に接続する機能を有する場合には、ゲートウェイ４を備えないシステム構成とすることもできる。
The
サーバ６は、主にセンサネットワークシステム１を提供する企業等に設置されるコンピュータシステム（複数のコンピュータやネットワークから構成されてもよい。）であり、通常は、サービスが提供されている間は随時起動されている。また、サーバ６は、インターネット９を介して家庭内に配置された各装置とデータ通信が可能となるように接続されている。なお、図１では、１つの家庭に設置されるシステムのみを図示しているが、一般には、各家庭にルータ５が設置され、複数の家庭においてサーバ６を共用するようにセンサネットワークシステム１が構築される。
The
第１の実施の形態におけるサーバ６は、センサノード２から送信された監視情報２１１を受信し、格納しておくデータベース（図示せず）を備えている。また、サーバ６は、情報処理端末７からの要求に応じて、データベースに格納している監視情報２１１を情報処理端末７に向けて送信する機能も有している。
The
一般にセンサノード２における記憶装置２１の記憶容量を大きくすることには限界があり、監視情報２１１を記憶装置２１に格納しておける時間には限界がある。したがって、センサノード２は、所定の通信間隔で監視情報２１１を情報処理システム３に向けて送信しなければ、データのオーバーフローを起こすことになる。しかし、センサネットワークシステム１がサーバ６（常時起動状態にある）を備えていることにより、ユーザが情報処理端末７をスタンバイさせていない期間においても、センサノード２によって取得された監視情報２１１を随時受け付けて蓄積することができる。
In general, there is a limit to increasing the storage capacity of the
また、サーバ６が、各家庭から送信される監視情報２１１を一元的に管理することにより、各家庭における監視情報２１１を比較分析あるいは統計学的に分析することもできる。したがって、個々の監視情報２１１に対する客観的で的確な状況判断が可能となり、それらをティーチング情報として監視情報２１１とともに情報処理端末７に送信することもできる。これによりユーザは、質のよいサービスの提供を受けることができるとともに、他人と競い合うという楽しみを得ることもでき、センサネットワークシステム１の利用が促進される。
Further, the
図３は、第１の実施の形態における情報処理端末７の構成を示すブロック図である。情報処理端末７は、各種データの演算を行うＣＰＵ７０、プログラム７１０を記憶する記憶装置７１、操作部７２および表示部７３を備えており、一般的なコンピュータとしての構成および機能を有している。また、情報処理端末７は、スピーカ７４、撮像部７５および通信部７６を備えている。
FIG. 3 is a block diagram illustrating a configuration of the
ＣＰＵ７０は、記憶装置７１に記憶されているプログラム７１０に従って動作することにより、様々な情報処理を実行するとともに、情報処理端末７が備える各構成を制御する。なお、ＣＰＵ７０の動作については後述する。
The
記憶装置７１は、様々な情報を適宜記憶しておく装置である。例えば、記憶装置７１は、プログラム７１０や演出元情報７１１、撮像部７５によって取得された撮像情報７１２、操作部７２により入力された指示情報７１４、通信部７６により受信された監視情報２１１を記憶する。
The
図３に示す演出元情報７１１とは、主に監視情報２１１を表現する媒体（以下、「表現媒体」と称する。）ごとに１つのレコードを構成する情報であって、当該レコードには、少なくとも表現媒体を識別するための識別子（以下、「表現媒体識別子」と称する。）が含まれている。表現媒体とは、主に動物や人物、擬人化された物体等のキャラクタが想定されるが、このような疑似生物に限定されるものではなく、例えば、操作ボタン等の物体が表現媒体であってもよいし、単なるメッセージであってもよい。演出元情報７１１についての詳細は後述する。
The
また、記憶装置７１は、ＣＰＵ７０により作成される報知履歴情報７１３を保存する機能も有している。報知履歴情報７１３とは、表示部７３およびスピーカ７４によって、実際にユーザに向けて報知された情報であるが詳細は後述する。
The
図３において記憶装置７１は１つのハードウェアとして図示しているが、実際の記憶装置７１は、読み取り専用のＲＯＭ（例えばブートＲＯＭなど）や、ＣＰＵ７０の一時的なワーキングエリアとして使用される比較的高速アクセス可能なＲＡＭ、あるいは、不揮発性の読み書き可能な比較的大容量のメモリ等、様々なハードウェアから構成されている。また、記憶装置７１は、スロット等に装着されたメモリカードや記録カセット、ＣＤ−ＲＯＭ等の可搬性の記録媒体が含まれてもよい。
In FIG. 3, the
操作部７２は、情報処理端末７に対して情報を入力するために、ユーザによって操作される。操作部７２としては、各種ボタンやキー等が該当する。なお、第１の実施の形態における操作部７２は、表示部７３の画面に設けられた接触検出器（タッチパネル）を備えている。
The
特に、操作部７２は、センサノード２に対する制御情報（センシング間隔や検出感度、通信スケジュール等を決定するための情報）となる指示情報７１４を取得する機能を有している。これにより、ユーザは、情報処理端末７の操作部７２を操作して、センサノード２を意図したとおりに動作させることが可能とされている。
In particular, the
表示部７３は、撮像部７５により取得される撮像情報７１２とともにＣＰＵ７０により作成される報知情報７１７（図４参照）を画面に表示することにより、これらの情報をユーザに向けて出力する。表示部７３は、画像を表示することが可能な表示装置（液晶パネル等）を備えているが、これ以外にも、ランプやＬＥＤ等が表示部７３として含まれていてもよい。
The
スピーカ７４は、音声を再生する装置である。詳細は後述するが、スピーカ７４は、報知情報７１７に含まれる音声情報を再生することにより、これらの情報をユーザに向けて出力する。
The
撮像部７５は、レンズや光学素子等から構成される一般的なデジタルカメラであり、現実世界を撮像して撮像情報７１２を取得する。詳細は後述するが、特に、撮像部７５は、センサノード２の外面に貼付されたＡＲマーカ２４を撮像するために使用される。また、本実施の形態では、情報処理端末７が撮像部７５および通信部７６を備えていることにより、撮像部７５は通信部７６と一体的な構造物を構成している。
The
通信部７６は、センサノード２との間で、直接的な無線通信を行う機能を有している。また、通信部７６は、ルータ５との間で、無線通信を行う機能も有している。これにより、情報処理端末７は、ユーザにより入力された指示情報７１４をセンサノード２に向けて送信することが可能であるとともに、センサノード２またはサーバ６から監視情報２１１を受信することも可能である。
The
また、通信部７６が無線通信機能を有しているため、情報処理端末７は、携帯性のある装置として実現されており、ユーザは情報処理端末７を任意の場所に携帯して撮像部７５による撮像を実行することができる。したがって、図示は省略しているが、情報処理端末７は、電池による駆動が可能なように構成されている。
In addition, since the
図４は、第１の実施の形態における情報処理端末７が備える機能ブロックをデータの流れとともに示す図である。図４に示す特定部７００、評価部７０１、作成部７０２および入出力制御部７０３は、ＣＰＵ７０がプログラム７１０に従って動作することにより実現される機能ブロックである。
FIG. 4 is a diagram illustrating functional blocks included in the
ここで、情報処理端末７が備える機能ブロックの説明を行う前に、演出元情報７１１と登録情報７１９について説明する。
Here, the
図５は、演出元情報７１１の構造を例示する図である。演出元情報７１１は、先述のように、表現媒体識別子（すなわち、表現媒体）ごとに１つのレコードを構成している。
FIG. 5 is a diagram illustrating the structure of the
演出元情報７１１の各レコードにおいて、表現媒体識別子と、当該表現媒体識別子によって特定される表現媒体による演出情報７１８とが関連づけられている。演出情報７１８とは、当該表現媒体による演出パターンを表現した情報であり、例えば、あるキャラクタにおいて、当該キャラクタが全力で疾走している画像やそのときの音声、台詞あるいはＢＧＭ等を表現した情報である。
In each record of the
演出元情報７１１において、１つの表現媒体識別子には、１以上の演出情報７１８が関連づけられている。図５に示す例では、CHR0001という表現媒体識別子に対して、event1〜event(n)の演出情報７１８が関連づけられている。すなわち、図５では、CHR0001という表現媒体識別子によって特定される表現媒体について、event1〜event(n)（すなわちｎ通り）の演出が用意されていることを示している。
In the
さらに、各演出情報７１８には、それぞれの演出情報７１８が選択される際の条件（以下、「演出選択条件」と称する。）が設定されており、これらの演出選択条件も、演出元情報７１１において各演出情報７１８と関連づけて格納されている。図５に示す例では、event1が選択される条件として、「０≦vol＜５」という演出選択条件が関連づけられている。ここで、「vol」とは、監視情報２１１の値であり、第１の実施の形態においては、電化製品の消費電力量である。
Furthermore, each
すなわち、詳細は後述するが、１つの表現主体識別子に関連づけられた１以上の演出情報７１８は、演出選択条件が決定されれば、それに対応する１つの演出情報７１８を特定することができるようにされている。そして、監視情報２１１に応じて演出選択条件が設定されていることにより、センサネットワークシステム１においては、監視情報２１１（センサノード２において取得された情報であり、現実世界の状況に応じて動的に変化する。）に応じて、演出情報７１８を選択することができる。
That is, although details will be described later, one or more pieces of
図５では、演出選択条件として、監視情報２１１に関わる部分のみ示しているが、実際には、さらに多くの演出選択条件が設定されている。例えば、後述する特定情報７１５に含まれるＡＲマーカ２４の大きさ、向き等に関する情報や距離情報７１６の値などが演出選択条件に設定されており、これらの違いによって選択される演出情報７１８が変化するように設定されている。したがって、例えば、監視情報２１１の値が同じであっても、ＡＲマーカ２４の向きが異なれば、表現媒体（キャラクタ）の向きが異なる画像となるように演出情報７１８が選択される。
In FIG. 5, only the portion related to the
なお、１つの表現媒体識別子に関連づけられる演出情報７１８の数は、各表現媒体識別子ごとに異なっていてもよい。また、各表現媒体識別子ごとに、演出選択条件が異なっていてもよい。
Note that the number of
図６は、登録情報７１９の構造を例示する図である。詳細は後述するが、本実施の形態における登録情報７１９は、図４に示す作成部７０２により作成され更新がされる。
FIG. 6 is a diagram illustrating the structure of
登録情報７１９は、図６に示すように、表現媒体識別子ごとに１つのレコードが作成される。ここに格納される表現媒体識別子は、演出元情報７１１に格納されている表現媒体識別子である。言い換えれば、演出元情報７１１が格納されている情報処理端末７が、当該演出元情報７１１によって使用することができる表現媒体の一覧である。
As shown in FIG. 6, in the
そして、登録情報７１９の各レコードにおいて、表現媒体識別子とセンサ識別子とマーカ識別子とが互いに関連づけられる。図６に示す例では、表現媒体識別子「CHR0001」が格納されているレコードには、センサ識別子「SEN0001」と、マーカ識別子「MRK0001」とが格納されており、これらが互いに関連づけられていることを示している。これは、センサ識別子「SEN0001」で示されるセンサノード２には、マーカ識別子「MRK0001」で示されるＡＲマーカ２４が貼付されて（対応して）おり、当該センサノード２により取得される監視情報２１１は表現媒体識別子「CHR0001」で示される表現媒体によって表現されることを意味する。
Then, in each record of the
なお、登録情報７１９に格納されていないセンサ識別子で示されるセンサノード２は、未だ、センサネットワークシステム１に登録されていないことを意味する。また、図６において「−」は、その項目には関連づけがされていないことを示す。すなわち、図６に示す例では、表現媒体識別子「CHR0002」には、対応するセンサノード２が未だ割り当てられておらず、いわば未使用の表現媒体識別子であることを示す。また、「other」は、登録情報７１９に登録されていない識別子（センサ識別子またはマーカ識別子）については、表現媒体識別子「CHR(X)」で示される表現媒体が関連づけられることを意味するが詳細は後述する。
Note that the
図４に戻って、特定部７００は、撮像部７５により取得された撮像情報７１２を画像解析することにより複数のセンサノード２の中から報知対象となるセンサノード２を特定する。言い換えれば、センサネットワークシステム１は、特定部７００により、報知対象となるセンサノード２が特定されたときには、ユーザに対して、当該センサノード２により取得された監視情報２１１に基づく報知を行う。
Returning to FIG. 4, the identifying
報知対象となるセンサノード２を特定するための具体手法としては、特定部７００が画像解析により撮像情報７１２からＡＲマーカ２４の画像を抽出する。撮像情報７１２からＡＲマーカ２４が抽出された場合には、特定部７００は、当該ＡＲマーカ２４の画像からマーカ識別子を読み取る。そして、登録情報７１９を参照し、読み取ったマーカ識別子に関連づけられているセンサ識別子が存在する場合には、当該センサ識別子を取得して、読み取ったマーカ識別子とともに特定情報７１５におけるレコードを作成する。すなわち、特定情報７１５におけるレコードにセンサ識別子が格納されていれば、当該格納されているセンサ識別子により、報知対象となるセンサノード２が特定されていることを意味する。一方、読み取ったマーカ識別子に関連づけられているセンサ識別子が登録情報７１９において存在しない場合、特定部７００は、読み取ったマーカ識別子により特定情報７１５におけるレコードを作成する。
As a specific method for specifying the
また、第１の実施の形態における特定部７００は、ＡＲマーカ２４が抽出された撮像情報７１２に基づいて、当該撮像情報７１２に撮像されているＡＲマーカ２４の状態を画像解析により判定する機能も有している。これにより、ＡＲマーカ２４の撮像情報７１２における画像内の位置や大きさ（例えば画素数）、向き等を認識し、これらの情報をマーカ識別子に関連づけて特定情報７１５に含める。
The identifying
また、特定部７００は、取得したＡＲマーカ２４の大きさと撮像部７５の撮像範囲とに基づいて、ＡＲマーカ２４（センサノード２）と撮像部７５（情報処理端末７）との距離を推定し、当該距離に関する情報をマーカ識別子に関連づけて特定情報７１５に含める。以下の説明では、特定部７００によって推定されたセンサノード２と情報処理端末７との間の距離を「第１推定距離」と称する。
Further, the specifying
なお、撮像情報７１２に撮像されているＡＲマーカ２４に基づいてどのような情報を取得するかは、ここに示したものに限定されるものではなく、また、これらを全て取得しなければならないわけでもない（ただし、先述のようにマーカ識別子を読み取ることは必要。）。撮像されたＡＲマーカ２４からどのような情報をどのような手法により読み取るかは、従来のＡＲ技術に提案されている技術を適宜適用することができる。
Note that what information is acquired based on the
さらに、特定部７００は、撮像情報７１２から画像が抽出されなくなったＡＲマーカ２４のマーカ識別子を特定し、当該マーカ識別子によって特定されるレコードを特定情報７１５から削除する機能も有している。このように、特定部７００によって定期的に更新されることにより、特定情報７１５は、撮像情報７１２に撮像されている状態のＡＲマーカ２４に関する情報となる。
Further, the specifying
図７は、特定情報７１５の構造を例示する図である。図７に示す例では、撮像情報７１２において、マーカ識別子「MRK0001」で示されるＡＲマーカ２４と、マーカ識別子「MRK0002」で示されるＡＲマーカ２４とが抽出されたことを示している。すなわち、これらのＡＲマーカ２４が撮像情報７１２に撮像されていることがわかる。
FIG. 7 is a diagram illustrating the structure of the
また、マーカ識別子「MRK0001」で示されるＡＲマーカ２４は、センサ識別子「SEN0001」で示されるセンサノード２に対応したＡＲマーカであることが分かる。さらに、マーカ識別子「MRK0002」で示されるＡＲマーカ２４は、未だ登録されていない未知のセンサノード２のＡＲマーカであることも分かる。
Further, it can be seen that the
評価部７０１は、通信部７６における無線通信の状態を評価する。より詳細には、通信部７６が直接的な無線通信を介してセンサノード２から受信した情報（図４においてはセンサノード２から受信した監視情報２１１を例に示す。）について、そのときの無線通信における受信信号強度（ＲＳＳＩ：Received Signal Strength Indicator）を評価し、当該受信信号強度に応じて情報処理端末７（撮像部７５および通信部７６）とセンサノード２との距離を推定する。評価部７０１は、センサノード２から受信した情報に含まれているセンサ識別子と、当該受信した情報における受信信号強度に応じて推定した距離とを関連づけて距離情報７１６を作成する。以下の説明では、評価部７０１によって推定されたセンサノード２と情報処理端末７との間の距離を「第２推定距離」と称する。
The
また、評価部７０１は、直接的な無線通信がとぎれたセンサノード２（例えば、所定の期間、応答のないセンサノード２）のセンサ識別子と、当該センサ識別子に関連づけられている第２推定距離とを距離情報７１６から削除する機能も有している。このように、評価部７０１によって定期的に更新されることにより、距離情報７１６は、情報処理端末７との間で、直接的な無線通信が確立されている状態のセンサノード２を示すセンサ識別子と、当該センサノード２における第２推定距離とを示す情報となる。
In addition, the
作成部７０２は、図４において図示を省略しているが、演出元情報７１１における表現媒体識別子と、センサ識別子と、マーカ識別子とを互いに関連づけ、図３に示す登録情報７１９を作成する機能を有している。なお、登録情報７１９については、後述する。
Although not shown in FIG. 4, the creating
作成部７０２は、特定部７００により特定された報知対象となるセンサノード２に対応した報知情報７１７を作成する。より詳細には、作成部７０２は、特定情報７１５を参照して、センサ識別子を取得し、当該センサ識別子を通信部７６に伝達して、当該センサ識別子によって識別されるセンサノード２（報知対象となるセンサノード２）により取得された監視情報２１１を送信するように通信部７６に要求させる。
The
通信部７６が監視情報２１１を受信すると、特定情報７１５から取得したセンサ識別子により登録情報７１９を参照し、当該センサ識別子に関連づけられている表現媒体識別子を取得する。そして、演出元情報７１１を参照し、取得した表現媒体識別子に関連づけられている演出情報７１８の中から、受信した監視情報２１１に応じて（当該監視情報２１１を演出選択条件の１つとして設定して）、演出情報７１８を選択し、選択した演出情報７１８を含む報知情報７１７を作成する。作成部７０２がこのようにして報知情報７１７を作成することにより、報知情報７１７は、対応するセンサノード２により取得された監視情報２１１に応じた演出情報７１８を含む情報として作成される。
When the
なお、報知情報７１７は、センサネットワークシステム１がユーザに向けて報知すべきと判定した情報である。したがって、監視情報２１１によらない情報（例えば、単に定期的に表示するメッセージ）や、演出元情報７１１から選択された演出情報７１８以外の情報（例えば、サーバ６からのティーチング情報）、あるいは、監視情報２１１自体やその一部等を含んでいてもよい。
The
また、作成部７０２は、演出元情報７１１から演出情報７１８を選択する際の演出選択条件として、特定情報７１５に含まれるマーカ識別子以外の情報や、距離情報７１６等の情報を設定する。したがって、これらの情報によっても、選択される演出情報７１８が変化するため、よりバラエティーに富んだ表現（情報提供）が可能となる。
In addition, the
入出力制御部７０３は、表示部７３を制御して表示部７３に様々な情報を視覚情報として表示させるとともに、スピーカ７４を制御してスピーカ７４に様々な情報を音声として再生させる。また、入出力制御部７０３は、ユーザにより操作部７２に対する操作がされた場合に、当該操作に応じて指示情報７１４を作成する。すなわち、入出力制御部７０３は、情報処理端末７において、一種のＧＵＩを提供する機能をも有している。
The input /
特に、入出力制御部７０３は、撮像部７５により取得された撮像情報７１２とともに作成部７０２により作成された報知情報７１７を、表示部７３およびスピーカ７４に出力させる。より詳細には、入出力制御部７０３は、報知情報７１７に含まれる画像に関する情報を撮像情報７１２にオーバーレイ（画像合成）させて表示部７３の画面に表示させる。一方、入出力制御部７０３は、報知情報７１７に含まれる音声に関する情報をスピーカ７４に再生させる。
In particular, the input /
また、入出力制御部７０３は、入力された指示情報７１４によっては、当該指示情報７１４を作成部７０２に伝達する。これにより、作成部７０２は、ユーザの操作に応じて、報知情報７１７を更新する。例えば、報知情報７１７として、一旦、特定の演出のキャラクタを表示した後、ユーザが当該キャラクタの画像に触れる（タッチパネル操作に相当する）と、当該キャラクタが監視情報２１１について説明するような演出（あらたな演出情報７１８）の報知情報７１７を作成する。
Further, the input /
また、入出力制御部７０３は、表示部７３およびスピーカ７４に出力された情報を報知履歴情報７１３として記憶装置７１に保存するとともに、保存された報知履歴情報７１３を表示部７３やスピーカ７４に再生させる機能も有している。報知履歴情報７１３としては、主に報知情報７１７が想定されるが、好ましくは当該報知情報７１７とともに出力された撮像情報７１２を含む。すなわち、入出力制御部７０３は、報知情報７１７を報知履歴情報７１３としてアーカイブする機能を有している。
Further, the input /
これにより、ユーザは、例えば、出現した演出（レアな演出など）を保存しておくことができ、他のユーザに見せて自慢したり、他のアプリケーションと連携させて利用したり、あるいは、サーバ６を介して特典を得たりすることができる。すなわち、ユーザに様々なバリエーションの楽しみ方を提供できる。なお、報知履歴情報７１３に含まれる報知情報７１７は、実際に出力された報知情報７１７の一部のみ（例えば演出情報７１８のみ）であってもよい。また、このような選択は、操作部７２から入力される指示情報７１４に応じて決定されてもよい。
As a result, the user can, for example, save the appearing effects (rare effects, etc.), show them to other users, be proud of, use in cooperation with other applications, or use a server Benefits can be obtained through 6. That is, it is possible to provide the user with various ways of enjoying. Note that the
以上が、第１の実施の形態におけるセンサネットワークシステム１の構成および機能の説明である。
The above is description of the structure and function of the
次に、センサネットワークシステム１を用いて、監視情報２１１を提供する方法について説明する。
Next, a method for providing the
図８は、第１の実施の形態における情報提供方法を示す流れ図である。図８は、主に、情報処理端末７の処理を示している。なお、図８に示す処理が開始されるまでに、情報処理端末７は電源が投入されており、ルータ５との間の通信が確保されているものとする。また、以下の説明では説明を省略するが、センサネットワークシステム１では、センサノード２における監視情報２１１の取得、および、センサノード２からサーバ６への監視情報２１１の送信は、所定のスケジュールに従って実行されているものとする。
FIG. 8 is a flowchart showing an information providing method according to the first embodiment. FIG. 8 mainly shows the processing of the
図８に示す処理が開始されると、情報処理端末７は、消費電力量を確認するためのアプリケーションが起動されたか（ステップＳ１）、および、ユーザにより全ての処理を終了するように指示がされたか（ステップＳ４）を監視する状態となる。
When the processing shown in FIG. 8 is started, the
この状態において、消費電力量を確認するためのアプリケーションが起動されると、ＣＰＵ７０は、ステップＳ１においてＹｅｓと判定し、情報提供処理を実行する（ステップＳ２）。なお、当該アプリケーションが起動される契機として想定されるものとしては、例えば、ユーザによる起動指示、サーバ６からの警報受信（監視情報２１１による異常検出等）、センサノード２からの登録要求受信、当該アプリケーションを格納した記憶媒体の情報処理端末７への装着、情報処理端末７の電源投入などがある。
In this state, when an application for confirming the power consumption is started, the
図８に示すように、ステップＳ２の情報提供処理は、一旦、アプリケーションが起動されると、当該アプリケーションの終了が指示されるまで（ステップＳ３においてＹｅｓと判定されるまで）継続される。また、当該アプリケーションが起動されている状況において、全ての処理を終了するように指示がされた場合は、情報処理端末７は、まず、ステップＳ３においてＹｅｓと判定し、アプリケーションを終了した後、ステップＳ４においてＹｅｓと判定し、全ての処理を終了するものとする。
As shown in FIG. 8, once the application is started, the information providing process in step S2 is continued until the end of the application is instructed (Yes in step S3). In the situation where the application is activated, if an instruction is given to end all processing, the
図９は、ステップＳ２における情報提供処理を示す流れ図である。情報提供処理とは、特定情報作成処理（ステップＳ１１）、距離情報作成処理（ステップＳ１２）、第１出力処理（ステップＳ１３）、第２出力処理（ステップＳ１４）、および、指示受付処理（ステップＳ１５）が、それぞれ並列処理される処理である。 FIG. 9 is a flowchart showing the information providing process in step S2. The information provision processing includes specific information creation processing (step S11), distance information creation processing (step S12), first output processing (step S13), second output processing (step S14), and instruction reception processing (step S15). ) Are processes that are processed in parallel.
先述のように、情報提供処理は、アプリケーションの終了が指示されるまで継続される処理である。したがって、ステップＳ１１ないしＳ１５における処理は、情報提供処理が継続される間、随時、実行される処理である。 As described above, the information providing process is a process that continues until an application termination instruction is given. Therefore, the processes in steps S11 to S15 are processes that are executed as needed while the information providing process is continued.
図１０は、特定情報作成処理を示す流れ図である。特定情報作成処理では、まず、撮像部７５によって撮像情報７１２が取得される（ステップＳ１１０）。次に、特定部７００によって、ステップＳ１１０において取得された撮像情報７１２に対する画像解析が実行される（ステップＳ１１１）。
FIG. 10 is a flowchart showing specific information creation processing. In the specific information creation process, first, imaging
ステップＳ１１１では、撮像情報７１２からＡＲマーカ２４の画像を抽出する処理が行われ、ＡＲマーカ２４の画像が抽出された場合には、当該抽出されたＡＲマーカの画像から、さらに、マーカ識別子、ＡＲマーカ２４の大きさ、向き、第１推定距離、位置等の情報が取得される。ステップＳ１１１では、複数のＡＲマーカ２４について画像が抽出された場合は、それぞれについてマーカ識別子、ＡＲマーカ２４の大きさ、向き、第１推定距離、位置等の情報の取得がされる。
In step S111, the process of extracting the image of the
ステップＳ１１１の画像解析が終了すると、特定部７００は、１つでもＡＲマーカ２４の画像が抽出されたか否かを判定する（ステップＳ１１２）。
When the image analysis in step S111 ends, the identifying
ＡＲマーカ２４の画像がまったく抽出されなかった場合、特定部７００はステップＳ１１２においてＮｏと判定し、ステップＳ１１３ないしＳ１１８の処理をスキップし、特定情報７１５においてステップＳ１１７が実行されなかったレコード（この場合は全レコード）を特定情報７１５から削除する（ステップＳ１１９）。すなわち、撮像情報７１２に、ＡＲマーカ２４がまったく撮像されていない場合には、ステップＳ１１２においてＮｏと判定され、特定情報７１５の全レコードが削除される。
When the image of the
ステップＳ１１１においてＡＲマーカ２４の画像が少なくとも１つ抽出された場合、特定部７００はステップＳ１１２においてＹｅｓと判定し、抽出されたいずれかのＡＲマーカ２４の画像から認識されたマーカ識別子を取得する（ステップＳ１１３）。次に、特定部７００は、特定情報７１５を参照し、ステップＳ１１３で取得したマーカ識別子が格納されているレコードが存在するか否かを判定する（ステップＳ１１４）。
When at least one image of the
該当するレコードが存在する場合は、当該レコードを特定し（ステップＳ１１５）、当該レコードに、ステップＳ１１３で取得されたマーカ識別子とともに、ステップＳ１１１における画像解析において取得されたＡＲマーカ２４の大きさ、向き、第１推定距離、位置等の情報が上書きで格納される（ステップＳ１１７）。
When the corresponding record exists, the record is specified (step S115), and the size and direction of the
一方、ステップＳ１１４において該当するレコードが存在しない場合、特定部７００は、特定情報７１５の新たなレコードを作成し、当該レコードに、ステップＳ１１３で取得されたマーカ識別子とともに、ステップＳ１１１における画像解析において取得されたＡＲマーカ２４の大きさ、向き、第１推定距離、位置等の情報を格納する（ステップＳ１１７）。
On the other hand, if there is no corresponding record in step S114, the specifying
特定部７００は、ステップＳ１１１における画像解析において抽出された全てのＡＲマーカについてステップＳ１１３ないしステップＳ１１７の処理が終了したか否かを判定する（ステップＳ１１８）。
The identifying
ステップＳ１１８において、全てのＡＲマーカ２４についての処理が未だ終了していない場合は、それらのＡＲマーカ２４についてステップＳ１１３からの処理を繰り返す。一方、全てのＡＲマーカ２４についての処理が終了している場合は、特定情報７１５のレコードのうち、今回の特定情報作成処理においてステップＳ１１７が実行されなかったレコードを特定情報７１５から削除する（ステップＳ１１９）。
If the processes for all the
特定情報７１５のレコードについて、ステップＳ１１７が実行されなかったレコードとは、直前までの撮像情報７１２には撮像されていたが、今回の特定情報作成処理においては、撮像情報７１２に撮像されなくなったＡＲマーカ２４に関するレコードである。したがって、ステップＳ１１９において、このようなレコードを削除することにより、特定情報７１５には、最新の撮像情報７１２に撮像されているＡＲマーカ２４に関するレコードのみ存在する状態となる。
Regarding the record of the
ステップＳ１１９を実行すると、特定部７００は特定情報作成処理を一旦終了して、図９に示す処理に戻る。
When step S119 is executed, the specifying
図１１は、距離情報作成処理を示す流れ図である。距離情報作成処理では、まず、情報処理端末７とセンサノード２との間の直接的な無線通信についてリンクが張られているか否かの確認がされる（ステップＳ１２１）。言い換えれば、情報処理端末７との直接的な無線通信が可能なセンサノード２がステップＳ１２１において検出される。
FIG. 11 is a flowchart showing the distance information creation process. In the distance information creation process, first, it is confirmed whether or not a link is established for direct wireless communication between the
ステップＳ１２１における処理は、無線通信のネゴシエーションに関する従来の技術を適用できるが、例えば、情報処理端末７から周囲のセンサノード２に対して応答要求を送信し、これに応答したセンサノード２を検出するという方法が考えられる。
For the processing in step S121, a conventional technique related to wireless communication negotiation can be applied. For example, a response request is transmitted from the
次に、評価部７０１が、通信部７６が直接的な無線通信によりセンサノード２から受信した情報が存在していることを確認することにより、少なくとも１つのセンサノード２との間で、リンクが確認できたか否かを判定する（ステップＳ１２１）。
Next, the
直接的な無線通信が可能なセンサノード２が１つも存在しないときは、評価部７０１は、ステップＳ１２１においてＮｏと判定し、距離情報７１６のレコードのうち、ステップＳ１２７が実行されなかったレコード（この場合は全レコード）を距離情報７１６から削除する（ステップＳ１２９）。すなわち、直接的な無線通信が可能なセンサノード２が周囲に存在しないとき、ステップＳ１２１においてＮｏと判定され、距離情報７１６の全レコードが削除される。
When there is no
ステップＳ１２０において、少なくとも１つのセンサノード２との間にリンクが確認でた場合、評価部７０１は、ステップＳ１２１においてＹｅｓと判定し、確認されたいずれかのセンサノード２から受信した情報からセンサ識別子を取得する（ステップＳ１２２）。
In step S120, when the link is confirmed with at least one
次に、評価部７０１は、ステップＳ１２２においてセンサ識別子を取得した情報の受信信号強度に基づいて、当該情報を送信したセンサノード２（すなわちステップＳ１２２において取得したセンサ識別子で示されるセンサノード２）と、情報処理端末７との間の第２推定距離を推定する（ステップＳ１２３）。
Next, the
さらに、評価部７０１は、距離情報７１６を参照し、ステップＳ１２２において取得したセンサ識別子が格納されているレコードが距離情報７１６に存在しているか否かを判定する（ステップＳ１２４）。
Furthermore, the
そして、該当するレコードが存在する場合（ステップＳ１２４においてＹｅｓ）、当該レコードを特定し、当該レコードに、ステップＳ１２３において推定した第２推定距離を上書きで格納する（ステップＳ１２７）。 If the corresponding record exists (Yes in step S124), the record is specified, and the second estimated distance estimated in step S123 is stored in the record by overwriting (step S127).
一方、ステップＳ１２４において該当するレコードが存在しない場合（ステップＳ１２４においてＮｏ）、評価部７０１は、距離情報７１６の新たなレコードを作成し、当該レコードに、ステップＳ１２３で推定した第２推定距離を格納する（ステップＳ１２７）。
On the other hand, when there is no corresponding record in step S124 (No in step S124), the
ステップＳ１２７を実行すると、評価部７０１は、ステップＳ１２０においてリンクが確認できた全てのセンサノード２について、ステップＳ１２２ないしＳ１２７の処理が終了したか否かを判定する（ステップＳ１２８）。
When step S127 is executed, the
ステップＳ１２８において、未だ、全てのセンサノード２についての処理が終了していない場合は、ステップＳ１２２に戻って処理を繰り返す。一方、ステップＳ１２８において、すでに全てのセンサノード２についての処理が終了している場合は、今回の距離情報作成処理においてステップＳ１２７が実行されなかった距離情報７１６のレコードを削除する（ステップＳ１２９）。
In step S128, when the processes for all the
距離情報７１６のレコードについて、ステップＳ１２７の処理が実行されなかったレコードとは、直前の距離情報作成処理においては直接的な無線通信が可能であったが、今回の距離情報作成処理においては直接的な無線通信が不能になったセンサノード２に関するレコードである。したがって、ステップＳ１２９において、このようなレコードを距離情報７１６から削除することにより、距離情報７１６は、情報処理端末７との間の直接的な無線通信が可能な状態のセンサノード２に関するレコードのみとなる。
With respect to the record of the
ステップＳ１２９を実行すると、評価部７０１は、距離情報作成処理を一旦終了し、図９に示す処理に戻る。
If step S129 is performed, the
図１２は、第１出力処理を示す流れ図である。第１出力処理とは、撮像情報７１２に撮像されているＡＲマーカ２４に対応したセンサノード２について、当該センサノード２により取得された監視情報２１１に応じた演出情報７１８を、表示部７３およびスピーカ７４に出力する処理である。
FIG. 12 is a flowchart showing the first output process. In the first output process, with respect to the
第１出力処理では、まず、作成部７０２が特定情報７１５を参照し、当該特定情報７１５に未処理のレコードが存在するか否かを判定する（ステップＳ１３０）。ここで、未処理とは、後述するステップＳ１３１ないしＳ１３９に示す処理が実行されていないレコードのことである。
In the first output process, first, the
すでに特定情報作成処理で説明したように、本実施の形態では、特定情報７１５に存在するレコードは、最新の撮像情報７１２において、ＡＲマーカ２４が撮像されているセンサノード２に関するレコードである。情報処理端末７は、このようなセンサノード２については、後述するステップＳ１３１ないしＳ１３９に示す処理を実行し、入出力制御部７０３が表示部７３およびスピーカ７４に報知情報７１７を出力させる。
As already described in the specific information creation processing, in the present embodiment, the record that exists in the
ステップＳ１３０においてＮｏと判定された場合、特定情報７１５に未処理のレコードがすでに存在しない状態であるので、作成部７０２は、第１出力処理を一旦終了して図９の処理に戻る。
When it is determined No in step S130, since there is no unprocessed record in the
一方、ステップＳ１３０においてＹｅｓと判定された場合、作成部７０２は、当該レコードからマーカ識別子を取得する（ステップＳ１３１）。次に、特定情報７１５において、当該マーカ識別子にセンサ識別子が関連づけられているか否かを判定することにより、当該マーカ識別子により示されるＡＲマーカ２４（撮像されているＡＲマーカ２４）に対応するセンサノード２が、すでにセンサネットワークシステム１に登録されているか否かを判定する（ステップＳ１３２）。
On the other hand, when it determines with Yes in step S130, the production |
ステップＳ１３１において取得したマーカ識別子により示されるＡＲマーカ２４に対応するセンサノード２が、未だセンサネットワークシステム１に登録されていない場合、作成部７０２は登録処理を実行し（ステップＳ１３３）、ステップＳ１３０の処理に戻る。なお、登録処理とは、未だセンサネットワークシステム１に登録されていないセンサノード２を、センサネットワークシステム１に登録する処理であるが、詳細は後述する。
When the
ステップＳ１３２においてＹｅｓと判定すると、作成部７０２は、登録情報７１９を参照し、ステップＳ１３１において取得したマーカ識別子に関連づけられているセンサ識別子および表現媒体識別子を取得する（ステップＳ１３４）。これにより、当該マーカ識別子により示されるＡＲマーカ２４に対応するセンサノード２が特定されるとともに、当該センサノード２に割り当てられた表現媒体が特定される。
If it determines with Yes in step S132, the production |
次に、作成部７０２は、ステップＳ１３４で取得したセンサ識別子を通信部７６に伝達する。これにより、通信部７６は、当該センサ識別子により示されるセンサノード２により取得された監視情報２１１を送信するように、センサノード２（あるいはサーバ６）に要求する。この要求に対しては、センサノード２から最新の監視情報２１１が送信されることが好ましいが、例えば、サーバ６のデータベースに蓄積されている監視情報２１１の中から最新の監視情報２１１が送信されてもよい。
Next, the
通信部７６からの要求に対して送信された監視情報２１１を受信すると（ステップＳ１３５）、作成部７０２は受信した監視情報２１１を取得して演出選択条件とするとともに、ステップＳ１３４において取得したセンサ識別子が格納されているレコードが距離情報７１６に存在するか否かを判定する（ステップＳ１３６）。
When the
本実施の形態では、ステップＳ１３５において受信した監視情報２１１が、センサノード２から送信されたものであったとしても、ゲートウェイ４およびルータ５を介して受信されている場合もありうる。すなわち、必ずしも直接的な無線通信により受信されるとは限らず、当該無線通信が情報処理端末７との間で確立できているとも限らない。そこで、作成部７０２は、距離情報７１６を参照して、当該センサ識別子で示されるセンサノード２との間に、直接的な無線通信が確立されているか否かを判定するのである。
In the present embodiment, even if the
ステップＳ１３６においてＹｅｓと判定すると、作成部７０２は、距離情報７１６から当該センサ識別子に関連づけられている第２推定距離を取得して、演出選択条件とする。
If it determines with Yes in step S136, the
一方、ステップＳ１３６においてＮｏと判定すると、作成部７０２は、ステップＳ１３７をスキップする。すなわち、第２推定距離は演出選択条件とはされない。ただし、当該センサノード２との間に、「直接的な無線通信が確立できていない」という事象は演出選択条件とされてもよい。
On the other hand, if it determines with No in step S136, the
センサノード２とＡＲマーカ２４とが比較的近距離に存在する場合であれば、ＡＲマーカ２４が撮像されている（特定情報７１５のレコードが存在する）にも関わらず、センサノード２との間の直接的な無線通信が確立できていない（距離情報７１６のレコードが存在しない）ということは、なんらかのトラブルが考えられる。しかし、センサノード２と離れた場所に設置された管理ボード等にＡＲマーカ２４が貼付されている場合、このような現象は、ただちにトラブルを示すものとはいえない。
If the
次に、作成部７０２は、特定情報７１５を参照し、ステップＳ１３１において取得したマーカ識別子に関連づけて格納されている情報（ＡＲマーカ２４の大きさ、向き、第１推定距離、位置等）を取得し、これらを演出選択条件とする。そして、ステップＳ１３４で取得した表現媒体識別子と、これまでに設定した演出選択条件によって、演出元情報７１１の当該表現媒体識別子に関連づけられている演出情報７１８の中から、当該演出選択条件に合致する演出情報７１８を選択する（ステップＳ１３８）。
Next, the
すでに説明したように、ステップＳ１３５において、監視情報２１１は演出選択条件に設定されている。したがって、作成部７０２がステップＳ１３８を実行することにより、演出情報７１８は、監視情報２１１に応じて選択される。
As already described, in step S135, the
なお、本実施の形態では、第１推定距離および第２推定距離の両方が求まるときには両者の平均値を演出選択条件として設定する。ただし、これらの値を重畳的に演出選択条件として設定してもよいし、いずれか一方を優先的に採用してもよい。このように、演出選択条件に、情報処理端末７（撮像部７５）とセンサノード２との距離が設定されることにより、当該距離の変化によって選択される演出情報７１８を変更でき、表現媒体による演出を変化させることができる。
In the present embodiment, when both the first estimated distance and the second estimated distance are obtained, the average value of both is set as the effect selection condition. However, these values may be set as an effect selection condition in a superimposed manner, or either one may be preferentially adopted. In this way, by setting the distance between the information processing terminal 7 (imaging unit 75) and the
演出情報７１８の選択が終了すると、作成部７０２は、選択した演出情報７１８を含む報知情報７１７を作成する。そして、入出力制御部７０３が、作成された報知情報７１７を撮像情報７１２とともに表示部７３およびスピーカ７４に出力させる（ステップＳ１３９）。より詳細には、報知情報７１７のうち画像に関する情報については撮像情報７１２に画像合成して表示部７３に表示させるとともに、報知情報７１７のうち音声に関する情報についてはスピーカ７４に再生させる。
When the selection of the
このように、情報処理端末７の撮像部７５によって、センサノード２（ＡＲマーカ２４）を撮像することにより、当該ＡＲマーカ２４が撮像されている位置（主にセンサノード２の近傍）に、当該センサノード２により取得された監視情報２１１に応じた演出情報７１８を表示することができる。したがって、例えば、撮像しているセンサノード２に割り当てられた仮想的なキャラクタを、現実世界を表現した撮像情報７１２に合成して表示することができるとともに、当該キャラクタに現実世界の状況に応じて動的に変化する監視情報２１１を表現させることにより、仮想（バーチャル）と現実（リアル）との融合を図ることができる。これにより、センサネットワークシステム１は、ユーザが把握しやすい状態で監視情報２１１を提供できるとともに、ユーザを楽しませることができ、飽きさせないアプリケーションを提供することができる。
Thus, by imaging the sensor node 2 (AR marker 24) by the
なお、撮像情報７１２において抽出されたＡＲマーカ２４の画像は、当該撮像情報７１２において、入出力制御部７０３により他の画像に置換（あるいは修正）されてもよい。ＡＲマーカ２４の画像が表示部７３に表示されたとしても、ユーザは当該画像を意味のある情報として認識することは困難である。それどころか、ＡＲマーカ２４の画像が表示されることによって、表示部７３により提供される報知情報７１７が見づらくなるおそれもある。したがって、ＡＲマーカ２４の画像を、例えば、センサノード２の外面色で塗りつぶす等の画像処理を施すことにより、報知情報７１７がより見やすくなる効果がある。
Note that the image of the
次に、ステップＳ１３３の登録処理について説明する。 Next, the registration process in step S133 will be described.
図１３は、登録処理を示す流れ図である。登録処理が開始されると、まず、作成部７０２は、ステップＳ１３１において取得されたマーカ識別子に関連づけられている表現媒体識別子を登録情報７１９から取得する（ステップＳ２１）。
FIG. 13 is a flowchart showing the registration process. When the registration process is started, first, the
なお、当該マーカ識別子に対応するセンサノード２は、未だセンサネットワークシステム１に登録されていないので、ステップＳ２１が実行されるときにおいて、当該マーカ識別子に一致するマーカ識別子は登録情報７１９には存在していない。しかし、このような場合、作成部７０２は、マーカ識別子「other（図６参照）」に関連づけられている表現媒体識別子「CHR(X)」を取得する。すなわち、表現媒体識別子「CHR(X)」は、登録情報７１９において未登録のマーカ識別子（一致するマーカ識別子が存在しないマーカ識別子）対応する表現媒体識別子である。
Since the
次に、作成部７０２は、ステップＳ１３４において取得したマーカ識別子に関連づけて格納されている情報（ＡＲマーカ２４の大きさ、向き、第１推定距離、位置等）を、特定情報７１５から取得して演出選択条件として設定する。そして、ステップＳ２１において取得した表現媒体識別子に関連づけられている演出情報７１８の中から、当該演出選択条件に応じて演出情報７１８を選択する（ステップＳ２２）。
Next, the
演出情報７１８の選択が完了すると、作成部７０２は、ステップＳ２２において選択した演出情報７１８を含む報知情報７１７を作成する（ステップＳ２３）。さらに、入出力制御部７０３が、撮像情報７１２とともに、ステップＳ２３において作成された報知情報７１７を出力させる。
When the selection of the
表現媒体識別子「CHR(X)」で示される表現媒体は、いわば未登録のセンサノード２に割り当てられる表現媒体である。このような表現媒体として、例えば、表情等が判然としない影としてのキャラクタ等が考えられる。そして、このような正体不明のキャラクタが撮像情報７１２に合成されて、表示されることによって、ユーザは、当該センサノード２（ＡＲマーカ２４）が未登録であることを容易に理解する。
The expression medium indicated by the expression medium identifier “CHR (X)” is an expression medium assigned to an
ステップＳ２４が実行されて、当該ＡＲマーカ２４が貼付されているセンサノード２が未登録であることを知らせる報知情報７１７が出力されると、入出力制御部７０３は当該センサノード２を登録するか否かの指示を受け付ける状態となる。この状態で、操作部７２か操作され、登録することが指示されると、入出力制御部７０３はステップＳ２５においてＹｅｓと判定する。一方、登録しないことが指示された場合は、入出力制御部７０３は、ステップＳ２６ないしＳ２９の処理をスキップして、登録処理を終了し、図１２の処理に戻る。
When step S24 is executed and
ステップＳ２５においてＹｅｓと判定されると、作成部７０２が、登録処理を行うことを演出選択条件に設定して、演出情報７１８の選択を行い、ステップＳ２２において選択された演出情報７１８が変更される（ステップＳ２６）。この変更された演出情報７１８に基づいて、ステップＳ２３およびＳ２４と同等の処理が実行され、表示部７３の表示が変更される。例えば、このとき表示される表示媒体としては、ペアリングするための操作ボタン等が想定される。
If it determines with Yes in step S25, the production |
次に、ＣＰＵ７０は、未登録のセンサノード２から登録要求を示す信号を受信するまで待機する状態となる（ステップＳ２７）。なお、この待機状態にはタイムアウト等のエラー処理が設けられていることが望ましい。
Next, the
ステップＳ２７により待機状態にある間に、操作部７２が操作されると（上記例における表示媒体としての操作ボタンがタッチされる等）、実質的に、撮像範囲内に存在するセンサノード２のみが受信できるレベルで、通信部７６が登録要求の送信要求を送信する。これに応答して登録要求が受信されると（ステップＳ２７においてＹｅｓ）、作成部７０２は、当該受信された登録要求に含まれている当該登録要求を送信したセンサノード２を示すセンサ識別子を取得する（ステップＳ２８）。
When the
このようにして新たに登録されるべきセンサノード２を示すセンサ識別子が取得されると、作成部７０２は、登録情報７１９を参照して、未だ、センサ識別子と関連づけられていない表現媒体識別子を特定する。さらに、特定した当該表現媒体識別子が格納されているレコード（登録情報７１９のレコード）に、ステップＳ１３１で取得したマーカ識別子とステップＳ２８で取得したセンサ識別子とを格納することにより登録情報７１９を更新する（ステップＳ２９）。これによって、新しく登録されたセンサノード２のセンサ識別子がセンサネットワークシステム１に取得されるとともに、当該センサノード２に、１つの表現媒体が割り当てられ、当該センサノード２に対応するＡＲマーカ２４のマーカ識別子も関連づけられる。
When the sensor identifier indicating the
ステップＳ２９を実行すると、作成部７０２は、登録処理を終了して、図１２に示す処理に戻る。
When step S29 is executed, the
図１４は、第２出力処理を示す流れ図である。第２出力処理とは、直接的な無線通信が確立しており、情報処理端末７の周囲にセンサノード２が存在している蓋然性が高いにもかかわらず、撮像情報７１２にはＡＲマーカ２４が撮像されていない場合において、報知情報７１７を出力する処理である。
FIG. 14 is a flowchart showing the second output process. In the second output process, although direct wireless communication has been established and there is a high probability that the
一般的なＡＲ技術においては、ＡＲマーカ２４が撮像されない限り、報知情報７１７を表示することはできない。しかし、第１の実施の形態におけるセンサネットワークシステム１では、情報処理端末７とセンサノード２とが、直接的な無線通信を行う機能を有しているため、このような場合でも、適切な報知情報７１７を出力することが可能である。
In general AR technology, the
第２出力処理では、まず、作成部７０２が距離情報７１６を参照し、未処理のレコードが存在するか否かを判定する（ステップＳ１４１）。ステップＳ１４１において未処理のレコードとは、ステップＳ１４２ないしＳ１４９の処理がされていないレコードのことである。
In the second output process, first, the
未処理のレコードが存在しない場合には、作成部７０２は、ステップＳ１４１においてＮｏと判定し、第２出力処理を一旦終了して図９の処理に戻る。
If there is no unprocessed record, the creating
一方、未処理のレコードが存在する場合には、作成部７０２は、当該レコードに格納されているセンサ識別子を取得する（ステップＳ１４２）。このとき取得されるセンサ識別子は、情報処理端末７との間で、直接的な無線通信が確立されている状態のセンサノード２のセンサ識別子である。
On the other hand, when there is an unprocessed record, the
次に、作成部７０２は、ステップＳ１４２において取得されたセンサ識別子が特定情報７１５に格納されているか否かを判定する（ステップＳ１４３）。特定情報７１５に格納されているセンサ識別子とは、対応するＡＲマーカ２４が撮像情報７１２において撮像されているセンサノード２を示すセンサ識別子である。
Next, the creating
ステップＳ１４３においてＹｅｓと判定すると、作成部７０２は、当該センサ識別子で示されるセンサノード２が、撮像情報７１２によって特定可能であり、このようなセンサノード２に対しては、すでに説明した第１出力処理を優先させるべく、第２出力処理による報知情報７１７の出力（後述するステップＳ１４９）をスキップして、ステップＳ１４１の処理に戻る。
If it is determined Yes in step S143, the
ステップＳ１４２において取得したセンサ識別子が特定情報７１５に格納されていない場合（ステップＳ１４３においてＮｏ）、作成部７０２は、登録情報７１９を参照して、当該センサ識別子が登録情報７１９に登録されているか否かをさらに判定する（ステップＳ１４４）。なお、このときのセンサ識別子は評価部７０１により特定されたセンサ識別子であり、当該センサ識別子は特定情報７１５には格納されていない（特定部７００によっては特定されていない。）。したがって、評価部７０１は、後に作成される報知情報７１７の対象となるセンサノード２を、特定部７００に代わって特定する場合があり、特定部７００の機能を補う機能を有している。
When the sensor identifier acquired in step S142 is not stored in the specific information 715 (No in step S143), the
ステップＳ１４４においてＮｏと判定すると、作成部７０２は、登録されていないセンサノード２からの情報をたまたま受信したものと判定し、当該センサノード２については無視するため、やはりステップＳ１４９をスキップし、ステップＳ１４１の処理に戻る。このような場合にも登録処理を実行するとすると、例えば、別の家で稼働中のセンサノード２の電波が混信等により、当該情報処理端末７に誤って受信された場合に、不都合を生じる。したがって、センサネットワークシステム１では、先述のように、このようなセンサノード２（直接的な無線通信は確立しているが、ＡＲマーカ２４が撮像されてもおらず、かつ、登録もされていないセンサノード２）に関しては、無視するように扱う。
If it is determined No in step S144, the creating
ステップＳ１４４においてＹｅｓと判定すると、作成部７０２は、登録情報７１９を参照して、ステップＳ１４２において取得されたセンサ識別子に関連づけられている表現媒体識別子を取得する（ステップＳ１４５）。これにより、当該センサノード２の表現媒体が特定される。
If it determines with Yes in step S144, the production |
次に、作成部７０２は、距離情報７１６を参照し、当該センサ識別子に関連づけられている第２推定距離を取得して演出選択条件として設定する（ステップＳ１４６）。そして、演出元情報７１１を参照して、ステップＳ１４５で取得した表現媒体識別子に関連づけられている演出情報７１８の中から、設定されている演出選択条件に応じた演出情報７１８を選択する（ステップＳ１４７）。このように、センサネットワークシステム１では、例え、撮像情報７１２にＡＲマーカ２４が撮像されておらず、特定部７００による各種状況の取得ができない場合であっても、評価部７０１によって推定される第２推定距離の違いに応じて、演出情報７１８を選択できる。すなわち、距離に応じた演出を出力できる。
Next, the creating
なお、センサノード２との間の通信が確立されていれば、ＡＲマーカ２４が撮像されていないセンサノード２についても監視情報２１１を受信することは可能である。したがって、ステップＳ１４７を実行する前に、当該監視情報２１１に応じて演出選択条件を設定してもよい。すなわち、第２推定距離のみならず、監視情報２１１に応じて演出情報７１８が選択されるようにしてもよい。
Note that if communication with the
演出情報７１８の選択が完了すると、作成部７０２は、選択した演出情報７１８を含む報知情報７１７を作成する（ステップＳ１４８）。そして、入出力制御部７０３が、撮像情報７１２とともに、ステップＳ１４８において作成された報知情報７１７を出力させる（ステップＳ１４９）。この場合、撮像情報７１２にはＡＲマーカ２４が撮像されていないので、報知情報７１７を撮像情報７１２におけるどの位置に表示させるかを決定する必要がある。しかし、このような場合の表示位置を予め設定しておけば、表示位置を容易に決定できるとともに、そのような位置に報知情報７１７が表示された場合には、ユーザは該当するセンサノード２（ＡＲマーカ２４）が撮像情報７１２に撮像されていなくとも、当該センサノード２が近傍に存在することを認識できる。なお、予め設定しておく表示位置としては、例えば、撮像範囲の端部付近等が考えられる。
When the selection of the
ＡＲマーカ２４を撮像しようと思えば、ユーザはＡＲマーカ２４の現実世界における存在場所をある程度知っている必要がある。しかし、他人が設置したセンサノード２について監視情報２１１を確認したい場合など、ユーザは必ずしもＡＲマーカ２４の存在場所を知っているとは限らない。しかし、センサネットワークシステム１は、例え、ＡＲマーカ２４を撮像できない状況であっても、ユーザに報知情報７１７（演出情報７１８）を出力することができる。直接的な無線通信が確立できる範囲は、撮像部７５による撮像範囲より一般的に広いので、ユーザはセンサノード２の存在場所を正確に知っていなくても、センサノード２に関する何らかの情報を得ることができる。
In order to capture the
また、このときに出力される報知情報７１７は、第２推定距離に応じて変化させることができる。したがって、例えば、センサノード２に近づくほど当該センサノード２に割り当てられた表現媒体の表示サイズを大きくする、あるいは、距離に応じて表現媒体の反応に変化をつけるといった演出変更を行えば、ユーザは存在場所を知らないセンサノード２を報知情報７１７に従って探索するという楽しみ方もできる。また、楽しみながらセンサノード２を探索することにより、自然と、必要な監視情報２１１の収集、確認等が行えるという利点もあり、センサネットワークシステム１の利用が促進される。
Also, the
図１５は、指示情報受付処理を示す流れ図である。指示情報受付処理とは、ユーザによる操作部７２に対する操作を、状況に応じて解釈し、ユーザの意図した処理を実行する処理である。
FIG. 15 is a flowchart showing instruction information reception processing. The instruction information receiving process is a process of interpreting an operation on the
指示情報受付処理では、まず、入出力制御部７０３が操作部７２が操作されたか否かを監視しており（ステップＳ１５１）、操作部７２が操作されると、ステップＳ１５１においてＹｅｓと判定する。操作部７２が操作されていないときは、入出力制御部７０３はステップＳ１５１においてＮｏと判定し、指示受付処理を一旦終了して図９に示す処理に戻る。
In the instruction information reception process, first, the input /
ステップＳ１５１においてＹｅｓと判定すると、入出力制御部７０３は、ユーザの操作部７２に対する操作と、当該操作がされたときの状況（表示部７３に表示されていた画像の種別や、タッチパネルに対する接触位置等）に応じて、指示情報７１４を作成する（ステップＳ１５２）。指示情報７１４が作成されると、当該指示情報７１４が意図するところの処理を実行し（ステップＳ１５３）、指示受付処理を終了して図９に示す処理に戻る。
If it is determined Yes in step S151, the input /
情報提供処理が継続している間に操作部７２を操作することにより、ユーザが意図する処理としては様々な処理が考えられる。
By operating the
例えば、演出情報７１８を選択しなおす処理である。キャラクタの表情により監視情報２１１が誇張された演出で出力されている状況で、当該キャラクタの画像が表示されている領域に触れると、キャラクタの表情を決定している演出情報７１８が他の演出情報７１８に選択しなおされる場合などである。そして、新たに選択された演出情報７１８を含む報知情報７１７が作成され出力されることにより、監視情報２１１の詳細が表示されたり、過去からの比較や他のユーザとの比較等が表示されたりする例が考えられる。
For example, this is a process of selecting the
また、第１の実施の形態では、電化製品の消費電力量が監視情報２１１として収集されるため、表示媒体を、対応する電化製品で表現することも考えられる。あるいは、さらに、キャラクタが当該電化製品を使用している態様で演出が出力されてもよい。
In the first embodiment, since the power consumption amount of the electrical appliance is collected as the
また、センサノード２やサーバ６に送信する情報を指示情報７１４として作成し、当該指示情報７１４を通信部７６に送信させる処理である。例えば、ユーザは、センサノード２のセンシング間隔や通信スケジュール、ロック等を制御する指示情報７１４を、通信部７６からセンサノード２に向けて送信させることで、センサノード２を意図したように操作できる。
In addition, information to be transmitted to the
さらに、操作部７２が操作されることにより意図される処理としては、出力された報知情報７１７を報知履歴情報７１３として保存する処理もある。あるいは、保存されている報知履歴情報７１３を表示部７３やスピーカ７４に再生する処理もある。これにより、ユーザは、任意のタイミングで、報知情報７１７（演出情報７１８）をアーカイブし、後に、これを再生して楽しむことができる。
Further, as a process intended by operating the
以上が、第１の実施の形態におけるセンサネットワークシステム１により提供される、いわばシステムのプラットホームの説明である。
The above is the description of the so-called system platform provided by the
次に、このようなプラットホームを用いて、どのようなアプリケーションが具体的に実現できるかについて説明する。ただし、すでに説明したものは省略する。 Next, what kind of application can be specifically realized using such a platform will be described. However, those already described are omitted.
例えば、消費電力を測定するセンサノード２には、雷神の外観を有するキャラクタを表現媒体として割り当てる、そして、消費電力量に応じて選択される演出情報７１８としては、消費電力が大きいときには雷神が顔を真っ赤にして太鼓をたたき、消費電力が小さいときには昼寝をしている等の演出を行うとユーザは直感的に監視情報２１１の内容を理解しやすい。あるいは、土壌水分、温度、湿度、日照などを検出するそれぞれのセンサノード２については、それぞれの監視情報２１１の属性を表現する妖精のキャラクタを表現媒体として割り当てるとよい。
For example, a
また、サーバ６から得られる過去からの経過に応じて、表現媒体としてのキャラクタが異なる状態に成長したり、イベントが発生したりすることも考えられる。
It is also conceivable that the character as the expression medium grows in a different state or an event occurs according to the progress from the past obtained from the
また、上記実施の形態では、情報処理端末７の内部に設けられた記憶装置７１に演出元情報７１１が記憶されていた。しかし、例えば、メモリカードのような着脱自在の記憶媒体により演出元情報７１１を提供し、当該メモリカードによって提供されるアプリケーションごとに、あるいは、当該メモリカードごとに、キャラクタが変更されるなどしてもよい。このような構成の具体例としては、あるアプリケーションを記憶したメモリカードが情報処理端末７に装着されているときには、当該アプリケーションに登場するキャラクタが各センサノード２に割り当てられたり、逆に、当該アプリケーションの進行にセンサノード２により取得される監視情報２１１が影響を与えたりすることも考えられる。
In the above embodiment, the
また、情報処理端末７とセンサノード２との距離に応じて演出を変更することができることを利用して、距離が遠いほど音声や鳴き声、ＢＧＭ等の音量が小さくなったり、ある閾値よりも距離が遠い場合にはキャラクタがユーザに気づかず反応しない等の演出変化も考えられる。
In addition, by using the fact that the presentation can be changed according to the distance between the
なお、キャラクタが反応しないような状況では、一見、監視情報２１１の確認が遅れる場合も想定されうるが、アプリケーションを楽しむという意味では、監視情報２１１が直ちに出力されない方がリアリティがあって好ましい場合もある。このような場合としては、例えば、キャラクタの表情によって監視情報２１１が表現されている場合において、ユーザがＡＲマーカ２４を後ろから撮像していてキャラクタの後ろ姿のみが表示され、肝心の表情が確認できない場合などである。
In a situation where the character does not react, it may be assumed that confirmation of the
また、見えないものを可視化するアプリケーションとしては、室内のイオン濃度や、臭い、消費電力の量に応じてＣＯ２の発生量として可視化する。あるいは、湿度をウイルスや細菌の量で表現した演出による可視化等が考えられる。 In addition, as an application for visualizing the invisible, it is visualized as the amount of CO2 generated according to the indoor ion concentration, odor, and power consumption. Or the visualization by the production | presentation which expressed humidity with the quantity of the virus and bacteria etc. can be considered.
図１６は、報知情報７１７として、監視情報２１１の詳細な情報（監視情報２１１の過去との比較をグラフ化した画像情報）が表示される例を示した図である。ここまでは、主に、監視情報２１１を簡素化表現する、あるいは、誇張表現する報知情報７１７を撮像情報７１２にオーバーレイさせる例について説明したが、例えば、そのような報知情報７１７を表示した後に、ユーザからの指示があれば、図１６に示すように、詳細な監視情報２１１を表現した演出が出力されてもよい。
FIG. 16 is a diagram illustrating an example in which detailed information of the monitoring information 211 (image information obtained by graphing the comparison of the
図１７は、複数のセンサノード２（ＡＲマーカ２４）が撮像部７５の撮像範囲に存在する場合に出力される報知情報７１７を例示する図である。これまでにも説明したように、撮像情報７１２に撮像されるＡＲマーカ２４は、１つに限定されるものではない。図１７に示すように、複数のセンサノード２（ＡＲマーカ２４）を同時に撮像する場合には、各センサノード２間の通信経路や通信速度、あるいは、ＲＳＳＩ値、センサノード２間の相関関係等を表示してもよい。
FIG. 17 is a diagram illustrating
すなわち、複数のセンサノード２のＡＲマーカ２４が撮像されていることや、メンテナンスに関する情報等（すなわち、監視情報２１１ではない情報）のみを演出選択条件として設定してもよい。例えば、通信速度やＲＳＳＩ値は、監視情報２１１と同様に現実世界の状況に応じて動的に変化する情報であるが、これらはセンサノード２により取得される情報ではないので、監視情報２１１には該当しない。
That is, it may be set as an effect selection condition that only the
図１８は、表現媒体が操作ボタンである場合に出力される報知情報７１７を例示する図である。第１の実施の形態では、図１３に示した登録処理において、ペアリングのための操作ボタンが表現媒体として表示される例を説明した。図１８に示すように、装置等の遷移状態（演出選択条件として設定する）に応じて報知情報７１７として表示される画像は、あたかもソフトウェアスイッチを構成する画像であってもよい。このような報知情報７１７を出力することにより、充実した高機能の操作部を設けることのできないセンサノード２に、操作容易な擬似的な操作部を提供できる。これにより、センサノード２のハードウェア構成をさらに簡素化できる。
FIG. 18 is a diagram illustrating
また、あらゆる遷移状態に対応できるように、多くのキーやボタンを設けると操作が複雑になるという問題がある。しかし、図１８に示すように、装置の遷移状態に応じて、現状で入力可能な情報にのみ対応する操作ボタンのみをユーザに示すことが可能となり、操作が簡素化される。 In addition, if many keys and buttons are provided so as to cope with all transition states, there is a problem that the operation becomes complicated. However, as shown in FIG. 18, according to the transition state of the apparatus, it is possible to show the user only operation buttons corresponding only to information that can be input at present, and the operation is simplified.
以上のように、第１の実施の形態におけるセンサネットワークシステム１は、現実世界を表現した情報を監視情報２１１として取得する１以上のセンサノード２と、センサノード２により取得された監視情報２１１を収集する情報処理システム３とを備え、情報処理システム３は、現実世界を撮像して撮像情報７１２を取得する撮像部７５と、撮像部７５により取得された撮像情報７１２を画像解析することにより１以上のセンサノード２の中から報知対象となるセンサノード２を特定する特定部７００と、特定部７００により特定された報知対象となるセンサノード２に対応した報知情報７１７を作成する作成部７０２と、撮像部７５により取得された撮像情報７１２とともに作成部７０２により作成された報知情報７１７を出力する入出力制御部７０３とを備え、報知情報７１７は、対応するセンサノード２により取得された監視情報２１１に応じた演出情報７１８を含む。これにより、現実世界を撮像した撮像情報７１２とともに、現実世界の状況に応じて動的に変化する演出情報７１８が出力されるので、例えば監視情報２１１に対する臨場感が高まり、ユーザが楽しみながらセンサネットワークシステム１を使用することができる。また、演出情報７１８を工夫することにより、センサノード２により収集された監視情報２１１を直感的に把握できるようになるため、ユーザは現実世界の状況を容易に理解することができるようになる。
As described above, the
また、キャラクタに関する情報である演出元情報７１１を記憶する記憶装置７１をさらに備え、報知情報７１７は、記憶装置７１に記憶されたキャラクタに関する情報を含むことにより、例えば、監視情報２１１をキャラクタにより表現した演出情報７１８が出力されるので、ユーザの親近感が増大する。
Moreover, the
また、記憶装置７１に記憶されるキャラクタに関する情報は、１以上のセンサノード２ごとに、登録情報７１９により、それぞれ割り当てられていることにより、報知情報７１７として出力されるキャラクタの違いによって、どのセンサノード２を表現しているのかが容易に判断できる。
In addition, the information related to the character stored in the
また、報知情報７１７を報知履歴情報７１３として保存する記憶装置７１を備え、監視情報２１１に応じた演出情報７１８を含む報知情報７１７を保存することにより、例えば、ユーザは他人に珍しい演出情報７１８を自慢することができる。
In addition, the
また、１以上のセンサノード２との間で、直接的な無線通信を行う通信部７６と、通信部７６における無線通信の状態を評価する評価部７０１とをさらに備え、撮像部７５は、通信部７６と一体的な構造物を構成しており、作成部７０２は、評価部７０１による評価に基づいて評価部７０１により特定された報知対象となるセンサノード２と撮像部７５との間の第２推定距離を推定し、当該第２推定距離に応じて、報知対象となるセンサノード２に対応して作成すべき報知情報７１７を作成する。これにより、撮像情報７１２に撮像されていないときでも、第２推定距離に応じて演出情報７１８を選択することができる。したがって、例えば、撮像部７５により撮像ができない状況であっても、センサノード２を探索したり、監視情報２１１を確認したりすることができる。
Moreover, the
なお、本実施の形態では、特定部７００が第２推定距離を求めて、これに応じて、撮像情報７１２にオーバーレイさせる画像の大きさを決定すると説明した。しかしながら、撮像情報７１２にオーバーレイさせる画像の大きさを決定するためには、必ずしも第２推定距離を求める必要はない。例えば、撮像情報７１２におけるＡＲマーカ２４の大きさと、撮像情報７１２にオーバーレイさせる画像の大きさとの比率（拡大縮小比率）を予め決定しておけば、ＡＲマーカ２４の大きさが検出された時点で、撮像情報７１２にオーバーレイさせる画像の大きさを決定できる。
In the present embodiment, it has been described that the specifying
また、第１の実施の形態では、センサノード２に対応したＡＲマーカ２４を撮像することにより、対象となるセンサノード２の特定を行っていた。しかし、例えば、撮像されたセンサノード２の外観（形状や色彩）を画像認識することにより特定を行ってもよい。その場合は、ＡＲマーカ２４に相当する構成が不要となる利点がある。ただし、各センサノード２ごとの外観を異なるものとすることが好ましい。あるいは、外観で検出する場合において、同一の外観のセンサノード２が複数存在する場合には、ＲＳＳＩの値が高いセンサノード２が撮像されているセンサノード２であるとして特定してもよい。また、例えば、センサノード２の外面にＬＥＤを設け、撮像情報７１２における当該ＬＥＤの発光パターン（色パターンや配置パターン、点滅パターン等）によって特定するとしてもよい。また、発光パターンで検出する場合には、情報処理端末７からのビーコン等を受信してから発光させるように構成すれば、消費電力を抑制することができる。
In the first embodiment, the
＜２． 第２の実施の形態＞
第１の実施の形態におけるセンサネットワークシステム１は、情報処理端末７が、センサノード２との間で直接的な無線通信を行う構成および機能を有していた。しかし、このような構成および機能がなくても、本発明は実現可能である。
<2. Second Embodiment>
The
図１９は、第２の実施の形態におけるセンサネットワークシステム１ａを示す図である。センサネットワークシステム１ａは、情報処理端末７の代わりに、情報処理端末７ａを備えている点がセンサネットワークシステム１と異なっている。以下の説明では、第２の実施の形態におけるセンサネットワークシステム１ａについて、第１の実施の形態におけるセンサネットワークシステム１と同様の機能を有する構成には同一の符号を付し、適宜、説明を省略する。
FIG. 19 is a diagram illustrating a
第２の実施の形態における情報処理端末７ａは、センサノード２との間で、直接的な無線通信を行うことができないことを除いては、第１の実施の形態における情報処理端末７とほぼ同様の構成である。
The
このような情報処理端末７ａによれば、センサノード２から送信される情報は、すべてゲートウェイ４およびルータ５を介して受信される。したがって、ＲＳＳＩ値に基づいて、第１の実施の形態における第２推定距離を求めることはできない。すなわち、情報処理端末７ａは、評価部７０１に相当する構成は実現できない。
According to such an
このため、第２推定距離に応じて演出情報７１８を選択することはできず、センサノード２と情報処理端末７ａとの間の距離は第１推定距離によって演出を変更することしかできない。
For this reason, the
しかし、第２の実施の形態におけるセンサネットワークシステム１ａは、それ以外の点については、第１の実施の形態におけるセンサネットワークシステム１と同様の効果を得ることができる。
However, the
＜３． 第３の実施の形態＞
上記実施の形態におけるセンサネットワークシステム１，１ａは、いずれもゲートウェイ４を備えており、センサノード２とサーバ６との間の通信を中継するように構成されていた。
<3. Third Embodiment>
Each of the
図２０は、第３の実施の形態におけるセンサネットワークシステム１ｂを示す図である。第３の実施の形態におけるセンサネットワークシステム１ｂは、ゲートウェイ４が存在していない。そして、センサノード２とゲートウェイ４との間の無線通信および有線通信（商用電力線８による通信）がなく、センサノード２とルータ５（サーバ６）との間の通信は、すべて情報処理端末７を介して行われる点が、第１の実施の形態におけるセンサネットワークシステム１と異なっている。以下の説明では、第３の実施の形態におけるセンサネットワークシステム１ｂについて、第１の実施の形態におけるセンサネットワークシステム１と同様の構成および機能については同符号を付し、適宜説明を省略する。
FIG. 20 is a diagram illustrating a
一般に、任意の場所に移動して撮像を行う装置として構成される情報処理端末７は携帯型の装置として構成されることが好ましい。その一方で、携帯型の装置は、所在が不確定であり、情報処理端末７が遠方に存在しているときには、センサノード２との間の直接的な無線通信が確立できないことも想定される。また、情報処理端末７は、常時起動されていることを期待することも困難であり、ユーザが使用していない期間は電源がＯＦＦされることが頻繁に想定される。
In general, it is preferable that the
一方で、第３の実施の形態におけるセンサノード２は、ゲートウェイ４との間の通信を実現する構成を省略することができることから、第１の実施の形態におけるセンサノード２よりもコスト抑制効果が期待できる。また、複数の通信相手を有する場合、通信制御も複雑になるという問題があるから、その点でも第３の実施の形態は第２の実施の形態に比べて有利である。
On the other hand, since the
これに対して、ゲートウェイ４のような装置は、据え置き型の装置として構成され、通常は、電源が投入されたままで運用される。したがって、上記実施の形態におけるセンサネットワークシステム１，１ａにおいては、センサノード２とゲートウェイ４との間の通信は比較的安定している。
On the other hand, a device such as the
このことから、ゲートウェイ４に相当する構成が存在しない第３の実施の形態におけるセンサネットワークシステム１ｂでは、センサノード２と情報処理端末７との間の通信が途切れている期間は、センサノード２はサーバ６に対して監視情報２１１を送信し、データベースに保管させることができない。したがって、センサノード２が比較的大容量の記憶装置２１を備えていなければ、情報のオーバーフローにより、監視情報２１１のログが正常に記録されないおそれがある。
Therefore, in the
以上のような利害特性を考慮して、センサネットワークシステムの目的や構成に応じて、適宜、選択すれば、第３の実施の形態におけるセンサネットワークシステム１ｂも、第１の実施の形態におけるセンサネットワークシステム１と同様の効果を得ることができる。
The
＜４． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
<4. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
例えば、上記実施の形態に示した各工程は、あくまでも例示であって、同様の効果が得られるならば、適宜、順序や処理内容が変更されてもよい。 For example, each step shown in the above embodiment is merely an example, and the order and processing content may be changed as appropriate as long as the same effect can be obtained.
また、上記実施の形態に示した機能ブロック（特定部７００や作成部７０２等）はソフトウェアにより実現されていると説明した。しかし、これら機能の一部または全部を専用の論理回路（ハードウェア）で実現してもよい。例えば、特定部７００における画像解析を行う機能については、専用の画像処理ボード等によって実現すれば、処理を高速化できる。
Further, it has been described that the functional blocks (the specifying
また、情報処理端末７において実現されていた機能または情報処理端末７において記憶されていた情報について、その一部が、サーバ６において実現され、記憶されていてもよい。すなわち、情報処理システム３のいずれで実現されていてもよい。
Further, part of the functions realized in the
また、情報処理端末７に、マイクおよび音声認識機能を搭載することにより、ユーザの声による、キャラクタとのコミュニケーションを実現してもよい。このように構成することにより、ユーザのキャラクタ（表現媒体）に対する親近感が増幅される。
Moreover, you may implement | achieve communication with a character by a user's voice by carrying in the
１，１ａ，１ｂ センサネットワークシステム
２ センサノード
２１１ 監視情報
２２ 検出部
２３ 通信部
２４ ＡＲマーカ
３ 情報処理システム
４ ゲートウェイ
５ ルータ
６ サーバ
７，７ａ 情報処理端末
７０ ＣＰＵ
７００ 特定部
７０１ 評価部
７０２ 作成部
７０３ 入出力制御部
７１ 記憶装置
７１０ プログラム
７１１ 演出元情報
７１２ 撮像情報
７１３ 報知履歴情報
７１４ 指示情報
７１５ 特定情報
７１６ 距離情報
７１７ 報知情報
７１８ 演出情報
７１９ 登録情報
７２ 操作部
７３ 表示部
７４ スピーカ
７５ 撮像部
７６ 通信部
９ インターネット
DESCRIPTION OF
700
Claims (9)
前記検出装置により取得された監視情報を収集する情報処理システムと、
を備え、
前記情報処理システムは、
キャラクタに関する情報を記憶する記憶手段と、
現実世界を撮像して撮像情報を取得する撮像手段と、
前記撮像手段により取得された撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、
前記特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、
前記撮像手段により取得された撮像情報とともに前記作成手段により作成された報知情報を出力する出力手段と、
を備え、
前記報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含み、
前記撮像手段は、前記１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像して撮像情報を取得するセンサネットワークシステム。 One or more detection devices for acquiring information representing the real world as monitoring information;
An information processing system for collecting monitoring information acquired by the detection device;
With
The information processing system includes:
Storage means for storing information about the character;
Imaging means for imaging the real world and acquiring imaging information;
A specifying unit that specifies a detection device to be notified from the one or more detection devices by performing image analysis on the imaging information acquired by the imaging unit;
Creating means for creating notification information corresponding to the detection device to be notified specified by the specifying means;
Output means for outputting notification information created by the creation means together with imaging information acquired by the imaging means;
With
The broadcast information, see contains the information about stored in effect information and the storage means in accordance with the monitoring information obtained by the corresponding detector characters,
The image pickup means is a sensor network system for picking up image pickup information by picking up an image of a board listing markers corresponding to each of the one or more detection devices .
前記１以上の検出装置との間で、直接的な無線通信を行う通信手段と、
前記通信手段における無線通信の状態を評価し、当該評価に基づいて前記特定手段により特定された報知対象となる検出装置と前記撮像手段との間の距離を推定する評価手段と、
をさらに備え、
前記撮像手段は、前記通信手段と一体的な構造物を構成しており、
前記作成手段は、前記評価手段により推定された距離に応じて前記報知対象となる検出装置に対応して作成すべき報知情報を作成するとともに、前記評価手段により推定された距離に応じて前記１以上の検出装置の中から報知対象となる検出装置を特定するとともに、当該特定した報知対象となる検出装置に対応して作成すべき報知情報を作成するセンサネットワークシステム。 The sensor network system according to claim 1,
Communication means for performing direct wireless communication with the one or more detection devices;
An evaluation unit that evaluates a state of wireless communication in the communication unit, and that estimates a distance between a detection device that is a notification target identified by the identification unit based on the evaluation and the imaging unit;
Further comprising
The imaging means constitutes an integral structure with the communication means,
The creating means creates notifying information to be created corresponding to the detecting device to be notified according to the distance estimated by the evaluating means, and the 1 according to the distance estimated by the evaluating means. A sensor network system that specifies a detection device to be notified from the above detection devices and generates notification information to be generated corresponding to the specified detection device to be notified .
前記検出装置により取得された監視情報を収集する情報処理システムと、
を備え、
前記情報処理システムは、
キャラクタに関する情報を記憶する記憶手段と、
前記１以上の検出装置との間で、直接的な無線通信を行う通信手段と、
前記通信手段における無線通信の状態を評価し、当該評価に基づいて前記１以上の検出装置と前記撮像手段との間の距離を推定する評価手段と、
前記通信手段と一体的な構造物を構成し、現実世界を撮像して撮像情報を取得する撮像手段と、
前記撮像手段により取得された撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、
前記特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、
前記撮像手段により取得された撮像情報とともに前記作成手段により作成された報知情報を出力する出力手段と、
を備え、
前記報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含み、
前記作成手段は、前記評価手段により推定された距離に応じて前記特定手段により特定された報知対象となる検出装置に対応して作成すべき報知情報を作成するとともに、前記評価手段により推定された距離に応じて前記１以上の検出装置の中から報知対象となる検出装置を特定するとともに当該特定した報知対象となる検出装置に対応して作成すべき報知情報を作成するセンサネットワークシステム。 One or more detection devices for acquiring information representing the real world as monitoring information;
An information processing system for collecting monitoring information acquired by the detection device;
With
The information processing system includes:
Storage means for storing information about the character;
Communication means for performing direct wireless communication with the one or more detection devices;
Evaluation means for evaluating a state of wireless communication in the communication means, and estimating a distance between the one or more detection devices and the imaging means based on the evaluation;
An imaging means that constitutes a structure integrated with the communication means, images the real world, and acquires imaging information;
A specifying unit that specifies a detection device to be notified from the one or more detection devices by performing image analysis on the imaging information acquired by the imaging unit;
Creating means for creating notification information corresponding to the detection device to be notified specified by the specifying means;
Output means for outputting notification information created by the creation means together with imaging information acquired by the imaging means;
With
The notification information includes effect information according to the monitoring information acquired by the corresponding detection device and information about the character stored in the storage means,
The creating means creates notifying information to be created corresponding to the detecting device to be notified specified by the specifying means according to the distance estimated by the evaluating means, and is estimated by the evaluating means A sensor network system that specifies a detection device to be notified from among the one or more detection devices according to a distance and generates notification information to be generated corresponding to the specified detection device to be notified .
前記出力手段は、前記撮像手段により撮像された撮像画像に含まれるマーカを他の画像に置換するセンサネットワークシステム。 The sensor network system according to any one of claims 1 to 3,
The sensor network system in which the output unit replaces a marker included in a captured image captured by the imaging unit with another image .
前記検出装置により取得された監視情報を収集する情報処理システムと、
を備え、
前記情報処理システムは、
キャラクタに関する情報を記憶する記憶手段と、
現実世界を撮像して撮像情報を取得する撮像手段と、
前記撮像手段により取得された撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、
前記特定手段により特定された報知対象となる検出装置に対応した報知情報を作成する作成手段と、
前記撮像手段により取得された撮像情報とともに前記作成手段により作成された報知情報を出力する出力手段と、
を備え、
前記報知情報は、対応する検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含み、
前記出力手段は、前記撮像手段により撮像された撮像画像に含まれるマーカを他の画像に置換するセンサネットワークシステム。 One or more detection devices for acquiring information representing the real world as monitoring information;
An information processing system for collecting monitoring information acquired by the detection device;
With
The information processing system includes:
Storage means for storing information about the character;
Imaging means for imaging the real world and acquiring imaging information;
A specifying unit that specifies a detection device to be notified from the one or more detection devices by performing image analysis on the imaging information acquired by the imaging unit;
Creating means for creating notification information corresponding to the detection device to be notified specified by the specifying means;
Output means for outputting notification information created by the creation means together with imaging information acquired by the imaging means;
With
The notification information includes effect information according to the monitoring information acquired by the corresponding detection device and information about the character stored in the storage means,
The sensor network system in which the output unit replaces a marker included in a captured image captured by the imaging unit with another image .
前記出力手段により出力された報知情報を報知履歴情報として保存する保存手段をさらに備えるセンサネットワークシステム。 A sensor network system according to any one of claims 1 to 5,
A sensor network system further comprising storage means for storing the notification information output by the output means as notification history information .
前記特定手段は、特定した報知対象となる検出装置と前記撮像手段との間の距離を、前記撮像手段により取得した撮像情報を解析することにより推定し、
前記作成手段は、前記特定手段により特定された報知対象となる検出装置に対応して作成すべき報知情報を、前記特定手段により推定された距離に応じて作成するセンサネットワークシステム。 The sensor network system according to any one of claims 1 to 6 ,
The specifying unit estimates a distance between the specified detection device to be notified and the imaging unit by analyzing imaging information acquired by the imaging unit,
The sensor network system in which the creation means creates notification information to be created corresponding to the detection device to be notified specified by the specification means according to the distance estimated by the specification means .
現実世界を表現した監視情報を１以上の検出装置によって取得する工程と、Acquiring monitoring information representing the real world with one or more detection devices;
前記１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像して撮像情報を取得する工程と、Imaging a board listing markers corresponding to each of the one or more detection devices to obtain imaging information;
現実世界を撮像して撮像情報を取得する工程と、Imaging the real world and obtaining imaging information;
取得された前記撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する工程と、Identifying a detection device to be notified from among the one or more detection devices by performing image analysis on the acquired imaging information;
特定された前記報知対象となる検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含むとともに、前記報知対象となる検出装置に対応した報知情報を作成する工程と、In addition to the production information according to the monitoring information acquired by the specified detection device as the notification target and information about the character stored in the storage unit, the notification information corresponding to the detection device as the notification target is included. Creating a process;
取得された前記撮像情報とともに作成された前記報知情報を出力する工程と、Outputting the notification information created together with the acquired imaging information;
を有する情報提供方法。A method for providing information.
キャラクタに関する情報を記憶する記憶手段と、
現実世界を撮像して撮像情報を取得する撮像手段と、
前記撮像手段により取得された撮像情報を画像解析することにより前記１以上の検出装置の中から報知対象となる検出装置を特定する特定手段と、
前記特定手段により特定された報知対象となる検出装置により取得された監視情報に応じた演出情報と前記記憶手段に記憶されたキャラクタに関する情報とを含むとともに、前記報知対象となる検出装置に対応した報知情報を作成する作成手段と、
前記撮像手段により取得された撮像情報とともに前記作成手段により作成された報知情報を出力する出力手段と、
を備えるコンピュータとして機能させ、
前記撮像手段は、前記１以上の検出装置のそれぞれに対応したマーカを一覧掲載するボードを撮像するプログラム。 A program that is executed by a computer connected via a network with one or more detection devices that acquire information representing the real world as monitoring information.
Storage means for storing information about the character;
Imaging means for imaging the real world and acquiring imaging information;
A specifying unit that specifies a detection device to be notified from the one or more detection devices by performing image analysis on the imaging information acquired by the imaging unit;
It includes presentation information corresponding to the monitoring information acquired by the detection device that is the notification target specified by the specifying means and information about the character stored in the storage means, and corresponds to the detection device that is the notification target. Creating means for creating broadcast information;
Output means for outputting notification information created by the creation means together with imaging information acquired by the imaging means;
Function as a computer with
The imaging means is a program for imaging a board that lists a marker corresponding to each of the one or more detection devices .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011013589A JP5792473B2 (en) | 2011-01-26 | 2011-01-26 | Sensor network system, information providing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011013589A JP5792473B2 (en) | 2011-01-26 | 2011-01-26 | Sensor network system, information providing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012156737A JP2012156737A (en) | 2012-08-16 |
| JP5792473B2 true JP5792473B2 (en) | 2015-10-14 |
Family
ID=46838022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011013589A Expired - Fee Related JP5792473B2 (en) | 2011-01-26 | 2011-01-26 | Sensor network system, information providing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5792473B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2973071B1 (en) * | 2013-03-15 | 2020-05-06 | Fluke Corporation | Automatic recording and graphing of measurement data |
| JP5927242B2 (en) * | 2014-06-25 | 2016-06-01 | 株式会社デジタル | Image data creation device and portable terminal device |
| JP6687835B2 (en) * | 2016-02-10 | 2020-04-28 | 株式会社Ｊｖｃケンウッド | Mobile terminal device and program |
| JP6844887B2 (en) * | 2017-03-28 | 2021-03-17 | Ｎｅｃソリューションイノベータ株式会社 | Sensor node installation system and sensor node installation method |
| JP2022139816A (en) * | 2021-03-12 | 2022-09-26 | オムロン株式会社 | Sensor, communication terminal, method for controlling sensor, and control program |
| JP7025583B1 (en) * | 2021-06-21 | 2022-02-24 | 東京瓦斯株式会社 | Sensor network system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10133438B2 (en) * | 2008-09-17 | 2018-11-20 | Nokia Technologies Oy | User interface for augmented reality |
-
2011
- 2011-01-26 JP JP2011013589A patent/JP5792473B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012156737A (en) | 2012-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5792473B2 (en) | Sensor network system, information providing method and program | |
| JP6410119B2 (en) | Information display method | |
| US10868692B2 (en) | Monitoring device using automation network | |
| CN105222773B (en) | Air navigation aid and device | |
| JP6773037B2 (en) | Information processing equipment, information processing methods and programs | |
| JP5526860B2 (en) | Spatial information visualization system | |
| KR101814600B1 (en) | Method and apparatus for connecting communication | |
| CN108348119A (en) | Robot cleaner and its control method | |
| US20090085762A1 (en) | Information transmitting device, information acquiring terminal, and information distributing system | |
| CN105279898A (en) | Alarm method and device | |
| JPWO2018198319A1 (en) | Wearable terminal display system, wearable terminal display method and program | |
| CN105372999A (en) | Data processing method and device | |
| KR101894389B1 (en) | Method and apparatus for connecting between devices | |
| US10989426B2 (en) | Information processing device, electronic apparatus, method, and program | |
| JP2021152928A (en) | Terminal device, method, and program | |
| CN108600062B (en) | Control method, device and system of household appliance | |
| EP3762906A1 (en) | System and method for preventing false alarms due to display images | |
| CN105488965A (en) | Alarm method and device | |
| CN109492515B (en) | Information processing apparatus, data structure of image file, and computer-readable medium | |
| CN106161540B (en) | General multifunctional sensor service platform | |
| CN115174299B (en) | Binding method of household equipment and electronic equipment | |
| JP2018115915A (en) | Dust sensor system, and method and program for determining need for cleaning | |
| CN113012805B (en) | Health self-diagnosis method, system and related equipment | |
| JP6169408B2 (en) | measuring device | |
| CN115314826A (en) | Microphone calibration method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130319 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140219 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140805 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141029 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20141107 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20150109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150806 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5792473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |