JP6171416B2 - 機器制御システム、及び機器制御方法 - Google Patents

Description

本願は、機器制御システム、及び機器制御方法に関する。

例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話機等のモバイル機器が、操作画面上で入力された指示に基づき、ネットワークを介して接続された外部機器を操作する方法が知られている（例えば、特許文献１参照）。

しかしながら、上述した特許文献１の方法では、近くの機器と接続したい場合でも、操作画面を見ながら操作しなければならないため、すぐに接続することができなかった。また、例えばＷｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）により公共の場に設置された機器と接続して操作する場合にはセキュリティの面での問題も生じた。

１つの側面では、本発明は、簡単な操作で所定の場所にある所定の機器に応じた処理を実行させることを目的とする。

一態様において、通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムであって、前記通信端末は、機器が所定の範囲に発した機器識別音を収集する音収集手段と、前記通信端末の位置情報及び前記音収集手段により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手段とを有し、前記制御システムは、前記通信端末から得られた位置情報及び機器識別音に基づいて、前記機器識別音に対応して予め設定された処理を実行する機器を判定する処理実行手段を有することを特徴とする。

簡単な操作で所定の場所にある所定の機器に応じた処理を実行させることが可能となる。

第１実施形態に係る機器制御システムの概略構成の一例を示す図である。 通信端末に係る機能構成の一例を示す図である。 制御サーバに係る機能構成の一例を示す図である。 通信端末に係るハードウェア構成の一例を示す図である。 制御サーバに係るハードウェア構成の一例を示す図である。 第１実施形態に係る機器制御シーケンスの一例を示す図である。 第１実施形態の変形例を説明するための図である。 第２実施形態に係る機器制御システムの概略構成の一例を示す図である。 第２実施形態に係る機器制御シーケンスの一例を示す図である。 制御サーバが保持するテーブルの一例を示す図である。

以下、実施の形態について詳細に説明する。

＜第１実施形態＞
＜機器制御システム：概略構成＞
図１は、第１実施形態に係る機器制御システムの概略構成の一例を示す図である。図１に示すように、機器制御システム１は、通信端末１０と、制御サーバ２０と、撮像機器３０−１〜３０−２とを有するように構成される。通信端末１０と、制御サーバ２０と、撮像機器３０とは、例えばインターネット、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等に代表される通信ネットワークにより接続されている。

なお、図１の例では、カメラ等の撮像機器３０−１〜３０−２を示しているが、これには限定されず他の機器であっても良く、機器の台数もこれには限定されない。撮像機器３０−１〜３０−２は、適宜、撮像機器３０と称して説明する。

通信端末１０は、例えばスマートフォン等の携帯端末や、ＰＤＡ等のタブレット端末等である。通信端末１０は、例えばユーザによる所定の動作の一例として通信端末１０本体を「振る」等の動作を検知し、検知したタイミングで、撮像機器３０が所定の範囲に発した機器識別音を収集し、収集した機器識別音を制御サーバ２０に送信する。

ここで、機器識別音は、例えば機器ごとに異なる音に設定された機器を識別するための音である。機器識別音は、例えばモスキート音や、騒音にならないような可聴帯域外の高周波帯域（例えば１８ｋＨｚ以上）の周波数により構成された所定パターンの音等であるが、これに限定されるものではない。

制御サーバ２０は、通信端末１０から取得した機器識別音に応じて、通信端末１０や撮像機器３０に対して所定の処理を実行する。制御サーバ２０は、例えば機器識別音を解析して機器識別音に対応する撮像機器３０を特定すると、特定した撮像機器３０に対して予め設定された処理を実行するよう指示する。

撮像機器３０は、予め設定された所定の範囲に対して機器識別音を発生する。所定の範囲とは、撮像機器３０に内蔵されたスピーカ等により出力される機器識別音が届く範囲であっても良く、図１に示すように撮像機器３０と外部接続されるスピーカ等から出力される機器識別音が届く範囲であっても良い。また、撮像機器３０は、制御サーバ２０からの指示にしたがって所定の処理を実行する。

図１の例では、撮像機器３０は、例えばテーマパークやアミューズメントパーク、観光地等の撮影スポット等の所定の場所に設置され、撮影可能な所定の範囲に対して機器識別音を発生させている。なお、各撮像機器３０は、他の機器識別音が干渉することがないような範囲で発生させることが好ましいがこれに限定されるものではない。

通信端末１０は、例えば撮像機器３０−１が設置されている場所でユーザによる「振る」等の動作を検知すると、撮像機器３０−１から発せられている機器識別音を収集し、収集した機器識別音を制御サーバ２０に送信する（図１に示す（１））。なお、通信端末１０は、機器識別音と併せて通信端末１０を識別するための端末識別情報（例えば、端末ＩＰアドレス）等を送信する。

制御サーバ２０は、通信端末１０から取得した機器識別音を解析し、解析した機器識別音に対応する機器が、例えば撮像機器３０−１であると判定すると、撮像機器３０−１に対して予め設定された処理として、例えば撮影を行うように指示する（図１に示す（２））。撮像機器３０−１は、設置された位置で撮影を行い、撮影画像を制御サーバ２０に送信する（図１に示す（３））。制御サーバ２０は、撮像機器３０−１から撮影画像を取得すると、対応する機器識別音を取得した通信端末１０に撮影画像を送信する（図１に示す（４））。

上述したように、通信端末１０は、所定の処理を実行させたい機器の近くで「振る」等の動作を行い、機器が発している機器識別音を収集して、制御サーバ２０に送信することで、制御サーバ２０により機器を制御して所定の処理を実行させることが可能となる。

＜通信端末１０：機能構成＞
図２は、通信端末に係る機能構成の一例を示す図である。図２に示すように、通信端末１０は、入力手段１１と、出力手段１２と、動作検知手段１３と、音収集手段１４と、記憶手段１５と、位置情報受信手段１６と、通信手段１７と、制御手段１８とを有するように構成される。

入力手段１１は、例えばユーザからの各種指示の開始／終了、設定等の入力を受け付ける。出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された内容を出力したり、操作画面上に画像を表示したりする。なお、上述した入力手段１１と出力手段１２とは、例えばタッチパネル等のような入出力一体型の構成により機能しても良い。

動作検知手段１３は、通信端末１０に対する所定の動作を検知し、例えばユーザによる「振る」動作があったか否かを判定する。動作検知手段１３は、例えば加速度センサ３７により得られる値から、例えば「振る」等の動作があったことを検知することが可能である。なお、所定の動作とは、例えば通信端末１０本体を「回す」動作でも良く、通信端末１０の画面に対してユーザが行う所定の操作（例えば、スワイプ、ダブルタップ）であっても良く、これに限定されるものではない。

音収集手段１４は、例えば動作検知手段１３により、例えば「振る」動作等があったと判定された場合に、例えば機器から所定の範囲に発せられている機器識別音を収集するが、これには限定されない。音収集手段１４は、例えばユーザによる所定の操作（例えば、画面上での「常時モード」、音収集ボタンの選択等）に応じて、上述した機器識別音を収集しても良い。

記憶手段１５は、例えば音収集手段１４により収集された機器識別音を記憶したり、予め通信端末１０を識別するための端末識別情報等を記憶したり、位置情報受信手段１６により得られた位置情報を記憶したりする。

位置情報受信手段１６は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や、ＩＭＥＳ（Ｉｎｄｏｏｒ ＭＥｓｓａｇｅ Ｓｙｓｔｅｍ）等を介して測位情報（位置情報）を受信する。ここで、位置情報受信手段１６は、例えばＷｉ−Ｆｉ、超音波、可視光通信、自律航法型を利用した測位技術等を用いて位置情報を受信しても良く、これには限定されない。

通信手段１７は、上述した通信ネットワークを介して、例えば制御サーバ２０とデータの送受信を行う。通信手段１７は、例えば制御サーバ２０に対して音収集手段１４により収集した機器識別音や、通信端末１０を識別する端末識別情報や、位置情報受信手段１６により受信した位置情報等を送信したり、制御サーバ２０から送信された画像等を受信したりする。

制御手段１８は、通信端末１０の各構成全体の制御を行う。例えば、制御手段１８は、動作検知手段１３による動作検知処理や、音収集手段１４による機器識別音の収集処理等を制御する。

＜制御サーバ２０：機能構成＞
図３は、制御サーバに係る機能構成の一例を示す図である。図３に示すように、制御サーバ２０は、入力手段２１と、出力手段２２と、音解析手段２３と、処理実行手段２４と、記憶手段２５と、通信手段２６と、制御手段２７とを有するように構成される。

入力手段２１は、例えばポインティングデバイスやタッチパネル、ハードキー等から構成され、ユーザ等からの各種指示の開始、終了等の入力を受け付ける。出力手段２２は、例えば入力手段２１により入力された内容や、入力内容に基づいて実行された内容、通信ネットワークを介して受信したデータ等を出力する。

音解析手段２３は、通信端末１０から取得した機器識別音を解析し、解析した機器識別音に含まれる機器を識別するための機器識別情報等を抽出する。音解析手段２３は、例えば所定の数値（例えば「１」、「２」等）に対応して予め設定された周波数に基づき、例えば機器識別情報等に対応して予め設定された所定のパターン（例えば「１１１１」）を抽出する。

処理実行手段２４は、例えば通信端末１０から得られた機器識別音に対応する処理を実行する。処理実行手段２４は、例えば機器識別音の解析により、機器識別音に対応して予め設定された処理を実行する機器を判定する。処理実行手段２４は、例えば通信端末１０から機器識別音と併せて位置情報を取得した場合には、機器識別音と位置情報とに基づいて、予め設定された処理を実行する機器を判定しても良い。

処理実行手段２４は、例えば機器識別音に対応する撮像機器３０に対して、所定の範囲の撮影を指示し、撮影を指示した撮像機器３０から撮影画像を取得すると、取得した撮影画像を通信端末１０に送信する。処理実行手段２４は、複数の異なる機器識別音に対応するそれぞれの撮像機器３０から得られた撮影画像を通信端末１０ごとに保存し、保存している撮影画像を通信端末１０ごとに送信しても良い。

記憶手段２５は、機器識別音に対応する処理内容の判定テーブルや、通信端末１０から取得した情報テーブル等を記憶する。通信手段２６は、通信端末１０や撮像機器３０等の機器とデータの送受信を行う。

制御手段２７は、制御サーバ２０の各構成全体の制御を行う。例えば、制御手段２７は、音解析手段２３による音解析処理や、処理実行手段２４による処理等を制御する。

＜通信端末：ハードウェア構成＞
図４は、通信端末に係るハードウェア構成の一例を示す図である。図４に示すように、通信端末１０は、タッチセンサ３１と、タッチパネルディスプレイ３２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３３と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３４とを有するように構成される。更に、通信端末１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３５と、記憶装置３６と、加速度センサ３７と、位置情報受信装置３８と、音声入力装置３９と、インターフェース装置４０とを有するように構成される。

タッチセンサ３１は、例えばタッチパネルディスプレイ３２に対する操作を検知する。タッチセンサ３１は、例えばタッチパネルディスプレイ３２に対する接触が検知されたタイミングでパラメータを取得する。

取得するパラメータとしては、例えばタッチイベント、タッチパネルディスプレイ３２上で接触があった位置の座標（Ｖｘ，Ｖｙ）、接触があった位置の数、位置の座標の変化量（△Ｖｘ，△Ｖｙ）、時間あたりの変化量（ｔＶｘ，ｔＶｙ）等である。なお、取得するパラメータは、これに限定されるものではない。

タッチパネルディスプレイ３２は、各種データを画面に表示したり、ユーザからの操作により所定の入力データを取得するための操作画面を表示したりする。

ＣＰＵ３３は、ＲＯＭ３４や記憶装置３６からプログラムやデータをＲＡＭ３５上に読み出し、処理を実行することで、通信端末１０全体の制御や搭載機能を実現する。ＣＰＵ３３は、例えば各種チップセットを有し、チップセットを介して他の機器と接続する。

ＲＯＭ３４は、例えば電源を切っても内部データを保持することが可能な不揮発性の半導体メモリ（記憶装置）であり、各種プログラムやデータが格納されている。ＲＡＭ３５は、プログラムやデータを一次保存する揮発性の半導体メモリである。

記憶装置３６は、例えば画像や音声等の各種データの蓄積を行うストレージである。記憶装置３６は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、メモリカード等の一般的に利用されている記憶媒体により構成される。

加速度センサ３７は、通信端末１０の加速度の変化を検出する。加速度センサ３７は、例えば所定時間間隔で常時パラメータを取得する。例えば、加速度センサ３７は、ＸＹＺの３軸におけるＸ値、Ｙ値、Ｚ値や、Ｘ値、Ｙ値、Ｚ値の時間あたりの変化率△Ｘ、△Ｙ、△Ｚ、及びＸ値、Ｙ値、Ｚ値が変化した際のその時間間隔ｔＸ、ｔＹ、ｔＺの値等をそれぞれ取得する。

位置情報受信装置３８は、例えばＧＰＳやＩＭＥＳ等の測位信号を受信するアンテナを有し、測位信号に含まれる位置情報を受信する。

音声入力装置３９は、例えばマイク等により構成され、例えば撮像機器３０等からの機器識別音を収集したり、ユーザの声を収集したりする。

インターフェース装置４０は、例えば無線ＬＡＮ等を介して接続された他の機器との間で通信を行うためのインターフェースである。

＜制御サーバ２０：ハードウェア構成＞
図５は、制御サーバに係るハードウェア構成の一例を示す図である。図５に示すように、制御サーバ２０は、入力装置４１と、表示装置４２と、ＨＤＤ４３と、ＲＯＭ４４と、ＲＡＭ４５と、ＣＰＵ４６と、インターフェース装置４７と、ドライブ装置４８とを有するように構成され、それぞれがバスＢで相互に接続されている。

入力装置４１は、例えばキーボードやマウス等を含み、各操作信号を入力するのに用いられる。表示装置４２は、例えばディスプレイ等により構成され、処理結果を表示する。

ＨＤＤ４３は、プログラムや各種データを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、装置全体を制御する情報処理システム（例えば「Ｗｉｎｄｏｕｓ（登録商標）」等の基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、及びシステム上で各種機能を提供するアプリケーション等がある。ＨＤＤ４３は、格納しているプログラムやデータを所定のファイルシステムやＤＢ（Ｄａｔａ Ｂａｓｅ）により管理している。

ＲＯＭ４４は、電源を切っても内部データを保持することが可能な不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ４４には、制御サーバ２０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、情報処理システム設定、及びネットワーク設定等のプログラムやデータが格納されている。

ＲＡＭ４５は、プログラムやデータを一次保存する揮発性の半導体メモリである。ＣＰＵ４６は、上記記憶装置（「ＨＤＤ４３」や「ＲＯＭ４４」）からプログラムやデータをＲＡＭ４５上に読み出し、処理を実行することで、制御サーバ２０全体の制御や搭載機能を実現する。

インターフェース装置４７は、機器と接続してデータ通信を行うためのインターフェースである。ドライブ装置４８は、着脱可能な記録媒体４８Ａとのインターフェースである。ドライブ装置４８は、記録媒体４８Ａの読み取りや書き込みを行う。

記録媒体４８Ａには、例えばフロッピーディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＳＤメモリカード（ＳＤ Ｍｅｍｏｒｙ ｃａｒｄ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ ｍｅｍｏｒｙ）等がある。

上述したハードウェア構成により、制御サーバ２０は、各種処理を実行することが可能となる。なお、制御サーバ２０は、例えば入力装置４１や表示装置４２を備えていない構成であっても良い。

＜第１実施形態：機器制御シーケンス＞
図６は、第１実施形態に係る機器制御シーケンスの一例を示す図である。なお、図６では説明の便宜上、１台の撮像機器３０を用いて説明する。図６に示すように、所定の撮影スポットに設置されている撮像機器３０は、例えば撮影可能な範囲に対して機器識別音を発生させている（Ｓ１０）。

通信端末１０を保持しているユーザは、所定の撮影スポットで写真撮影を行いたいとき、撮像機器３０に向かいながら、例えば通信端末１０本体を振る。通信端末１０は、動作検知手段１３により「振る」動作を検知すると（Ｓ１１）、音収集手段１４により撮像機器３０から発生されている機器識別音を収集する（Ｓ１２）。

ここで、ユーザは所望の撮像機器３０に向かって通信端末１０を振ることにより、どの機器を利用したいか、直感的な動作で指定することが可能である。なお、ユーザは、機器識別音を収集可能な範囲であれば、撮像機器３０に向けて通信端末１０を振らなくても良い。また、被写体となるユーザが適切な位置で撮影されるように、所定の撮影スポットに撮像機器３０の撮影可能な範囲を考慮した看板等の目印を設け、ユーザが目印の場所で通信端末１０を振るようにしても良い。

通信端末１０は、収集した機器識別音を、通信端末１０の端末識別情報（例えば、端末ＩＰアドレス）と併せて、通信手段１７により制御サーバ２０に送信する（Ｓ１３）。なお、Ｓ１３の処理において、通信端末１０は、制御サーバ２０においてより精度良く機器を特定するため、位置情報受信手段１６により受信した位置情報を、機器識別音と併せて制御サーバ２０に送信しても良い。

制御サーバ２０は、音解析手段２３により通信端末１０から取得した機器識別音を解析し（Ｓ１４）、処理実行手段２４により、例えば機器識別音に対応する機器が撮像機器３０であると判定する（Ｓ１５）。また、制御サーバ２０は、処理実行手段２４により、機器識別音に対応して予め設定されている処理内容を判定する（Ｓ１６）。

次に、制御サーバ２０は、予め設定されている処理内容が、例えば撮像機器３０に撮影を指示することと判定すると、撮像機器３０に対して所定の範囲の撮影を指示する（Ｓ１７）。撮像機器３０は、制御サーバ２０からの指示に基づき、撮影を行う（Ｓ１８）。

なお、Ｓ１８の処理において、撮像機器３０は、撮影前にスピーカ等から撮影する旨をユーザに通知しても良い。例えば、撮像機器３０がタイマー機能を有していれば、制御サーバ２０が、例えば５秒後に撮影するよう撮像機器３０に指示すると、撮像機器３０は、制御サーバ２０の指示を取得してから５秒後に撮影することが可能である。

ここで、例えば撮像機器３０のスピーカ等に予め５秒等のカウントダウンを行う音声データを保持させ、制御サーバ２０は、撮像機器３０にタイマー機能を用いた撮影を指示し、撮像機器３０のスピーカ等に音声出力指示を行うと良い。これにより、撮像機器３０のスピーカ等は、制御サーバ２０からの指示に応じて５秒等のカウントダウンを行う音声データを再生し、撮像機器３０は、音声データに合わせて撮影を行うことが可能となる。

また、制御サーバ２０が、上述した音声データを保持しておき、撮像機器３０のスピーカ等に音声データを送信しても良く、通信端末１０に音声データを送信して、通信端末１０において音声データを再生させて撮影する旨を通知しても良い。また、制御サーバ２０は、ユーザが「振る」動作を検知した時間を取得し、その時間を基準にタイマー設定を行い、所定時間経過後（例えば５秒後）等に撮像機器３０に撮影を指示しても良い。

また、Ｓ１８の処理において、撮像機器３０は、撮影範囲（画角）内に人物の顔が含まれているか否かの顔の向きの判定を行い、その顔が正面を向いているものと判定された場合に、撮影を行っても良い。なお、顔が正面を向いているか否かは、例えば目や鼻、口等の特徴量等を基準に判定することができるが、これに限定されるものではない。また、撮像機器３０は、曇り空や夜間等の周囲の環境等に合わせてフラッシュモードで撮影しても良い。更に、撮像機器３０における撮影は、静止画に限定されず、動画でも良い。

撮像機器３０は、制御サーバ２０に対して撮影した画像を送信する（Ｓ１９）。なお、画像送信時には、所定の圧縮手法による画像圧縮を行っても良い。制御サーバ２０は、撮像機器３０から画像を取得すると、通信端末１０から取得した端末識別情報（例えば、端末ＩＰアドレス）に基づき、取得した画像を送信する（Ｓ２０）。

上述したように、通信端末１０は、撮影を行いたい撮像機器３０の近くで「振る」動作等を行うと、制御サーバ２０により、通信端末１０が収集した機器識別音に対応した撮像機器３０に対して撮影を実行させることが可能となる。

＜第１実施形態の変形例＞
図７は、第１実施形態の変形例を説明するための図である。図７に示すように、例えばテーマパークや、アミューズメントパーク、観光地等において撮像機器３０−１〜３０−２が所定の撮影スポットに設置されているものとする。なお、撮像機器３０の台数は、これには限定されない。

通信端末１０を保持するユーザは、予め撮影スポットを訪れる前に通信端末１０を振って「常時モード」を選択しておくと、音収集手段１４が、常に機器識別音を収集した状態となる。また、制御サーバ２０には、通信端末１０から「常時モード」を選択したことを示す情報と、通信端末１０の端末識別情報とが送信される。

ユーザが所定の撮影スポットを訪れると、通信端末１０は、撮影スポットに設置されている撮像機器３０から機器識別音を収集し、収集した機器識別音を、通信端末１０の端末識別情報と併せて、制御サーバ２０に送信する。

図７の例では、ユーザがＡ地点〜Ｄ地点を順に訪れ、撮像機器３０−１の撮影スポット（Ａ地点）と、撮像機器３０−２の撮影スポット（Ｃ地点）を訪れたものとする。ユーザがＡ地点に来ると、通信端末１０は、撮像機器３０−１が所定の範囲に発している機器識別音を音収集手段１４により収集することが可能である。

通信端末１０は、撮像機器３０−１の機器識別音を収集すると、収集した機器識別音と通信端末１０の端末識別情報とを制御サーバ２０に送信する（図７に示す（１））。制御サーバ２０は、撮像機器３０−１に対して撮影を行うように指示する（図７に示す（２））。撮像機器３０−１は、制御サーバ２０の指示によりユーザの撮影を行い、撮影した画像を制御サーバ２０に送信する（図７に示す（３））。

また、ユーザは、撮像機器３０−２の撮影スポット（Ｃ地点）に移動すると、通信端末１０は、撮像機器３０−２が所定の範囲に発している機器識別音を音収集手段１４により収集することが可能である。

通信端末１０は、撮像機器３０−２の機器識別音を収集すると、収集した機器識別音と通信端末１０の端末識別情報とを制御サーバ２０に送信する（図７に示す（４））。制御サーバ２０は、撮像機器３０−２に対して撮影を行うように指示する（図７に示す（５））。撮像機器３０−２は、制御サーバ２０の指示によりユーザの撮影を行い、撮影した画像を制御サーバ２０に送信する（図７に示す（６））。

更に、ユーザがＤ地点に移動後、通信端末１０は、制御サーバ２０に撮像機器３０−１〜３０−２で撮影された画像の取得要求を行い（図７に示す（７））、制御サーバ２０から対応する画像を取得することが可能となる（図７に示す（８））。

このように、通信端末１０は、予め「常時モード」を選択しておくことにより、撮影スポットを移動している間に、撮影スポットに設置されている複数の撮像機器３０により撮影された画像を、制御サーバ２０から取得することが可能となる。

なお、上述した第１実施形態で、タイマー設定（機能）を利用して撮影を行う例を示したが、この変形例の「常時モード」では、タイマー設定を利用しない方が望ましい場合もある。第１実施形態では、ユーザは撮影スポットにおいて静止した状態で通信端末１０を「振る」等の動作を行ったが、変形例の「常時モード」では、ユーザが移動しているときに撮影が行われる場合もある。すなわち、タイマー設定を利用すると、機器識別音を取得した通信端末１０のユーザが被写体として撮影可能な範囲から外れてしまう場合もある。

したがって、制御サーバ２０は、「常時モード」で動作している通信端末１０の端末識別情報を所定の記憶領域に管理しておき、通信端末１０から機器識別音と端末識別情報とを受信すると、受信した端末識別情報に基づき、「常時モード」で動作しているか判定する。制御サーバ２０は、「常時モード」で動作している通信端末１０の場合には、タイマー設定なしの撮影指示を行い、「常時モード」で動作していない通信端末１０の場合には、タイマー設定ありの撮影指示を行うと良い。

なお、制御サーバ２０は、上述した撮影指示に関する設定を、複数のモードで管理しておき、通信端末１０の端末識別情報からどのモードで動作している通信端末１０か特定して、モードに応じた撮影指示を行っても良い。

通信端末１０は、予めユーザの顔画像を制御サーバ２０に登録しておいても良い。この場合、制御サーバ２０は、撮像機器３０に撮影指示を行うとき、ユーザの顔画像も併せて送信し、撮像機器３０においてユーザの顔検出ができたタイミングで撮影するよう指示する。

通信端末１０は、制御サーバ２０から各撮像機器３０−１〜３０−２により撮影した撮影画像を逐次取得しても良く、制御サーバ２０が通信端末１０ごとに保持していた撮影画像を閲覧した後、まとめて取得しても良い。例えば、通信端末１０が、制御サーバ２０に対して、閲覧した撮影画像のうち選択した撮影画像のアルバム作成を要求して、制御サーバ２０から所定のショップにアルバム作成を要求する。

この場合には、通信端末１０は、例えばアルバム作成の課金情報や、作成予定時刻、商品番号等を、制御サーバ２０を介してショップから受け取り、ユーザがそのショップにアルバムを受け取りに行っても良い。

なお、所定のサーバ（例えばフォトショップ（登録商標）用）を設置しておき、例えば制御サーバ２０は、第１実施形態又は変形例で、通信端末１０の端末識別情報と併せて撮像機器３０が撮影した撮影画像をフォトショップ用のサーバに送信する処理内容を設定しても良い。フォトショップ用のサーバは、制御サーバ２０から通信端末１０の端末識別情報に関連付けて受信した撮影画像を記憶して管理しておく。

通信端末１０は、ユーザ操作によりインストールしたフォトショップ用のアプリケーションが起動すると、フォトショップ用のサーバにアクセスし、通信端末１０の端末識別情報を送信することで、対応する撮影画像を閲覧可能とする。

フォトショップ用のサーバは、通信端末１０から、ユーザが閲覧した撮影画像うち選択した撮影画像のアルバム作成要求を受けると、上述した課金処理を行う。その後、ユーザがアルバムをショップに受け取りに行くことで、利便的にアプリケーションを利用することも可能となる。

＜第２実施形態＞
＜機器制御システム：概略構成＞
図８は、第２実施形態に係る機器制御システムの概略構成の一例を示す図である。図８に示す第２実施形態は、図１に示す第１実施形態と機器識別音を発している機器が異なり、制御サーバ２０が機器識別音に対応して実行する処理が異なる。以下、異なる点を中心に説明する。

図８に示すように、機器制御システム２は、通信端末１０と、制御サーバ２０と、サイネージ５０とを有するように構成される。通信端末１０と、制御サーバ２０と、サイネージ５０とは、例えばインターネット、無線ＬＡＮ、Ｂｌｕｅｔｏｏｈ（登録商標）等に代表される通信ネットワークにより接続されている。

サイネージ５０は、例えば電子看板や、デジタル通信で表示内容を切り替え可能な広告媒体であり、例えば動画等のコンテンツを出力するコンテンツ出力機器である。図８の例では、サイネージ５０は、例えば展示会等に設置され、例えばＣＭやキャンペーン広告等のコンテンツを出力し、周囲のユーザに対してコンテンツを提示している。

サイネージ５０によりコンテンツに対応して所定の範囲に出力される音には、例えばサイネージ５０を識別するための機器識別音が含まれている。なお、サイネージ５０により出力されるコンテンツは、制御サーバ２０で管理し、制御サーバ２０からサイネージ５０に対してコンテンツを送信して再生させても良い。

通信端末１０は、サイネージ５０の設置場所で、ユーザの「振る」等の動作を検知すると、サイネージ５０が出力しているコンテンツに含まれる機器識別音を収集する。また、通信端末１０は、収集した機器識別音と通信端末１０の端末識別情報とを制御サーバ２０に送信する（図８に示す（１））。

制御サーバ２０は、通信端末１０から取得した機器識別音を解析し、機器識別音に対応する機器がサイネージ５０であると判定すると、サイネージ５０に対応する処理として、出力していたコンテンツに関連する情報等を通信端末１０に送信する（図８に示す（２））。

ここで、コンテンツに関連する情報とは、例えばクーポン券、アンケート、コンテンツで表示されている店情報等の付加情報であるが、これに限定されるものではない。

なお、サイネージ５０は、予め日時等を指定してコンテンツを出力することが可能である。例えば、制御サーバ２０は、予めサイネージ５０で出力されているコンテンツを、コンテンツ出力日時（例えば期間や時間帯等）と対応付けて管理しておく。

制御サーバ２０は、通信端末１０から機器識別音と併せて、機器識別音を取得した日時情報が送信されてきた場合には、機器識別音からサイネージ５０を特定する。また、制御サーバ２０は、特定したサイネージ５０のコンテンツ出力日時の情報と、通信端末１０から取得した日時情報とに基づいて、出力されているコンテンツを判定しても良い。

また、サイネージ５０は、例えば図８に示すように画面５１によりコンテンツを出力しているが、画面５１に対する表示内容を変更することが可能である。例えば、制御サーバ２０は、サイネージ５０が出力しているコンテンツに関連する情報として、通信端末１０に送信するアンケート回答用のファイル（表示データ）等を用意しておき、通信端末１０にそのファイルを送信して、アンケート回答画面表示させる。通信端末１０のユーザは、例えば表示されたアンケートにタッチ操作等により回答し、回答結果を制御サーバ２０に送信する（図８に示す（３））。

制御サーバ２０は、通信端末１０からアンケートの回答結果を取得すると、回答結果を集計して、サイネージ５０の画面５１に集計内容を出力又は更新するよう指示しても良い（（図８に示す（４）））。このとき、制御サーバ２０は、例えばサイネージ５０の画面５１を広告画面と集計画面とに分けて構成し、広告画面にコンテンツを出力し、集計画面にコンテンツに関連するアンケートの集計結果を出力するように、サイネージ５０に対して指示する。

制御サーバ２０は、サイネージ５０が広告画面を投影するプロジェクタと集計画面を投影するプロジェクタとの複数台のプロジェクタにより構成されている場合には、集計画面を投影するプロジェクタに集計結果を更新した表示画面データを送信し投影させても良い。このとき、制御サーバ２０は、投影指示を行うプロジェクタの送信先（ＩＰアドレス等）を保持しているものとする。

なお、アンケートの回答はユーザの任意となるため、制御サーバ２０は、アンケートの回答が得られた通信端末１０に対して、例えば回答結果に応じたクーポンを送信して、ユーザの回答意欲を向上させるような仕組みを構築しても良い。例えば、アンケートの内容が「商品Ａと商品Ｂのどちらが好きか？」等の場合に、通信端末１０から商品Ａが選択された回答を得ると、制御サーバ２０は商品Ａの割引クーポン（クーポン画面の表示データ）を送信して、ユーザの趣向に合った情報を提供しても良い。

このとき、制御サーバ２０には、処理内容（ワークフロー）として通信端末１０へのファイル送信（例えばアンケート画面）、回答集計、サイネージ５０への投影指示に加えて、通信端末１０へのファイル（クーポン画面）送信が追加される。なお、制御サーバ２０には、回答結果に応じたファイル（クーポン画面）が予め登録され、通信端末１０から取得した回答結果に応じたファイルを、通信端末１０に送信して、表示させると良い。

上述したように、制御サーバ２０は、サイネージ５０を制御して、通信端末１０とサイネージ５０とをリアルタイムに連携させることが可能となる。

＜第２実施形態：機器制御シーケンス＞
図９は、第２実施形態に係る制御シーケンスの一例を示す図である。図９に示す制御シーケンスのＳ２１〜Ｓ２４は、図６に示す制御シーケンスのＳ１１〜Ｓ１４と同様の処理であるため省略し、以下、異なる処理の部分を中心に説明する。

なお、図９に示すＳ２３の処理では、通信端末１０が、収集した機器識別音を、通信端末１０の端末識別情報と併せて制御サーバ２０に送信する際、機器識別音を収集した日時情報も併せて送信すると良い。

制御サーバ２０は、処理実行手段２４により、通信端末１０から取得した機器識別音により対応する機器がサイネージ５０であると判定すると（Ｓ２５）、機器識別音に対応して予め設定されている処理内容を判定する（Ｓ２６）。

ここで、予め設定されている処理内容として、例えば「サイネージ５０から出力されているコンテンツに関連するファイル（例えばアンケート）を通信端末１０に送信して通信端末１０から回答を得ること」とする。この場合、制御サーバ２０は、通信端末１０に対して送信するファイルを判定する（Ｓ２７）。なお、制御サーバ２０は、通信端末１０から取得した日時情報に基づき送信するファイルを判定しても良い。

次に、制御サーバ２０は、通信端末１０に対してファイルを送信し（Ｓ２８）、通信端末１０がファイルに対する回答を送信すると（Ｓ２９）、制御サーバ２０は、回答に基づき集計を行う（Ｓ３０）。次に、制御サーバ２０は、サイネージ５０に対して出力内容の指示を行うと（Ｓ３１）、サイネージ５０は、指示に基づき、画面に出力を行う（Ｓ３２）。

上述したように、第２実施形態において、通信端末１０は、サイネージ５０の近くで「振る」動作を行うと、制御サーバ２０からコンテンツに関連する情報を取得することが可能となる。また、第２実施形態では、通信端末１０とサイネージ５０とが連携して、制御サーバ２０によりサイネージ５０の出力内容を制御したりすることが可能となる。

＜制御サーバが保持する情報例＞
図１０は、制御サーバが保持する情報の一例を示す図である。なお、図１０は、上述した実施形態又は変形例において、これらを包括したシステムを構成する場合に用いられる情報である。

図１０（Ａ）は、機器識別音に対応する処理内容の判定テーブルの一例を示している。図１０（Ｂ）は、通信端末１０から取得した情報をテーブルで表したものである。

図１０（Ａ）に示すテーブルは、例えば「機器」、「音情報」、「位置条件」、「日時条件」、「対象データ」、「処理内容」等の項目を有しているがこれには限定されない。

例えば、「機器」には、制御サーバ２０により所定の処理を実行するよう制御される機器が示されている。「音情報」には、「機器」を識別するための機器識別情報（例えば「音１」→「１１１１」）が示されている。「位置条件」には、「機器」が設置されている位置情報（例えば「領域１」等）が示されている。

また、「日時条件」と、「対象データ」とは、制御サーバ２０が「処理内容」を実行するときに用いられる情報である。制御サーバ２０は、「音情報」、「位置条件」、「日時条件」の各項目を用いて、「機器」、「対象データ」、「処理内容」を特定するが、「位置条件」、「日時条件」については必須ではなく、これらの条件を利用したい場合に判定テーブルに登録されれば良い。

また、「処理内容」には、例えば処理を行う対象となる「機器」や、通信端末１０、予め設定された特定の装置等へ実行する処理の内容が定義されている。図１０（Ａ）の例では、実行する処理の順序が、例えばワークフローで設定されている例を示している。また、各処理については、処理の動作内容、処理を行う対象の機器（すなわち「機器」や、通信端末１０、予め設定された特定の装置等）、対象データを利用するか、処理の動作設定（タイマーのＯＮ／ＯＦＦ等）等の各種パラメータが必要に応じて定義される。

図１０（Ｂ）に示すテーブルは、例えば「端末識別情報」、「音情報」、「位置情報」、「日時情報」、「利用モード」等の項目を有しているがこれには限定されない。

例えば、「端末識別情報」は、通信端末１０と通信するための情報（端末ＩＰアドレス等）である。「音情報」は、通信端末１０が取得した機器識別音から抽出された機器識別情報である。「位置情報」は、通信端末１０が受信した位置情報である。「日時情報」は、機器識別音を収集したときの日時情報である。

なお、「利用モード」は、例えば「振るモード」と「常時モード」等があり、上述したように処理内容の設定に用いられる。「振るモード」では、「処理内容」が実行されると処理を終了する。「常時モード」では、例えば再度「振るモード」が検知されるまで、常時起動した状態で「処理内容」の実行を続ける。

制御サーバ２０は、図１０（Ｂ）に示す情報に基づき、図１０（Ａ）に示すテーブルから対応する処理内容を判定し、処理内容を実行する。なお、包括したシステムを構築するような場合には、図１０（Ｂ）に示す項目は、条件判定により利用する項目が異なるため、通信端末１０には、条件判定に利用される情報を制御サーバ２０に送信するよう、通信端末１０にインストールされるアプリケーションに実装しておくと良い。

ここで、上述した図１０に示す情報を用いて、制御サーバ２０により実行される内容について説明する。例えば、制御サーバ２０は、通信端末１０から取得した機器識別音を解析して、抽出された機器識別情報が「音１」であると判定すると、図１０（Ａ）に示すテーブルから、「音１」に対応する「機器」が「撮像機器３０−１」であると判定する。また、制御サーバ２０は、「処理内容」が「撮影→データ保存→送信」であると判定する。

なお、制御サーバ２０は、例えば通信端末１０から位置情報を取得した場合には、取得した位置情報と、判定した「撮像機器３０−１」の「位置条件」とが対応しているか判定する。例えば、通信端末１０から取得した位置情報が「領域１」である場合には、「撮像機器３０−１」の「位置条件」である「領域１」と一致しているため、機器識別音に対応する機器が「撮像機器３０−１」であると判定することが可能となる。このように、機器識別音に対応する機器をより精度良く判定することが可能となる。

また、制御サーバ２０は、機器識別音から抽出された機器識別情報が「音３」であると判定すると、「音３」に対応する「機器」が「サイネージ５０−１」であると判定し、「処理内容」を実行するため、「対象データ」が「ファイル１」か「ファイル２」か判定する。

ここで、制御サーバ２０は、通信端末１０から取得した日時情報が「３／３ １０：００」である場合には、「対象データ」は「ファイル１」であると判定し、「ファイル１」を通信端末１０に送信するよう制御する。

上述したように、制御サーバ２０は、通信端末１０から取得した機器識別音等に基づき、機器識別音を発した機器に対応する処理を実行することが可能となる。

＜その他の実施形態例＞
上述した図１〜図１０に示す機器制御システム１〜２では、制御サーバ２０により通信端末１０が取得した機器識別音に対応する処理を実行させているがこれには限定されない。

例えば、通信端末１０は、操作画面上に表示したアプリケーションのうち、上述したユーザによる「振る」動作等を検知して、所定の処理を実行するアプリケーションが起動すると、以下のように処理を進めても良い。

例えば上述した図１や図８の例では、通信端末１０は、制御サーバ２０を介して撮像機器３０や、サイネージ５０に処理を実行させるが、これらの機器と直接接続して処理を実行させても良い。

そこで、通信端末１０は、例えば上述したアプリケーションが起動した場合に、操作画面上で「直接通信する」、「直接通信しない」等をユーザに選択させる。通信端末１０は、「直接通信しない」等が選択された場合には、上述した制御サーバ２０を介した処理を選択して実行する。

通信端末１０は、「直接通信する」が選択された場合には、機器から発せられている機器ごとに異なる音（例えば機器に接続するための接続情報が含まれた音）に基づき直接通信し、連携した機器に対して処理を実行させる。これにより、上述した機器だけでなく、例えばＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）やプロジェクタ等の場合には、通信端末１０からデータを送信して出力させる処理を実行させることが可能となる。

上述した実施形態によれば、簡単な操作で所定の場所にある所定の機器に応じた処理を実行させることが可能となる。なお、上述した機器制御システムにおいて、制御サーバ２０を複数台で構成し、ネットワークを介して接続された各サーバ装置が分散して処理を行うようにしても良い。

例えば、１以上のサーバ装置がネットワークを介して接続され、連携して処理を行うように制御された制御システムにより、通信端末１０や、撮像機器３０、サイネージ５０、又は外部システム上のサーバ装置等に対して処理を行わせても良い。制御サーバ２０は、サーバ装置に限定されずＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で実現されても良く、上述した制御システムは、１以上の情報処理装置によって構成されていれば良い。

以上、開示の技術の好ましい実施形態について詳述したが、開示の技術に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された開示の技術の要旨の範囲内において、種々の変形、変更が可能である。

１，２ 機器制御システム
１０ 通信端末
１１，２１ 入力手段
１２，２２ 出力手段
１３ 動作検知手段
１４ 音収集手段
１５ 記憶手段
１６ 位置情報受信手段
１７ 通信手段
１８、２７ 制御手段
２０ 制御サーバ
２３ 音解析手段
２４ 処理実行手段
２５ 記憶手段
２６ 通信手段
３０ 撮像機器
３１ タッチセンサ
３２ タッチパネルディスプレイ
３３，４６ ＣＰＵ
３４，４４ ＲＯＭ
３５，４５ ＲＡＭ
３６ 記憶装置
３７ 加速度センサ
３８ 位置情報受信装置
３９ 音声入力装置
４０，４７ インターフェース装置
４１ 入力装置
４２ 表示装置
４３ ＨＤＤ
４８ ドライブ装置
４８Ａ 記録媒体
５０ サイネージ

特開２００６−１６３７９４号公報

Claims (11)

1. 通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムであって、
   前記通信端末は、
   機器が所定の範囲に発した機器識別音を収集する音収集手段と、
   前記通信端末の位置情報及び前記音収集手段により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手段とを有し、
   前記制御システムは、
   前記通信端末から得られた位置情報及び機器識別音に基づいて、前記機器識別音に対応して予め設定された処理を実行する機器を判定する処理実行手段を有することを特徴とする機器制御システム。
2. 通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムであって、
   前記通信端末は、
   機器が所定の範囲に発した機器識別音を収集する音収集手段と、
   前記音収集手段により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手段とを有し、
   前記制御システムは、
   前記通信端末から得られた機器識別音に対応する撮像機器に、前記所定の範囲の撮影を指示し、前記撮像機器から得られた撮影画像を、前記通信端末に送信する処理実行手段を有することを特徴とする機器制御システム。
3. 通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムであって、
   前記通信端末は、
   機器が所定の範囲に発した機器識別音を収集する音収集手段と、
   前記音収集手段により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手段とを有し、
   前記制御システムは、
   前記通信端末から得られた機器識別音に対応するコンテンツ出力機器から出力されているコンテンツに関連する情報を、前記通信端末に送信する処理実行手段を有することを特徴とする機器制御システム。
4. 前記通信手段は、
   前記音収集手段により機器識別音を取得したときの日時情報を送信し、
   前記処理実行手段は、
   前記通信端末から得られた前記機器識別音と前記日時情報とに基づいて特定した前記コンテンツに関連する情報を、前記通信端末に送信することを特徴とする請求項３に記載の機器制御システム。
5. 前記処理実行手段は、
   前記通信端末から前記コンテンツに関連する情報に対する回答を得た場合、前記コンテンツ出力機器に前記回答に基づく情報の出力を指示することを特徴とする請求項３又は４に記載の機器制御システム。
6. 通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムであって、
   前記通信端末は、
   前記通信端末の所定の動きを検知する動作検知手段と、
   前記動作検知手段により所定の動きを検知したタイミングで、機器が所定の範囲に発した機器識別音を収集する音収集手段と、
   前記音収集手段により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手段とを有し、
   前記制御システムは、
   前記通信端末から得られた機器識別音に対応する処理を実行する処理実行手段を有することを特徴とする機器制御システム。
7. 前記処理実行手段は、
   前記機器識別音の解析により、前記機器識別音に対応して予め設定された処理を実行する機器を判定することを特徴とする請求項１乃至請求項６のいずれか１項に記載の機器制御システム。
8. 通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムにおける機器制御方法であって、
   前記通信端末により、
   機器が所定の範囲に発した機器識別音を収集する音収集手順、及び、
   前記通信端末の位置情報及び前記音収集手順により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手順として実行させ、
   前記制御システムにより、
   前記通信端末から得られた位置情報及び機器識別音に基づいて、前記機器識別音に対応して予め設定された処理を実行する機器を判定する処理実行手順として実行させる機器制御方法。
9. 通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムにおける機器制御方法であって、
   前記通信端末により、
   機器が所定の範囲に発した機器識別音を収集する音収集手順、及び、
   前記音収集手順により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手順として実行させ、
   前記制御システムにより、
   前記通信端末から得られた機器識別音に対応する撮像機器に、前記所定の範囲の撮影を指示し、前記撮像機器から得られた撮影画像を、前記通信端末に送信する処理実行手順として実行させる機器制御方法。
10. 通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムにおける機器制御方法であって、
    前記通信端末により、
    機器が所定の範囲に発した機器識別音を収集する音収集手順、及び、
    前記音収集手順により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手順として実行させ、
    前記制御システムにより、
    前記通信端末から得られた機器識別音に対応するコンテンツ出力機器から出力されているコンテンツに関連する情報を、前記通信端末に送信する処理実行手順として実行させる機器制御方法。
11. 通信端末と、前記通信端末に対する所定の処理を実行する１以上の情報処理装置により構成される制御システムとを有する機器制御システムにおける機器制御方法であって、
    前記通信端末により、
    前記通信端末の所定の動きを検知する動作検知手順、
    前記動作検知手順により所定の動きを検知したタイミングで、機器が所定の範囲に発した機器識別音を収集する音収集手順、及び、
    前記音収集手順により得られた機器識別音を、ネットワークを介して、前記制御システムに送信する通信手順として実行させ、
    前記制御システムにより、
    前記通信端末から得られた機器識別音に対応する処理を実行する処理実行手順として実行させる機器制御方法。

Images