以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。近年、複数の電子機器を連係して動作させる手法が広く知られるようになってきた。例えば、オフィスにはサーバーシステム、複数のPC(Personal Computer)、プリンター等の電子機器が配置され、それぞれがLANやWAN、或いは短距離無線通信等により接続される。そのため、適宜必要な情報の送受信を行うことで、複数の電子機器を連動させることが可能である。
また、連携対象となる機器は業務用の機器に限定されるものではない。例えば、スマートフォンやタブレット等は通信機能を持つものが多く、他の機器と連携可能である。また、近年ではネットワークに接続可能な家電(スマート家電)が広く知られており、電子レンジや洗濯機、冷蔵庫等も連携対象となり得る。さらに、住居のドアや窓についても、開閉等の状態の認識及び認識結果の通信を行うシステムが実現されれば、ドアや窓(狭義にはその管理、監視システム)を他の電子機器と連動させて制御することが可能である。
特許文献1には、プリンターにおける印刷完了通知を、携帯電話の表示部で表示するというプリンターと携帯電話の連携手法が開示されている。なお、プリンターに対する印刷指示は一般的にはPCから行われることを考慮すれば、特許文献1の手法はPCとプリンターと携帯電話の連携手法と考えることもできる。その他、複数の電子機器の連携手法は既に提案されているものであるが、特許文献1等の従来手法は、第1の電子機器の状況等を、第2の電子機器に通知し、当該通知に基づいて第1の電子機器の状況を第2の電子機器において使用者に報知するものにとどまっている。
そのため、上述したように特許文献1の例であれば、印刷完了通知は、印刷物を使用者に適切に回収させることを目的としたものであるのに、実際に使用者が印刷物を回収したか否かが考慮されないことになる。報知とは使用者に何らかの情報を知らせるものであるから、当該報知が使用者により認識されたか否かは重要な問題であるのに、従来手法ではその点を考慮しないことになり適切な報知が行えているとは言えない。例えば、報知に対して使用者が何らかのアクションを行った場合、報知は使用者により認識された(さらに状況によっては報知に対する適切な対処が実行された)と考えられるが、その点は従来手法は考慮していない。特許文献1のようにプリンターを例にとれば、報知開始からさほど時間がたっていなくても、使用者により印刷物が回収されたのであればそれ以上の報知は不要であるし、逆に報知を長時間を行っていたとしても、使用者が印刷物を回収していないのであれば、報知を継続することに意義はある。つまり、所与の電子機器の状態等を他の電子機器を用いて報知するという連携を考えた場合に、従来手法では使用者の動作を考慮しないために、適切な(効率的な)報知を行っているとは言えない状況にあった。
そこで本出願人は、携帯型の電子機器、或いは使用者により装着されるウェアラブル型の電子機器の広がりを鑑みて、使用者の動作情報に基づいて報知態様を変更する手法を提案する。具体的には、本実施形態の処理システム100は図1に示したように、電子機器からの通知を受信する受信部110と、通知の内容と関連づけられた使用者の動作情報を取得する動作情報取得部120と、ウェアラブル装置又は携帯端末装置の報知部における、使用者に対する通知についての報知の制御を行う処理部130を含む。そして、処理部130は、動作情報に基づいて、通知についての報知の態様を変更する。
ここで動作情報とは、使用者の動作を表す情報であり、例えばモーションセンサーのセンサー情報に基づいて取得される情報である。モーションセンサーとは、例えば加速度センサーやジャイロセンサー等が考えられる。また、動作情報はモーションセンサーのセンサー情報(センサー信号)そのものであってもよいが、センサー情報に対する処理の結果取得される情報であってもよく、例えば図10(A)〜図10(C)を用いて後述するように、立位状態等の状態を表す情報等であってもよい。
モーションセンサーは、使用者の動作による信号を取得する必要があることから、ウェアラブル装置や携帯端末装置に設けられることが想定される。よって、本実施形態の処理システム100がウェアラブル装置等に含まれる場合には、動作情報取得部120は、モーションセンサーを含むことになる。また、本実施形態の処理システム100が図7に示すようにサーバーシステム等に含まれる場合には、動作情報取得部120は、ネットワーク等を介して、ウェアラブル装置等に設けられるモーションセンサーからセンサー情報を取得することになる。
また、通知とは通知元である電子機器の状態、或いは当該電子機器における作業状況等、電子機器に関する情報を伝達するものである。上述の特許文献1のようにプリンターの例を考えれば、通知とは印刷完了を伝達する情報となる。報知とは、通知の内容を使用者に知らせるものであり、報知はウェアラブル装置又は携帯端末装置の報知部140において行われることを想定している。なぜなら、ウェアラブル装置又は携帯端末装置は、使用者により装着される或いは携行される装置であり、報知が行われた場合に、使用者が当該報知を認識することが容易なためである。ここでの報知は、音を発生させる、LED等の発光部を発光させる、或いはバイブレーション機能を用いてウェアラブル装置(或いは携帯端末装置)を振動させる等、種々の手法が考えられる。或いは、ウェアラブル装置や携帯端末装置が表示部を持っている(上記報知部140が表示部により実現される)場合には、当該表示部に通知がある旨や、通知の内容等を表示することで、報知を行ってもよい。
ウェアラブル装置とは、例えばバンド型(腕時計型)の機器であってもよいし、メガネ型の機器であってもよく、使用者の身体に装着される機器を広く適用可能である。また、携帯端末装置とは、例えば携帯電話やタブレット端末等のように、ユーザーが携行することが想定される小型軽量の機器である。
これにより、使用者の動作情報に基づいて、報知の態様を変更することが可能になる。そのため、報知に対する使用者の対応等まで考慮して報知の態様を制御することができる。例えば、上述してきたプリンターの例であれば、印刷完了の通知後に、「使用者が印刷物を回収した」ことを表す動作情報を取得したか否かで報知態様を変更できる。具体的には、動作情報の取得前であれば、印刷が完了した印刷物は使用者により回収されていないものとして、回収を促す報知を継続する。一方、動作情報が取得された場合には、印刷物は回収済みであり、これ以上の報知は不要であるとして報知の解除を行う。
なお、以上の説明からもわかるように、報知の制御に用いる動作情報とは任意のものではなく、通知と対応付けられたものでなくてはならない。例えば、プリンターの印刷完了であれば、上述したように印刷物の回収動作に基づいて報知の態様を変更することになるが、スマートフォン等の充電要求通知に対しては、スマートフォン等を充電する動作(クレードルに機器を差し込む動作等)に基づいて報知態様を変更する。そして一般的に、第1の通知についての報知態様を変更するための動作と、第1の通知とは異なる第2の通知についての報知態様を変更するための動作とは異なる動作となる。つまり、報知態様の変更に用いられる動作情報とは、通知に対応付けられている必要があり、本実施形態の動作情報取得部120は、上述したように、通知の内容と関連づけられた使用者の動作情報を取得するものとなる。
以下、本実施形態に係る処理システム等の構成例について説明し、その後、プリンターの印刷完了通知を例にとって、本実施形態の処理の詳細について説明する。さらに、プリンターの印刷完了通知以外の変形例について説明する。
2.システム構成例
図2に本実施形態に係る処理システム100の詳細なシステム構成例を示す。図2に示したように、処理システム100は、受信部110と、動作情報取得部120と、処理部130と、記憶部150を含む。ただし、処理システム100は図2の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また、種々の変形実施が可能な点は、図4等の構成例についても同様である。
受信部110、動作情報取得部120、処理部130については図1と同様である。記憶部150は、処理部130等のワーク領域となるもので、その機能はRAM等のメモリーやHDD(ハードディスクドライブ)などにより実現できる。記憶部150は、通知内容と動作情報を対応付ける情報を記憶してもよい。つまり本実施形態の処理システム100は、通知の内容と動作情報とを関連づけるリンク情報を記憶する記憶部150をさらに含み、処理部130は、受信部110が受信した通知の内容と、動作情報取得部120が取得した動作情報と、記憶部150から読み出したリンク情報とに基づいて、通知についての報知の態様を変更する。
ここでのリンク情報とは、通知内容と動作情報を対応付ける情報であればよく、例えば図3に示したテーブル等であってもよい。なお、図3では通知内容及び動作情報を抽象化して記載したが、各情報はより具体的に規定されてもよい。例えば、通知内容には通知を一意に識別するIDや、連携対象となる電子機器の情報等が含まれてもよい。また、動作情報は具体的な加速度の波形を含んでもよいし、或いは図10(A)〜図10(C)を用いて後述するような状態の情報を含んでもよい。例えば、「印刷物の回収」という動作情報を、「座位状態→立位状態→歩行状態→立位状態→歩行状態→座位状態」という時系列的な状態変化の情報とすることや、「ロック動作」を「使用者の腕部分の回転状態の変化」という情報としてもよい。
このようにすれば、通知に対応する動作情報を適切に判定した上で、報知を行うことが可能になる。具体的には、処理部130は、受信部110が受信した通知の内容とリンク情報とに基づいて、通知に対応する動作情報である対応動作情報を特定し、特定した対応動作情報と、動作情報取得部120が取得した動作情報との比較処理に基づいて、通知についての報知の態様を変更すればよい。
例えば、印刷完了通知を受け取っている場合には、リンク情報を参照することで、印刷物の回収動作が行われた場合に報知態様を変更すればよいことがわかる。つまり、通知を受け取った後にリンク情報を参照すれば、どのような動作情報が対応動作情報であるかがわかるため、当該対応動作情報を待ち受けていればよい。具体的には、動作情報取得部120が取得する動作情報を、連続的(或いは間欠的)にチェックして、当該動作情報が対応動作情報と一致するか否かを判定すればよい。一致した場合には、通知に対応する動作情報が取得されたことになるため、報知態様を変更すればよい。なお、ここでの一致は完全一致に限定されるものではなく、類似度が所与の閾値以上の場合には一致と見なす等、種々の変形実施が可能である。
また、本実施形態の手法は、図4に示したように、図1や図2等の処理システム100を含むウェアラブル装置200に適用できる。図4に示したように、ウェアラブル装置200は、例えば受信部110と、動作情報取得部120と、処理部130と、報知部140を含む。報知部140は、例えば音を発生させるスピーカー等を含んでもよいし、発光部を含んでもよいし、振動モーター等を含んでもよいし、表示部により実現されてもよい。図4の場合、報知制御及び実際の報知の両方がウェアラブル装置200で実行されることになる。
なお、図1等には不図示であったが、動作情報取得部120は、使用者の所定の部位の移動加速度を検出する加速度検出部を含んでもよい。この場合、例えば加速度検出部は、3軸加速度センサーからのセンサー情報に基づいて、加速度を検出し、動作情報取得部120は、加速度に基づいて使用者の動作情報を取得する。
これにより、加速度を用いて動作情報の処理を行うことが可能になる。図10(A)〜図10(C)を用いて後述するように、加速度の情報を用いることで、容易に使用者の種々の状態を識別する(或いは状態間の遷移を識別する)ことが可能になるため、動作情報を精度よく求めること等が可能になる。ただし、加速度センサーは3軸加速度センサーに限定されるものではなく、2軸の加速度センサーを用いたり、複数の加速度センサーを組み合わせて利用する等、種々の変形実施が可能である。この際、加速度信号を積分することで、速度の情報を求めてもよい。また、動作情報の取得を加速度以外の信号を用いて行ってもよく、上述したようにジャイロセンサーによる角速度等も利用可能である。或いは、動作情報において方向(方角)が重要となる場合には地磁気センサーを用いることができるし、重力方向における高さが重要となる場合には高度計を用いることも可能であるし、それら複数のセンサーを組み合わせることで動作情報を取得することも可能である。
ウェアラブル装置200の詳細な構成例を図5に示す。ウェアラブル装置200は、CPU220と、主記憶230と、副記憶240と、バッテリー250と、種々のセンサーと、種々の報知部140と、通信装置260を含む。図5では種々のセンサーとして、センサーA〜センサーDの4つを示したが、各センサーは上述したように種々のモーションセンサーを用いることができる。また、モーションセンサー以外のセンサーを用いてもよく、例えば脈波センサー等、使用者の生体情報を取得する生体センサーを利用することも可能である。また、図5では報知部140の例として、画像の表示を行う表示装置141と、音声を出力する音声出力装置142と、骨伝導を利用して音を使用者に伝達する骨伝導出力装置143と、バイブレーション機能を有する振動装置144とを示したが、報知部140はこれらの一部を省略したり、他の報知部を追加する等の変形実施が可能である。
また、通信装置260は、他の機器との通信を行う。具体的には、電子機器からの通知を受信する。或いは、処理システム100がウェアラブル装置200の外部に設けられる場合には、動作情報(モーションセンサーのセンサー情報)を処理システム100に対して送信する。
図6にウェアラブル装置200の機能ブロック図を示す。ウェアラブル装置200は、通信機能と、報知制御機能と、通常機能とに分けることができる。通常機能とは、本実施形態の手法とは直接関係ないオリジナル機能であり、ウェアラブル装置200が脈波計であれば、脈波(脈拍数、心拍数)の測定処理を行うものである。
通信機能は、連携機器探索/指定機能と、通信確立機能と、通知送受信機能とを含み、セキュリティを考慮する場合には連携機器認証機能を含んでもよい。連携機器探索/指定機能は連携する機器(例えばプリンター等)を探索したり、特定の連携機器と通信を行うことを決定する。通信確立機能は探索された連携機器との通信を確立する機能であり、一般的な通信機器と同様のものである。通知送受信機能は、連携機器からの通知を受信する等の機能である。
また、報知制御機能は、報知機能と、報知条件制御機能を含む。報知機能とは報知部140を実際に動作させる機能である。報知条件制御機能とは、報知についての条件を制御する機能であり、具体的には通知に対応する動作が検出されたか否かに基づいて報知の態様を変更する機能となる。また、処理システム100がウェアラブル装置200の外部に設けられる場合には、報知条件制御機能に代えて(或いは報知条件制御機能に加えて)制御信号検出機能を含んでもよい。制御信号検出機能では、処理システム100における処理結果である報知内容を制御する信号を検出する機能であり、検出された信号に基づいて報知機能が報知を行う。
また、本実施形態の処理システム100はウェアラブル装置200に含まれるものに限定されない。例えば、図7に示したように、サーバーシステム300が処理システム100を含むものとしてもよい。この場合、動作情報取得部120は、使用者が装着するウェアラブル装置200等のモーションセンサー210等からの情報を用いて動作情報を求める。処理部130では、受信部110が受信した通知と、動作情報取得部120が取得した動作情報に基づいて、ウェアラブル装置200の報知部140での報知の態様を決定する。つまり、処理システム100では報知の態様の決定、及び当該態様により報知を行うための制御情報の生成を行い、当該制御情報をウェアラブル装置200の報知部140に送信することで、報知部140の報知態様を制御することになる。
この場合のシステム構成例が図8であり、クラウドシステム310(サーバーシステム300)と、ウェアラブル装置200と、連携機器400(例えばプリンター)が相互に接続されることになる。また、他の情報端末500(例えばPC)がシステムに含まれてもよい。
また、ここでは処理システム100がウェアラブル装置200、或いはサーバーシステム300に含まれる例を説明したがこれには限定されず、本実施形態の処理システム100は、携帯端末装置や、他の電子機器に含まれてもよい。
3.複数の電子機器の連携の具体例
次に本実施形態の手法を用いた、複数の電子機器の連携手法の具体例について説明する。ここではプリンターにおける印刷完了通知を、ウェアラブル装置200で報知する例を用いて処理の流れを説明するが、後述するように連携対象の電子機器や通知の内容、対応する動作情報、及び報知の態様等は種々の変形実施が可能である。
図9に本実施形態の処理を表すシーケンス図を示す。本実施形態の処理が開始されると、まず使用者による指示を第1の電子機器(図9ではPC)において取得する(S101)。ここでの例であれば、使用者はPCを用いて印刷対象であるファイルの作成、編集を行い、当該ファイルの一部又は全部の印刷を指示し、PCは当該指示の信号を取得することになる。
そして、第1の電子機器が第2の電子機器(図9ではプリンター)に対して使用者による指示を実行させる(S102)。具体的には、PCがプリンターに対して印刷の指示を行い、プリンターは指示に従って印刷を行う。
指示の実行後に、第2の電子機器において指示が実行されたことを表す通知を、第3の電子機器(図9ではウェアラブル装置200)において取得する(S103)。図9ではプリンターからウェアラブル装置200に対して、印刷完了の通知を行う例を示したが、印刷完了通知はプリンターからPCに対して行われ、PCが当該通知をウェアラブル装置200に転送する等、種々の変形実施が可能である。
第3の電子機器では、使用者に対して通知の内容の報知を行う(S104)。図9の例であれば印刷完了を報知することになる。これは上述したように音や光、振動の発生でもよいし、「印刷が完了しました」等の音声でもよいし、印刷完了を知らせる文言やイラスト等を表示部に表示するものでもよい。
その後、通知に対応する動作情報が検出された場合に報知の態様を変更する。具体的には、第3の電子機器において、使用者の動作情報を取得し、対応する動作が検出されたか否かの判定を行う(S105)。ここでは図3のリンク情報の例からもわかるように、印刷物が使用者により回収されたことを表す動作情報の検出判定を行えばよい。
取得した動作情報が通知の内容と対応しない場合、すなわちS105でNoと判定された場合には、印刷完了備忘報知を行い(S106)、一定時間待機してからループ処理を継続する(S107)。つまり、S105でNoと判定された場合には、報知が継続されることになる。
一方、取得した動作情報が通知の内容と対応する場合、すなわちS105でYesと判定された場合には、ループ処理を終了する(S108)。つまり、S105でYesであれば報知を終了することになる。
図9の例では、処理部130は、電子機器(例えばPC)からの通知を受信した場合に、通知に関連づけられた動作情報の取得前は、通知についての報知を継続し、通知に関連づけられた動作情報が取得された場合に、通知についての報知を解除する。つまり、報知の態様の変更とは、例えば報知の継続から、報知の解除への変更であってもよい。印刷完了通知のように、報知が使用者に対して何らかのアクションを要求するものである場合、当該アクションが実行された場合には報知の目的が達成されるため、それ以上の報知は不要となるケースが多い。つまり、報知を解除する制御を行うことで、多くの場合において適切な報知制御を行うことが可能になる。
次に動作情報の例について詳細に説明する。図10(A)〜図10(C)は使用者の状態を種々変化させた場合の3軸加速度センサーのセンサー情報の変化を示す図である。図10(A)〜図10(C)では使用者の体幹部(胸や腹等)に加速度センサーを装着し、当該センサーの第1の軸を使用者の頭頂部と足先を結ぶ方向(使用者が直立している状態における重力方向に対応)とした例である。また、他の2軸は、使用者が直立した状態での水平方向の面に含まれ、第2の軸が使用者の正面方向(前後方向)であり、第3の軸が使用者の左右方向となるものである。第1の軸での加速度値の変化を示したものが図10(C)であり、第2の軸での加速度値の変化が図10(B)、第3の軸での加速度値の変化が図10(A)である。
図10(A)〜図10(C)からわかるように、使用者が移動している状態(歩行状態又は走行状態)では、使用者が移動していない状態に比べて、各軸の信号値が容易に識別可能な程度に大きい。また、走行状態では、歩行状態に比べて各軸の信号値が大きく、信号値を比較することで、歩行状態と走行状態の識別も容易である。
また、立位状態では、重力方向と第1の軸が対応することになるため、第1の軸に重力加速度に近い値が表れ、第2,第3の軸は重力方向に直交する方向に対応するため0Gに近い値となる。それに対して、臥位では、重力方向と第1の軸が対応しなくなる。そのため、図10(A)〜図10(C)の例では、図10(B)に示したように第2の軸に大きな加速度が現れる一方、図10(A)、図10(C)に示したように第1、第3の軸では比較的小さい加速度となる。以上のことから、立位と臥位は加速度に基づいて識別できる。
また、床面に座っている床上座位や、いす等に座っている座位においても、第1の軸が重力方向に近くなる点は同一であるため、床上座位状態と臥位状態の識別、及び座位状態と臥位状態の識別も可能となる。
さらに、座位状態では、第1の軸の加速度が1Gに比べやや小さくなる他、第2,第3の軸についても0.2〜0.5G程度の値を取る点で、床上座位状態や立位状態と異なる。また、床上座位状態と立位状態は類似度が高いものの、床上座位状態では各軸の値の変動幅が比較的小さく値が安定しているのに対して、立位状態では信号値が必ずしも狭い範囲に集中するのではなく変動幅が大きい。そのため、床上座位状態と立位状態の識別も可能である。
また、寝返り状態は単発的且つ比較的大きな値の変動が検出されるため、以上の全ての状態とは明確に識別可能である。
以上の例からわかるように、加速度センサーを用いることで、使用者の種々の状態を識別することが可能である。或いは、所与の状態であることではなく、第1の状態から第2の状態へ遷移したことが動作において重要なケースもある。そのような場合であっても、上述したように各状態の識別が可能であれば状態間の遷移の識別も可能である。あるいはセンサー等の制約から各状態の識別の精度が充分でない場合であっても、状態が変化するタイミングでは図10(A)〜図10(C)に示したように信号値の変動が大きい。つまり、状態認識の精度が低いことをカバーするために、状態を認識するのではなく、状態の遷移を認識するという実施形態も考えられる。いずれにせよ、本実施形態では、例えば上記の状態を用いて動作情報に関する処理を行ってもよいことになる。また、図10(A)〜図10(C)では体幹部に加速度センサーを装着する例を示したが、頭部や手首、足首等、センサーの装着位置は柔軟に変更可能であり、その場合には、使用者の所定部位の状態(例えば腕を持ち上げた、手首を回転させた、足を振り上げた、或いはそれらの動作が実行されていない等の状態)を認識できるため、その認識結果を動作情報の処理に用いてもよい。
すなわち、動作情報取得部120は、使用者の所定部位の状態、立位状態、床上座位状態、座位状態、臥位状態、寝返り状態、歩行状態、及び走行状態のうちの少なくとも2つの状態、或いは2つの状態の間の遷移の検出結果を、動作情報として取得してもよい。
例えば印刷完了通知に対応する印刷物の回収動作は、PC等を操作するためにいすに座っている座位状態から、印刷物回収のために立ち上がった立位状態、プリンターの位置まで移動するための歩行状態、プリンターの前で立ち止まる立位状態、プリンターからいすの位置まで戻るための歩行状態、いすの前で立ち止まる立位状態、いすに座った座位状態へと、時系列的に状態が遷移していくことになる。つまり、使用者の所定の動作は1つの状態、或いは複数の状態の組み合わせにより表現することが可能であり、本実施形態では上記状態を用いて、使用者の動作が通知の内容に対応したものか否かを判定する。
つまり、受信部110が、電子機器からプリンターの印刷完了を表す通知を受信した場合に、動作情報取得部120は、通知の内容と関連づけられた動作情報として、使用者がプリンターまで移動し印刷物を受領するまでの一連の動作を表す情報を取得する。ただし、「使用者がプリンターまで移動し印刷物を受領するまでの一連の動作」を行ったか否かの判定は、上記の状態に基づいて行われるものには限定されない。例えば、図10(A)〜図10(C)に示すような加速度値の時間変化をそのまま用いる等の変形実施が可能である。また、状態を用いた判定も種々の手法により実現できる。例えば、印刷物の回収動作についても、「立位→歩行→立位→歩行→立位→座位」という状態の変化が全て検出された場合に、印刷物の回収動作があったとする厳密な判定を行ってもよい。或いは、上記状態変化のうち、いくつかの状態が検出されなかったとしても、ある程度近い状態変化であれば(例えば、閾値以上の割合で状態変化が一致すれば)、印刷物の回収動作が行われたと判定してもよい。
また、図9においては、プリンターの印刷完了の通知はウェアラブル装置200に送信されるものとしたが、上述したようにこれに限定されない。通常、印刷完了の通知は、印刷の指示を行った電子機器であるPCに対して行われる。つまり、プリンターからPCへ印刷完了の通知が行われ、PCが当該通知をウェアラブル装置200に転送する、或いはプリンターからPC及びウェアラブル装置200に対して印刷完了の通知を行うといった種々のケースは考えられるものの、第2の電子機器(プリンター)において指示が実行されたことを表す通知を、第1の電子機器(PC)及び第3の電子機器(ウェアラブル装置200)において取得することは大いに考えられる。
その際、第3の電子機器で使用者に対して通知の内容の報知を行い、第1の電子機器で使用者に対して通知の内容の報知を行わないものとしてもよい。このようにした場合、プリンターの例であれば、印刷完了の通知をPCにおいて報知しなくてもよいことになる。一般的にPCは種々の作業が行われるものであり、所与のファイルの印刷を指示した場合であっても、当該ファイルとは関係のない他のファイルに対して作業を行う、或いは当該所与のファイルに対してさらなる編集作業を行うといった状況が多い。また、PCに限定せずとも、第1の電子機器は他の機器に対して指示を行うものであるから、使用者が主として作業を行う機器であることが想定され、既に送信した指示に対する応答を待っているだけという状況は考えにくい。
つまり、第1の電子機器は指示の送信元ではあるものの、当該第1の電子機器で報知を行うことで、使用者の作業を妨げてしまう可能性がある。PCの例であれば、所与のファイルを開いて作業を行っているところに、印刷完了を報知するポップアップ表示等がされることは使用者の作業継続の観点から好ましいとは言えない。
その点、第3の電子機器はウェアラブル装置200や携帯端末装置であるため、小さい音や振動等でも使用者に報知を気づかせることが可能であり、且つ第1の電子機器に比べると使用者の作業対象となっている可能性が低い。そのため、第3の電子機器を用いて報知を行ったとしても、第1の電子機器における報知に比べると、使用者の作業を阻害する可能性は低いと言える。つまり、第1の電子機器においてあえて報知を行わず、報知を第3の電子機器に行わせることで、ユーザーフレンドリーの観点から好ましいシステムを実現することが可能になる。
4.変形例
変形例について説明する。図7を用いて上述したように、本実施形態に係る処理システム100はサーバーシステム300(クラウドシステム)に含まれてもよい。その場合のシーケンス図を図11に示す。
図11の処理が開始されると、使用者がPCに対して印刷を指示し(S201)、PCがプリンターに対して印刷の実行を指示する(S202)。そして印刷を完了したプリンターがウェアラブル装置200に印刷完了通知を送信し(S203)、ウェアラブル装置200は使用者に印刷完了の報知をおこなう(S204)。S201〜S204は図9のS101〜S104と同様である。
そして、印刷を完了したプリンターはさらに、印刷を実行した使用者を特定可能な「ユーザー情報」と、印刷が完了した旨を示す「イベント情報」を、クラウドシステムに送信する(S205)。
クラウドシステム上には、ユーザー情報ごとに各機器の各種通知に対応付けられた動作情報が格納された「ユーザー動作情報データベース」が含まれるものとする。例えば、ユーザーAの「複合プリンターXに印刷済み用紙を取りに行く動作情報」や、ユーザーBの「複合プリンターXにスキャン済みの印刷物を取りに行く動作情報」などが格納されている。
本実施形態の処理システム100がサーバーシステム等に含まれる場合、処理システム100では多数の使用者を処理対象とする必要がある。その場合、使用者ごとに検出対象となる動作が異なったり、動作検出に用いる動作情報が異なったりする。例えば、ユーザーAの周辺にはプリンターXが配置されるが、ユーザーBの周辺にはプリンターXが配置されないとすれば、ユーザーBが「プリンターXに印刷済み用紙を取りに行く」という動作を行うことは考えにくい。また、同じ「プリンターXに印刷済み用紙を取りに行く」という動作であっても動作情報の具体的な信号値が異なる等の可能性がある。例えば、姿勢良く歩行を行う使用者と、歩行の際に体を揺らす癖のある使用者とでは歩行状態における加速度の信号値が異なるため、歩行状態の検出処理を変える必要が生じる可能性がある。また、上述した印刷物の回収動作では、プリンターの前に移動完了した際に静止する(立位状態となる)タイミングがあるものとしたが、ユーザーによっては立ち止まらずに用紙を回収して自席に戻る可能性もあり、状態の検出結果から印刷物の回収動作が行われたか否かを判定する際の判定手法を変更する必要性も生じうる。
上記の「ユーザー動作情報データベース」はこのような使用者間の差異を考慮したデータベースであり、処理対象である使用者にあった動作検出処理を可能とする。なお、同データベースには、「既定の動作情報」を予め格納させておくことができる。例えば、プリンターメーカーが「ユーザーが印刷済み用紙を取りに行く際の一般的な動作情報」を生成しておき、それを「印刷済み用紙を取りに行く動作情報」の「既定動作」としてデータベースに格納することができる。あるいは、データベースに格納せずとも、各プリンターにその既定動作情報を格納させておいてもよいし、プリンターメーカーが独自に備えるクラウドシステムに既定動作情報を格納しておき、クラウドシステム同士が連携して情報をやりとりしてもよい。S206及びS207はこの処理を表すステップであり、対象使用者のデータが既に格納されていれば当該動作をセットすればよいし(S207)、そうでなければ規定動作をセットする(S206)。
正解データがセットされた後は、使用者の動作に基づき検出された動作情報と、正解データの比較処理を行えばよい。加速度センサー等はウェアラブル装置200に設けられることから、まずウェアラブル装置200がクラウドシステムに対して動作情報を送信し(S208)、クラウドシステムが当該動作情報を受信する(S209)。そして受信した動作情報と、正解データを用いて動作の検出を行う(S210)。なお、S208〜S210では動作情報と表記したが、実際にはウェアラブル装置200からは加速度センサーのセンサー情報(RAWデータ)が送信され、状態判別等の信号処理はクラウドシステムで行われてもよい。或いは、状態判別等の信号処理までウェアラブル装置200で行っておき、ウェアラブル装置200からは信号処理の結果が送信されてもよく、種々の変形実施が可能である。
クラウドシステムでは、S210において通知に対応する動作が検出されたか否かを判定し、動作が検出された場合には、ウェアラブル装置200に対して動作情報の送信終了を指示し(S211)、ループ処理を終了する(S212)。ウェアラブル装置200では、S211の指示に従って動作情報送信のループ処理を終了する。
一方、S210において通知に対応する動作が非検出の場合には、前回の報知から所定時間経過しているかの判定を行う。所定時間が経過していなければ印刷物の回収動作の検出ループを継続する。また、所定時間が経過していれば、再度の報知を実行するため、印刷完了の再報知をウェアラブル装置200に指示し(S214)、ウェアラブル装置200において使用者に対する報知が実行される(S215)。この場合も印刷物の回収動作の検出ループを継続する。
これにより、クラウドシステムのスケーラブルな演算リソースや記憶装置を利用することができるため、ウェアラブル装置200の限られた演算リソースや記憶装置容量に縛られることなく、より高度で柔軟な処理を実現することができる。例えば、ウェアラブル装置200から送信されてきたユーザーのモーション情報をクラウドシステムに蓄積し、機械学習などの手法によって学習をおこない、「ユーザー動作情報データベース」を更新することが可能である。これにより、ユーザーのモーション情報が蓄積されるたびに「ユーザー動作情報データベース」が洗練されていくため、動作識別の精度を高めることが可能になる。
また、処理システム100がサーバーシステム(クラウドシステム)に含まれる場合の変形例としては、図12のシーケンス図に示した処理も考えられる。図12のS301〜S313については図11のS201〜S213と同様である。
図12の処理では、S314で印刷完了再報知メッセージが送信される先が異なる。メッセージ送信先は、ウェアラブル装置200ではなく、情報端末(PC)である。印刷完了再報知メッセージを受信した情報端末は、「情報端末からも通知をおこなう」ように設定されていた場合、情報端末からユーザーに印刷完了の再報知をおこなう(S315)。
さらに、「ウェアラブル装置200からも通知をおこなう」ように設定されていた場合、情報端末はウェアラブル装置200に対して印刷完了再報知メッセージを送信する(S316)。メッセージを受信したウェアラブル装置200はユーザーに対して、印刷完了の再報知をおこなう(S317)。
このような処理にすることで、ユーザーへの報知の仕方の柔軟性を高めることができる。例えば、情報端末としてPC、連携機器としてプリンターを考えた場合、PC作業になるべく集中したいユーザーや、報知に伴う誤動作を嫌うようなユーザーは、PCでの報知はOFFにし、ウェアラブル装置200でのみ報知するよう設定できる。これにより、報知に伴うポップアップ画面などが表示されないため、ユーザーは作業に集中したり、ポップアップ画面表示に伴う誤動作を防ぐことができる。
一方、印刷済み忘れを確実に防ぎたいユーザーは、PCとウェアラブル装置200の両方で報知するように設定すれば、印刷済み用紙の取り忘れをより高い確率で防ぐことができる。なお、報知する情報端末およびウェアラブル装置200はそれぞれ1つに限定するものではなく、複数であってもよい。また、図12では再報知において報知先を種々設定可能としたが、最初の報知(S304における報知)でも、報知先を設定可能としてもよい。
また、以上ではウェアラブル装置200とプリンター(及びPC)の連携について説明したが、本実施形態の手法はこれに限定されず、種々の電子機器を用いた連携が可能である。
例えばウェアラブル装置200(或いは携帯端末装置)と、電子レンジを連携されることが可能である。具体的には、電子レンジにおいて温め処理が完了して一定時間が経過しても、温め物が回収されない場合にウェアラブル装置200において報知を行うものとしてもよい。この場合、処理システム100では、使用者がレンジ扉を開いて温め物を回収する動作を検出する。ウェアラブル装置200では当該動作が検出されるまで報知を継続し、当該動作が検出された場合に報知を解除すればよい。この場合、動作情報に基づき検出すべき動作は温め物の回収であるが、例えばレンジ扉を開く動作の検出を行ってもよい。具体的には、取っ手をつかみ手前に引く動作や、開閉ボタンを押下する動作等の検出処理を行うことになる。
或いは、洗濯機と連携してもよく、この場合洗濯が完了して一定時間が経過しても、洗濯物が回収されない場合にウェアラブル装置200で報知を行う。具体的には、処理システム100では、ユーザーが洗濯機の扉を開いて洗濯物を回収する動作を検出する。ウェアラブル装置200では当該動作が検出されるまで報知を継続し、当該動作が検出された場合に報知を解除すればよい。この場合も扉の開閉を検出すればよいが、ドラム型では手の動きは手前方向になるのに対して、縦型では上方向となる等、洗濯機のタイプによって動作が異なるものとなる。
また、自宅のドアや窓に、当該ドアや窓の状態を検出する装置(及びウェアラブル装置200と通信を行う装置)を設けることで、ドアや窓を連携対象とすることも可能である。具体的には、ドアに鍵を挿したままユーザーがドアから離れる場合や、鍵を締めずにユーザーがドアから離れる場合、ドアが半開きのままユーザーがドアから離れる場合に、ウェアラブル装置200においてその旨を報知する。この場合、室内に人が残っていれば危険性が下がるため、室内に他の人がいないという条件で報知を行ってもよい。ただし、この場合には室内の人の有無を検出するシステムを追加する必要がある。この場合、検出すべき動作は、ドアの位置まで戻る移動動作、鍵を回収する動作(手首を手前に引く動作)、鍵をかけて回収する動作(手首を回転させる動作及び手前に引く動作)、ドアを閉める動作(主に腕の移動であり、移動方向はドアの開閉方向に依存)等になる。ウェアラブル装置200では、上記動作が検出されるまで報知を継続し、検出されたら報知を解除すればよい。
窓の場合も同様である。なお、雨が降ってきた場合であって、窓が開放されたままの場合に、ユーザーが窓を閉める動作をおこなうまで報知を行う等の例も考えられる。雨が降っているか否かは、別途設けられる雨量計からの信号を用いる等、種々の手法で判定が可能である。
また、ウェアラブル装置200と自動車が連携してもよく、例えばキーを挿入したままユーザーが自車を離れた場合や、子供を車に置いたままユーザーが自車を離れた場合に、ユーザーが自車に戻るか、特定のキャンセル動作を検出するまで、報知を継続してもよい。
或いは、スマートフォンやタブレット、ノートPC等と連携してもよく、例えばバッテリー容量が一定値を下回った場合に、充電動作(電源コードをコンセントに挿し込む、充電台に置く)が実施されるまで、報知を継続してもよい。
また、携帯電話やPHS、固定電話等の電話機において、離席時に席に置いたままの電話機に着信があった場合に、不在着信があった旨を報知してもよい。この場合、電話を取る動作(例えば電話本体や受話器をつかむ動作、ディスプレイが見やすい位置まで持ち上げる或いは受話器を耳に当てるために腕を上げる動作)を検出するまで、報知を継続する。
また、現在ではユーザーによる携帯等が考慮されていない目覚まし時計が一般的であるが、スマートフォン等が目覚まし時計として用いられるように、将来的にウェアラブル装置200或いは携帯端末装置に目覚まし時計の機能が設けられることが想定される。その場合、ウェアラブル装置200又は携帯端末装置における報知には、目覚まし時計のアラームも含まれることになる。
この場合には、報知の態様の変更とは、アラームをセットしたり止めたりするものとなる。つまり、アラーム設定の変更用動作をあらかじめ設定しておき、当該動作をしないとアラームが止まらないといった処理が可能である。この場合、受信部110が受信する通知の送信元である「電子機器」は、ウェアラブル装置200或いは携帯端末装置となる。つまり、ウェアラブル装置200に処理システム100が含まれ、且つ当該ウェアラブル装置200が目覚まし時計として機能する場合、受信部110が受信する通知とは、外部機器からではなく、ウェアラブル装置200内の他のブロック(目覚まし時計の機能を実現するブロック)から送信されるものとなる。
なお、睡眠中の使用者の動作を検出することを考えれば、睡眠を阻害せずに装着可能なウェアラブル装置200に加速度センサー等が設けられることが想定されるが、ポケット等に入れられるのであれば携帯端末装置にセンサーを設けることも可能である。また、目覚まし時計の機能がウェアラブル装置200と携帯端末装置のいずれに設けられてもよく、処理システム100がウェアラブル装置200、携帯端末装置、サーバーシステム300、或いはその他の機器のいずれに含まれてもよいことを考えると、目覚まし時計における報知態様の変更を行うシステムは、種々の構成により実現可能と言える。
また、目覚まし時計における報知態様の変更は、アラームをONの状態からOFFの状態にするだけでなく、スヌーズ状態に移行させるものであってもよい。具体的には、第1の動作と第2の動作を規定しておき、第1の動作が検出されたらアラームをOFFにし、第2の動作が検出されたらスヌーズ状態とするといった変形実施が可能である。
また、上記の種々の機器との連携においても、報知があったこと自体は認識したが、使用者が他の作業中でありすぐには対応できないこともあり得る。その場合、ある程度の時間をおいて再度報知して欲しい、或いは音を発生させる等の報知は作業の妨げになるため不要であるがLEDの点滅程度はしておいて欲しいといった要求も考えられる。
つまり、報知の態様の変更とは、報知を継続する状態から解除する状態への変更に限定されるものではなく、種々の変更であってよい。つまり広義には、処理部130は、電子機器からの通知を受信した場合に、通知に関連づけられた動作情報の取得前は、通知についての報知を第1の報知態様で行い、通知に関連づけられた動作情報が取得された場合に、通知についての報知を、第1の報知態様とは異なる第2の報知態様で行うものであってもよい。
なお、本実施形態の処理システム100等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサーがプログラムを実行することで、本実施形態の処理システム100等が実現される。具体的には、非一時的な情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサーが実行する。ここで、情報記憶媒体(コンピューターにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリー(カード型メモリー、ROM等)などにより実現できる。そして、CPU等のプロセッサーは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピューターに実行させるためのプログラム)が記憶される。
また、本実施形態の処理システム100等は、プロセッサーとメモリーを含んでもよい。ここでのプロセッサーは、例えばCPU(Central Processing Unit)であってもよい。ただしプロセッサーはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサーを用いることが可能である。またプロセッサーはASICによるハードウェア回路でもよい。また、メモリーはコンピューターにより読み取り可能な命令を格納するものであり、当該命令がプロセッサーにより実行されることで、本実施形態に係る処理システム100等の各部が実現されることになる。ここでのメモリーは、SRAM、DRAMなどの半導体メモリーであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また処理システム100、ウェアラブル装置200等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。