<第1実施形態>
図1を参照して、本発明の第1実施形態に係る情報処理システムについて説明する。図1には、本実施形態に係る情報処理システムの一例が示されている。
本実施形態に係る情報処理システムは、一例として、1又は複数の端末装置10と、1又は複数の機器12と、1又は複数の中継装置14とを含む。図1に示す例では、情報処理システムは、1つの端末装置10と、2つの機器12と、1つの中継装置14とを含む。これらの数は一例に過ぎず、これらの数以外の数の端末装置や機器や中継装置が、情報処理システムに含まれていてもよい。端末装置10、機器12及び中継装置14は、一例として、ネットワーク等の通信経路Nを介して互いに通信する機能を有する。その通信は、無線通信であってもよいし、有線通信であってもよい。通信経路Nとしてインターネットが利用されてもよい。もちろん、端末装置10、機器12及び中継装置14は、通信経路Nを介さずに、それぞれ異なる通信経路を介して他の装置と通信してもよいし、直接的に他の装置と通信してもよい。また、中継装置14が、複数の装置を互いに接続するハブとして機能し、端末装置10と機器12は、中継装置14に接続されることで、中継装置14を介して互いに通信してもよい。サーバ等の装置が情報処理システムに含まれていてもよい。
なお、中継装置14が用いられない場合には、中継装置14は情報処理システムに含まれていなくてもよい。同様に、機器12が用いられない場合には、機器12は情報処理システムに含まれていなくてもよい。後述するように、機器12やソフトウェア等を用いて機能(単独機能や連携機能)が実行される。その機能に機器12が用いられない場合には、機器12は情報処理システムに含まれていなくてもよい。機能については後で詳しく説明する。
端末装置10は、現実空間における存在をセンシングによって識別し、当該存在が再度識別された場合に実行可能な機能と当該存在とを紐付けるように構成された装置である。識別対象の存在、センシング及び機能については、後で詳しく説明する。
端末装置10は、例えば、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、携帯電話、等の装置である。端末装置10は、ウェアラブル端末(腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等)であってもよい。また、端末装置10は、表示装置としてフレキシブルディスプレイを有していてもよい。フレキシブルディスプレイとして、例えば、有機エレクトロルミネッセンス型のディスプレイ(フレキシブル有機ELディスプレイ)、電子ペーパー型のディスプレイ、フレキシブル液晶ディスプレイ、等が用いられる。これら以外の表示方式が採用されたフレキシブルディスプレイが用いられてもよい。フレキシブルディスプレイは、表示部分が柔軟に変形可能なディスプレイであり、例えば、曲げたり、折り畳んだり、巻いたり、捩ったり、伸ばしたりすることが可能なディスプレイである。端末装置10全体がフレキシブルディスプレイによって構成されていてもよいし、フレキシブルディスプレイとそれ以外の構成とが機能的又は物理的に分かれていてもよい。
機器12は機能を有する装置である。機器12は、例えば、画像形成機能(スキャン機能、プリント機能、コピー機能、ファクシミリ機能等)を備えた画像形成装置、PC、タブレットPC、スマートフォン、携帯電話、ロボット(人型ロボット、人以外の動物型ロボット、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明装置、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(いわゆるドローン))、ゲーム機、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器12は、ユーザに対してアウトプットを出力する機器(例えば画像形成装置やPC等)であってもよいし、ユーザに対してアウトプットを出力しない機器(例えばセンシング機器)であってもよい。また、後述する連携機能を実行する複数の機器の中のすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器12の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器の範疇に含まれてもよい。また、機器12は、他の装置と通信する機能を有する。
中継装置14は、各機器12の動作を制御するように構成された装置である。中継装置14は、他の装置と通信する機能を有する。中継装置14は、例えば、インターネット等を利用することで、各種の情報を取得してもよい。中継装置14は、サーバとして機能してもよいし、データやユーザ情報の管理等を行ってもよい。中継装置14は、いわゆるスマートスピーカ(無線通信機能とスピーカ機能を有する機器)であってもよいし、通信機能を有するがスピーカ機能を有していない機器であってもよい。中継装置14は、屋内(例えば、部屋の床、天井、テーブル等)に設置されてもよいし、屋外に設置されてもよい。また、中継装置14は、移動可能な機器(例えば自走式の機器)であってもよい。なお、機器12自体が中継装置14として機能してもよい。
端末装置10は、中継装置14を介さずに、直接的に又は他の装置や通信経路を介して機器12と通信することで、機器12の動作を制御してもよい。
以下、図2を参照して、端末装置10の構成について詳しく説明する。
通信部16は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部16は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部16は、例えば、1又は複数の種類の通信方式に対応しており、通信相手に適した通信方式(つまり、通信相手が対応している通信方式)に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Wi-Fi(登録商標)通信、近接無線通信(例えばNFC(Near Field Communication)等)、等である。近接無線通信としては、Felica(登録商標)、Bluetooth(ブルートゥース)(登録商標)、RFID(Radio Frequency Identifier)等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部16は、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。
UI部18はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。表示部は、フレキシブルディスプレイであってもよい。操作部は、例えばタッチパネルやキーボード等の入力装置である。表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。また、UI部18は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置10に入力されてもよいし、音声によって情報が発せられてもよい。
センシング部20は、例えば、カメラや3次元センサ(3Dセンサ)等を含み、現実空間における存在をセンシングすることでセンシングデータを生成するように構成されている。
カメラは、画像(静止画像、動画像、2次元画像、3次元画像等)を撮影する撮影装置である。動画像データは、音声データを含まない映像データであってもよいし、映像データと音声データの両方を含んでもよい。3次元センサは、3次元センシング(3Dセンシング)を行うことで、物理的な物体の3次元形状を計測や検知するセンサである。センシングの概念の範疇には、カメラによる画像の撮影や、3次元センサによる計測が含まれる。カメラによる撮影によって生成された画像データや、3次元センサによる計測によって生成された計測データ(形状データ)が、センシングデータの一例に相当する。上記のカメラや3次元センサ以外のセンシング機器によって、存在がセンシングされて、存在の形状や特徴等を表すセンシングデータが生成されてもよい。
現実空間における存在は、物理的な物体であってもよいし、ディスプレイ等の表示装置の画面に表示された画像や文字列等の情報であってもよいし、空間上に形成された画像や文字列等の情報であってもよい。例えば、機器やソフトウェアに紐付く物体等が、現実空間における存在に該当する。もちろん、これら以外の物体が、現実空間における存在としてセンシングされてもよい。
記憶部22はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部22には、例えば、機能管理情報、各種のデータ、各種のプログラム(例えば、OS(Operating System)、各種のアプリケーションプログラム(アプリケーションソフトウェア)等)、各機器12のアドレスを示す情報(機器アドレス情報)、中継装置14のアドレスを示す情報(中継装置アドレス情報)、等が記憶されている。各データや各情報や各プログラム等は、別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
機能管理情報は、構成を用いて実行可能な機能を管理するための情報である。例えば、機能管理情報は、センシング部20によってセンシングされた存在と、その存在が再度センシングされた場合に実行可能な機能(通知や実行される機能)を管理するための情報である。構成は、例えば、ハードウェアとしての機器12、ソフトウェア、対象等である。対象は、機能が適用されるファイル(データ)や物理的な物体等である。センシングされた存在は、機能に用いられる構成であってもよいし、構成に用いられない物体であってもよい。機能管理情報については後で詳しく説明する。
制御部24は、端末装置10の各部の動作を制御するように構成されている。例えば、制御部24は、各種のプログラムの実行、通信部16による通信の制御、UI部18を用いた情報の通知(例えば情報の表示や音声出力等)の制御、UI部18を用いて端末装置10に入力された情報の受け付け、等を行う。また、制御部24は、登録部26と通知制御部28を含む。
登録部26は、センシング部20によってセンシングされた存在を識別し、その存在と、その存在が再度センシングされて識別された場合に実行可能な機能とを紐付けて、その存在と機能を機能管理情報に登録するように構成されている。例えば、登録部26は、センシングされた存在を表すセンシングデータと、機能に関する情報(機能情報)とを紐付けて、そのセンシングデータと機能情報を機能管理情報に登録する。登録部26は、存在の特徴を表すセンシングデータと機能情報とを紐付けて、その特徴を表すセンシングデータと機能情報を機能管理情報に登録してもよい。
通知制御部28は、機能の通知を制御するように構成されている。例えば、機能管理情報に登録されている存在がセンシング部20によってセンシングされた場合、通知制御部28は、機能管理情報において当該存在に紐付けられている機能を特定し、その機能の通知を制御する。詳しく説明すると、存在がセンシング部20によってセンシングされた場合、通知制御部28は、そのセンシングによって生成されたセンシングデータと、機能管理情報に登録されている各センシングデータとを比較する。そのセンシングによって生成されたセンシングデータが機能管理情報に登録されている場合、通知制御部28は、機能管理情報においてそのセンシングデータに紐付けられている機能を特定し、その機能の通知を制御する。通知制御部28は、その機能を示す情報をUI部18の表示部に表示させてもよいし、その機能を示す情報を音声情報としてスピーカから出力してもよい。
なお、制御部24は、機能管理情報に登録されている存在がセンシング部20によってセンシングされた場合、その存在に紐付けられている機能の実行を制御してもよい。その機能が機器12を用いて実行される機能である場合、制御部24は、当該機器12に当該機能を実行させる。当該機能がソフトウェアを用いて実行される機能である場合、制御部24は、当該ソフトウェアを起動させて当該ソフトウェアに当該機能を実行させる。
上記のように、機能管理情報に登録されている存在がセンシング部20によってセンシングされた場合に、その存在に紐付けられている機能が通知されたり実行されたりする。その意味で、その存在は、その存在に紐付けられている機能の通知や実行のトリガーとしての役割を有しているといえる。
以下、機能について詳しく説明する。機能管理情報に登録されている機能は、単独機能であってもよいし、連携機能であってもよい。単独機能は、例えば、1つの構成を用いることで実行可能な機能である。連携機能は、複数の構成を用いることで実行可能な機能である。例えば、連携機能は、複数の構成を連携させることで実行可能な機能である。また、連携機能は、1つの機器や1つのソフトウェアが有する複数の機能を用いることで実行可能な機能であってもよい。
端末装置10や中継装置14も、単独機能や連携機能を実行する機器として用いられてもよいし、端末装置10や中継装置14が有する機能も、単独機能や連携機能に用いられてもよい。単独機能や連携機能に用いられるソフトウェアやファイルは、端末装置10の記憶部22に記憶されていてもよいし、機器12や中継装置14や他の装置(サーバ等)に記憶されていてもよい。
機器の全体、機器の特定の部分、ソフトウェアの特定の機能、複数の機能を含む集合機能等が、構成として用いられてもよい。例えば、機器の部分毎に機能が割り当てられている場合、連携機能は、その部分を用いる機能であってもよい。また、ソフトウェアが複数の機能を有している場合、連携機能は、その複数の機能の中の一部の機能を用いる機能であってもよい。集合機能は、複数の機能によって構成されており、当該複数の機能が同時又は順次に実行されることで、当該集合機能による処理が実行される。また、連携機能は、ハードウェアのみを用いる機能であってもよいし、ソフトウェアのみを用いる機能であってもよいし、ハードウェアとソフトウェアの両方を用いる機能であってもよい。
連携機能は、互いに異なる複数の構成を連携させることで実行可能な機能であってもよいし、同一の構成を連携させることで実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。例えば、プリント機能を有する機器(プリンタ)とスキャン機能を有する機器(スキャナ)とを連携させることで、連携機能としてのコピー機能が実行可能となる。すなわち、プリント機能とスキャン機能とを連携させることで、コピー機能が実行可能となる。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。
連携機能の概念の範疇には、複数の機器や複数のソフトウェアを連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーとを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。この拡張機能は、例えば各カメラの撮影領域を繋ぎ合わせて撮影する機能である。また、電話と翻訳機や翻訳ソフトとを組み合わせることで、合体機能としての翻訳通話機能(電話を介した会話が翻訳される機能)が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の複数の機器や複数のソフトウェアを連携させることで実現可能となる機能や、互いに異なる種類の複数の機器や複数のソフトウェアを連携させることで実現可能となる機能が含まれてもよい。
以下、機能管理情報について詳しく説明する。機能管理情報は、例えば、トリガーとして用いられる存在を表すセンシングデータと、その存在がセンシングされた場合に実行可能な機能(通知や実行される機能)に関する機能情報と、当該機能に用いられる構成を識別するための構成識別情報との対応付けを示す情報である。トリガーとして用いられる存在が、機能に用いられる構成である場合(存在=構成である場合)、構成識別情報は、当該存在を識別するための情報である。この場合、その存在を表すセンシングデータが、構成識別情報として用いられてもよい。もちろん、トリガーとして用いられる存在は、機能に用いられる構成でなくてもよい(存在≠構成)。
例えば、トリガーとして用いられる存在を表すセンシングデータと、その存在がセンシングされた場合に実行可能な単独機能(通知や実行される単独機能)に関する機能情報と、当該単独機能に用いられる構成を示す構成識別情報と、が互いに紐付けられて、機能管理情報に登録されている。
また、トリガーとして用いられる存在を表すセンシングデータと、その存在がセンシングされた場合に実行可能な連携機能(通知や実行される連携機能)に関する機能情報と、当該連携機能に用いられる複数の構成の組み合わせ(各構成を識別するための構成識別情報の組み合わせ)と、が互いに紐付けられて、機能管理情報に登録されている。
構成が機器である場合、構成識別情報は、当該機器を識別するための情報(機器識別情報)である。構成がソフトウェアである場合、構成識別情報は、当該ソフトウェアを識別するための情報(ソフトウェア識別情報)である。構成が対象である場合、構成識別情報は、当該対象を識別するための情報(対象識別情報)である。機器を識別するための構成識別情報は、当該機器が有する機能を示す情報を含んでもよい。同様に、ソフトウェアを識別するための構成識別情報は、当該ソフトウェアが有する機能を示す情報を含んでもよい。
機器識別情報は、例えば、機器の名称、機器ID、機器の種類を示す情報、機器の型番号、機器を管理するための情報(例えば資産管理情報等)、機器が設置されている位置を示す情報(機器の位置情報)、機器に紐付く画像(機器画像)、機器アドレス情報、等である。トリガーとして用いられる存在が、機能に用いられる機器である場合(存在=構成である場合)、その存在を表すセンシングデータが、機器識別情報として用いられてもよい。機器画像は、例えば、機器を表す外観画像である。外観画像は、機器の外側(例えば機器の筐体)を表す画像であってもよいし、筐体を開けて内部が外から見える状態(例えば内部構造)を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。機器画像は、機器をカメラ等の撮影装置によって撮影することで生成された画像(機器の外観を表す画像や内部を表す画像等)であってもよいし、機器を模式的に表す画像(例えばアイコン等)であってもよい。機器画像は、静止画像であってもよいし、動画像であってもよい。
ソフトウェア識別情報は、例えば、ソフトウェアの名称、ソフトウェアID、ソフトウェアの種類を示す情報、ソフトウェアの型番号、ソフトウェアを管理するための情報、ソフトウェアに紐付く画像(ソフトウェア画像)、等である。ソフトウェア画像は、例えば、ソフトウェアを表す画像(例えばアイコン等)である。ソフトウェア画像は、静止画像であってもよいし、動画像であってもよい。
対象識別情報は、例えば、対象の名称、対象ID、対象の種類を示す情報、対象に紐付く画像(対象画像)、等である。例えば、対象がファイル(データ)である場合、そのファイル(例えば画像ファイルや文書ファイル等)の名称等が、対象識別情報として用いられる。また、対象が物理的な物体(例えば商品等)である場合、その物体の名称等が、対象識別情報として用いられる。対象画像は、物理的な対象をカメラ等の撮影装置によって撮影することで生成された画像(静止画像や動画像)であってもよいし、対象を模式的に表す画像(例えばアイコン等)であってもよい。
機能情報は、例えば、機能の名称やID等の識別情報、当該機能の内容を示す内容情報等である。単独機能に関する機能情報は、単独機能の識別情報や、当該単独機能の内容を示す内容情報等である。連携機能に関する機能情報は、連携機能の識別情報や、当該連携機能の内容を示す内容情報等である。
なお、機能管理情報は、端末装置10以外の装置(機器12や中継装置14やサーバ等)に記憶されていてもよい。この場合、機能管理情報は、端末装置10に記憶されていなくてもよい。
なお、登録部26や通知制御部28は、端末装置10以外の装置(機器12や中継装置14やサーバ等)に設けられて、登録部26による処理や通知制御部28による処理が、端末装置10以外の装置によって行われてもよい。
以下、機能を登録するための手順について説明する。
(単独機能の登録)
以下、単独機能を登録するための手順について詳しく説明する。一例として、センシングされた存在が、単独機能に用いられるものとする。つまり、単独機能に用いられる構成が、単独機能の通知や実行のトリガーとしての存在に該当する(存在=構成)。また、構成と存在は、機器12であるものとする。
図3には、機器12の一例としての複合機30が示されている。複合機30は、例えば、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の複数の機能を有する装置である。ここでは、複合機30が、単独機能に用いられる機器12として登録され、また、当該単独機能の通知のトリガーとして用いられる存在として登録される。
図4には、機器を登録するための画面32が示されている。例えば、端末装置10には登録用ソフトウェアがインストールされている。ユーザがUI部18を操作して、その登録用ソフトウェアの起動指示を与えると、制御部24は、登録用ソフトウェアを起動させ、これに伴い、登録用の画面32をUI部18の表示部に表示させる。画面32には、例えば、ユーザにセンシングを促すためのメッセージが表示される。
ユーザが、画面32上でセンシングの指示を与えた場合(例えば「はい」ボタンを押した場合)、センシング部20はセンシングを実行する。例えば、複合機30がセンシング部20によってセンシングされ、これにより、複合機30を表すセンシングデータが生成される。例えば、カメラによって複合機30が撮影された場合、複合機30を表す画像データ(静止画像データや動画像データ)がセンシングデータとして生成される。3次元センサによって複合機30がセンシングされた場合、複合機30の形状を表す計測データがセンシングデータとして生成される。
図5には、センシング中に表示される画面34が示されている。その画面34には、センシングされている複合機30を表す画像36が表示される。センシングが終了するまでユーザに待機を促すためのメッセージが表示されてもよい。端末装置10を極力動かさないようにユーザに注意を促すためのメッセージが表示されてもよい。
センシングが完了した場合、登録部26は、そのセンシングによって生成されたセンシングデータを機能管理情報に登録する。これにより、複合機30が機能管理情報に登録される。複合機30は、機能の通知や実行のトリガーとしての存在に該当する。
図6には、センシングが完了した後に表示される画面38が示されている。その画面38には、機器の登録が完了した旨を示すメッセージが表示される。また、画面38には、機器の名称を入力するための欄が表示される。ユーザが、画面38上で、複合機30の名称(例えば名称「α」)を入力した場合、登録部26は、その名称αを示す情報を、複合機30を表すセンシングデータに紐付けて機能管理情報に登録する。ユーザが、画面38上で、次の設定画面への移行を指示した場合(例えば「次へ進む」ボタンを押した場合)、制御部24は、単独機能を登録するための画面をUI部18の表示部に表示させる。
図7には、単独機能を登録するための画面40が示されている。画面40には、単独機能に関する機能情報を入力するための欄が表示される。機能情報は、例えば、単独機能を識別するための識別情報(例えば単独機能の名称)や、単独機能の内容を示す内容情報等である。ユーザが、画面40上で、単独機能の機能情報を入力した場合、登録部26は、その機能情報を、複合機30を表すセンシングデータに紐付けて機能管理情報に登録する。
ユーザは、複合機30が有する単独機能に関する機能情報を入力してもよいし、複合機30が有していない単独機能に関する機能情報を入力してもよいし、複合機30が有しておらず複合機30に対して実行される単独機能に関する機能情報を入力してもよい。
ここでは、複合機30が有する機能に関する機能情報が入力されたものとする。例えば、ユーザによってコピー機能に関する機能情報が入力された場合、登録部26は、コピー機能に関する機能情報を、複合機30を表すセンシングデータに紐付けて機能管理情報に登録する。ユーザは、単独機能によって実行される具体的な処理の内容を登録してもよいし、そのような具体的な内容を登録せずに、単独機能のみを登録してもよい。例えば、ユーザは、コピーの具体的な内容として、コピー枚数、解像度、用紙サイズ等を登録してもよいし、そのような具体的な内容を登録せずに、単にコピー機能のみを登録してもよい。他の単独機能を登録する場合も同様である。
また、登録部26は、複合機30が有する単独機能を検索し、その検索結果(単独機能の一覧42)を、プルダウン形式等によって画面40に表示させてもよい。以下、複合機30が有する単独機能の検索について説明する。
登録部26は、センシング部20によるセンシングによって生成されたセンシングデータ(画像データや計測データ等)に基づいて、そのセンシングの対象となった存在(複合機30)を識別する。例えば、登録部26は、存在に関するデータベースを用いることで、その存在を識別する。そのデータベースにおいては、存在毎に、存在を識別するための識別情報と、その存在を表すセンシングデータとが互いに紐付けられている。センシング部20によって存在がセンシングされてセンシングデータが生成されると、登録部26は、そのセンシングデータとデータベースに登録されている各センシングデータとを照合することで、センシングされた存在を識別する。例えば、登録部26は、データベースにおいて、センシングによって生成されたセンシングデータと完全に一致するセンシングデータ(完全一致センシングデータ)を検索し、センシングされた存在を、その完全一致センシングデータに紐付けられた存在として識別してもよい。登録部26は、データベースにおいて、センシングによって生成されたセンシングデータと部分的に一致するセンシングデータ(予め定められた割合以上の部分で一致するセンシングデータ)(部分一致センシングデータ)を検索し、センシングされた存在を、その部分一致センシングデータに紐付けられている存在として識別してもよい。登録部26は、センシングによって生成されたセンシングデータから存在の特徴を抽出し、データベースにおいて、その特徴と同一又は類似する特徴を有するセンシングデータを検索し、センシングされた存在を、その検索されたセンシングデータに紐付けられている存在として識別してもよい。こうすることで、センシング対象となった存在が識別される。
例えば、データベースにおいて、機器12毎に、機器12を識別するための機器識別情報と、その機器12を表す画像データとが互いに紐付けられている。センシング部20によって機器12が撮影されてセンシングデータとしての画像データが生成されると、登録部26は、データベースにおいてその画像データに紐付けられている機器12の識別情報を特定する。こうすることで、センシング対象(撮影対象)となった機器12が識別される。複合機30も同様にして識別される。なお、存在は、下位概念のレベルの情報(例えば、当該存在の固有名称(例えば、具体的な製品名、商品名、型番等))によって識別されてもよいし、上位概念のレベルの情報(例えば、当該存在の普通名称や一般名称等)によって識別されてもよい。
また、上記のデータベースには、各機器12や各ソフトウェアが有する単独機能が登録されている。例えば、データベースにおいては、機器12毎に、機器の機器識別情報と、当該機器が有する単独機能に関する機能情報とが互いに紐付けられている。また、ソフトウェア毎に、ソフトウェアのソフトウェア識別情報と、当該ソフトウェアが有する単独機能に関する機能情報とが互いに紐付けられている。上記のように、機器12が識別されると、登録部26は、その機器12の機器識別情報に紐付けられている機能情報を特定する。こうすることで、センシングされた機器12が有する単独機能が識別される。複合機30が有する単独機能も同様にして識別される。
なお、上記のデータベースは、端末装置10に構築されていてもよいし、中継装置14やサーバ等に構築されていてもよい。
図7に示す例では、プリント機能、コピー機能、スキャン機能等が、複合機30が有する単独機能として特定されて画面40に表示されている。ユーザが一覧42の中から単独機能を選択した場合、登録部26は、その選択された単独機能を、複合機30を表すセンシングデータに紐付けて機能管理情報に登録する。なお、制御部24は、上記の識別処理によって、複合機30の機器識別情報をデータベースから取得してもよい。
また、画面40には、ユーザの希望する出力結果を入力するための欄が表示されてもよい。その欄に、ユーザの希望する出力結果が入力された場合、登録部26は、その出力結果を得るための単独機能を検索し、制御部24は、その検索結果を画面40に表示させる。ユーザは、その検索結果の中から単独機能を選択してもよい。
ユーザは、登録対象の単独機能として、1つの単独機能を指定してもよいし、複数の単独機能を指定してもよい。登録部26は、ユーザによって指定された1又は複数の単独機能を、複合機30を表すセンシングデータに紐付けて機能管理情報に登録する。
画面40上にて機能情報が入力されると、制御部24は、図8に示すように、機能の名称を入力するための画面44をUI部18の表示部に表示させる。ユーザが、画面44上で、機能の名称(例えば名称「A」)を入力した場合、登録部26は、その名称「A」が、ユーザが入力した機能の名称として機能管理情報に登録される。
上記の手順によって、単独機能としてのコピー機能の機能情報、その単独機能を実行するための構成としての複合機30(複合機α)の機器識別情報、及び、その単独機能の通知や実行のトリガーとして用いられる存在としての複合機30を表すセンシングデータが、互いに対応付けられて機能管理情報に登録される。
その登録後、センシング部20によって複合機30がセンシングされた場合、通知制御部28は、そのセンシングによって生成されたセンシングデータに基づいて複合機30を識別し、機能管理情報において当該センシングデータに紐付けられている機能A(コピー機能)を特定する。以下では、説明の便宜上、登録後に生成されたセンシングデータを「再センシングデータ」と称することとする。
通知制御部28は、機能管理情報において、再センシングデータと完全に一致するセンシングデータ(完全一致センシングデータ)を検索し、その完全一致センシングデータに紐付けられている単独機能を特定してもよい。この処理においては、複合機30を表す再センシングデータと、機能管理情報に登録されている複合機αを表すセンシングデータとが完全に一致する場合、通知制御部28は、再度センシングされた複合機30を、複合機αであると識別し、機能管理情報において、複合機αを表すセンシングデータに紐付けられている機能Aを、複合機30に紐付けられている単独機能として識別する。
通知制御部28は、機能管理情報において、再センシングデータと部分的に一致するセンシングデータ(予め定められた割合以上の部分で一致するセンシングデータ)(部分一致センシングデータ)を検索し、その部分一致センシングデータに紐付けられている単独機能を特定してもよい。この処理においては、複合機30を表す再センシングデータと、機能管理情報に登録されている複合機αを表すセンシングデータとが部分的に一致する場合、通知制御部28は、再度センシングされた複合機30を、複合機αであると識別し、機能管理情報において、複合機αを表すセンシングデータに紐付けられている機能Aを、複合機30に紐付けられている単独機能として識別する。例えば、再センシングデータに、登録されている機器以外の存在(例えば、複合機α以外の機器やその他の物体)が表されている場合、再センシングデータは、登録時に生成されたセンシングデータと完全に一致しない。登録時と再センシング時とで背景が異なれば、両センシングデータは完全には一致せず、部分的に一致する。この場合、通知制御部28は、両センシングデータが部分的に一致するとして、機能Aを通知する。
通知制御部28は、再センシングデータから複合機30の特徴を抽出し、機能管理情報において、その特徴と同一又は類似する特徴を有するセンシングデータを検索し、その検索されたセンシングデータに紐付けられている単独機能を特定してもよい。この処理においては、複合機30を表す再センシングデータから抽出された特徴と、機能管理情報に登録されている複合機αを表すセンシングデータから抽出された特徴とが、同一又は類似の関係を有する場合、通知制御部28は、再度センシングされた複合機30を、複合機αであると識別し、機能管理情報において、複合機αを表すセンシングデータに紐付けられている機能Aを、複合機30に紐付けられている単独機能として識別する。例えば、再センシングデータに、登録されている機器以外の存在(例えば、複合機α以外の機器やその他の物体)が表されている場合、再センシングデータは、登録時に生成されたセンシングデータと完全に一致しない。この場合において、両センシングデータに表されている機器の特徴が同一又は類似の関係を有する場合、通知制御部28は機能Aを通知する。
上記の例では、通知制御部28は、登録時に生成されたセンシングデータと再センシングデータとを比較し、その比較結果に従って、単独機能を特定して通知する。別の例として、通知制御部28は、登録時に生成されたセンシングデータに表されている機器を識別し、再センシングデータに表されている機器を識別し、それら両機器が一致する場合に、登録時に生成されたセンシングデータに紐付けられている単独機能を通知してもよい。つまり、通知制御部28は、機能管理情報において、再センシングデータに表されている機器を検索し、その機器に紐付けられている単独機能を通知する。通知制御部28は、例えば、上記のデータベースを参照することで、登録時に生成されたセンシングデータや再センシングデータに表されている機器を識別する。
通知制御部28は、例えば、その機能A(コピー機能)を示す情報をUI部18の表示部に表示させる。図9には、その表示例が示されている。例えば、UI部18の表示部には画面46が表示され、通知制御部28は、複合機30(複合機α)を表すセンシングデータに紐付けられている機能A(コピー機能)を示す情報を画面46に表示させる。また、通知制御部28は、複合機30を表す画像48(例えばセンシングデータ)を画面46に表示させてもよい。
ユーザが画面46上で機能A(コピー機能)の実行指示を与えた場合(例えば「はい」ボタンを押した場合)、制御部24は、複合機30(複合機α)に機能A(コピー機能)を実行させる。例えば、制御部24は、複合機30の機器アドレス情報を用いて、コピーの実行指示を示す制御信号を複合機30に送信する。その制御信号は、端末装置10から直接的に複合機30に送信されてもよいし、中継装置14を介して複合機30に送信されてもよい。なお、複合機30の機器アドレス情報は、端末装置10に予め記憶されていてもよいし、上記の識別処理の結果として、データベースから取得されてもよい。
(連携機能の登録)
以下、連携機能を登録するための手順について詳しく説明する。一例として、センシングされた存在が、連携機能に用いられるものとする。つまり、連携機能に用いられる構成が、連携機能の通知や実行のトリガーとしての存在に該当する(存在=構成)。また、構成と存在は、機器12であるものとする。
図10には、機器12の一例としての複合機30とPC50が示されている。ここでは、複合機30とPC50が、連携機能に用いられる機器12として登録され、また、当該連携機能の通知のトリガーとして用いられる存在として登録される。
例えば、図4に示すように、UI部18の表示部には、機器を登録するための画面32が表示される。ユーザが、画面32上でセンシングの指示を与えた場合、センシング部20はセンシングを実行する。例えば、複合機30とPC50がセンシング部20によってセンシングされ、これにより、複合機30を表すセンシングデータとPC50を表すセンシングデータが生成される。
複合機30とPC50は、同時にセンシングされてもよいし、順次、別々にセンシングされてもよい。例えば、カメラによって複合機30とPC50が同時に撮影された場合、つまり、同一フレーム内に複合機30とPC50が表されるように複合機30とPC50が撮影された場合、複合機30とPC50の両方を表す画像データが生成される。カメラによって複合機30とPC50がそれぞれ別々に撮影された場合、複合機30を表す画像データとPC50を表す画像データがそれぞれ別々に生成される。3次元センサを用いてセンシングされる場合も同様である。
複数の機器12を別々にセンシングする場合では、ある機器12(例えば複合機30)がセンシングされた時点から予め定められた制限時間内に別の機器12(例えばPC50)がセンシングされた場合に、登録部26は、それらの機器12(複合機30とPC50)を、連携機能を実行するための1つのグループに属する機器群として認識してもよい。登録部26は、その制限時間外にセンシングされた機器12を、その制限時間内にセンシングされた機器12のグループに属さない機器12として認識する。つまり、最初の機器12がセンシングされた時点では、当該機器12は、単独機能を実行するための機器として登録されない。制限時間内に別の機器12がセンシングされた場合には、それら複数の機器12は、連携機能を実行するための機器として登録される。
また、機器登録用の画面32において、単独機能の登録モード又は連携機能の登録モードの何れかが選択できるようにしてもよい。
例えば、ユーザによって、単独機能の登録モードが指定されて、1つの機器12がセンシングされた場合、登録部26は、当該機器12を、単独機能に用いられる機器12として登録する。なお、単独機能の登録モードの実行時に、複数の機器12がセンシングされた場合、登録部26は、センシングされた各機器12を、それぞれ単独機能に用いられる別々の機器12として登録する。
ユーザによって、連携機能の登録モードが指定されて、複数の機器12が同時又は順次にセンシングされた場合、登録部26は、当該複数の機器12を、連携機能に用いられる機器12として登録する。
図11には、センシング中に表示される画面52が示されている。その画面52には、センシングされている複合機30を表す画像54と、センシングされているPC50を表す画像56が表示される。複合機30とPC50が同時にセンシングされている場合、例えば、複合機30とPC50を表す画像が同時に画面52に表示される。複合機30とPC50が順次にセンシングされている場合、例えば、そのセンシングの順番に従って、画像54,56が画面52に表示される。その他、図5に示されているメッセージと同様のメッセージが表示される。
センシングが完了した場合、登録部26は、そのセンシングによって生成されたセンシングデータを機能管理情報に登録する。これにより、複合機30とPC50が機能管理情報に登録される。複合機30とPC50は、機能の通知や実行のトリガーとしての存在に該当する。
図12には、センシングが完了した後に表示される画面58が示されている。その画面58には、機器の登録が完了した旨を示すメッセージが表示される。また、画面58には、機器の名称を入力するための欄が表示されている。ユーザが、画面58上で、複合機30の名称(例えば名称「α」)とPC50の名称(例えば名称「β」)を入力した場合、登録部26は、その名称αを示す情報を、複合機30を表すセンシングデータに紐付けて機能管理情報に登録し、その名称βを示す情報を、PC50を表すセンシングデータに紐付けて機能管理情報に登録する。ユーザが、画面58上で、次の設定画面への移行を指示した場合、制御部24は、連携機能を登録するための画面をUI部18の表示部に表示させる。
図13には、連携機能を登録するための画面60が示されている。画面60には、連携機能に関する機能情報を入力するための欄が表示される。機能情報は、例えば、連携機能を識別するための識別情報(例えば連携機能の名称)や、連携機能の内容を示す内容情報等である。ユーザが、画面60上で、連携機能の機能情報を入力した場合、登録部26は、その機能情報を、複合機30を表すセンシングデータとPC50を表すセンシングデータとの組み合わせに紐付けて機能管理情報に登録する。
ユーザは、複合機30とPC50のそれぞれが有する機能を利用する連携機能に関する機能情報を入力してもよいし、複合機30とPC50が有していない機能を利用する連携機能に関する機能情報を入力してもよいし、複合機30とPC50が有しておらず複合機30とPC50に対して実行される連携機能に関する機能情報を入力してもよい。
ここでは、複合機30とPC50のそれぞれが有する機能を利用する連携機能に関する機能情報が入力されたものとする。例えば、ユーザによってスキャン転送機能に関する機能情報が入力された場合、登録部26は、スキャン転送機能に関する機能情報を、複合機30を表すセンシングデータとPC50を表すセンシングデータとの組み合わせに紐付けて機能管理情報に登録する。スキャン転送機能は、複合機30によるスキャンによって生成された画像データや文書データを、PC50に転送する機能である。ユーザは、連携機能によって実行される具体的な処理の内容を登録してもよいし、そのような具体的な内容を登録せずに、連携機能のみを登録してもよい。例えば、ユーザは、スキャンの条件(解像度等)を登録してもよいし、そのような具体的な内容を登録せずに、単にスキャン転送機能のみを登録してもよい。他の連携機能を登録する場合も同様である。
また、登録部26は、複合機30とPC50を用いて実行可能な連携機能を検索し、その検索結果(連携機能の一覧62)を、プルダウン形式等によって、画面60に表示させてもよい。
例えば、上述した存在に関するデータベースには、複数の構成を用いて実行可能な連携機能が登録されており、登録部26は、そのデータベースを参照することで、連携機能を検索してもよい。例えば、データベースにおいては、複数の構成の組み合わせ(構成識別情報の組み合わせ)と、当該複数の構成を用いて実行可能な連携機能に関する機能情報とが互いに紐付けられている。登録部26は、上述したように、そのデータベースを参照することで、複合機30とPC50を識別し、更に、複合機30とPC50との組み合わせに紐付けられている連携機能を特定する。こうすることで、センシングされた複数の機器12を用いて実行可能な連携機能が識別される。
図13に示す例では、スキャン転送機能、プリント機能等が、複合機30とPC50を用いて実行可能な連携機能として画面60に表示されている。ユーザが一覧62の中から連携機能を選択した場合、登録部26は、その選択された連携機能を、複合機30を表すセンシングデータとPC50を表すセンシングデータとの組み合わせに紐付けて機能管理情報に登録する。なお、制御部24は、上記の識別処理によって、複合機30の機器識別情報とPC50の機器識別情報をデータベースから取得してもよい。
また、画面60には、ユーザの希望する出力結果を入力するための欄が表示されてもよい。その欄に、ユーザの希望する出力結果が入力された場合、登録部26は、その出力結果を得るための連携機能を検索し、制御部24は、その検索結果を画面60に表示させる。ユーザは、その検索結果の中から連携機能を選択してもよい。
ユーザは、登録対象の連携機能として、1つの連携機能を指定してもよいし、複数の連携機能を指定してもよい。登録部26は、ユーザによって指定された1又は複数の連携機能を、複合機30を表すセンシングデータとPC50を表すセンシングデータとの組み合わせに紐付けて機能管理情報に登録する。
画面60上にて機能情報が入力されると、制御部24は、図14に示すように、機能の名称を入力するための画面64をUI部18の表示部に表示させる。ユーザが、画面64上で、機能の名称(例えば名称「B」)を入力した場合、登録部26は、その名称「B」が、ユーザが入力した機能の名称として機能管理情報に登録される。
上記の手順によって、連携機能としてのスキャン転送機能の機能情報、その連携機能を実行するための構成としての複合機30(複合機α)とPC50(PCβ)のそれぞれの機器識別情報、及び、その連携機能の通知や実行のトリガーとして用いられる存在としての複合機30を表すセンシングデータとPC50のセンシングデータとの組み合わせが、互いに対応付けられて機能管理情報に登録される。
その登録後、センシング部20によって複合機30とPC50がセンシングされた場合、通知制御部28は、そのセンシングによって生成されたセンシングデータに基づいて複合機30とPC50を識別し、機能管理情報において、複合機30を表すセンシングデータとPC50を表すセンシングデータとの組み合わせ紐付けられている機能B(スキャン転送機能)を特定する。登録後のセンシングにおいても、複合機30とPC50は、同時にセンシングされてもよいし、順次、別々にセンシングされてもよい。同時センシングと順次センシングの意義は、登録時のセンシングにおける意義と同じである。複合機30とPC50が同時に再センシングされた場合、複合機30とPC50の両方を表す再センシングデータが生成される。複合機30とPC50が別々に再センシングされた場合、複合機30を表す再センシングデータとPC50を表す再センシングデータが生成される。
通知制御部28は、機能管理情報において、再センシングデータと完全に一致するセンシングデータ(完全一致センシングデータ)を検索し、その完全一致センシングデータに紐付けられている連携機能を特定してもよい。なお、同時センシングでは、複合機30とPC50の両方を表すセンシングデータや再センシングデータが用いられる。順次センシングでは、それぞれの機器12を別々に表すセンシングデータや再センシングデータが用いられる。登録時のセンシングと登録後の再センシングとが同じ方式のセンシングであってもよいし、異なる方式のセンシングであってもよい。例えば、複合機30とPC50を表す再センシングデータと、機能管理情報に登録されている複合機αとPCβを表すセンシングデータとが完全に一致する場合、通知制御部28は、再度センシングされた複合機30を複合機αであると識別し、再度センシングされたPC50をPCβであると識別する。また、通知制御部28は、機能管理情報において、複合機αとPCβを表すセンシングデータに紐付けられている機能Bを、複合機30とPC50を用いて実行可能な連携機能として識別する。
通知制御部28は、機能管理情報において、再センシングデータと部分的に一致するセンシングデータ(予め定められた割合以上の部分で一致するセンシングデータ)(部分一致センシングデータ)を検索し、その部分一致センシングデータに紐付けられている連携機能を特定してもよい。この処理においては、複合機30とPC50を表す再センシングデータと、機能管理情報に登録されている複合機αとPC50を表す再センシングデータとが部分的に一致する場合、通知制御部28は、再度センシングされた複合機30を複合機αであると識別し、再度センシングされたPC50をPCβであると識別する。また、通知制御部28は、機能管理情報において、複合機αとPCβを表すセンシングデータに紐付けられている機能Bを、複合機30とPC50を用いて実行可能な連携機能として識別する。
通知制御部28は、再センシングデータから複合機30とPC50のそれぞれの特徴を抽出し、機能管理情報において、その特徴と同一又は類似する特徴を有するセンシングデータを検索し、その検索されたセンシングデータに紐付けられている連携機能を特定してもよい。この処理においては、複合機30とPC50を表す再センシングデータから抽出された特徴と、機能管理情報に登録されている複合機αとPCβを表すセンシングデータから抽出された特徴とが、同一又は類似の関係を有する場合、通知制御部28は、再度センシングされた複合機30を複合機αであると識別し、再度センシングされたPC50をPCβであると識別する。また、通知制御部28は、機能管理情報において、複合機αとPCβを表すセンシングデータに紐付けられている機能Bを、複合機30とPC50を用いて実行可能な連携機能として識別する。
上記の例では、通知制御部28は、登録時に生成されたセンシングデータと再センシングデータとを比較し、その比較結果に応じて、連携機能を特定して通知する。別の例として、通知制御部28は、登録時に生成されたセンシングデータに表されている複数の機器を識別し、再センシングデータに表されている複数の機器を識別し、登録時に生成されたセンシングデータに表されている複数の機器と、再センシングデータに表されている複数の機器とが一致する場合に、登録時に生成されたセンシングデータに紐付けられている連携機能を通知してもよい。つまり、通知制御部28は、機能管理情報において、再センシングデータに表されている複数の機器を検索し、当該複数の機器に紐付けられている連携機能を通知する。通知制御部28は、例えば、上記のデータベースを参照することで、複数の機器を識別する。
通知制御部28は、例えば、その機能B(スキャン機能)を示す情報をUI部18の表示部に表示させる。図15には、その表示例が示されている。例えば、UI部18の表示部には画面66が表示され、通知制御部28は、複合機30(複合機α)を表すセンシングデータとPC50(PCβ)を表すセンシングデータとの組み合わせに紐付けられている機能B(スキャン転送機能)を示す情報を画面66に表示させる。また、通知制御部28は、複合機30を表す画像68(例えばセンシングデータに基づく画像)とPC50を表す画像70(例えばセンシングデータに基づく画像)を画面66に表示させてもよい。
ユーザが画面66上で機能B(スキャン転送機能)の実行指示を与えた場合(例えば「はい」ボタンを押した場合)、制御部24は、複合機30とPC50に機能B(スキャン転送機能)を実行させる。例えば、制御部24は、複合機30とPC50のそれぞれの機器アドレス情報を用いて、スキャン転送の実行指示を示す制御信号を複合機30とPC50に送信する。その制御信号は、端末装置10から直接的に複合機30とPC50に送信されてもよいし、中継装置14を介して複合機30とPC50に送信されてもよい。なお、複合機30とPC50の機器アドレス情報は、端末装置10に予め記憶されていてもよいし、上記の識別処理の結果として、データベースから取得されてもよい。
(機能管理テーブル)
以下、図16を参照して、機能管理情報の一例について説明する。図16には、機能管理情報としての機能管理テーブルの一例が示されている。機能管理テーブルにおいては、一例として、IDと、機器の名称を示す情報と、センシングデータと、機能の内容を示す情報とが互いに対応付けられている。IDは、登録内容を管理するための情報である。センシングデータとして、例えば、カメラによる撮影によって生成された画像データ(静止画像データや動画像データ)や、3次元センサによるセンシングによって生成された計測データが登録されている。画像では表現しきれない凹凸を表すデータが、計測データとして登録されてもよい。そのようなデータを用いることで、個々の存在(例えば機器12)等の識別の精度が高くなる。
例えば、ID「1」に紐付く機能は単独機能(機能名A)である。その単独機能は、複合機αを用いてプリントを行う機能(プリント機能)である。トリガーとしての存在を表すセンシングデータとして、複合機αを表すセンシングデータが登録されている。つまり、単独機能Aを実行するための構成として複合機αが登録されており、その単独機能Aの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αを表すセンシングデータが登録されている。複合機αがセンシング部20によって再センシングされて複合機αが識別された場合、単独機能Aとしてのプリント機能が通知される。
なお、複合機αの登録時に用いられたセンシングの方式と、再センシングの方式は、同一であってもよいし、異なっていてもよい。例えば、登録時には、カメラによって複合機αが撮影されて画像データがセンシングデータとして登録され、再センシング時には、3次元センサによって複合機αがセンシングされて計測データが生成されてもよい。この場合も、登録時には、登録部26は、画像データに基づいて複合機αを識別し、再センシング時には、通知制御部28は、計測データに基づいて複合機αを識別する。その識別結果が一致する場合、通知制御部28は、複合機αに紐付けられて登録されている単独機能Aを通知する。別の例として、通知制御部28は、機能管理テーブルにおいて、再センシング時に生成された計測データから特徴を抽出し、その特徴と同一又は類似する特徴を有するセンシングデータ(画像データや計測データ)を検索し、そのセンシングデータに紐付けられている機能を特定し、その機能を通知してもよい。例えば、再センシング時に生成された計測データから抽出された特徴と、登録時に生成された画像データから抽出された特徴が、同一又は類似の関係を有する場合、通知制御部28は、その画像データに紐付けられている機能を通知する。登録時に3次元センサが用いられ、再センシング時にカメラが用いられる場合も同様である。
また、ID「2」に紐付く機能は連携機能(機能名B)である。その連携機能は、複合機αとPCβを用いて実行されるスキャン転送機能である。トリガーとしての存在を表すセンシングデータとして、複合機αとPCβを表すセンシングデータが登録されている。つまり、連携機能Bを実行するための構成として複合機αとPCβが登録されており、その連携機能Bの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αとPCβを表すセンシングデータが登録されている。複合機αとPCβがセンシング部20によって再センシングされて複合機αとPCβが識別された場合、連携機能Bとしてのスキャン転送機能が通知される。
図16に示す例では、各センシングデータに1つの機能(単独機能、連携機能)が紐付けられているが、各センシングデータに複数の機能が紐付けられてもよい。例えば、複合機αを表すセンシングデータに、プリント機能、コピー機能及びスキャン機能が単独機能として紐付けられてもよい。複合機αが再センシングされた場合、通知制御部28は、プリント機能、コピー機能及びスキャン機能を通知する。例えば、通知制御部28は、単独機能の一覧をUI部18の表示部に表示させる。複合機αとPCβを表すセンシングデータに、複数の連携機能が紐付けられてもよい。この場合も、複合機αとPCβが再センシングされると、通知制御部28は、複数の連携機能を通知する。
また、登録時に、複数の機器12がセンシングされた場合、そのセンシングによって生成されたセンシングデータに連携機能が紐付けられてもよいし、各機器12が有する単独機能が紐付けられてもよいし、連携機能と単独機能の両方が紐付けられてもよい。単独機能がセンシングデータに紐付けられた場合、当該複数の機器12が再センシングされると、各機器12が有する単独機能が通知される。連携機能と単独機能の両方がセンシングデータに紐付けられた場合、当該複数の機器12が再センシングされると、連携機能と単独機能の両方が通知される。なお、連携機能の通知指示がユーザによって与えられた場合に、連携機能が通知され、単独機能の通知指示がユーザによって与えられた場合に、単独機能が通知されてもよい。
なお、図16に示す例では、複合機αが有する単独機能がユーザによって指定されて、トリガーとしての複合機αに紐付けられて機能管理テーブルに登録されているが、複合機αが有していない単独機能がユーザによって指定されて、トリガーとしての複合機αに紐付けられて機能管理テーブルに登録されてもよい。例えば、登録時に、複合機αがセンシングされて、複合機αを表すセンシングデータが、トリガーを表すセンシングデータとして機能管理テーブルに登録される。また、その複合機αに紐付ける単独機能として、複合機αが有していない機能(例えば掃除機能)がユーザによって指定された場合、登録部26は、掃除機能に関する機能情報を、複合機αを表すセンシングデータに紐付けて機能管理テーブルに登録する。その掃除機能は、複合機α以外の機器(例えば自動掃除機AA)によって実行される機能である。この場合、登録部26は、その自動掃除機AAの機器識別情報(自動掃除機AAのアドレス情報等を含む情報)を機能管理テーブルに登録する。機能の登録時に、ユーザが自動掃除機AAの機器識別情報を端末装置10に入力してもよいし、登録部26が、データベース等を参照することで、その機器識別情報を取得してもよい。上記の登録処理の結果、複合機αがトリガーとして機能管理テーブルに登録され、自動掃除機AAを用いて実行される掃除機能が、複合機αに紐付く単独機能として機能管理テーブルに登録される。その登録後、複合機αがセンシング部20によって再センシングされると、通知制御部28は、機能管理テーブルにおいて、複合機αを表すセンシングデータに紐付けられている掃除機能を特定し、その掃除機能を通知する。ユーザによって、掃除機能の実行指示が与えられた場合、制御部24は、掃除の実行指示を示す制御情報を、自動掃除機AAに送信する。自動掃除機AAは、その制御情報に従って掃除を実行する。
以上のように、トリガーとなる機器12(センシングされた機器12)には、当該機器12が有する単独機能が紐付けられてもよいし、当該機器12が有していない単独機能が紐付けられてもよい。連携機能についても同様である。例えば、複合機αとPCβを用いて実行不可能な連携機能が、複合機αとPCβとの組み合わせに紐付けられて登録されてもよい。この場合、複合機αとPCβがセンシング部20によって再センシングされると、複合機αとPCβとの組み合わせに紐付けられている連携機能が通知される。
また、1つの機器12を表すセンシングデータに、当該機器12を用いる連携機能や、当該機器12を用いない連携機能が紐付けられてもよい。
以上のように、第1実施形態によれば、機器12のセンシングと、登録対象の機能の指定とを行うことで、機器12に機能を紐付けることができる。このように、機器12に対する機能の設定を簡易に実行することができる。
以下、第1実施形態に係る変形例について説明する。
(変形例1)
変形例1について説明する。変形例1は、第1実施形態に係る変形例である。変形例1では、登録部26は、登録対象の存在が有していない機能を、当該存在に紐付ける。例えば、登録部26は、機器12以外の物体に、機器12が有する機能を紐付ける。以下、図17及び図18を参照して、変形例1について詳しく説明する。
図17には、存在としてのペンケース72が示されている。このペンケース72がセンシング部20によってセンシングされることで、ペンケース72を表すセンシングデータが生成される。登録部26は、そのセンシングデータを機能管理テーブルに登録する。これにより、ペンケース72が、トリガーとしての存在として機能管理テーブルに登録される。
図18には、機能を登録するための画面74が示されている。ペンケース72には、ユーザによって名称「γ」が紐付けられている。上述した実施形態と同様に、画面74上で、ペンケースγに紐付けられる機能(単独機能又は連携機能)に関する機能情報が、ユーザによって入力される。また、登録部26は、機能の一覧76を画面74に表示させてもよい。一覧76に含まれる各機能は、ペンケースγが有していない機能である。例えば、複数の機能の候補に関する機能情報が、記憶部22に予め記憶されており、登録部26は、記憶部22に記憶されている各機能情報に基づいて一覧76を画面74に表示させる。もちろん、機能の候補に関する機能情報は、他の装置(例えば、各機器12や中継装置14やサーバ等)に記憶されて、登録部26は、当該他の装置から機能情報を取得してもよい。
登録部26は、ユーザによって指定された機能を、ペンケースγを表すセンシングデータに紐付けて機能管理テーブルに登録する。機能の登録時に、ユーザが、その機能に用いられる機器12の機器識別情報を端末装置10に入力してもよいし、登録部26が、データベース等を参照することで、その機能に用いられる機器12の機器識別情報を取得してもよい。登録部26は、その機器識別情報を、ペンケースγを表すセンシングデータに紐付けて機能管理テーブルに登録する。例えば、複合機αが有するプリント機能が登録対象の機能としてユーザによって指定された場合、登録部26は、プリント機能に関する機能情報と、複合機αの機器識別情報を、ペンケースγを表すセンシングデータに紐付けて機能管理テーブルに登録する。
ペンケースγがセンシング部20によって再センシングされて識別された場合、通知制御部28は、ペンケースγに紐付けられているプリント機能を通知する。ユーザが、そのプリント機能の実行指示を与えた場合、制御部24は、プリントの実行指示を示す制御情報を複合機αに送信する。複合機αは、その制御情報に従ってプリントを実行する。
以上のように、機能を有していない存在のセンシングと、登録対象の機能の指定とを行うことで、その存在に機能を紐付けることができる。
(変形例2)
変形例2について説明する。変形例2は、第1実施形態に係る変形例である。変形例2では、登録部26は、登録対象の存在が有していない機能であって、当該存在に関連する機能を当該存在に紐付ける。例えば、登録部26は、機器12以外の物体に、機器12が有する機能を紐付ける。以下、図19を参照して、変形例2について詳しく説明する。
一例として、存在としての猫がセンシング部20によってセンシングされることで、猫を表すセンシングデータが生成される。登録部26は、そのセンシングデータを機能管理テーブルに登録する。これにより、猫が、トリガーとしての存在として機能管理テーブルに登録される。
図19には、機能を登録するための画面78が示されている。センシングされた猫には、ユーザによって名称「δ」が紐付けられている。上述した実施形態と同様に、画面78上で、猫δに紐付けられる機能(単独機能又は連携機能)に関する機能情報が、ユーザによって入力される。また、登録部26は、機能の一覧80を画面78に表示させる。一覧80に含まれる各機能は、猫δに関連する機能(関連機能)である。関連機能は、例えば、登録対象の存在(例えば猫δ)に対して実行される機能である。登録部26は、例えば、上述したデータベースを参照することで、センシングされた存在を識別する。ここでは、センシングされた存在が猫であることが識別される。各存在の関連機能に関する機能情報が、記憶部22に予め記憶されており、登録部26は、記憶部22に記憶されている機能情報に基づいて一覧80を画面78に表示させる。もちろん、関連機能に関する機能情報は、他の装置(例えば、各機器12や中継装置14やサーバ等)に記憶されて、登録部26は、当該他の装置から機能情報を取得してもよい。
登録部26は、ユーザによって指定された機能を、猫δを表すセンシングデータに紐付けて機能管理テーブルに登録する。機能の登録時に、ユーザが、その機能に用いられる機器12の機器識別情報を端末装置10に入力してもよいし、登録部26は、データベース等を参照することで、その機能に用いられる機器12の機器識別情報を取得してもよい。登録部26は、その機器識別情報を、猫δを表すセンシングデータに紐付けて機能管理テーブルに登録する。例えば、猫δに関する単独機能として、餌やり機能がユーザによって指定された場合、登録部26は、餌やり機能に関する機能情報と、その餌やり機能を実行する機器12の機器識別情報を、猫δを表すセンシングデータに紐付けて機能管理テーブルに登録する。
猫δがセンシング部20によって再センシングされて識別された場合、通知制御部28は、猫δに紐付けられている餌やり機能を通知する。ユーザが、その餌やり機能の実行指示を与えた場合、制御部24は、餌やり機能の実行指示を示す制御情報を、その餌やり機能を実行する機器12に送信する。当該機器12は、その制御情報に従って、餌やり機能を実行する。
以上のように、存在のセンシングと、その存在に関連する機能の指定とを行うことで、その存在に、その存在に関連する機能を紐付けることができる。
(変形例3)
変形例3について説明する。変形例3は、第1実施形態に係る変形例である。変形例3では、存在の部分が登録されると共に、その部分に機能が紐付けられて登録される。その部分が再センシングされた場合、その部分に紐付けられている機能が通知される。
以下、図20を参照して、存在の部分について説明する。図20には、機器12としての複合機30が示されている。例えば、複合機30は、本体部82と後処理部84とを含む。例えば、複合機30の本体部82がセンシング部20によってセンシングされることで、本体部82を表すセンシングデータが生成される。登録部26は、そのセンシングデータを機能管理テーブルに登録する。これにより、本体部82が、トリガーとしての存在として機能管理テーブルに登録される。
図21には、機能を登録するための画面86が示されている。本体部82には、ユーザよって名称「α1」が紐付けられている。上述した実施形態と同様に、画面86上で、本体部α1に紐付けられる機能(単独機能又は連携機能)に関する機能情報が、ユーザによって入力される。また、登録部26は、機能の一覧88を画面74に表示させてもよい。一覧88に含まれる各機能は、本体部82が有する機能(本体部82に割り当てられている機能)である。
例えば、複合機30の本体部82と後処理部84には、それぞれ機能が割り当てられており、その割り当てを示す情報が、上記のデータベースに予め登録されている。一例として、本体部82には、プリント機能、コピー機能及びスキャン機能が割り当てられており、後処理部84には、ステイプル機能等の後処理機能が割り当てられている。これらの割り当てを示す情報が、上記のデータベースに予め登録されている。登録部26は、上述した実施形態と同様に、上記のデータベースにおいて、本体部82を表すセンシングデータを検索することで、複合機30を識別すると共に本体部82を識別し、更に、本体部82に割り当てられている機能を特定する。登録部26は、そのようにして特定された機能を、一覧88として画面86に表示させる。
登録部26は、ユーザによって指定された機能を、本体部α1を表すセンシングデータに紐付けて機能管理テーブルに登録する。機能の登録時に、ユーザが、複合機30の機器識別情報を端末装置10に入力してもよいし、登録部26が、データベース等を参照することで、複合機30の機器識別情報を取得してもよい。登録部26は、その機器識別情報を、本体部α1を表すセンシングデータに紐付けて機能管理テーブルに登録する。例えば、本体部α1が有するプリント機能が登録対象の機能としてユーザによって指定された場合、登録部26は、プリント機能に関する機能情報と、複合機30の機器識別情報を、本体部α1を表すセンシングデータに紐付けて機能管理テーブルに登録する。
本体部α1がセンシング部20によって再センシングされて識別された場合、通知制御部28は、本体部α1に紐付けられているプリント機能を通知する。ユーザが、そのプリント機能の実行指示を与えた場合、制御部24は、プリントの実行指示を示す制御情報を複合機30に送信する。複合機30は、その制御情報に従ってプリントを実行する。
以上のように、存在の部分(例えば機器12の部分)にも機能を紐付けることができる。
変形例3によれば、同一の存在であっても、部分毎に異なる機能を紐付けることができる。こうすることで、ある部分を再センシングしたときに通知される機能と、別の部分を再センシングしたときに通知される機能とを異ならせることができる。例えば、複合機30の本体部82にプリント機能を紐付け、後処理部84に後処理機能を紐付けることで、本体部82が再センシングされた場合にはプリント機能が通知され、後処理部84が再センシングされた場合には後処理機能が通知される。
また、変形例3によれば、存在の全体に紐付けられる機能と、存在の部分に紐付けられる機能とを異ならせることができる。例えば、複合機30の全体に、複合機30が有する全機能を紐付け、本体部82にコピー機能のみを紐付け、後処理部84に後処理機能のみを紐付けることもできる。こうすることで、同一の複合機30であっても、再センシングの対象を変えることで、通知される機能を変えることができる。
なお、登録時に存在の全体がセンシングされた場合であっても、登録部26は、ユーザの指示に従って、存在の1つの部分又は複数の部分を別々に登録し、各部分に機能を紐付けてもよい。例えば、登録時に複合機30の全体がセンシングされた場合に、登録部26は、ユーザの指示に従って、複合機30の本体部82にコピー機能を紐付け、後処理部84に後処理機能を紐付けてもよい。
なお、存在(例えば複合機30)の全体が再センシングされた場合であっても、通知制御部28は、その存在の部分(例えば複合機30の本体部82)を識別し、その部分(例えば本体部82)に機能が紐付けられている場合には、その機能を通知してもよい。その存在の全体(例えば複合機30)に機能が紐付けられている場合には、通知制御部28は、全体に紐付けられている機能を通知すると共に、部分に紐付けられている機能を通知してもよい。もちろん、存在の全体が再センシングされた場合には、存在の部分に機能が紐付けられている場合であっても、通知制御部28は、全体に紐付けられている機能を通知し、部分に紐付けられている機能を通知しなくてもよい。
また、登録部26は、登録対象の部分が有していない機能を、当該部分に紐付けてもよい。例えば、上記と同様に、複合機30の本体部82がセンシングされて、本体部82が存在として機能管理テーブルに登録されるものとする。
図22には、機能を登録するための画面90が示されている。登録部26は、機能の一覧92を画面90に表示させる。一覧92に含まれる各機能は、本体部α1が有していない機能である。例えば、複数の機能の候補に関する機能情報が、記憶部22に予め記憶されており、登録部26は、記憶部22に記憶されている各機能情報に基づいて一覧92を画面90に表示させる。もちろん、機能の候補に関する機能情報は、他の装置(例えば、各機器12や中継装置14やサーバ等)に記憶されて、登録部26は、当該他の装置から機能情報を取得してもよい。
登録部26は、ユーザによって指定された機能を、本体部α1を表すセンシングデータに紐付けて機能管理テーブルに登録する。機能の登録時に、ユーザが、その機能に用いられる機器12の機器識別情報を端末装置10に入力してもよいし、登録部26が、データベース等を参照することで、その機能に用いられる機器12の機器識別情報を取得してもよい。登録部26は、その機器識別情報を、本体部α1を表すセンシングデータに紐付けて機能管理テーブルに登録する。例えば、自動掃除機AAが有する掃除機能が登録対象の機能としてユーザによって指定された場合、登録部26は、掃除機能に関する機能情報と、自動掃除機AAの機器識別情報を、本体部α1を表すセンシングデータに紐付けて機能管理テーブルに登録する。
本体部α1がセンシング部20によって再センシングされて識別された場合、通知制御部28は、本体部α1に紐付けられている掃除機能を通知する。ユーザが、その掃除機能の実行指示を与えた場合、制御部24は、掃除機能の実行指示を示す制御情報を自動掃除機AAに送信する。自動掃除機AAは、その制御情報に従って掃除機能を実行する。
以上のように、存在の部分に、当該部分が有していない機能が紐付けられてもよい。
なお、存在の部分には、1つの機能が紐付けられてもよいし、複数の機能が紐付けられてもよい。また、存在の部分には、その部分が有する単独機能が紐付けられてもよいし、その部分が有していない単独機能が紐付けられてもよいし、その部分を用いて実行可能な連携機能が紐付けられてもよいし、その部分を用いずに実行可能な連携機能が紐付けられてもよい。
図23には、変形例3に係る機能管理テーブルの一例が示されている。この機能管理テーブルにおいては、上述した実施形態に係る機能管理テーブルと同様に、IDと、機器の名称を示す情報と、センシングデータと、機能の内容を示す情報とが互いに対応付けられている。変形例3では、機器の名称として、機器の部分の名称が機能管理テーブルに登録される。
例えば、ID「3」に紐付く機能は単独機能(機能名C)である。その単独機能は、複合機αの本体部α1を用いてプリントを行う機能(プリント機能)である。トリガーとしての存在の部分を表すセンシングデータとして、複合機αの本体部α1を表すセンシングデータが登録されている。つまり、単独機能Cを実行するための構成として複合機αの本体部α1が登録されており、その単独機能Cの通知や実行のトリガーとして用いられる存在の部分を表すセンシングデータとして、複合機αの本体部α1を表すセンシングデータが登録されている。複合機αの本体部α1がセンシング部20によって再センシングされて本体部α1が識別された場合、単独機能Cとしてのプリント機能が通知される。複合機αが識別された場合に、単独機能Cが通知されてもよい。
また、ID「4」に紐付く機能は連携機能(機能名D)である。その連携機能は、複合機αの本体部α1とPCβの表示部β1(ディスプレイ)を用いて実行されるプリント機能である。このプリント機能は、PCβの表示部β1に表示されている画像データや文書データを複合機αに送信し、本体部α1によって画像データや文書データをプリントする機能である。トリガーとしての存在の部分を表すセンシングデータとして、複合機αの本体部α1とPCβの表示部β1を表すセンシングデータが登録されている。つまり、連携機能Dを実行するための構成として複合機αの本体部α1とPCβの表示部β1が登録されており、その連携機能Dの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αの本体部α1とPCβの表示部β1を表すセンシングデータが登録されている。複合機αの本体部α1とPCβの表示部β1がセンシング部20によって再センシングされて複合機αの本体部α1とPCβの表示部β1が識別された場合、連携機能Dとしてのプリント機能が通知される。
また、ID「5」に紐付く機能は、複数の連携機能(機能名E)である。例えば、連携機能として、プリント機能とスキャン転送機能が登録されている。プリント機能は、複合機αの本体部α1とPCβを用いて実行される機能である。具体的には、プリント機能は、PCβに記憶されている画像データや文書データを複合機αに送信し、本体部α1によって画像データや文書データをプリントする機能である。スキャン転送機能は、複合機αの本体部α1によってスキャンし、そのスキャンによって生成されたデータをPCβに転送する機能である。トリガーとしての存在を表すセンシングデータとして、複合機αの本体部α1とPCβの全体を表すセンシングデータが登録されている。つまり、連携機能Eを実行するための構成として複合機αの本体部α1とPCβが登録されており、その連携機能Eの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αの本体部α1とPCβの全体を表すセンシングデータが登録されている。複合機αの本体部α1とPCβの全体がセンシング部20によって再センシングされて複合機αの本体部α1とPCβが識別された場合、連携機能Eとしてのプリント機能とスキャン転送機能が通知される。
(変形例4)
変形例4について説明する。変形例4は、第1実施形態に係る変形例である。変形例4では、登録部26は、登録対象の存在に対する向きに対して機能を紐付ける。例えば、登録部26は、存在に対するセンシングの向きや角度に対して機能を紐付ける。登録部26は、向き毎に、同一機能を紐付けてもよいし、異なる機能を紐付けてもよい。以下、図24及び図25を参照して、変形例4について詳しく説明する。
図24には、存在としての機器12と端末装置10との位置関係が示されている。ここでは、機器12の一例として複合機30が示されている。
例えば、矢印Aが示す方向から複合機30に対してセンシングが行われた場合、複合機30の正面30aがセンシングされ、その正面30aを表すセンシングデータが生成される。登録部26は、そのセンシングデータを機能管理テーブルに登録すると共に、ユーザによって指定された機能を、そのセンシングデータに紐付けて機能管理テーブルに登録する。
また、矢印Bが示す方向から複合機30に対してセンシングが行われた場合、複合機30の右側面30bがセンシングされ、その右側面30bを表すセンシングデータが生成される。登録部26は、そのセンシングデータを機能管理テーブルに登録すると共に、ユーザによって指定された機能を、そのセンシングデータに紐付けて機能管理テーブルに登録する。
図25には、変形例4に係る機能管理テーブルの一例が示されている。この機能管理テーブルにおいては、IDと、機器の名称を示す情報と、センシングデータと、位置関係を示す情報と、機能の内容を示す情報とが互いに対応付けられている。位置関係を示す情報は、存在と端末装置10との間の位置関係を示す情報であり、例えば、存在の向きを示す情報、存在に対するセンシングの方向を示す情報、存在と端末装置10のそれぞれの位置情報(例えばGPS(Global Positioning System)によって特定される位置情報)、等である。
例えば、ID「6」に紐付く機能は単独機能(機能名F)である。その単独機能は、複合機αを用いてプリントを行う機能(プリント機能)である。トリガーとしての存在を表すセンシングデータとして、複合機αの正面30aを表すセンシングデータが登録されている。また、位置関係として、センシングの方向Aが登録されている。例えば、登録時に、ユーザが、方向Aを示す情報や正面を示す情報を入力してもよいし、登録部26は、GPSを利用することで複合機αと端末装置10との位置関係を特定し、その位置関係を示す情報を機能管理テーブルに登録してもよい。つまり、単独機能Fを実行するための構成として複合機αが登録されており、その単独機能Fの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αの正面30aを表すセンシングデータが登録されている。複合機αが方向Aからセンシング部20によって再センシングされて、複合機αの正面30aを表す再センシングデータが生成されて正面30aが識別された場合、単独機能Fが通知される。
また、ID「7」に紐付く機能は単独機能(機能名G)である。その単独機能は、複合機αを用いてスキャンを行う機能(スキャン機能)である。トリガーとしての存在を表すセンシングデータとして、複合機αの右側面30bを表すセンシングデータが登録されている。また、位置関係として、センシングの方向Bが登録されている。例えば、登録時に、ユーザが、方向Bを示す情報や正面を示す情報を入力してもよいし、登録部26は、GPSを利用することで複合機αと端末装置10との位置関係を特定し、その位置関係を示す情報を機能管理テーブルに登録してもよい。つまり、単独機能Gを実行するための構成として複合機αが登録されており、その単独機能Gの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αの右側面30bを表すセンシングデータが登録されている。複合機αが方向Bからセンシング部20によって再センシングされて、複合機αの右側面30bを表す再センシングデータが生成されて右側面30bが識別された場合、単独機能Gが通知される。
以上のように、変形例4によれば、センシングの向き毎に機能を紐付けることができるので、例えば、向き毎に異なる機能を紐付けることもできる。
変形例4によれば、例えば、360°にわたって存在がセンシングされた場合に生成されたセンシングデータと、180°にわたって存在がセンシングされた場合に生成されたセンシングデータとに、それぞれ異なる機能を紐付けることもできる。こうすることで、360°にわたって存在が再センシングされた場合と、180°にわたって存在が再センシングされた場合とで、それぞれ異なる機能を通知したり実行したりすることができる。
(変形例5)
変形例5について説明する。変形例5は、第1実施形態に係る変形例である。変形例5では、登録部26は、登録対象の存在に、センシングの種類毎の機能を紐付ける。登録部26は、登録対象の存在に、センシングの種類毎に異なる機能を紐付けてもよいし、センシングの種類毎に同じ機能を紐付けてもよい。つまり、登録部26は、センシングの種類に応じて、登録対象の存在に紐付けられる機能を変更してもよい。通知制御部28は、登録時と同じ種類のセンシングによって存在がセンシングされた場合に、その存在に紐付けられている機能を通知する。
以下、図26を参照して、変形例5について詳しく説明する。図26には、変形例5に係る機能管理テーブルの一例が示されている。この機能管理テーブルにおいては、IDと、機器の名称を示す情報と、センシングデータと、センシングの種類を示す情報と、機能の内容を示す情報とが互いに対応付けられている。センシングの種類として、例えば、静止画像の撮影、動画像の撮影、3次元形状の計測等が挙げられる。
例えば、ID「8」に紐付く機能は単独機能(機能名H)である。その単独機能は、複合機αを用いてプリントを行う機能(プリント機能)である。トリガーとしての存在を表すセンシングデータとして、複合機αの動画像データがセンシングデータとして登録されている。つまり、単独機能Hを実行するための構成として複合機αが登録されており、その単独機能Hの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αを表す動画像データが登録されている。複合機αがセンシング部20によって再センシングされて、複合機αを表す動画像データが生成されて複合機αが識別された場合、通知制御部28は、単独機能Hを通知する。一方、複合機αが再センシングされて静止画像データや計測データが生成されても、通知制御部28は、単独機能Hを通知しない。この場合、通知制御部28は、後述する単独機能Jを通知する。
また、ID「9」に紐付く機能は単独機能(機能名J)である。その単独機能は、複合機αを用いてスキャンを行う機能(スキャン機能)である。トリガーとしての存在を表すセンシングデータとして、複合機αの静止画像データがセンシングデータとして登録されている。つまり、単独機能Jを実行するための構成として複合機αが登録されており、その単独機能Jの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αを表す静止画像データが登録されている。複合機αがセンシング部20によって再センシングされて、複合機αを表す静止画像データが生成されて複合機αが識別された場合、通知制御部28は、単独機能Jを通知する。一方、複合機αが再センシングされて動画像データや計測データが生成されても、通知制御部28は、単独機能Jを通知しない。この場合、通知制御部28は、単独機能Hを通知する。
変形例5によれば、同一の存在に対して、センシングの種類毎の機能を紐付けることができる。こうすることで、センシングの種類によって機能を使い分けることができる。
センシングデータとして、3次元センサを用いて生成された計測データやその他の計測データが用いられてもよい。また、センシングの種類に応じて異なる連携機能が登録されてもよい。複数の存在が登録される場合においても、センシングの種類に応じて異なる機能が登録されてもよい。
(変形例6)
変形例6について説明する。変形例6は、第1実施形態に係る変形例である。変形例6では、登録部26は、登録対象の複数の存在に、当該複数の存在に対するセンシングの順番に応じた連携機能を紐付ける。通知制御部28は、登録時のセンシングの順番に従って当該複数の存在がセンシングされた場合、当該複数の存在に紐付けられている連携機能を通知する。
以下、図27を参照して、変形例6について詳しく説明する。図27には、変形例6に係る機能管理テーブルの一例が示されている。この機能管理テーブルにおいては、IDと、機器の名称を示す情報と、センシングデータと、存在に対するセンシングの順番を示す情報と、機能の内容を示す情報とが互いに対応付けられている。
例えば、ID「10」に紐付く機能は連携機能(機能名K)である。その連携機能は、複合機αとPCβを用いてスキャン転送を行う機能(スキャン転送機能)である。トリガーとしての存在を表すセンシングデータとして、複合機αを表すセンシングデータとPCβを表すセンシングデータが登録されている。つまり、連携機能Kを実行するための構成として複合機αとPCβが登録されており、その連携機能Kの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αを表すセンシングデータとPCβを表すセンシングデータが登録されている。また、登録時には、複合機α、PCβの順番で複合機αとPCβがセンシングされている。センシングデータは、静止画像データ、動画像データ、又は、計測データ等である。例えば、複合機α、PCβの順番で複合機αとPCβが個別的にセンシングされることで、複合機αを表すセンシングデータとPCβを表すセンシングデータが別々に生成されて登録されてもよい。別の例として、複合機α、PCβの順番で複合機αとPCβがカメラによって連続して撮影されることで、複合機α、PCβを表す動画像データが生成されて登録されてもよい。複合機αとPCβがセンシング部20によってその順番で再センシングされて、複合機αとPCβが識別された場合、通知制御部28は、連携機能Kを通知する。一方、PCβ、複合機αの順番で複合機αとPCβがセンシング部20によって再センシングされて、複合機αとPCβが識別された場合、通知制御部28は、連携機能Kを通知しない。この場合、通知制御部28は、後述する連携機能Lを通知する。
また、ID「11」に紐付く機能は連携機能(機能名L)である。その連携機能は、複合機αとPCβを用いてプリントを行う機能(プリント機能)である。トリガーとしての存在を表すセンシングデータとして、複合機αを表すセンシングデータとPCβを表すセンシングデータが登録されている。つまり、連携機能Lを実行するための構成として複合機αとPCβが登録されており、その連携機能Lの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、複合機αを表すセンシングデータとPCβを表すセンシングデータが登録されている。また、登録時には、PCβ、複合機αの順番で複合機αとPCβがセンシングされている。例えば、PCβ、複合機αの順番で複合機αとPCβが個別的にセンシングされることで、複合機αを表すセンシングデータとPCβを表すセンシングデータが別々に生成されて登録されてもよい。別の例として、PCβ、複合機αの順番で複合機αとPCβがカメラによって連続して撮影されることで、複合機α、PCβを表す動画像データが生成されて登録されてもよい。PCβと複合機αがセンシング部20によってその順番で再センシングされて、複合機αとPCβが識別された場合、通知制御部28は、連携機能Lを通知する。一方、複合機α、PCβの順番で複合機αとPCβがセンシング部20によって再センシングされて、複合機αとPCβが識別された場合、通知制御部28は、連携機能Lを通知しない。この場合、通知制御部28は、連携機能Kを通知する。
変形例6によれば、各存在に対するセンシングの順番に応じて登録対象の機能を変えることができる。
通知制御部28は、各存在に対する再センシングの順番に応じて、各機能の通知の優先順位を変えて各機能を通知してもよい。例えば、複合機α、PCβの順番で再センシングされた場合、通知制御部28は、ID「10」の連携機能KをID「11」の連携機能Lよりも優先的に通知する。例えば、通知制御部28は、連携機能Kを示す情報と連携機能Lを示す情報の両方をUI部18の表示部に表示させ、連携機能Kを示す情報を、連携機能Lを示す情報よりも優先的に表示部に表示させる。通知制御部28は、表示部において、連携機能Kを示す情報を、連携機能Lを示す情報よりも上方の位置に表示させてもよいし、連携機能Kを示す情報に第1順位を示す情報を紐付け、連携機能Lを示す情報に第2順位を示す情報を紐付けて、各連携機能を示す情報を表示部に表示させてもよい。
図27に示す例では、2つの存在がセンシングされて登録されているが、3つ以上の存在がセンシングされた場合も、登録部26は、そのセンシングの順番に応じた機能を機能管理テーブルに登録する。
(変形例7)
変形例7について説明する。変形例7は、第1実施形態に係る変形例である。変形例7では、通知制御部28は、登録時のセンシングの条件と、再センシング時のセンシングの条件とが対応関係を有する場合(例えば両条件が一致する場合)、登録時のセンシングによって生成されたセンシングデータに紐付けられている機能を通知する。
センシングの条件は、例えば、存在に対するセンシングの向き、センシングの回数、センシングの種類、及び、センシングの順番の中の少なくとも1つによって定められる条件である。
例えば、登録時に、登録対象の存在(例えば複合機α)の正面から背面にかけてセンシングが行われ、更に、登録対象の機能が指定された場合、登録部26は、複合機αの正面から背面までの範囲を表すセンシングデータにその機能を紐付けて、センシングデータと機能を機能管理テーブルに登録する。複合機αの正面から背面にかけて再センシングされた場合、通知制御部28は、複合機αの正面から背面までの範囲を表すセンシングデータに紐付けられている機能を通知する。
また、登録時に、登録対象の存在(例えば複合機α)が複数回センシングされて複数のセンシングデータが生成され、更に、登録対象の機能が指定された場合、登録部26は、当該複数のセンシングデータに機能を紐付けて、当該複数のセンシングデータと機能を機能管理テーブルに登録する。複合機αが登録時と同じ回数、再センシングされた場合、登録部26は、当該複数のセンシングデータに紐付けられている機能を通知する。
また、通知制御部28は、登録時に用いられたセンシングの種類と同じ種類の方式に従って存在が再センシングされた場合、登録時に生成されたセンシングデータに紐付けられている機能を通知する。この処理は、上記の変形例5に係る処理と同じ処理である。
また、通知制御部28は、登録時のセンシングの順番と同じ順番で複数の存在が再センシングされた場合、登録時に生成されたセンシングデータに紐付けられている機能を通知する。この処理は、上記の変形例6に係る処理と同じ処理である。
センシングの条件として、センシングの向き、回数、種類及び順番の中の複数の組み合わせが用いられてもよい。登録時のセンシングの組み合わせと同じ組み合わせによって再センシングされた場合に機能が通知されるので、その組み合わせが複雑なほど、機能の通知についてのセキュリティが高くなる。
例えば、登録対象の存在(例えば複合機α)の正面から背面にかけて複数回のセンシングが行われ、その後、その複合機αの背面から正面にかけて、先のセンシングとは異なる種類の方式に従って複数回のセンシングが行われ、これらのセンシングによって生成された1又は複数のセンシングデータに機能が紐付けられて登録されてもよい。再センシング時に、登録時のセンシングと同じ方法で存在がセンシングされた場合に、上記の機能が通知される。
また、変形例7に係る処理がホームセキュリティ等に適用されてもよい。例えば、家の複数の部分(例えば、ドアの特定部分、屋根の特定部分、外壁の特定部分等)をセンシングした場合に、玄関のドアを開錠する機能が登録されてもよい。つまり、当該複数の部分が特定のセンシング条件(例えば、特定の順番や回数等によって定まる条件)に従ってセンシングされ、そのセンシングによって生成されたセンシングデータと、ドアを開錠する機能とが紐付けられて機能管理テーブルに登録される。当該複数の部分が、上記の特定のセンシング条件によって再センシングされた場合、通知制御部28は、開錠機能を通知する。その特定のセンシング条件に従った再センシングが行われなかった場合、通知制御部28は、開錠機能を通知しない。ユーザが開錠機能の実行を指示すると、ドアが開錠される。なお、特定のセンシング条件に従って再センシングが行われた場合、制御部24は、開錠機能を実行することで、ドアを開錠してもよい。このように変形例7に係る処理がセキュリティに適用されることで、セキュリティを高めることができる。
(変形例8)
変形例8について説明する。変形例8は、第1実施形態に係る変形例である。変形例8では、機能に用いられる構成としてソフトウェアや対象(ファイル等)が用いられる。例えば、1又は複数のソフトウェアによって単独機能や連携機能が実行されてもよいし、ファイルや商品等の対象に対して単独機能や連携機能が適用されてもよい。
以下、図28を参照して、変形例8について詳しく説明する。図28には、変形例8に係る機能管理テーブルが示されている。この機能管理テーブルにおいては、IDと、登録対象(存在)の名称を示す情報と、センシングデータと、機能の内容を示す情報とが互いに対応付けられている。変形例8では、その機能がソフトウェアによって実行されたり、その機能が対象に対して適用されたりする。
例えば、ID「12」に紐付く機能は単独機能(機能名M)である。その単独機能は、文書作成ソフトウェアを起動する機能である。文書作成ソフトウェアは、文書の表示や作成等を行うためのソフトウェアである。トリガーとしての存在を表すセンシングデータとして、PCεを表すセンシングデータが登録されている。つまり、単独機能Mを実行するための構成として文書ソフトウェアが登録されており、その単独機能Mの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、PCεを表すセンシングデータが登録されている。つまり、機能を実行する構成は、トリガーとして用いられる存在とは異なる(構成≠存在)。文書作成ソフトウェアは、例えば、端末装置10にインストールされている。もちろん、別の装置に文書作成ソフトウェアがインストールされていてもよい。登録時には、PCεがセンシングされ、更に、文書作成ソフトウェアの起動が登録対象の単独機能として指定されている。登録部26は、PCεを表すセンシングデータに単独機能Mを紐付けて機能管理テーブルに登録する。PCεがセンシング部20によって再センシングされてPCεが識別された場合、通知制御部28は、PCεを表すセンシングデータに紐付けられている単独機能Mを通知する。ユーザによって単独機能Mの実行指示が与えられた場合、制御部24は、文書作成ソフトウェアを起動させる。
また、ID「13」に紐付く機能は連携機能(機能名N)である。その連携機能は、文書ファイルにパスワードを設定する機能であり、文書作成ソフトウェアとパスワード設定ソフトウェアとが連携することで実行可能な機能である。トリガーとしての存在を表すセンシングデータとして、PCεとノートζを表すセンシングデータが登録されている。つまり、連携機能Nを実行するための構成として文書ソフトウェアとパスワード設定ソフトウェアが登録されており、その連携機能Nの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、PCεとノートζを表すセンシングデータが登録されている。つまり、機能を実行する構成は、トリガーとして用いられる存在とは異なる(構成≠存在)。文書作成ソフトウェアとパスワード設定ソフトウェアは、例えば、端末装置10にインストールされている。もちろん、別の装置に文書作成ソフトウェアとパスワード設定ソフトウェアがインストールされていてもよい。登録時には、PCεとノートζがセンシングされ、更に、文書作成ソフトウェアとパスワード設定ソフトウェアとを用いた連携機能Nが登録対象の機能として指定されている。登録部26は、PCεとノートζを表すセンシングデータに連携機能Nを紐付けて機能管理テーブルに登録する。PCεとノートζがセンシング部20によって再センシングされてPCεとノートζが識別された場合、通知制御部28は、PCεとノートζを表すセンシングデータに紐付けられている連携機能Nを通知する。ユーザによって連携機能Nの実行指示が与えられた場合、制御部24は、文書作成ソフトウェアとパスワード設定ソフトウェアとを用いて、ユーザによって指定された文書ファイルにパスワードを設定する。
また、ID「14」に紐付く機能は単独機能(機能名P)である。その単独機能は、文書ファイルηを開く機能であり、文書作成ソフトウェアを用いて実行可能な機能である。トリガーとしての存在を表すセンシングデータとして、ノートζを表すセンシングデータが登録されている。つまり、単独機能Pを実行するための構成として文書ソフトウェアが登録されており、単独機能Pが適用される対象として文書ファイルηが登録されており、その単独機能Pの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、ノートζを表すセンシングデータが登録されている。つまり、機能を実行する構成は、トリガーとして用いられる存在とは異なる(構成≠存在)。登録時には、ノートζがセンシングされ、更に、文書作成ソフトウェアを用いた単独機能Pが登録対象の機能として指定されており、更に、単独機能Pが適用される対象として文書ファイルηが指定されている。登録部26は、ノートζを表すセンシングデータに単独機能Pと文書ファイルηを紐付けて機能管理テーブルに登録する。ノートζがセンシング部20によって再センシングされてノートζが識別された場合、通知制御部28は、ノートζを表すセンシングデータに紐付けられている単独機能Pを通知する。ユーザによって単独機能Pの実行指示が与えられた場合、制御部24は、文書作成ソフトウェアを用いて文書ファイルηを開く。 また、ID「15」に紐付く機能は連携機能(機能名Q)である。その連携機能は、文書ファイルηの内容を会計ファイルθに追加する機能であり、文書作成ソフトウェアと会計ソフトウェアとが連携することで実行可能な機能である。トリガーとしての存在を表すセンシングデータとして、ノートζとペンκを表すセンシングデータが登録されている。つまり、連携機能Qを実行するための構成として文書ソフトウェアと会計ソフトウェアが登録されており、その連携機能Qの通知や実行のトリガーとして用いられる存在を表すセンシングデータとして、ノートζとペンκを表すセンシングデータが登録されている。つまり、機能を実行する構成は、トリガーとして用いられる存在とは異なる(構成≠存在)。文書作成ソフトウェアと会計ソフトウェアは、例えば、端末装置10にインストールされている。もちろん、別の装置に文書作成ソフトウェアと会計ソフトウェアがインストールされていてもよい。登録時には、ノートζとペンκがセンシングされ、更に、文書作成ソフトウェアと会計ソフトウェアとを用いた連携機能Qが登録対象の機能として指定され、更に、連携機能Qが適用される対象として文書ファイルηと会計ファイルθが指定されている。登録部26は、ノートζとペンκを表すセンシングデータに、連携機能Q、文書ファイルη及び会計ファイルθを紐付けて機能管理テーブルに登録する。ノートζとペンκがセンシング部20によって再センシングされてノートζとペンκが識別された場合、通知制御部28は、ノートζとペンκを表すセンシングデータに紐付けられている連携機能Qを通知する。ユーザによって連携機能Qの実行指示が与えられた場合、制御部24は、文書作成ソフトウェアと会計ソフトウェアとを用いて、文書ファイルηの内容を会計ファイルθに追加する。
以上のように、機器12以外の構成として、機能にソフトウェアやファイルが用いられてもよい。また、機器12、ソフトウェア及びファイルの中の複数の構成を組み合わせることで実行可能な連携機能が、センシングデータに紐付けられて機能管理テーブルに登録されてもよい。また、上記の変形例1から変形例7に係る処理が、変形例8に適用されてもよい。
上述した変形例1から変形例8の中の少なくとも2つが組み合わされてもよい。例えば、複数の部分のセンシングの順番に応じた機能が紐付けられてもよいし、部分に対するセンシングの種類に応じた機能が紐付けられてもよいし、機器12の部分とソフトウェアとを用いて実行可能な連携機能が登録されてもよい。これら以外の組み合わせが実行されてもよい。
また、上記の第1実施形態及び変形例において、センシングを行うことで登録された構成(機器12やソフトウェアや対象)や機能(単独機能や連携機能)が、ユーザによって編集されてもよい。例えば、ユーザがUI部18を操作して編集画面の表示指示を与えた場合、制御部24は、編集画面を表示部に表示させる。この編集画面上にて、登録済みの構成や機能がユーザによって編集される。例えば、登録済みの構成の一覧や機能の一覧が表示され、構成の一覧の中から編集対象の構成が選択されてもよいし、機能の一覧の中から編集対象の機能が選択されてもよい。例えば、ユーザによって、機能の内容が変更や追加されてもよいし、機能に用いられる構成が変更や追加されてもよい。
また、センシングデータが使い回されてもよい。例えば、登録部26は、登録済みのセンシングデータに、ユーザによって指定された機能を紐付けて、その機能を機能管理テーブルに登録する。そのセンシングデータには、別の機能が既に紐付けられていてもよいし、別の機能が紐付けられていなくてもよい。つまり、登録部26は、既に機能が紐付けられているセンシングデータに新たな機能を紐付けてもよいし、機能が紐付けられていないセンシングデータに機能を紐付けてもよい。こうすることで、各機能の登録時に、同じ構成を何度もセンシングせずに済む。
なお、既に記憶部22に記憶されているセンシングデータや、外部装置から取得されたセンシングデータに、機能が紐付けられてもよい。
また、センシングデータ自体が編集されてもよい。例えば、センシングデータがユーザによって編集された場合、登録部26は、編集されたセンシングデータに、ユーザによって指定された機能を紐付けて、編集されたセンシングデータと機能を機能管理テーブルに登録する。例えば、センシングデータの一部を切り取る操作がユーザによって行われた場合、登録部26は、その部分的なセンシングデータ(例えば残存するセンシングデータ)に、ユーザによって指定された機能を紐付けて、その部分的なセンシングデータと機能を機能管理テーブルに登録する。登録部26は、編集される前のセンシングデータとそれに紐付けられた機能を、機能管理テーブルに登録したままの状態で、編集されたセンシングデータとそれに紐付けられた機能を、機能管理テーブルに登録してもよい。別の例として、登録部26は、編集される前のセンシングデータとそれに紐付けられた機能を、機能管理テーブルから削除し、編集されたセンシングデータとそれに紐付けられた機能を、機能管理テーブルに登録してもよい。具体例を挙げて説明すると、複合機の全体を表すセンシングデータが既に登録されている場合に、そのセンシングデータが編集されることで、複合機の本体部のみを表すセンシングデータが生成されてもよい。その本体部のみを表すセンシングデータに、新たな機能が紐付けられて、そのセンシングデータと新たな機能が機能管理テーブルに登録される。
また、上記の第1実施形態及び変形例において、センシングが、そのセンシングの途中で失敗した場合、通知制御部28は、その失敗を示すメッセージを表示部に表示させてもよいし、そのメッセージを音声として出力してもよい。また、通知制御部28は、再センシングをユーザに促すためのメッセージを表示部に表示させてもよいし、そのメッセージを音声として出力してもよい。以下に説明する第2実施形態とその変形例においても同様である。
<第2実施形態>
以下、第2実施形態に係る情報処理システムについて説明する。第2実施形態に係る情報処理システムは、第1実施形態に係る情報処理システムと同じ構成を有する。
第2実施形態では、端末装置10は、操作対象と認証体(認証物)がセンシングされた場合、その操作対象を操作するための情報を通知する。操作対象は、例えば、上述した構成としての機器12やソフトウェアやファイルである。センシングは、上述したカメラによる撮影や、3次元センサによる計測等である。認証体(認証物)は、例えば、人、その他の物体、画面上に表示された画像や文字列等の情報、物体上に形成された図形や文字列等の情報、等である。なお、センシング部20が撮影手段の一例に相当する。
以下、第2実施形態について詳しく説明する。図29には、第2実施形態に係る機能管理テーブルの一例が示されている。この機能管理テーブルは、機能管理情報の一例に相当する。この機能管理テーブルにおいては、一例として、IDと、機器の名称を示す情報と、センシングデータと、認証情報と、機能の内容を示す情報とが互いに対応付けられている。ID、機器の名称、及び、機能の内容は、上述した第1実施形態に係るそれらと同じである。認証情報は、例えば、生体情報、画像、文字等である。生体情報として、生体認証に用いられる情報が用いられる。生体情報として、例えば、指紋認証に用いられる指紋情報(例えば指紋を表す画像)、網膜認証に用いられる網膜情報(例えば網膜を表す画像)、顔認証に用いられる顔情報(例えば顔を表す画像)、静脈認証に用いられる静脈情報(例えば静脈を表す画像)、歩行認証に用いられる歩行情報(例えば歩行の様子を表す画像)、等が用いられる。もちろん、これら以外の生体情報が用いられてもよい。画像として、例えば、静止画像データ、動画像データ、計測データ等が用いられる。画像として、2次元バーコード等を表す画像が用いられてもよい。
センシングデータ、認証情報、及び、機能情報は、機能管理テーブルに予め登録されている。これらの情報は、第1実施形態と同様に、登録部26によって登録されてもよい。この場合、登録時には、センシングデータ及び機能情報と共に、認証情報も機能管理テーブルに登録される。認証情報は、例えば、認証体(認証物)がセンシングされることで登録されてもよいし、当該認証情報がユーザによって入力されることで登録されてもよいし、これら以外の方法によって端末装置10に入力されて登録されてもよい。登録部26は、例えば、センシングによって生成された認証情報や、ユーザによって入力された認証情報や、これら以外の方法によって入力された認証情報を、センシングデータ及び機能情報に紐付けて機能管理テーブルに登録する。上記の情報が登録部26によって登録されずに、別の方法によって登録される場合、登録部26は、第2実施形態に係る端末装置10に設けられていなくてもよい。つまり、第2実施形態に係る機能管理テーブルは、登録部26によって作成されずに、予め別の方法によって作成されていてもよい。
以下、機能管理テーブルに登録されている情報について詳しく説明する。
例えば、ID「16」に紐付く操作対象として、機器12としての複合機αが登録されている。センシングデータとして、複合機αを表すセンシングデータ(例えば静止画像データ、動画像データ、計測データ等)が登録されている。認証情報として、ユーザXに紐付く画像データが登録されている。この認証情報は、複合機αを操作するために用いられる情報である。認証情報としての画像データは、例えば、ユーザXの顔を表す静止画像データ、動画像データ、計測データ等である。つまり、認証体はユーザXの顔である。もちろん、ユーザXの全身や体の一部(例えば、腕、手、指、足等)が認証体として用いられ、それらを表す画像データが認証情報として用いられてもよいし、ユーザXの指紋情報等の生体情報が認証情報として用いられてもよい。また、複合機αが有する1又は複数の単独機能に関する機能情報が登録されている。一例として、複合機αが有するコピー機能、スキャン機能及びプリント機能等の単独機能が登録されている。
複合機αがセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、複合機αを操作するための情報を通知する。例えば、通知制御部28は、複合機αが有する各単独機能を示す情報をUI部18の表示部に表示させる。
より詳しく説明すると、複合機αがセンシングされることで、複合機αを表すセンシングデータが生成される。同様に、ユーザXの顔がセンシングされることで、ユーザXの顔を表すセンシングデータが生成される。通知制御部28は、機能管理テーブルにおいて、複合機αを表すセンシングデータとユーザXの顔を表すセンシングデータとの組み合わせをする。その組み合わせが機能管理テーブルに登録されている場合、認証が成功する。認証が成功した場合、通知制御部28は、複合機αを操作するための情報(例えば操作画面)をUI部18の表示部に表示させる。例えば、通知制御部28は、その組み合わせに紐付けられている1又は複数の単独機能を示す情報を表示部に表示させる。上記の組み合わせが機能管理テーブルに登録されていない場合、認証は失敗する。この場合、通知制御部28は、複合機αを操作するための情報を表示部に表示させない。通知制御部28は、認証が失敗した旨を示す情報を表示部に表示させてもよい。
また、ID「17」に紐付く操作対象として、機器12としてのPCβが登録されている。センシングデータとして、PCβを表すセンシングデータ(例えば静止画像データ、動画像データ、計測データ等)が登録されている。認証情報として、ユーザXに紐付く画像データが登録されている。この認証情報は、PCβを操作するために用いられる情報である。認証情報としての画像データは、例えば、ユーザXの顔を表す静止画像データ、動画像データ、計測データ等である。また、PCβが有する1又は複数の単独機能に関する機能情報が登録されている。一例として、PCβが有するファイル開示機能、ファイル削除機能、電子メール機能等の単独機能が登録されている。
PCβがセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、PCβを操作するための情報を通知する。例えば、通知制御部28は、PCβが有する各単独機能を示す情報をUI部18の表示部に表示させる。
より詳しく説明すると、PCβがセンシングされることで、PCβを表すセンシングデータが生成される。同様に、ユーザXの顔がセンシングされることで、ユーザXの顔を表すセンシングデータが生成される。通知制御部28は、機能管理テーブルにおいて、PCβを表すセンシングデータとユーザXの顔を表すセンシングデータとの組み合わせをする。その組み合わせが機能管理テーブルに登録されている場合、認証が成功する。認証が成功した場合、通知制御部28は、PCβを操作するための情報(例えば操作画面)をUI部18の表示部に表示させる。例えば、通知制御部28は、その組み合わせに紐付けられている1又は複数の単独機能を示す情報を表示部に表示させる。上記の組み合わせが機能管理テーブルに登録されていない場合、認証は失敗する。この場合、通知制御部28は、PCβを操作するための情報を表示部に表示させない。通知制御部28は、認証が失敗した旨を示す情報を表示部に表示させてもよい。
また、ID「18」に紐付く操作対象として、機器12としての複合機αとPCβが登録されている。センシングデータとして、複合機αとPCβを表すセンシングデータ(例えば静止画像データ、動画像データ、計測データ等)が登録されている。認証情報として、ユーザXに紐付く画像データが登録されている。この認証情報は、複合機αとPCβを操作するために用いられる情報である。認証情報としての画像データは、例えば、ユーザXの顔を表す静止画像データ、動画像データ、計測データ等である。また、複合機αとPCβを用いて実行可能な連携機能に関する機能情報が登録されている。一例として、スキャン転送機能とプリント機能が登録されている。なお、第1実施形態と同様に、複合機αとPCβの両方を表すセンシングデータが生成されて登録されてもよいし、複合機αを表すセンシングデータとPCβを表すセンシングデータとが別々に生成されて登録されてもよい。
複合機αとPCβがセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、複合機αとPCβを操作するための情報を通知する。例えば、通知制御部28は、複合機αとPCβを用いて実行可能な各連携機能を示す情報をUI部18の表示部に表示させる。
より詳しく説明すると、複合機αとPCβがセンシングされることで、複合機αとPCβを表すセンシングデータが生成される。上述した第1実施形態と同様に、複合機αとPCβは同時にセンシングされてもよいし、順次にセンシングされてもよい。同様に、ユーザXの顔がセンシングされることで、ユーザXの顔を表すセンシングデータが生成される。通知制御部28は、機能管理テーブルにおいて、複合機αとPCβを表すセンシングデータとユーザXの顔を表すセンシングデータとの組み合わせをする。その組み合わせが機能管理テーブルに登録されている場合、認証が成功する。認証が成功した場合、通知制御部28は、複合機αとPCβを操作するための情報(例えば操作画面)をUI部18の表示部に表示させる。例えば、通知制御部28は、その組み合わせに紐付けられている1又は複数の連携機能を示す情報を表示部に表示させる。上記の組み合わせが機能管理テーブルに登録されていない場合、認証は失敗する。この場合、通知制御部28は、複合機αとPCβを操作するための情報を表示部に表示させない。通知制御部28は、認証が失敗した旨を示す情報を表示部に表示させてもよい。
以下、第2実施形態に係る端末装置10による処理について詳しく説明する。
(1つの機器12に対するセンシング)
以下、1つの機器12がセンシング(例えば撮影)された場合の処理について説明する。図30には、複合機30とユーザ94が示されている。ここでは、複合機30が、操作対象の一例に該当する。また、ユーザ94が、認証体の一例に該当する。
例えば、ユーザがUI部18を操作することでセンシングの指示を与えた場合、センシング部20はセンシングを実行する。例えば、複合機30がセンシング部20によってセンシングされ、これにより、複合機30を表すセンシングデータが生成される。また、ユーザ94の顔がセンシング部20によってセンシングされ、これにより、ユーザ94の顔を表すセンシングデータが生成される。例えば、カメラによって複合機30が撮影された場合、複合機30を表す画像データ(静止画像データや動画像データ)がセンシングデータとして生成される。3次元センサによって複合機30がセンシングされた場合、複合機30の形状を表す計測データがセンシングデータとして生成される。同様に、カメラによってユーザ94の顔が撮影された場合、ユーザ94の顔を表す画像データが認証情報として生成される。3次元センサによってユーザ94の顔がセンシングされた場合、ユーザ94の顔の形状を表す計測データが認証情報として生成される。
図31には、センシング中及びセンシングが完了した後に表示される画面96が示されている。その画面96には、領域98,100が形成されている。領域98は、操作対象としての機器12を表す画像が表示される領域である。領域100は、認証情報が表示される領域である。領域98,100は、色の付いたフレーム等によって囲まれていてもよい。複合機30がセンシング部20によってセンシングされた場合、制御部24は、そのセンシングによって生成されたセンシングデータに基づく画像102を領域98内に表示させる。画像102は、複合機30を表す画像(例えば静止画像や動画像)である。また、ユーザ94の顔がセンシング部20によってセンシングされた場合、制御部24は、そのセンシングによって生成されたセンシングデータに基づく画像104を領域100内に表示させる。画像104は、ユーザ94の顔を表す画像(例えば静止画像や動画像)である。もちろん、複合機30やユーザ94の顔の形状を表す計測データが表示されてもよい。複合機30とユーザ94は同時にセンシングされてもよいし、順次にセンシングされてもよい。
なお、端末装置10に複数のセンシング部20が設けられている場合、当該複数のセンシング部20の中の1つのセンシング部20によって複合機30がセンシングされ、他のセンシング部20によってユーザ94の顔がセンシングされてもよい。例えば、端末装置10に、センシング部20として背面カメラと正面カメラが設けられている場合、その背面カメラと正面カメラを用いて複合機30とユーザ94の顔が撮影されてもよい。なお、背面カメラは、画面とは反対側に設けられたカメラである。正面カメラは、画面側に設けられたカメラである。カメラ毎に、拡大や縮小等のピント合わせが設定できてもよい。もちろん、複数のカメラが端末装置10に設けられていても、1つのカメラによって複合機30とユーザ94の顔が撮影されてもよい。なお、撮影対象が表示されている個々の領域毎に、拡大や縮小等のピント合わせが行われてもよい。例えば、領域98と領域100とで、それぞれ個別的にピント合わせが行われてもよい。別の例として、複数の領域(例えば領域98,100)が1つの領域にまとめられて、その1つの領域についてピント合わせが行われてもよい。また、ピント合わせは、ピンチイン、ピンチアウト、フリック、スワイプ等のジェスチャー操作によって行われてもよい。
通知制御部28は、機能管理テーブルにおいて、複合機30を表すセンシングデータとユーザ94の顔を表すセンシングデータとの組み合わせを検索する。複合機30を表すセンシングデータと複合機αを表すセンシングデータとが完全に一致し、又は、部分的に一致し、かつ、ユーザ94の顔を表すセンシングデータとユーザXの顔を表すセンシングデータとが完全に一致し、又は、部分的に一致する場合、通知制御部28は、複合機30(複合機α)を操作するための画面をUI部18の表示部に表示させる。
別の例として、複合機30を表すセンシングデータから抽出された特徴と、複合機αを表すセンシングデータから抽出された特徴とが同一又は類似し、かつ、ユーザ94の顔を表すセンシングデータから抽出された特徴と、ユーザXの顔を表すセンシングデータから抽出された特徴とが同一又は類似する場合、通知制御部28は、複合機30(複合機α)を操作するための画面をUI部18の表示部に表示させてもよい。
別の例として、通知制御部28は、複合機30を表すセンシングデータに基づいて複合機30を識別し、ユーザ94の顔を表すセンシングデータに基づいてユーザ94を識別してもよい。複合機30が複合機αであると識別され、かつ、ユーザ94がユーザXであると識別された場合、通知制御部28は、複合機30(複合機α)を操作するための画面をUI部18の表示部に表示させる。識別処理は、上述したデータベースを用いて行われる。
複合機30を表すセンシングデータとユーザ94の顔を表すセンシングデータとの組み合わせが機能管理テーブルに登録されている場合、認証が成功する。この場合、通知制御部28は、図32に示すように、画面106をUI部18の表示部に表示させ、複合機30(複合機α)に対する認証が成功した旨を示すメッセージを画面106に表示させる。認証が失敗した場合、通知制御部28は、認証が失敗した旨を示すメッセージを表示部に表示させる。
ユーザが、画面106上で、操作画面の表示指示を与えた場合(例えば「次へ」ボタンを押した場合)、通知制御部28は、複合機30(複合機α)の操作画面をUI部18の表示部に表示させる。図33には、その操作画面108が示されている。通知制御部28は、複合機30(複合機α)が有する単独機能を示す情報を、操作画面108に表示させる。また、通知制御部28は、複合機30(複合機α)を用いて実行可能な連携機能を示す情報を、操作画面108に表示させてもよい。その他、通知制御部28は、複合機30(複合機α)の設定画面等を表示部に表示させてもよい。
なお、上記の認証が成功した場合、通知制御部28は、複合機30(複合機α)と通信することで、複合機30の操作画面108の情報を複合機30から取得し、その操作画面108を表示部に表示させてもよい。この場合、機能管理テーブルに登録されていない機能に関する情報等が表示されてもよい。
ユーザが、操作画面108上で、機能を指定して実行指示を与えた場合、制御部24は、その機能の実行指示を示す制御情報を複合機30に送信する。複合機30は、その制御情報に従って、ユーザによって指定された機能を実行する。
以上のように、第2実施形態によれば、操作対象としての機器12と認証体がセンシングされた場合、その機器12を操作するための情報(例えば操作画面)が表示される。このような簡易な操作によって、操作対象に対する認証を行いつつ、操作のための情報の通知が可能となる。
上記の例では、人の顔が認証体として用いられているが、別の物体や情報が認証体として用いられてもよい。例えば、図34に示すように、2次元のコード画像110が認証体として用いられてもよい。このコード画像110は、例えば、ディスプレイに表示されてもよいし、物理的な物体の表面に形成されてもよい。センシング部20によってコード画像110が撮影されることで認証処理が行われる。別の例として、図35に示すように、物理的な物体112が認証体として用いられてもよい。図35に示す例では、物体112は鍵の形状を有しているが、認証体の形状はこれに限定されるものではない。認証体として、あらゆる物体が登録されてもよい。また、文字列が認証体として登録されてもよい。
なお、認証処理は、端末装置10によって行われずに、中継装置14やサーバ等の外部装置(認証装置)によって行われてもよい。この場合、認証情報(画像データや計測データ)と操作対象を表すセンシングデータが、端末装置10から外部装置に送信され、外部装置によって、その認証情報を用いて当該操作対象に対する認証処理が行われる。例えば、外部装置には、各機器12の利用が許可されたユーザに関する認証情報が予め記憶されている。端末装置10から送られてきた認証情報が、外部装置に記憶されている場合、その認証情報に紐付けられている機器12に対する認証が成功し、当該機器12の利用が許可される。その外部装置による認証処理によって認証が成功した場合、通知制御部28は、その認証結果を受けて、操作画面を表示部に表示させる。例えば、操作対象と認証体の両方がセンシングされた場合に、操作対象を表すセンシングデータと認証情報が、端末装置10から認証装置に送信される。操作対象と認証体の両方がセンシングされない限り、認証装置にて認証処理が行われないので、セキュリティが高まる。
また、認証処理は、端末装置10によって行われずに、操作対象の機器12によって行われてもよい。この場合、認証情報と操作対象を表すセンシングデータが、端末装置10から操作対象の機器12に送信され、操作対象の機器12によって、その認証情報を用いて当該操作対象に対する認証処理が行われる。例えば、上述した識別処理によって、センシングデータに基づいて操作対象の機器12が識別され、その識別された機器12に、端末装置10から認証情報が送信される。例えば、機器12には、当該機器12の利用が許可されるユーザに関する認証情報が予め記憶されている。端末装置10から送られてきた認証情報が、機器12に記憶されている場合、当該機器12に対する認証が成功し、当該機器12の利用が許可される。操作対象の機器12による認証処理によって認証が成功した場合、通知制御部28は、その認証結果を受けて、操作画面を表示部に表示させる。例えば、操作対象と認証体の両方がセンシングされた場合に、操作対象を表すセンシングデータと認証情報が、端末装置10から操作対象としての機器12に送信される。操作対象と認証体の両方がセンシングされない限り、当該機器12にて認証処理が行われないので、セキュリティが高まる。
(複数の機器12に対するセンシング)
以下、複数の機器12がセンシング(例えば撮影)された場合の処理について説明する。図36には、複合機30、PC50及びユーザ94が示されている。ここでは、複合機30とPC50が操作対象の一例に該当する。また、ユーザ94が、認証体の一例に該当する。
例えば、ユーザがUI部18を操作することでセンシングの指示を与えた場合、センシング部20はセンシングを実行する。例えば、複合機30とPC50がセンシング部20によってセンシングされ、これにより、複合機30とPC50を表すセンシングデータが生成される。上述したように、複合機30とPC50は、同時にセンシングされてもよいし、順次にセンシングされてもよい。また、ユーザ94の顔がセンシング部20によってセンシングされ、これにより、ユーザ94の顔を表すセンシングデータが生成される。例えば、カメラによって複合機30とPC50が撮影された場合、複合機30とPC50を表す画像データ(静止画像データや動画像データ)がセンシングデータとして生成される。3次元センサによって複合機30とPC50がセンシングされた場合、複合機30とPC50の形状を表す計測データがセンシングデータとして生成される。同様に、カメラによってユーザ94の顔が撮影された場合、ユーザ94の顔を表す画像データが認証情報として生成される。3次元センサによってユーザ94の顔がセンシングされた場合、ユーザ94の顔の形状を表す計測データが認証情報として生成される。
図37には、センシング中及びセンシングが完了した後に表示される画面114が示されている。その画面114には、操作対象の機器12を表す画像が表示される領域と、認証情報が表示される領域とが形成されている。図31に示されている画面96と同様に、各領域が、色の付いたフレーム等によって囲まれていてもよい。複合機30とPC50がセンシング部20によってセンシングされた場合、制御部24は、そのセンシングによって生成されたセンシングデータに基づく画像116,118を、操作対象用の領域内に表示させる。画像116は、複合機30を表す画像(例えば静止画像や動画像)である。画像118は、PC50を表す画像(例えば静止画像や動画像)である。また、ユーザ94の顔がセンシング部20によってセンシングされた場合、制御部24は、そのセンシングによって生成されたセンシングデータに基づく画像120を、認証情報用の領域内に表示させる。画像120は、ユーザ94の顔を表す画像(例えば静止画像や動画像)である。もちろん、複合機30、PC50及びユーザ94の顔の形状を表す計測データが表示されてもよい。複合機30、PC50及びユーザ94は同時にセンシングされてもよいし、順次にセンシングされてもよい。
通知制御部28は、機能管理テーブルにおいて、複合機30とPC50を表すセンシングデータとユーザ94の顔を表すセンシングデータとの組み合わせを検索する。複合機30とPC50を表すセンシングデータと、複合機αとPCβを表すセンシングデータとが完全に一致し、又は、部分的に一致し、かつ、ユーザ94の顔を表すセンシングデータとユーザXの顔を表すセンシングデータとが完全に一致し、又は、部分的に一致する場合、通知制御部28は、複合機30(複合機α)とPC50(PCβ)を操作するための画面をUI部18の表示部に表示させる。
別の例として、複合機30とPC50を表すセンシングデータから抽出された特徴と、複合機αとPCβを表すセンシングデータから抽出された特徴とが同一又は類似し、かつ、ユーザ94の顔を表すセンシングデータから抽出された特徴と、ユーザXの顔を表すセンシングデータから抽出された特徴とが同一又は類似する場合、通知制御部28は、複合機30(複合機α)とPC50(PCβ)を操作するための画面をUI部18の表示部に表示させてもよい。
別の例として、通知制御部28は、複合機30を表すセンシングデータに基づいて複合機30を識別し、PC50を表すセンシングデータに基づいてPC50を識別し、ユーザ94の顔を表すセンシングデータに基づいてユーザ94を識別してもよい。複合機30が複合機αであると識別され、PC50がPCβであると識別され、かつ、ユーザ94がユーザXであると識別された場合、通知制御部28は、複合機30(複合機α)とPC50(PCβ)を操作するための画面をUI部18の表示部に表示させる。識別処理は、上述したデータベースを用いて行われる。
複合機30とPC50を表すセンシングデータと、ユーザ94の顔を表すセンシングデータとの組み合わせが機能管理テーブルに登録されている場合、認証が成功する。この場合、通知制御部28は、図38に示すように、画面122をUI部18の表示部に表示させ、複合機30(複合機α)とPC50(PCβ)に対する認証が成功した旨を示すメッセージを画面122に表示させる。認証が失敗した場合、通知制御部28は、認証が失敗した旨を示すメッセージを表示部に表示させる。
ユーザが、画面122上で、操作画面の表示指示を与えた場合(例えば「次へ」ボタンを押した場合)、通知制御部28は、図39に示すように、選択画面124をUI部18の表示部に表示させる。選択画面124は、各機器12の単独利用、又は、連携機能の利用を選択するための画面である。ユーザによって単独利用が選択された場合、通知制御部28は、複合機30とPC50をそれぞれ別々に操作するための画面を表示部に表示させる。ユーザによって連携機能が選択された場合、通知制御部28は、複合機30とPC50を用いて実行可能な連携機能を操作するための画面を表示部に表示させる。
ユーザが、選択画面124上で、各機器12の単独利用を選択した場合(例えば「各機器の画面の表示」ボタンを押した場合)、通知制御部28は、図40に示すように、単独利用の画面126を表示部に表示させる。画面126には、領域128,130が形成されている。領域128には、複合機30の操作画面が表示される。例えば、領域128には、複合機30が有する単独機能等が表示される。領域130には、PC50の操作画面が表示される。例えば、領域130には、PC50が有する単独機能等が表示される。
ユーザが、複合機30の操作画面上で機能を選択して実行指示を与えた場合、その実行指示を示す情報が、端末装置10から複合機30に送信される。複合機30は、その実行指示に従って、ユーザによって指定された機能を実行する。PC50についても同様である。
また、ユーザが、図39に示されている選択画面124上で、連携機能を選択した場合(例えば「連携機能の表示」ボタンを押した場合)、通知制御部28は、図41に示すように、連携機能用の画面132を表示部に表示させる。画面132には、複合機30(複合機α)とPC50(PCβ)を用いて実行可能な連携機能を示す情報が表示される。例えば、スキャン転送機能を示す情報と、プリント機能を示す情報が表示されている。
ユーザが、画面132上で連携機能を選択して実行指示を与えた場合、その実行指示を示す情報が、端末装置10から複合機30とPC50に送信される。複合機30とPC50は、その実行指示に従って、ユーザによって指定された連携機能を実行する。
なお、操作対象としての複数の機器12(例えば複合機30とPC50)のそれぞれによって認証処理が実行される場合、制御部24は、認証情報(例えば画像データや計測データ)を同時に各機器12に送信してもよい。上記の例では、制御部24は、認証情報を複合機30とPC50のそれぞれに同時に送信する。こうすることで、複数回に分けて認証情報を送信する場合と比べて、その送信の手間(負担)が軽減される。また、複合機30とPC50のそれぞれにて、同じ認証情報を用いて認証処理が行われるので、セキュリティが高くなり得る。複合機30とPC50の両方にて認証が成功した場合、通知制御部28は、選択画面124を表示部に表示させる。
なお、認証のために用いられるセンシングデータに、その認証には用いられない情報や他の情報が表されている場合であっても、登録されている認証情報が含まれている場合には、認証は成功してもよい。具体例を挙げて説明する。例えば、複合機αは、ユーザXの利用が許可されているものとする。認証のためにユーザXがセンシングされると共に、別の人物Yがセンシングされ、その結果、センシングデータにユーザXと人物Yの両人物が表されているものとする。この場合、複合機αの利用が許可されたユーザXがセンシングデータに表されているので、複合機αに対する認証は成功する。もちろん、ユーザX以外の余計な人物Yがセンシングデータに表されているので、複合機αに対する認証が失敗してもよい。何れの処理を用いるのかは、ユーザによって設定されてもよい。
複合機30又はPC50の何れか一方の機器12のみの認証が成功した場合、通知制御部28は、認証が成功した機器12の操作画面を表示部に表示させてもよい。この場合、連携機能に関する操作画面が表示されない。
以上のように、操作対象としての複数の機器12と認証体がセンシングされた場合、当該複数の機器12を操作するための情報(例えば、各機器12を個別的に操作するための画面や、連携機能の操作画面)が表示される。このような簡易な操作によって、操作対象に対する認証を行いつつ、操作のための情報の通知が可能となる。
(変形例9)
変形例9について説明する。変形例9は、第2実施形態に係る変形例である。変形例9では、通知制御部28は、操作対象となる機器12と認証体とが同時にセンシングされた場合に、当該機器12を操作するための情報(例えば操作画面)を通知する。例えば、センシング部20としてのカメラによって、機器12と認証体が同一フレーム内に収められて撮影され、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、当該機器12を操作するための情報を通知する。複数の機器12と認証体が同一フレーム内に収められて撮影され、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、図39に示されているような選択画面を表示部に表示させる。
機器12と認証体とが別々にセンシングされた場合、その認証体を表す認証情報に基づいて認証が成功した場合であっても、通知制御部28は、当該機器12を操作するための情報を通知しない。なお、この場合、その認証処理自体が行われなくてもよい。
変形例9によれば、同時センシングという特定のセンシング条件下で機器12と認証体がセンシングされた場合のみに、操作のための情報が通知される。それ故、センシング条件にかかわらず操作のための情報を通知する場合と比べて、機器12に対するセキュリティが高くなり得る。
(変形例10)
変形例10について説明する。変形例10は、第2実施形態に係る変形例である。変形例10では、通知制御部28は、操作対象となる機器12と認証体とが一連のセンシング(一続きのセンシング)によってセンシングされた場合に、当該機器12を操作するための情報(例えば操作画面)を通知する。例えば、センシング部20としてのカメラによって、機器12と認証体が切れ間なしに撮影され、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、当該機器12を操作するための情報を通知する。具体例を挙げて説明すると、同一フレーム内に機器12と認証体が表されていなくても、1つの動画像内に機器12と認証体が表されており、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、当該機器12を操作するための情報を通知する。また、連続撮影によって複数の静止画像が撮影される場合において、その一連の連続撮影によって機器12と認証体が撮影され、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、当該機器12を操作するための情報を通知する。複数の機器12と認証体とが一連のセンシングによってセンシングされ、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、図39に示されているような選択画面を表示部に表示させる。センシング部20として3次元センサが用いられ、センシングデータとして、3次元センサによって生成された計測データが用いられてもよい。
機器12と認証体とが一連のセンシングによってセンシングされなかった場合、その認証体を表す認証情報に基づいて認証が成功した場合であっても、通知制御部28は、当該機器12を操作するための情報を通知しない。なお、この場合、その認証処理自体が行われなくてもよい。
変形例10によれば、一連のセンシングという特定のセンシング条件下で機器12と認証体がセンシングされた場合のみに、操作のための情報が通知される。それ故、センシング条件にかかわらず操作のための情報を通知する場合と比べて、機器12に対するセキュリティが高くなり得る。
(変形例11)
変形例11について説明する。変形例11は、第2実施形態に係る変形例である。変形例11では、通知制御部28は、操作対象としての機器12と認証体とが同一のセンシング部20によってセンシングされた場合に、当該機器12を操作するための情報(例えば操作画面)を通知する。
上述したように、例えば、端末装置10に、センシング部20として背面カメラと正面カメラが設けられているものとする。機器12と認証体とが同一のカメラ(例えば背面カメラ又は正面カメラの何れか一方のカメラ)によって撮影され、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、当該機器12を操作するための情報を通知する。複数の機器12と認証体とが同一のカメラによって撮影され、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、図39に示されているような選択画面を表示部に表示させる。センシング部20として3次元センサが用いられてもよい。
機器12と認証体とが互いに異なるセンシング部20によってセンシングされた場合、その認証体を表す認証情報に基づいて認証が成功した場合であっても、通知制御部28は、当該機器12を操作するための情報を通知しない。なお、この場合、その認証処理自体が行われなくてもよい。
変形例11によれば、同一のセンシング部20によるセンシングという特定のセンシング条件下で機器12と認証体がセンシングされた場合のみに、操作のための情報が通知される。それ故、センシング条件にかかわらず操作のための情報を通知する場合と比べて、機器12に対するセキュリティが高くなり得る。
(変形例12)
変形例12について説明する。変形例12は、第2実施形態に係る変形例である。変形例12では、通知制御部28は、操作対象としての機器12と認証体とが互いに異なるセンシング部20によってセンシングされた場合に、当該機器12を操作するための情報(例えば操作画面)を通知する。
上述したように、例えば、端末装置10に、センシング部20として背面カメラと正面カメラが設けられているものとする。例えば、機器12が背面カメラによって撮影され、認証体が正面カメラによって撮影され、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、当該機器12を操作するための情報を通知する。複数の機器12と認証体とが互いに異なるカメラによって撮影され、かつ、その認証体を表す認証情報に基づいて認証が成功した場合、通知制御部28は、図39に示されているような選択画面を表示部に表示させる。センシング部20として複数の3次元センサが用いられてもよい。
機器12と認証体とが同一のセンシング部20によってセンシングされた場合、その認証体を表す認証情報に基づいて認証が成功した場合であっても、通知制御部28は、当該機器12を操作するための情報を通知しない。なお、この場合、その認証処理自体が行われなくてもよい。
変形例12によれば、別々のセンシング部20によるセンシングという特定のセンシング条件下で機器12と認証体がセンシングされた場合のみに、操作のための情報が通知される。それ故、センシング条件にかかわらず操作のための情報を通知する場合と比べて、機器12に対するセキュリティが高くなり得る。
なお、カメラと3次元センサ等のように、異なる種類のセンシング部20の組み合わせが用いられてもよい。
(変形例13)
変形例13について説明する。変形例13は、第2実施形態に係る変形例である。変形例13では、通知制御部28は、操作対象の機器12の部分と認証体がセンシングされた場合、当該機器12の部分を操作するための情報を通知する。機器12の部分は、第1実施形態に係る機器12の部分と同じ概念である(図20参照)。
図42には、変形例13に係る機能管理テーブルの一例が示されている。この機能管理テーブルにおいては、一例として、IDと、機器の名称を示す情報と、センシングデータと、認証情報と、機能の内容を示す情報とが互いに対応付けられている。変形例13では、機器の名称として、機器の部分の名称が機能管理テーブルに登録される。
以下、機能管理テーブルに登録されている情報について詳しく説明する。
例えば、ID「19」に紐付く操作対象として、複合機αの本体部α1が登録されている。センシングデータとして、複合機αの本体部α1を表すセンシングデータが登録されている。認証情報として、ユーザXの顔を表す画像データが登録されている。この認証情報は、複合機αの本体部α1を操作するために用いられる情報である。また、複合機αの本体部α1が有するプリント機能(本体部α1を用いて実行可能な機能)に関する機能情報が登録されている。
複合機αの本体部α1がセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、本体部α1を操作するための情報を通知する。例えば、通知制御部28は、本体部α1が有するプリント機能(本体部α1を用いて実行可能なプリント機能)を示す情報をUI部18の表示部に表示させる。
より詳しく説明すると、複合機αの本体部α1がセンシングされることで、複合機αの本体部α1を表すセンシングデータが生成される。同様に、ユーザXの顔がセンシングされることで、ユーザXの顔を表すセンシングデータが生成される。通知制御部28は、機能管理テーブルにおいて、複合機αの本体部α1を表すセンシングデータとユーザXの顔を表すセンシングデータとの組み合わせを検索する。その組み合わせが機能管理テーブルに登録されている場合、認証が成功する。認証が成功した場合、通知制御部28は、複合機αの本体部α1を操作するための情報(例えば操作画面)をUI部18の表示部に表示させる。例えば、通知制御部28は、その組み合わせに紐付けられているプリント機能を示す情報を表示部に表示させる。上記の組み合わせが機能管理テーブルに登録されていない場合、認証は失敗する。この場合、通知制御部28は、複合機αの本体部α1を操作するための情報を表示部に表示させない。通知制御部28は、認証が失敗した旨を示す情報を表示部に表示させてもよい。
なお、認証処理は複合機αによって行われてもよい。この場合、ユーザXの顔を表すセンシングデータが、端末装置10から複合機αに送信される。複合機αに、本体部α1の利用が許可されたユーザとしてユーザXが登録されている場合、複合機αに対する認証は成功する。通知制御部28は、その認証結果を複合機αから受けて、本体部α1を操作するための情報を通知する。
また、ID「20」に紐付く操作対象として、複合機αの本体部α1とPCβの表示部β1が登録されている。センシングデータとして、複合機αの本体部α1とPCβの表示部β1を表すセンシングデータが登録されている。認証情報として、ユーザXの顔を表す画像データが登録されている。この認証情報は、複合機αの本体部α1とPCβの表示部β1を操作するために用いられる情報である。また、複合機αの本体部α1とPCβの表示部β1とを用いて実行可能な連携機能に関する情報が登録されている。例えば、連携機能としてのプリント機能に関する情報が登録されている。
複合機αの本体部α1とPCβの表示部β1がセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、選択画面を表示部に表示させる。その選択画面は、機器12の部分の個別操作、又は、連携機能の操作の何れかを選択するための画面である。ユーザによって個別操作が選択された場合、通知制御部28は、本体部α1と表示部β1のそれぞれを別々に操作するための画面を表示部に表示させる。ユーザによって連携機能の操作が選択された場合、通知制御部28は、本体部α1と表示部β1を用いて実行可能な連携機能(プリント機能)を操作するための画面を表示部に表示させる。
より詳しく説明すると、複合機αの本体部α1とPCβの表示部β1がセンシングされることで、本体部α1と表示部β1を表すセンシングデータが生成される。同様に、ユーザXの顔がセンシングされることで、ユーザXの顔を表すセンシングデータが生成される。通知制御部28は、機能管理テーブルにおいて、本体部α1と表示部β1を表すセンシングデータと、ユーザXの顔を表すセンシングデータとの組み合わせを検索する。その組み合わせが機能管理テーブルに登録されている場合、認証が成功する。認証が成功した場合、通知制御部28は、上記の選択画面を表示部に表示させる。上記の組み合わせが機能管理テーブルに登録されていない場合、認証は失敗する。この場合、通知制御部28は、上記の選択画面を表示部に表示させない。通知制御部28は、認証が失敗した旨を示す情報を表示部に表示させてもよい。
なお、認証処理は、複合機αとPCβによって行われてもよい。この場合、ユーザXの顔を表すセンシングデータが、端末装置から複合機αとPCβに送信される。複合機αに、本体部α1の利用が許可されたユーザとしてユーザXが登録されている場合、本体部α1に対する認証は成功する。同様に、PCβに、表示部β1の利用が許可されたユーザとしてユーザXが登録されている場合、表示部β1に対する認証は成功する。本体部α1と表示部β1の両方に対する認証が成功した場合、通知制御部28は、上記の選択画面を表示部に表示させる。
また、ID「21」に紐付く操作対象として、複合機αの本体部α1とPCβが登録されている。センシングデータとして、複合機αの本体部α1とPCβを表すセンシングデータが登録されている。認証情報として、ユーザXの顔を表す画像データが登録されている。この認証情報は、複合機αの本体部α1とPCβを操作するために用いられる情報である。また、複合機αの本体部α1とPCβとを用いて実行可能な連携機能に関する情報が登録されている。例えば、スキャン転送機能とプリント機能に関する情報が登録されている。
複合機αの本体部α1とPCβがセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、選択画面を表示部に表示させる。その選択画面は、機器12の部分の個別操作、又は、連携機能の操作の何れかを選択するための画面である。ユーザによって個別操作が選択された場合、通知制御部28は、本体部α1とPCβのそれぞれを別々に操作するための画面を表示部に表示させる。ユーザによって連携機能の操作が選択された場合、通知制御部28は、本体部α1とPCβを用いて実行可能な連携機能(スキャン転送機能とプリント機能)を操作するための画面を表示部に表示させる。
より詳しく説明すると、複合機αの本体部α1とPCβがセンシングされることで、本体部α1とPCβを表すセンシングデータが生成される。同様に、ユーザXの顔がセンシングされることで、ユーザXの顔を表すセンシングデータが生成される。通知制御部28は、機能管理テーブルにおいて、本体部α1とPCβを表すセンシングデータと、ユーザXの顔を表すセンシングデータとの組み合わせを検索する。その組み合わせが機能管理テーブルに登録されている場合、認証が成功する。認証が成功した場合、通知制御部28は、上記の選択画面を表示部に表示させる。上記の組み合わせが機能管理テーブルに登録されていない場合、認証は失敗する。この場合、通知制御部28は、上記の選択画面を表示部に表示させない。通知制御部28は、認証が失敗した旨を示す情報を表示部に表示させてもよい。
なお、ID「20」に係る操作対象と同様に、認証処理は、複合機αとPCβによって行われてもよい。
変形例13によれば、同一の機器12であっても、ある部分をセンシングしたときに通知される情報(操作のための情報)と、別の部分をセンシングしたときに通知される情報(操作のための情報)とを異ならせることできる。
(変形例14)
変形例14について説明する。変形例14は、第2実施形態に係る変形例である。変形例14では、通知制御部28は、機器12に対するセンシングの態様に応じて、当該機器12を操作するための情報を変更する。例えば、通知制御部28は、機器12に対するセンシングの向きや角度に応じて、当該機器12を操作するための情報を変更する。
機器12と端末装置10との位置関係は、図24を参照して説明したように定められる。
以下、図43を参照して、変形例14について詳しく説明する。図43には、変形例14に係る機能管理テーブルの一例が示されている。この機能管理テーブルにおいては、IDと、機器の名称を示す情報と、センシングデータと、位置関係を示す情報と、認証情報と、機能の内容を示す情報とが互いに対応付けられている。位置関係を示す情報は、機器12と端末装置10との間の位置関係を示す情報であり、例えば、機器12の向きを示す情報、機器12に対するセンシングの方向を示す情報、機器12と端末装置10のそれぞれの位置情報(例えばGPSによって特定される位置情報)、等である。
例えば、ID「22」に紐付く操作対象として、複合機αが登録されている。センシングデータとして、複合機αの正面を表すセンシングデータが登録されている。位置関係として、センシングの方向A(正面からのセンシング)が登録されている。認証情報として、ユーザXの顔を表す画像データが登録されている。複合機αを用いて実行可能なプリント機能に関する機能情報が登録されている。複合機αが方向A(正面)からセンシング部20によってセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、複合機αを操作するための情報を通知する。例えば、通知制御部28は、プリント機能を示す情報をUI部18の表示部に表示させる。
また、ID「23」に紐付く操作対象として、複合機αが登録されている。センシングデータとして、複合機αの右側面を表すセンシングデータが登録されている。位置関係として、センシングの方向B(右側面からのセンシング)が登録されている。認証情報として、ユーザXの顔を表す画像データが登録されている。複合機αを用いて実行可能なスキャン機能に関する機能情報が登録されている。複合機αが方向B(右側面)からセンシング部20によってセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、複合機αを操作するための情報を通知する。例えば、通知制御部28は、スキャン機能を示す情報をUI部18の表示部に表示させる。
以上のように、変形例14によれば、センシングの向き毎に機能が紐付けられているので、例えば、向き毎に異なる機能に関する情報を通知することもできる。
変形例14によれば、例えば、360°にわたって機器12がセンシングされた場合と、180°にわたって機器12がセンシングされた場合とで、それぞれ異なる機能に関する情報を通知することができる。
(変形例15)
変形例15について説明する。変形例15は、第2実施形態に係る変形例である。変形例15では、通知制御部28は、機器12に対するセンシングの種類に応じて、当該機器12を操作するための情報を変更する。
以下、図44を参照して、変形例15について詳しく説明する。図44には、変形例15に係る機能管理テーブルの一例が示されている。この機能管理テーブルにおいては、IDと、機器の名称を示す情報と、センシングデータと、センシングの種類を示す情報と、認証情報と、機能の内容を示す情報とが互いに対応付けられている。センシングの種類として、例えば、静止画像の撮影、動画像の撮影、3次元形状の計測等が挙げられる。
例えば、ID「24」に紐付く操作対象として、複合機αが登録されている。センシングデータとして、複合機αを表すセンシングデータが登録されている。センシングの種類は、動画像の撮影である。認証情報として、ユーザXの顔を表す動画像データが登録されている。複合機αを用いて実行可能なプリント機能に関する機能情報が登録されている。複合機αの動画像が撮影され、更に、ユーザXの顔の動画像が撮影された場合、通知制御部28は、複合機αを操作するための情報を通知する。例えば、通知制御部28は、プリント機能を示す情報をUI部18の表示部に表示させる。
また、ID「25」に紐付く操作対象として、複合機αが登録されている。センシングデータとして、複合機αを表すセンシングデータが登録されている。センシングの種類は、静止画像の撮影である。認証情報として、ユーザXの顔を表す静止画像データが登録されている。複合機αを用いて実行可能なスキャン機能に関する機能情報が登録されている。複合機αの静止画像が撮影され、更に、ユーザXの顔の静止画像が撮影された場合、通知制御部28は、複合機αを操作するための情報を通知する。例えば、通知制御部28は、スキャン機能を示す情報をUI部18の表示部に表示させる。
変形例15によれば、センシングの種類によって機能を使い分けることができる。
また、センシングの種類に応じて異なる連携機能が通知されてもよい。また、操作対象と認証体は、それぞれ同一種類の方式によってセンシングされてもよいし、それぞれ異なる種類の方式によってセンシングされてもよい。
(変形例16)
変形例16について説明する。変形例16は、第2実施形態に係る変形例である。変形例16では、通知制御部28は、複数の機器12に対するセンシングの順番に応じて、当該複数の機器12を操作するための情報を変更する。
以下、図45を参照して、変形例16について詳しく説明する。図45には、変形例16に係る機能管理テーブルの一例が示されている。この機能管理テーブルにおいては、IDと、機器の名称を示す情報と、センシングデータと、存在に対するセンシングの順番を示す情報と、認証情報と、機能の内容を示す情報とが互いに対応付けられている。
例えば、ID「26」に紐付く操作対象として、複合機αとPCβが登録されている。センシングデータとして、複合機αとPCβを表すセンシングデータが登録されている。センシングの順番は、複合機α、PCβの順である。認証情報として、ユーザXの顔を表すセンシングデータが登録されている。複合機αとPCβを用いて実行可能な連携機能としてのスキャン転送機能に関する機能情報が登録されている。複合機α、PCβの順番で複合機αとPCβがセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、選択画面を表示部に表示させる。その選択画面は、機器12の個別操作、又は、連携機能の操作の何れかを選択するための画面である。ユーザによって個別操作が選択された場合、通知制御部28は、複合機αとPCβのそれぞれを別々に操作するための画面を表示部に表示させる。ユーザによって連携機能の操作が選択された場合、通知制御部28は、複合機αとPCβを用いて実行可能な連携機能(スキャン転送機能)を操作するための画面を表示部に表示させる。
また、ID「27」に紐付く操作対象として、複合機αとPCβが登録されている。センシングデータとして、複合機αとPCβを表すセンシングデータが登録されている。センシングの順番は、PCβ、複合機αの順である。認証情報として、ユーザXの顔を表すセンシングデータが登録されている。複合機αとPCβを用いて実行可能な連携機能としてのプリント機能に関する機能情報が登録されている。PCβ、複合機αの順番で複合機αとPCβがセンシングされ、更に、ユーザXの顔がセンシングされた場合、通知制御部28は、選択画面を表示部に表示させる。その選択画面は、機器12の個別操作、又は、連携機能の操作の何れかを選択するための画面である。ユーザによって個別操作が選択された場合、通知制御部28は、複合機αとPCβのそれぞれを別々に操作するための画面を表示部に表示させる。ユーザによって連携機能の操作が選択された場合、通知制御部28は、複合機αとPCβを用いて実行可能な連携機能(プリント機能)を操作するための画面を表示部に表示させる。
変形例16によれば、各機器12に対するセンシングの順番に応じて機能を変えることができる。
通知制御部28は、第1実施形態に係る変形例6と同様に、各機器12に対するセンシングの順番に応じて、各機能の通知の優先順位を変えて各機能を通知してもよい。
3つ以上の機器12がセンシングされた場合も、通知制御部28は、そのセンシング順番に応じた機能を通知してもよい。
(変形例17)
変形例17について説明する。変形例17は、第2実施形態に係る変形例である。変形例17では、通知制御部28は、機器12に対するセンシングの条件に応じて、当該機器12を操作するための情報を変える。センシングの条件は、例えば、機器12に対するセンシングの向き、センシングの回数、センシングの種類、及び、センシングの順番の中の少なくとも1つによって定められる条件である。
例えば、通知制御部28は、機器12(例えば複合機α)の正面から背面にかけてセンシングされた場合と、背面から正面にかけてセンシングされた場合とで、異なる機能を通知してもよい。また、通知制御部28は、機器12に対するセンシングの回数に応じて機能を変更して、その機能を通知してもよい。また、通知制御部28は、センシングの種類に応じて機能を変更して、その機能を通知してもよい。また、通知制御部28は、センシングの順番に応じて機能を変更して、その機能を通知してもよい。
センシングの条件として、センシングの向き、回数、種類及び順番の中の複数の組み合わせが用いられてもよい。その組み合わせが複雑なほど、機能の通知についてのセキュリティが高くなる。
また、変形例17に係る処理がホームセキュリティ等に適用されてもよい。例えば、家の複数の部分が特定のセンシング条件(例えば、特定の順番や回数等によって定まる条件)に従ってセンシングされ、更に、認証体がセンシングされて認証が成功した場合、通知制御部28は、当該家のドアの開錠機能を通知する。その特定のセンシング条件に従った再センシングが行われなかった場合、通知制御部28は、開錠機能を通知しない。ユーザが開錠機能の実行を指示すると、ドアが開錠される。なお、特定のセンシング条件に従ってセンシングが行われた場合、制御部24は、開錠機能を実行することで、ドアを開錠してもよい。このように変形例17に係る処理がセキュリティに適用されることで、セキュリティを高めることができる。
(変形例18)
変形例18について説明する。変形例8は、第2実施形態に係る変形例である。変形例18では、操作対象としてソフトウェアや対象(ファイル等)が用いられる。例えば、1又は複数のソフトウェアによって単独機能や連携機能が実行されてもよいし、ファイルや商品等の対象に対して単独機能や連携機能が適用されてもよい。
以下、図46を参照して、変形例18について詳しく説明する。図46には、変形例18に係る機能管理テーブルが示されている。この機能管理テーブルにおいては、IDと、登録対象の名称を示す情報と、センシングデータと、認証情報と、機能の内容を示す情報とが互いに対応付けられている。変形例18では、その機能がソフトウェアによって実行されたり、その機能が対象に対して適用されたりする。認証情報として、例えば、ユーザXの顔の画像データが用いられている。
機能管理テーブルにおいて、認証情報以外の登録内容は、変形例8に係る機能管理テーブルに登録されている内容と同じである(図28参照)。例えば、ID「28」の登録内容は、ID「12」の登録内容と同じである。ID「29」の登録内容は、ID「13」の登録内容と同じである。ID「30」の登録内容は、ID「14」の登録内容と同じである。ID「31」の登録内容は、ID「15」の登録内容と同じである。
例えば、PCεがセンシングされると共に、ユーザXの顔がセンシングされて認証が成功すると、通知制御部28は、ID「28」に紐付けられている機能を通知する。
PCεとノートζがセンシングされると共に、ユーザXの顔がセンシングされて認証が成功すると、通知制御部28は、選択画面を表示部に表示させる。その選択画面は、PCεの操作画面の表示、又は、連携機能の表示を選択するための画面である。ユーザによってPCεの操作画面の表示が選択された場合、通知制御部28は、PCεの操作画面を表示部に表示させる。ユーザによって連携機能の表示が選択された場合、通知制御部28は、ID「29」に紐付けられている連携機能に関する情報を表示部に表示させる。
ノートζがセンシングされると共に、ユーザXの顔がセンシングされて認証が成功すると、通知制御部28は、ID「30」に紐付けられている機能を通知する。
ノートζとペンκがセンシングされると共に、ユーザXの顔がセンシングされて認証が成功すると、通知制御部28は、ID「31」に紐付けられている連携機能を通知する。
以上のように、機器12以外の構成として、機能にソフトウェアやファイルが用いられてもよい。また、機器12、ソフトウェア及びファイルの中の複数の構成を組み合わせることで実行可能な連携機能が、センシングデータと認証情報とに紐付けられて機能管理テーブルに登録されてもよい。また、上記の変形例9から変形例17に係る処理が、変形例18に適用されてもよい。
(変形例19)
変形例19について説明する。変形例19は、第2実施形態に係る変形例である。変形例19では、通知制御部28は、認証情報に応じて、機器12を操作するための情報を変えて、その情報を通知する。
以下、図47を参照して、変形例19について詳しく説明する。図47には、変形例19に係る機能管理テーブルが示されている。この機能管理テーブルにおいては、IDと、登録対象の名称を示す情報と、センシングデータと、認証レベルを示す情報と、認証情報と、機能の内容を示す情報とが互いに対応付けられている。
例えば、セキュリティのレベルが高いと推測される認証情報ほど、高い認証レベルが紐付けられており、更に、高度の機能が紐付けられている。2次元バーコード等のように、表示部に表示される画像や、物体の表面に形成される画像や図形は、認証レベルが最も低い認証体として用いられる。従って、2次元バーコード等を表すセンシングデータは、認証レベルが最も低い認証情報として用いられる。鍵等の物理的な物体は、認証レベルが中間の認証体として用いられる。従って、その物体を表すセンシングデータは、認証レベルが中間の認証情報として用いられる。ユーザ自身は、認証レベルが最も高い認証体として用いられる。従って、ユーザの生体情報を含むセンシングデータは、認証レベルが最も高い認証情報として用いられる。
図47に示す例では、機器12としての複合機αが登録されており、複合機αを表すセンシングデータが登録されている。また、認証レベルが「1」の認証情報として、2次元バーコードを表すセンシングデータが登録されており、その認証情報には、単独機能としてのコピー機能のみが紐付けられている。認証レベルが「2」の認証情報として、物理的な鍵を表すセンシングデータが登録されており、その認証情報には、単独機能としてのコピー機能とプリント機能が紐付けられている。認証レベルが「3」の認証情報として、ユーザXの顔の画像を表すセンシングデータ(ユーザXの生体情報)が登録されており、その認証情報には、複合機αの全機能が紐付けられている。
複合機αがセンシングされると共に、2次元バーコードがセンシングされた場合(例えば撮影された場合)、通知制御部28は、その2次元バーコードに紐付けられているコピー機能に関する機能情報のみを表示部に表示させる。
複合機αがセンシングされる共に、物理的な鍵がセンシングされた場合、通知制御部28は、その鍵に紐付けられているコピー機能とプリント機能に関する機能情報を表示部に表示させる。
複合機αがセンシングされると共に、ユーザXの顔がセンシングされた場合、通知制御部28は、ユーザXの顔に紐付けられている全機能に関する機能情報を表示部に表示させる。
変形例19によれば、認証情報に応じて機能を変えることができる。例えば、セキュリティが高いと推測される認証体(例えば生体)に、高度な機能を紐付けることで、セキュリティを確保しつつ、高度な機能の提供が可能となる。
(変形例20)
変形例20について説明する。変形例20は、第2実施形態に係る変形例である。変形例20では、通知制御部28は、機器12がセンシングされると共に、複数の認証体がセンシングされて認証が成功した場合、当該機器12を操作するための情報を通知する。通知制御部28は、認証体の組み合わせに応じて、その操作するための情報を変えてもよい。
以下、図48を参照して、変形例20について詳しく説明する。図48には、変形例20に係る機能管理テーブルが示されている。この機能管理テーブルにおいては、IDと、登録対象の名称を示す情報と、センシングデータと、複数の認証情報と、機能の内容を示す情報とが互いに対応付けられている。
例えば、ID「33」に紐付く操作対象として、複合機αが登録されており、その複合機αを表すセンシングデータが登録されている。また、ユーザXの顔を表す画像データと鍵を表す画像データが、認証情報として登録されている。複合機αが有する全機能が、ID「33」に紐付く機能として登録されている。複合機αがセンシングされると共に、ユーザXの顔と鍵がセンシングされて認証が成功した場合、通知制御部28は、複合機αが有する全機能に関する機能情報を表示部に表示させる。
ID「34」に紐付く操作対象として、複合機αが登録されており、その複合機αを表すセンシングデータが登録されている。また、2次元バーコードを表す画像データと鍵を表す画像データが、認証情報として登録されている。複合機αが有するコピー機能とスキャン機能が、ID「34」に紐付く機能として登録されている。複合機αがセンシングされると共に、2次元バーコードと鍵がセンシングされて認証が成功した場合、通知制御部28は、複合機αが有するコピー機能とスキャン機能に関する機能情報を表示部に表示させる。
変形例20によれば、複数の認証情報を用いて認証を行うことで、1つの認証情報を用いて認証処理を行う場合と比べて、操作対象に対するセキュリティが高くなる。
なお、より高いセキュリティが確保されると推測される認証情報の組み合わせに、より高度の機能が紐付けられてもよい。例えば、ユーザを表す画像等の生体情報と物体を表す認証情報との組み合わせ(第1組み合わせ)の認証レベルは、2次元バーコード等の認証情報と物体を表す認証情報との組み合わせ(第2組み合わせ)の認証レベルよりも高いと推測される。それ故、第1組み合わせには、第2組み合わせよりも高度の機能(例えば全機能)が紐付けられる。
3つ以上の認証情報が操作対象に紐付けられて登録されてもよい。また、機器12の部分や、ソフトウェアや、ファイル等の対象が、操作対象として用いられる場合も、複数の認証情報を用いた認証処理が行われてもよい。
通知制御部28は、認証の順番に応じて異なる機能を通知してもよい。ID「34」を例に挙げて説明する。例えば、通知制御部28は、2次元バーコードを用いた認証が成功した後に、鍵を用いた認証が成功した場合と、鍵を用いた認証が成功した後に、2次元バーコードを用いた認証が成功した場合とで、異なる機能に関する機能情報を表示部に表示させてもよい。
上述した変形例9から変形例20の中の少なくとも2つが組み合わされてもよい。例えば、複数の部分のセンシングの順番に応じた機能が通知されてもよいし、部分に対するセンシングの種類に応じた機能が通知されてもよいし、機器12の部分とソフトウェアとを用いて実行可能な連携機能が通知されてもよい。これら以外の組み合わせが実行されてもよい。
<第3実施形態>
以下、第3実施形態に係る端末装置10Aについて説明する。図49には、第3実施形態に係る端末装置10Aが示されている。端末装置10Aは、いわゆる折り畳み可能な2画面スマートフォンである。例えば、端末装置10Aは、第1本体部134と第2本体部136とを含む。第1本体部134と第2本体部136は、それぞれ表示部を有する。第1本体部134と第2本体部136は、例えば、ヒンジ等の接続部138によって互いに接続されている。接続部138を軸として、矢印Cの方向に、第1本体部134と第2本体部136を回転させることで、第1本体部134と第2本体部136を任意の回転角に配置することができる。例えば、第1本体部134と第2本体部136を回転させて互いに接触させた状態が、端末装置10Aの全体が折り畳まれた状態である。また、第1本体部134と第2本体部136を回転させて互いに水平の位置に配置された状態が、端末装置10Aの全体が180°水平に開かれた状態である。
なお、端末装置10Aは、上述した端末装置10が有する構成を含む。
図50には、180°水平に開かれた状態の端末装置10Aが示されている。第1本体部134は、第1センシング部139と第1表示部140を有する。第2本体部136は、第2センシング部142と第2表示部144を有する。
第1センシング部139と第2センシング部142は、上述したセンシング部20と同じ機能を有する。第1センシング部139と第2センシング部142は、互いに同じ性能を有していてもよいし、互いに異なる性能を有していてもよい。例えば、一方のセンシング部が、静止画像や動画像を撮影するカメラによって構成され、他方のセンシング部が、形状を計測する3次元センサとしての機能を有していてもよい。
第1表示部140には、第1センシング部139によるセンシングによって生成されたセンシングデータが表示される。図50に示す例では、第1センシング部139によって複合機αが撮影されて、その複合機αを表す静止画像146がセンシングデータとして表示されている。なお、複合機αを表す動画像や計測データがセンシングデータとして用いられてもよい。
第2表示部144には、第2センシング部142によるセンシングによって生成されたセンシングデータが表示される。図50に示す例では、第2センシング部142によってユーザXの顔が撮影されて、そのユーザXの顔を表す静止画像148がセンシングデータとして表示されている。なお、ユーザXの顔を表す動画像や計測データがセンシングデータとして用いられてもよい。
以下、第3実施形態に係る端末装置10Aによる処理について説明する。
(第2実施形態と第3実施形態との組み合わせ)
端末装置10Aは、第2実施形態に係る処理に適用されてもよい。例えば、第1センシング部139によって操作対象としての機器12(例えば複合機α)がセンシングされ、第2センシング部142によって認証体(例えばユーザXの顔)がセンシングされて認証が成功した場合、通知制御部28は、複合機αを操作するための情報(例えば操作画面)を、第2表示部144に表示させる。もちろん、通知制御部28は、その情報を第1表示部140に表示させてもよいし、第1表示部140と第2表示部144の両方に表示させてもよい。
上記の例とは逆に、第2センシング部142によって操作対象としての複合機αがセンシングされ、第1センシング部139によってユーザXの顔がセンシングされて認証が成功した場合、通知制御部28は、複合機αを操作するための情報(例えば操作画面)を、第1表示部140に表示させてもよい。もちろん、通知制御部28は、その情報を第2表示部144に表示させてもよいし、第1表示部140と第2表示部144の両方に表示させてもよい。
また、第1センシング部139と第2センシング部142のそれぞれに役割が紐付けられてもよい。例えば、第1センシング部139が、操作対象のセンシングに用いられるセンシング部として定義され、第2センシング部142が、認証体のセンシングに用いられるセンシング部として定義される。この場合、第1センシング部139によって操作対象がセンシングされると共に、第2センシング部142によって認証体がセンシングされて認証が成功した場合に、通知制御部28は、その操作対象を操作するための情報を通知する。一方、第1センシング部139によって認証体がセンシングされ、第2センシング部142によって操作対象がセンシングされた場合には、通知制御部28は、その操作対象を操作するための情報を通知しない。
また、第1センシング部139によって複数の操作対象(例えば複合機αとPCβ)が撮影された場合、図51に示すように、第1表示部140には、複合機αを表す静止画像146とPCβを表す静止画像150が表示される。また、第2センシング部142によって認証体としてのユーザXの顔が撮影されて、ユーザXの顔を表す静止画像148が、認証情報として、第2表示部144に表示されている。なお、動画像データや計測データがセンシングデータとして用いられてもよい。静止画像148を用いた認証処理によって認証が成功した場合、通知制御部28は、選択画面を第2表示部144に表示させる。その選択画面は、複合機αとPCβとを別々に操作するための画面の表示、又は、複合機αとPCβを用いて実行可能な連携機能の表示を選択する画面である。その選択画面上での操作は、第2実施形態に係る操作と同じである。
(第1実施形態と第3実施形態との組み合わせ)
端末装置10Aは、第1実施形態に適用されてもよい。例えば、複数の存在を登録するときに、第1センシング部139と第2センシング部142が用いられる。例えば、登録対象の複合機αが第1センシング部139によってセンシングされ、登録対象のPCβが第2センシング部142によってセンシングされた場合、図52に示すように、第1表示部140に、複合機αを表す静止画像146が表示され、第2表示部144に、PCβを表す静止画像150が表示される。このように、別々のセンシング部を用いて、登録対象の存在がセンシングされてもよい。
なお、端末装置10Aは、3つ以上の表示部を備えていてもよい。
<その他の実施形態>
以下、図53を参照して、その他の実施形態について説明する。図53には、画面152が示されている。画面152は、複数の領域を有する。図53に示す例では、画面152内に領域154,156が形成されている。例えば、各領域には、登録対象の存在を表すセンシングデータ、操作対象を表すセンシングデータ、認証体を表すセンシングデータ等が表示される。
図53に示す例では、複合機αを表す静止画像158が領域154内に表示され、PCβを表す静止画像160が領域156内に表示されている。複合機αとPCβは、第1実施形態における登録対象の存在の一例に相当し、複合機αとPCβに機能が紐付けられて登録される。
別の例として、第2実施形態に係る操作対象を表す画像が、領域154に表示され、認証情報としての画像が、領域156に表示されてもよい。また、ユーザが画像を操作することで、操作対象を表す画像を領域154内に移動させ、認証情報としての画像を領域156内に移動させてもよい。領域156内に表示された画像に基づいて認証処理が行われ、その認証が成功した場合、領域154に表示されている画像に紐付く操作対象を操作するための情報が通知される。
上記の端末装置10,10Aは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置10,10Aは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置10,10Aの各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置10,10Aの各部は、例えばプロセッサや電子回路やASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置10,10Aの各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。