図1を参照して、本発明の実施形態に係る情報処理システムとしての機器システムについて説明する。図1には、本実施形態に係る機器システムの一例が示されている。
本実施形態に係る機器システムは、複数の機器(例えば機器10,12)と、外部装置の一例としてのサーバ14と、情報処理装置の一例としての端末装置16と、を含む。機器10,12、サーバ14及び端末装置16は、ネットワーク等の通信経路Nを介して互いに通信する機能を備えている。もちろん、機器10,12、サーバ14及び端末装置16は、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図1に示す例では、2つの機器(機器10,12)が画像形成システムに含まれているが、3つ以上の機器が機器システムに含まれていてもよい。また、複数のサーバ14や複数の端末装置16が、機器システムに含まれていてもよい。
機器10,12は、特定の機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、パーソナルコンピュータ(PC)、プロジェクタ、液晶ディスプレイやプロジェクタ等の表示装置、電話機、時計、監視カメラ、等の装置である。また、機器10,12は、他の装置との間でデータを送受信する機能を有する。本実施形態では、機器10は、一例として画像形成装置であるとする。画像形成装置(機器10)は、例えば、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する装置である。
サーバ14は、各機器が有する機能を管理する装置である。例えば、サーバ14は、各機器が有する機能、複数の機能を利用する連携機能、等を管理する。また、サーバ14は、他の装置との間でデータを送受信する機能を有する。
サーバ14は、ユーザ毎に、ユーザによって利用可能な機能を管理してもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。サーバ14は、ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報(例えば機能購入履歴情報)を管理してもよい。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、サーバ14は、一概に購入の有無によって機能を管理しなくてもよい。機能の購入処理は、例えば、サーバ14によって行われる。もちろん、別の装置によって購入処理が行われてもよい。
端末装置16は、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。端末装置16は、例えば、機器の利用時に、ユーザインターフェース部(UI部)として機能する。
本実施形態に係る機器システムにおいては、第1機器に紐付く第1画像が指定された場合、第1機器と共に連携機能を実行できる第2機器の案内の通知が制御される。別の例として、第1機能に紐付く第1画像が指定された場合、第1機能と共に連携機能を実行できる第2機能の案内の通知が制御されてもよい。
以下、本実施形態に係る機器システムに含まれる各装置について詳しく説明する。
図2を参照して、画像形成装置としての機器10の構成について詳しく説明する。以下では、機器10を画像形成装置10と称する場合がある。図2には、画像形成装置10の構成が示されている。
通信部18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部18は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
画像形成部20は画像形成機能を有する。具体的には、画像形成部20は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を利用する連携機能が実行されてもよい。例えば、スキャン機能と送信機能(転送機能)とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成され、そのスキャンデータが送信先(例えば端末装置16等の外部装置)に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。
記憶部22はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部22には、例えば、画像形成の命令を示す情報(例えばジョブ情報等)、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、サーバ14のアドレスを示すサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
UI部24はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。なお、画像形成装置10はUI部24を備えていなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部(ハードウェアUI部)を備えていてもよい。ハードウェアUI部は、例えば、数字入力に特化したハードウェアキー(例えばテンキー)、方向の指示に特化したハードウェアキー(例えば方向指示キー)、等である。
制御部26は、画像形成装置10の各部の動作を制御する。
以下、図3を参照して、サーバ14の構成について詳しく説明する。図3には、サーバ14の構成が示されている。
通信部28は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部28は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
記憶部30はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部30には、例えば、機器機能管理情報32、連携機能管理情報34、各種のデータ、各種のプログラム、各機器のアドレスを示す機器アドレス情報、サーバ14のアドレスを示すサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。記憶部30に記憶されている機器機能管理情報32や連携機能管理情報34が、定期的に又は指定されたタイミングで端末装置16に提供され、これにより、端末装置16に記憶されている情報が更新されてもよい。以下、機器機能管理情報32と連携機能管理情報34について説明する。
機器機能管理情報32は、各機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報(機器識別情報)と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ID、機器名称、機器の種類を示す情報、機器の型番号、機器が設置されている位置を示す情報(機器の位置情報)、機器の外観を表わす外観画像、等である。機能情報は、例えば、機能IDや機能名称等である。例えば、画像形成装置10がスキャン機能、プリント機能、コピー機能及びスキャン転送機能を有する場合、当該画像形成装置10のデバイス識別情報には、スキャン機能を示す機能情報、プリント機能を示す機能情報、コピー機能を示す機能情報、及び、スキャン転送機能を示す機能情報が対応付けられている。機器機能管理情報32を参照することにより、各機器が有する機能が特定(識別)される。
機器機能管理情報32によって管理されている機器は、例えば機器システムに含まれる機器(例えば機器10,12)である。もちろん、機器システムに含まれない機器が機器機能管理情報32によって管理されてもよい。例えば、サーバ14は、機器システムに含まれていない新たな機器に関する情報(デバイス識別情報と機能情報とを含む情報)を取得し、機器機能管理情報32に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、サーバ14は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、機器機能管理情報32を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、機器機能管理情報32に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、機器機能管理情報32から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。
連携機能管理情報34は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、1又は複数の連携機能が実行される。連携機能は、例えば、1つの機器(例えば機器10,12)が有する複数の機能を連携させることによって実行されてもよいし、複数の機器(例えば機器10,12)が有する複数の機能を連携させることによって実行されてもよい。また、操作指示を出している端末装置(本実施形態では端末装置16)も識別対象の機器に含め、端末装置が有する機能を連携機能の一部として利用するようにしてもよい。
連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。
連携機能管理情報34は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能IDや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報34も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報34に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報34から削除され、又は、使用不可な情報として登録される。
複数の機器を連携させる場合、連携機能管理情報34は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。上記のように、機器機能管理情報32が更新された場合、その更新に伴って、連携機能管理情報34も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。
連携機能は、互いに異なる複数の機能を連携させることによって実行される機能であってもよいし、同一の機能を連携させることによって実行される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器(プリンタ)とスキャン機能を有する機器(スキャナ)を連携させることにより、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることにより、コピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報34においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。
なお、記憶部30には、利用可能機能管理情報が記憶されていてもよい。利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報(連携機能情報を含んでいてもよい)と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザIDや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することにより、各ユーザが利用可能な機能が特定(識別)される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に(例えば、ユーザに無償又は有償で機能が提供される度に)更新される。
制御部36は、サーバ14の各部の動作を制御する。また、制御部36は、特定部38を含む。
特定部38は、機器を識別するためのデバイス識別情報を受け、記憶部30に記憶されている機器機能管理情報32において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、機器が有する機能が特定(識別)される。例えば、端末装置16からサーバ14にデバイス識別情報が送信され、特定部38によって、当該デバイス識別情報に対応付けられている機能を示す機能情報が特定される。機能に関する情報(例えば、機能情報や機能の説明情報等)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、デバイス識別情報によって特定される機器が有する機能に関する情報が、端末装置16に表示される。
また、特定部38は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部30に記憶されている連携機能管理情報34において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行される連携機能が特定(識別)される。例えば、端末装置16からサーバ14に複数のデバイス識別情報が送信され、特定部38によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。連携機能に関する情報(例えば、連携機能情報や連携機能の説明情報等)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、複数のデバイス識別情報によって特定される複数の機器によって実行される連携機能に関する情報が、端末装置16に表示される。
例えば、1つの機器が識別された場合(例えば1つの機器が撮影された場合)、特定部38は、当該機器を識別するためのデバイス識別情報を受け、機器機能管理情報32において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定してもよい。これにより、1つの機器が識別された場合(例えば1つの機器が撮影された場合)、当該機器が有する機能が特定(識別)される。複数の機器が識別された場合(例えば複数の機器が撮影された場合)、特定部38は、当該複数の機器に含まれる各機器を識別するためのデバイス識別情報を受け、連携機能管理情報34において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、複数の機器が識別された場合(例えば複数の機器が撮影された場合)、当該複数の機器が有する機能を利用する連携機能が特定(識別)される。
また、特定部38は、連携機能に利用される各機能を示す機能情報を受け、記憶部30に記憶されている連携機能管理情報34において各機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各機能を連携させることによって実行される連携機能が特定(識別)される。例えば、端末装置16からサーバ14に複数の機能情報が送信され、特定部38によって、当該複数の機能情報に対応付けられている連携機能を示す連携機能情報が特定される。上記と同様に、複数の機能情報によって特定される複数の機器によって実行される連携機能に関する情報が、端末装置16に表示される。
なお、ユーザが利用可能な機能が管理されている場合、特定部38は、ユーザを識別するためのユーザ識別情報を受け、記憶部30に記憶されている利用可能機能管理情報において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能群が特定(識別)される。例えば、端末装置16からサーバ14にユーザ識別情報が送信され、特定部38によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。ユーザが利用可能な各機能に関する情報(例えば各機能の名称を示す情報)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、ユーザ識別情報によって特定されるユーザが利用可能な各機能に関する情報が、端末装置16に表示される。例えば、特定部38は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報32において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定し、また、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。
制御部36は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部36は、当該ユーザに対して課金処理を適用してもよい。
また、制御部36は、例えば、文字認識機能、翻訳機能、画像加工機能、画像形成機能、等の画像処理に関する機能を実行してもよい。もちろん、制御部36は、画像処理以外の処理に関する機能を実行してもよい。文字認識機能が実行されることにより、画像内の文字が認識されて当該文字を示す文字データが生成される。翻訳機能が実行されることにより、画像内の文字が特定の言語で表される文字に翻訳され、翻訳された文字を示す文字データが生成される。画像加工機能が実行されることにより、画像が加工される。制御部36は、例えば、スキャン機能を実行することにより生成されたスキャンデータを画像形成装置10から受信し、当該スキャンデータを対象として、文字認識機能、翻訳機能、画像加工機能、等の画像処理に関する機能を実行してもよい。制御部36は、画像データを端末装置16から受信し、当該画像データを対象として各機能を実行してもよい。制御部36によって生成された文字データや画像データは、例えば、サーバ14から端末装置16に送信される。サーバ14は外部機器として利用され、連携機能は、サーバ14を含む複数の機器が有する機能を利用する機能であってもよい。
以下、図4を参照して、端末装置16の構成について詳しく説明する。図4には、端末装置16の構成が示されている。
通信部40は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部40は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
撮影手段としてのカメラ42は、撮影対象を撮影することにより画像データ(例えば静止画像データや動画像データ)を生成する。また、端末装置16のカメラを利用するだけではなく、ネットワーク等の通信経路に繋がった外部のカメラで撮影された画像データを通信部40で受け取り、UI部46で画像データを表示し、ユーザが画像データを操作できるようにしてもよい。
記憶部44はハードディスクやメモリ(例えばSSD等)等の記憶装置であり、各種のプログラム、各種のデータ、サーバ14のアドレス情報、各機器のアドレス情報(例えば機器10,12のアドレス情報)、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等を記憶する。
UI部46はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えば、タッチパネル、キーボード、マウス、等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えばタッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示するものを含む)であってもよい。
制御部48は、端末装置16の各部の動作を制御する。制御部48は、例えば表示制御手段(制御手段)として機能し、各種の情報をUI部46の表示部に表示させる。
UI部46の表示部には、例えば、カメラ42によって撮影された画像や、利用対象の機器(例えば、単独で利用される機器や連携対象の機器)として識別された機器に紐付く画像、機能に紐付く画像、等が表示される。機器に紐付く画像は、カメラ42によって撮影された当該機器を表わす画像(静止画像又は動画像)であってもよいし、当該機器を模式的に表す画像(例えばアイコン)であってもよい。模式的に表す画像のデータは、例えば、サーバ14に記憶されてサーバ14から端末装置16に提供されてもよいし、端末装置16に予め記憶されていてもよいし、別の装置に記憶されて当該別の装置から端末装置16に提供されてもよい。機能に紐付く画像は、例えば、その機能を表わすアイコン等の画像である。
上述した機器機能管理情報32は、端末装置16の記憶部44に記憶されていてもよい。この場合、機器機能管理情報32は、サーバ14の記憶部30に記憶されていなくてもよい。同様に、上述した連携機能管理情報34は、端末装置16の記憶部44に記憶されていてもよい。この場合、連携機能管理情報34は、サーバ14の記憶部30に記憶されていなくてもよい。端末装置16の制御部48は、上述した特定部38を有し、デバイス識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を利用する連携機能を特定してもよい。この場合、サーバ14は特定部38を有していなくてもよい。
利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、利用可能機能管理情報は、サーバ14の記憶部30に記憶されていなくてもよい。端末装置16の制御部48は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ14の制御部36は、その管理機能を有していなくてもよい。端末装置16の制御部48は、ユーザ識別情報に基づいて、ユーザによって利用可能な機能を特定してもよい。
更に別の例として、機器10,12等の機器に、機器機能管理情報32や連携機能管理情報34が記憶されていてもよいし、機器10,12等の機器が特定部38を有していてもよい。つまり、サーバ14の特定部38による処理(例えば、機器の識別処理、機能の識別処理、連携機能の識別処理等)は、サーバ14において行われてもよいし、端末装置16において行われてもよいし、機器10,12等の機器において行われてもよい。
本実施形態では、一例として、AR(Augmented Reality)技術(拡張現実技術)を適用することにより、デバイス識別情報が取得されて機器が識別される。例えば、AR技術を適用することにより、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。AR技術として公知のAR技術が用いられる。例えば、2次元バーコード等のマーカを用いるマーカ型AR技術、画像認識技術を用いるマーカレス型AR技術、位置情報を用いる位置情報AR技術、等が用いられる。もちろん、AR技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、IPアドレスに基づいて機器を識別してもよいし、機器IDを読み出して機器を識別してもよい。更に、赤外線通信、可視光通信、Wi−Fi(Wireles Fidelity)(登録商標)、ブルートゥース(Bluetooth(登録商標))といった各種無線通信機能を備えた機器、端末装置であれば、それら無線通信機能を利用して連携する機器の機器IDを取得することで機器を識別し、連携機能を実行してもよい。
以下、図5を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、画像形成装置10のデバイス識別情報を取得する場合について説明する。図5には、画像形成装置10の外観が模式的に示されている。ここでは、マーカ型AR技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置10の筐体には、2次元バーコード等のマーカ50が設けられている。マーカ50は、画像形成装置10のデバイス識別情報がコード化された情報である。ユーザは端末装置16のカメラ42を起動させ、利用対象の画像形成装置10に設けられているマーカ50をカメラ42によって撮影する。これにより、マーカ50を表す画像データが生成される。その画像データは、例えば、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該画像データに表されたマーカ画像に対してデコード処理を適用することにより、デバイス識別情報を抽出する。これにより、利用対象の画像形成装置10(撮影されたマーカ50を有する画像形成装置10)が識別される。サーバ14の特定部38は、機器機能管理情報32において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、利用対象の画像形成装置10が有する機能が特定(識別)される。
なお、端末装置16の制御部48が、マーカ50を表す画像データにデコード処理を適用することにより、デバイス識別情報を抽出してもよい。この場合、抽出されたデバイス識別情報は、端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能管理情報32において、端末装置16から送信されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。端末装置16の記憶部44に機器機能管理情報32が記憶されている場合、端末装置16の制御部48が、その機器機能管理情報32において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定してもよい。
マーカ50には、画像形成装置10が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ50を表す画像データにデコード処理を適用することにより、当該画像形成装置10のデバイス識別情報が抽出されるとともに、当該画像形成装置10が有する機能を示す機能情報も抽出される。これにより、画像形成装置10が特定(識別)されるとともに、当該画像形成装置10が有する機能が特定(識別)される。このデコード処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
複数の機器が有する機能を利用する連携機能を実行する場合、連携対象の各機器のマーカを撮影することにより各機器のデバイス識別情報が取得され、これにより、連携機能が特定(識別)される。
マーカレス型AR技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置16のカメラ42によって、利用対象の機器(例えば画像形成装置10)の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称(例えば商品名)や型番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。その外観画像データは、例えば端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、サーバ14の記憶部30には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部36は、例えば、端末装置16から送信された外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部36は、端末装置16から送信された外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器(カメラ42によって撮影された機器)が識別される。別の例として、機器の名称(例えば商品名)や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器を識別してもよい。サーバ14の特定部38は、機器機能管理情報32において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器(例えば画像形成装置10)が有する機能が特定される。
なお、端末装置16の制御部48が、利用対象の機器(例えば画像形成装置10)の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定してもよい。外観画像対応付け情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、端末装置16の制御部48は、端末装置16の記憶部44に記憶されている外観画像対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定する。別の例として、端末装置16の制御部48は、サーバ14から外観画像対応付け情報を取得し、当該外観画像対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定してもよい。
複数の機器が有する複数の機能を利用する連携機能を実行する場合、連携対象の各機器の外観の全部又は一部を撮影することにより各機器のデバイス識別情報が取得され、これにより、連携機能が特定(識別)される。
位置情報AR技術を適用してデバイス識別情報を取得する場合、例えば、GPS(Global Positioning System)機能を利用することにより、機器(例えば画像形成装置10)が設置されている位置を示す位置情報が取得される。例えば、各機器がGPS機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置16は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。そのデバイス位置情報は、例えば、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該デバイス位置情報に基づいて利用対象の機器を識別する。例えば、サーバ14の記憶部30には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部36は、その位置対応付け情報において、端末装置16から送信されたデバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器が特定(識別)される。サーバ14の特定部38は、機器機能管理情報32において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器(例えば画像形成装置10)が有する機能が特定(識別)される。
なお、端末装置16の制御部48が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。位置対応付け情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、端末装置16の制御部48は、端末装置16の記憶部44に記憶されている位置対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定する。別の例として、端末装置16の制御部48は、サーバ14から位置対応付け情報を取得し、当該位置対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定してもよい。
複数の機器を利用する連携機能を実行する場合、連携対象の各機器のデバイス位置情報が取得され、各デバイス位置情報に基づいて各機器のデバイス識別情報が特定される。これにより、連携機能が特定(識別)される。
以下、本実施形態に係る画像形成システムについて更に詳しく説明する。
図6を参照して、機器機能管理情報32について詳しく説明する。図6には、機器機能管理情報32としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器が有する機能を示す情報(機能情報)と、画像IDと、が互いに対応付けられている。機器IDと機器名はデバイス識別情報の一例に相当する。画像IDは、機器を表わす画像(例えば、機器の外観を表わす画像や、機器を模式的に表す画像(例えばアイコン)等)を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像IDは含まれていなくてもよい。例えば、機器IDが「B」の機器は、複合機(複数の画像形成機能を有する画像形成装置)であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器を表わす画像を識別するための画像IDが対応付けられている。機器を表わす画像のデータは、例えば、サーバ14の記憶部30や他の装置に記憶されている。
例えば、AR技術を適用することにより、利用対象の機器を識別するための機器IDが取得される。サーバ14の特定部38は、機器機能管理テーブルを参照することにより、その機器IDに対応付けられている機器名、機能及び画像IDを特定する。これにより、利用対象の機器が識別される。例えば、機器名を示す情報、及び、機器を表す画像のデータが、サーバ14から端末装置16に送信され、それらが端末装置16のUI部46に表示される。機器を表す画像は、当該機器に紐付く画像として表示される。もちろん、カメラ42によって撮影された画像そのものが端末装置16のUI部46に表示されてもよい。また、端末装置16のUI部46において、機器に紐付く画像(例えば、カメラ42によって撮影された画像や、機器を模式的に表す画像)がユーザによって指定されると、その機器が有する機能に関する情報(例えば、機能情報や機能の説明情報等)が、サーバ14から端末装置16に送信されて端末装置16のUI部46に表示されてもよい。
以下、図7を参照して、連携機能管理情報34について詳しく説明する。図7には、連携機能管理情報34としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器IDの組み合わせと、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能情報)と、が互いに対応付けられている。例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機(B)を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機(B)によるスキャンによって生成された画像データをPC(A)に転送する機能である。「プリント機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機(B)に送信して複合機(B)にて印刷する機能である。
以下、図8を参照して、機器が単独で利用される場合の処理について説明する。図8には、単独で利用される機器の一例が示されている。一例として、画像形成装置10が、単独で利用される機器であるとする。画像形成装置10は例えば複合機である。画像形成装置10は、現実空間に存在する機器である。図8に示されている端末装置16は、現実空間に存在する機器であり、例えばスマートフォンや携帯電話等の携帯端末装置である。
例えば、画像形成装置10の筐体に2次元バーコード等のマーカ50が設けられている。マーカ型AR技術又はマーカレス型AR技術が用いられる場合、ユーザは端末装置16(例えばスマートフォン)のカメラ42によって、利用対象の画像形成装置10を撮影する。これにより、マーカ50を表わす画像データ又は画像形成装置10の外観を表わす外観画像データが生成される。端末装置16のUI部46の表示部には機器表示画面52が表示され、その機器表示画面52に、画像形成装置10に紐付く機器画像54が表示される。機器画像54は、例えば、カメラ42による撮影によって生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)である。
カメラ42による撮影によって生成された画像データは、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が画像データにデコード処理を適用することにより、画像形成装置10のデバイス識別情報を抽出し、これにより、画像形成装置10を識別する。別の例として、画像形成装置10の外観を表わす外観画像データが生成され、端末装置16からサーバ14に外観画像データが送信されてもよい。この場合、サーバ14においては、制御部36が、外観画像対応付け情報を参照することにより、画像形成装置10のデバイス識別情報を特定する。これにより、画像形成装置10が識別される。
また、サーバ14の特定部38は、機器機能管理情報32(例えば図6に示されている機器機能管理テーブル)を参照することにより、画像形成装置10が有する機能を特定(識別)する。この点について図6を参照して詳しく説明する。画像形成装置10は、一例として「複合機(B)」であるとする。特定部38は、図6に示されている機器機能管理テーブルにおいて、複合機(B)に対応付けられている機能を特定する。これにより、複合機(B)が有する機能が特定される。特定された機能に関する情報は、サーバ14から端末装置16に送信される。もちろん、機器や機能を識別するための処理は、端末装置16によって行われてもよい。
なお、機器表示画面52には、カメラ42による撮影によって生成された画像の替わりに、識別された画像形成装置10に紐付く予め用意された画像(撮影で得られた画像そのものではなく模式的な画像(例えばアイコン))や、外部のカメラによる撮影によって生成された画像が、機器画像54として表示されてもよい。
例えば、機器を撮影することで得られた画像データを利用する場合、現在の機器そのものの外観(例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観)が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。
模式的な画像を利用する場合、模式的な画像のデータは、例えばサーバ14から端末装置16に送信される。例えば画像形成装置10が識別されると、サーバ14の特定部38は、図6に示されている機器機能管理テーブル(機器機能管理情報32)を参照することにより、画像形成装置10に紐付く模式的な画像を特定する。その模式的な画像のデータはサーバ14から端末装置16に送信され、その模式的な画像は機器画像54として機器表示画面52に表示される。模式的な画像のデータは端末装置16に予め記憶されていてもよい。この場合、画像形成装置10が識別されると、端末装置16に記憶されている機器画像54が機器表示画面52に表示される。模式的な画像のデータは、サーバ14や端末装置16以外の装置に記憶されていてもよい。
また、機器が識別されると、その機器の名称を示す情報がサーバ14から端末装置16に送信され、端末装置16において、機器表示画面52に機器の名称が表示されてもよい。図8に示す例では、画像形成装置10は複合機であり、その名称「複合機(B)」が表示されている。
画像形成装置10が有する機能が特定されると、例えば図9に示すように、端末装置16の制御部48は、機能表示画面56を端末装置16のUI部46に表示させ、その機能表示画面56に機能に関する情報を表示させる。機能に関する情報として、例えば、その機能の実行を指示するためのボタン画像が表示される。画像形成装置10としての複合機(B)は、例えば、プリント機能、スキャン機能、コピー機能、及び、ファクシミリ機能を有しているため、これらの機能の実行を指示するためのボタン画像が機能表示画面56に表示される。例えば、ユーザが端末装置16を使用してプリント機能を表わすボタン画像を指定し、プリント機能の実行を指示すると、プリント機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10に送信される。その実行指示情報には、プリント機能を実行するための制御データや、プリント機能が適用される画像データ等のデータ、等が含まれる。画像形成装置10は実行指示情報を受けると、その実行指示情報に従ってプリントを実行する。
図10には、機能表示画面の別の例が示されている。この機能表示画面58は、図8に示すように、単体の機器を利用する際に、端末装置16のUI部46に表示される画面である。上述したように、利用対象の機器(例えば画像形成装置10)が特定され、利用対象の機器が有する機能が特定される。また、利用対象の機器を利用するユーザがユーザ識別情報に対応付けられている機能を示す機能情報、つまり、当該ユーザが利用可能な機能が特定されてもよい。さらに、利用対象の機器が有する機能が特定されるので、提供対象となっている機能群の中で利用対象の機器が有していない機能が特定されてもよい。これらの情報は、機能表示画面58に表示されてもよい。
図10に示されている機能表示画面58には、機能情報の一例として、機能Aを表すボタン画像60、機能Bを表すボタン画像62、及び、機能Cを表すボタン画像64が、表示されている。機能Aは、利用対象の機器(例えば識別された画像形成装置10)が有している機能であって、ユーザによって利用可能な機能である。機能Bは、利用対象の機器が有している機能であって、ユーザによる利用が不可能な機能である。ユーザが機能Bの提供を受けることにより、当該ユーザによる機能Bの利用が可能となる。機能Bが有償の機能であれば、ユーザが機能Bを購入することにより、機能Bの利用が可能となり、機能Bが無償の機能であれば、ユーザが無償で機能Bの提供を受けることにより、機能Bの利用が可能となる。機能Cは、利用対象の機器が有していない機能、つまり、利用対象の機器が対応していない機能である。端末装置16の制御部48は、ボタン画像によって表されている機能が、利用対象の機器が有している機能であるか否かに応じて、当該ボタン画像の表示態様を変えてもよい。また、制御部48は、ボタン画像によって表されている機能が、ユーザによって利用可能な機能であるか否かに応じて、当該ボタン画像の表示態様を変えてもよい。例えば、制御部48は、ボタン画像の色や形状を変えてもよい。図10に示す例では、ボタン画像60,62,64はそれぞれ異なる色で表示されている。一例として、利用対象の機器が有している機能であってユーザによって利用可能な機能を表すボタン画像(例えば機能Aを表すボタン画像60)は、青色で表示される。利用対象の機器が有している機能であってユーザによる利用が不可能な機能を表すボタン画像(機能Bを表すボタン画像62)は、黄色で表示される。利用対象の機器が有していない機能を表すボタン画像(例えば機能Cを表すボタン画像64)は、灰色で表示される。別の例として、制御部48は、ボタン画像60,62,64の形状を変えてもよいし、機能表示名のフォントを変えてもよい。もちろん、別の手法によって表示態様を変えてもよい。これにより、ユーザに視認性良く各機能の利用可否が伝えられる。
例えば、ユーザが端末装置16を利用して機能Aを表すボタン画像60を指定し、機能Aの実行の指示を与えると、機能Aの実行指示を示す実行指示情報が、端末装置16から利用対象の機器に送信される。その実行指示情報には、機能Aを実行するための制御データや、機能Aによる処理が適用される画像データ等のデータ、等が含まれる。利用対象の機器は実行指示情報を受けると、その実行指示情報に従って機能Aを実行する。例えば、利用対象の機器が画像形成装置10の場合であって機能Aがスキャン転送機能の場合、画像形成装置10の画像形成部20によってスキャン機能が実行され、これによりスキャンデータ(画像データ)が生成される。そのスキャンデータは、画像形成装置10から設定された送信先(例えば端末装置16)に送信される。
また、ユーザが端末装置16を利用して機能Bを表すボタン画像62を指定し、機能Bの提供を指示した場合、提供処理が実行される。提供処理がサーバ14によって行われる場合、端末装置16はサーバ14にアクセスする。これにより、ユーザによる機能Bの利用を可能にするための情報として、機能Bの提供を受けるための画面(例えばWebサイト)が端末装置16のUI部46に表示される。この画面上で提供手続きを行うことにより、ユーザによる機能Bの利用が可能となる。例えば、端末装置16にはWebブラウザのプログラムが記憶されており、そのWebブラウザを利用することにより、端末装置16からサーバ14へのアクセスが実現される。ユーザはWebブラウザを用いてサーバ14にアクセスすると、端末装置16のUI部46に、機能提供画面(例えばWebサイト)が表示され、そのWebサイトを介して機能が提供される。もちろん、サーバ14以外のサーバ等によって提供処理が行われてもよい。別の例として、端末装置16のUI部46には、ユーザによる機能Bの利用を可能にするための情報として、管理者等に機能Bの利用を依頼するための利用許可依頼画面(例えばWebサイト)が表示されてもよい。この利用許可依頼画面を介して機能Bの利用の許可を管理者等に依頼し、その許可が得られた場合、ユーザによる機能Bの利用が可能となる。
以下、図11を参照して、連携機能が利用される場合の処理について説明する。図11には、連携対象の機器の一例が示されている。一例として、画像形成装置10と機器12としてのプロジェクタ(以下、プロジェクタ12と称する場合がある)とが、連携対象の機器として用いられるものとする。画像形成装置10、プロジェクタ12及び端末装置16は、現実空間に存在する機器である。
例えば、画像形成装置10の筐体に2次元バーコード等のマーカ50が設けられており、プロジェクタ12の筐体に2次元バーコード等のマーカ66が設けられている。マーカ66は、プロジェクタ12の機器識別情報がコード化された情報である。マーカ型AR技術又はマーカレス型AR技術が用いられる場合、ユーザは端末装置16(例えばスマートフォン)のカメラ42によって、連携対象の画像形成装置10とプロジェクタ12を撮影する。図11に示す例では、カメラ42の撮影領域に画像形成装置10とプロジェクタ12の両方が含まれる状態で、画像形成装置10とプロジェクタ12が一緒に撮影されている。これにより、マーカ50,66のそれぞれを表わす画像データが生成される。端末装置16のUI部46の表示部には機器表示画面68が表示され、その機器表示画面68に、画像形成装置10に紐付く機器画像70とプロジェクタ12に紐付く機器画像72が表示される。機器画像70,72は、例えば、カメラ42による撮影によって生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)である。
カメラ42による撮影によって生成された画像データは、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が画像データにデコード処理を適用することにより、画像形成装置10のデバイス識別情報とプロジェクタ12のデバイス識別情報を抽出し、これにより、画像形成装置10とプロジェクタ12を識別する。別の例として、画像形成装置10とプロジェクタ12のそれぞれの外観を表わす外観画像データが生成され、端末装置16からサーバ14に送信されてもよい。この場合、サーバ14においては、制御部36が、外観画像対応付け情報を参照することにより、画像形成装置10の機器識別情報とプロジェクタ12のデバイス識別情報を特定する。これにより、画像形成装置10とプロジェクタ12が識別される。
また、サーバ14の特定部38は、連携機能管理情報34(例えば図7に示されている連携機能管理テーブル)を参照することにより、画像形成装置10が有する機能とプロジェクタ12が有する機能とを利用する連携機能を特定(識別)する。この点について図7を参照して詳しく説明する。画像形成装置10は、一例として「複合機(B)」であり、プロジェクタ12は、一例として「プロジェクタ(C)」であるとする。特定部38は、図7に示されている連携機能管理テーブルにおいて、複合機(B)とプロジェクタ(C)の組み合わせに対応付けられている連携機能を特定する。これにより、複合機(B)とプロジェクタ(C)を連携させることによって実行される連携機能が特定される。特定された連携機能に関する情報は、サーバ14から端末装置16に送信される。もちろん、機器や連携機能を識別するための処理は、端末装置16によって行われてもよい。
なお、機器表示画面68には、カメラ42による撮影によって生成された画像の替わりに、識別された画像形成装置10に紐付く予め用意された画像(例えば模式的な画像(例えばアイコン))や、外部のカメラによる撮影によって生成された画像が、機器画像70として表示されてもよい。同様に、識別されたプロジェクタ12に紐付く予め用意された画像や、外部のカメラによる撮影によって生成された画像が、機器画像72として表示されてもよい。模式的な画像のデータは、上述したように、例えばサーバ14から端末装置16に送信されてもよいし、端末装置16に予め記憶されていてもよいし、それら以外の装置に記憶されていてもよい。
また、機器が識別されると、その機器の名称を示す情報がサーバ14から端末装置16に送信され、端末装置16において、機器表示画面68に機器の名称が表示されてもよい。図11に示す例では、画像形成装置10の名称「複合機(B)」と、プロジェクタ12の名称「プロジェクタ(C)」が表示されている。
なお、複数の機器が撮影された場合であっても、サーバ14の特定部38は、機器機能管理情報32を参照することにより、各機器が有する機能を特定してもよい。図11に示す例では、特定部38は、画像形成装置10が有する機能とプロジェクタ12が有する機能をそれぞれ特定してもよい。特定された機能に関する情報は、サーバ14から端末装置16に送信されてもよい。
連携機能が特定されると、例えば図12に示すように、端末装置16の制御部48は、機能表示画面74を端末装置16のUI部46に表示させ、その機能表示画面56に連携機能に関する情報を表示させる。連携機能に関する情報として、例えば、その連携機能の実行を指示するためのボタン画像が表示される。複合機(B)とプロジェクタ(C)を連携させることで、例えば、複合機(B)によるスキャンによって生成された画像をプロジェクタ(C)によって投影する連携機能や、プロジェクタ(C)によって投影されている画像を複合機(B)によってプリントする連携機能が実行可能となる。これらの連携機能の実行を指示するためのボタン画像が機能表示画面74に表示される。例えば、ユーザが端末装置16を使用してボタン画像を指定し、連携機能の実行を指示すると、その連携機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10とプロジェクタ12に送信される。画像形成装置10とプロジェクタ12は、実行指示情報を受けると、ユーザによって指定された連携機能を実行する。
ユーザの操作によって、連携対象の機器が指定されてもよい。例えば、画像形成装置10とプロジェクタ12をカメラ42によって撮影することにより、図11に示すように、端末装置16のUI部46には、画像形成装置10に紐付く機器画像70とプロジェクタ12に紐付く機器画像72が表示される。なお、機器に紐付く画像は、カメラ42による撮影で得られた画像であってもよいし、識別された機器に紐付く予め用意された画像(例えば模式的な画像(例えばアイコン))であってもよい。ユーザが機器表示画面68上で機器画像70,72を指定することにより、連携対象の機器として画像形成装置10とプロジェクタ12が指定される。例えば、ユーザが機器画像70を指定すると、マーカ型AR技術又はマーカレス型AR技術が機器画像70に適用され、これにより、画像形成装置10が特定(識別)される。同様に、ユーザが機器画像72を指定すると、マーカ型AR技術又はマーカレス型AR技術が機器画像72に適用され、これにより、プロジェクタ12が特定(識別)される。これにより、画像形成装置10とプロジェクタ12によって実行される連携機能が特定され、その連携機能に関する情報が端末装置16のUI部46に表示される。
別の例として、ユーザが機器表示画面68上で機器画像70をタッチして機器画像72までの間を指等で操作する(例えば指等でなぞる)ことにより、機器画像70,72が指定され、画像形成装置10とプロジェクタ12が連携対象の機器として指定されてもよい。機器画像70,72を触れる順番やなぞる方向は、上記の例と逆であってもよい。もちろん、機器表示画面68をなぞるためのペンといった指以外の画面接触手段が用いられてもよい。ユーザが機器画像70と機器画像72を繋げることにより、機器画像70,72が指定され、画像形成装置10とプロジェクタ12が連携対象の機器として指定されてもよい。ユーザが機器画像70と機器画像72を重ねることにより、機器画像70,72が指定され、画像形成装置10とプロジェクタ12が連携対象の機器として指定されてもよい。丸を付けるような描画操作によって連携対象の機器を指定してもよいし、連携したい機器に紐付く機器画像を予め設定された時間内に指定することで、連携対象の機器を指定してもよい。連携を解除する場合、ユーザが機器表示画面68上で解除対象の機器を指定してもよいし、連携解除ボタンを押してもよい。連携対象ではない機器が画像に写り込んでいる場合、ユーザが機器表示画面68上にてその機器を指定することにより、その機器を連携対象の機器群から除外してもよい。バツ印等を付けるような予め設定された操作によって、解除対象の機器を指定してもよい。
連携対象の各機器は別々に撮影されてもよい。例えば、カメラ42による撮影を複数回に分けることで、連携対象の各機器を識別する。カメラ42による撮影を複数回に分けた場合、各撮影回で識別された機器のデバイス識別情報は、サーバ14又は端末装置16の記憶部に記憶される。例えば、カメラ42の撮影領域に画像形成装置10が含まれる状態で画像形成装置10が撮影され、次に、カメラ42の撮影領域にプロジェクタ12が含まれる状態でプロジェクタ12が撮影される。これにより、画像形成装置10についての画像データとプロジェクタ12についての画像データが生成され、各画像データにマーカ型AR技術又はマーカレス型AR技術が適用されることにより、画像形成装置10とプロジェクタ12が特定(識別)され、画像形成装置10とプロジェクタ12の機能を利用する連携機能が特定(識別)される。例えば、連携対象の各機器が互いに近い位置に配置されて、カメラ42の撮影領域に画像形成装置10とプロジェクタ12の両方が必ずしも一緒に含まれるとは限らない。カメラ42の撮影領域のアングルを変えたり、撮影領域の拡大又は縮小によって対応することができる場合もあるが、そのような操作で対応しきれない場合、撮影を複数回に分けることにより、連携対象の機器を識別することも解決手段としてあり得る。
別の例として、連携対象の機器が基本連携機器として予め設定されていてもよい。例えば、画像形成装置10が基本連携機器として予め設定されているものとする。基本連携機器のデバイス識別情報は、サーバ14や端末装置16の記憶部に予め記憶されていてもよい。ユーザが端末装置16を利用して基本連携機器を指定してもよい。基本連携機器が設定されている場合、ユーザは端末装置16のカメラ42によって、基本連携機器以外の連携対象の機器を撮影する。これにより、連携対象の機器が特定(識別)され、基本連携機器と撮影された機器が有する機能を利用する連携機能が特定(識別)される。
なお、図11及び図12に示す例では、連携機能は、ハードウェアとしての機器を利用する機能であるが、その連携機能は、ソフトウェア(アプリケーション)によって実現される機能を利用する機能であってもよい。例えば、機器画像の替わりに、ソフトウェアによって実現される機能に紐付く機能画像(例えばアイコン等の画像)が端末装置16のUI部46に表示され、複数の機能画像がユーザによって指定されることで、それら複数の機能画像に紐付く複数の機能を利用する連携機能が特定(識別)されてもよい。例えば、スマートフォンのホーム画面やパーソナルコンピュータのデスクトップ画面に表示されている機能に紐付く機器画像を指定することで、連携機能が特定されてもよい。もちろん、ハードウェアとしての機器に紐付く機器画像と、ソフトウェアによって実現される機能に紐付く機能画像と、が端末装置16のUI部46に表示され、機器画像と機能画像がユーザによって指定された場合、その機器画像に紐付く機器とその機能画像に紐付く機能とを利用する連携機能が識別されてもよい。
上記の例では、マーカ型AR技術又はマーカレス型AR技術が用いられているが、位置情報AR技術が用いられてもよい。例えば、端末装置16はGPS機能を備えており、端末装置16自身の位置を示す端末位置情報を取得し、その端末位置情報をサーバ14に送信する。サーバ14の制御部36は、機器の設置位置を示すデバイス位置情報とデバイス識別情報との対応付けを示す位置対応付け情報を参照し、端末装置16の位置を基準にして、予め設定された範囲内に配置されている各機器を連携候補機器として特定する。例えば、端末装置16の位置を基準にして予め設定された範囲内に、複合機、PC、プリンタ及びスキャナが配置されているものとする。この場合、複合機、PC、プリンタ及びスキャナが連携候補機器として特定される。各連携候補機器のデバイス識別情報は、サーバ14から端末装置16に送信され、端末装置16のUI部46に表示される。デバイス識別情報として、連携候補機器の画像が表示されてもよいし、デバイスID等の文字列が表示されてもよい。ユーザは、UI部46に表示されている連携候補機器群の中から連携対象の機器を指定する。ユーザによって指定された連携対象の機器のデバイス識別情報は、端末装置16からサーバ14に送信され、サーバ14において、連携対象の機器のデバイス識別情報に基づいて連携機能が特定される。端末装置16のUI部46には、その連携機能に関する情報が表示される。なお、連携候補機器の特定処理及び連携機能の特定処理は、端末装置16によって行われてもよい。
なお、AR技術等を適用しても撮影対象の機器が識別されない場合、その撮影対象の機器を表わす機器画像は、機器表示画面に表示されなくてもよい。これにより、識別された機器の視認性が向上する。例えば、識別された機器と識別されない機器が混在し、それぞれがカメラ42によって撮影された場合、識別されない機器を表わす機器画像を非表示にする。これにより、識別された機器を表わす機器画像が、識別されない機器を表わす機器画像に埋もれずに表示されるので、識別された機器の視認性が向上する。また、識別された機器を表わす機器画像を強調して表示してもよい。例えば、識別された機器を表わす機器画像を特定の色で表示してもよいし、機器画像の縁を強調して表示してもよいし、機器画像を拡大して表示してもよいし、機器画像を3次元で表示してもよいし、機器画像を振動させて表示してもよい。これにより、識別された機器の視認性が向上する。
以下、機器が有する機能を実行するときの処理について説明する。一例として、連携機能を実行するときの処理について説明する。この場合、端末装置16から連携対象の機器に対して接続要求が送信され、端末装置16と連携対象の機器とが接続される。以下、図13を参照して、この接続処理について説明する。図13は、その処理を示すシーケンス図である。
まず、ユーザは、端末装置16を利用して、機器機能実行用のアプリケーション(プログラム)の起動を指示する。端末装置16の制御部48は、その指示に応じて当該アプリケーションを起動させる(S01)。なお、そのアプリケーションは、端末装置16の記憶部44に予め記憶されていてもよいし、サーバ14等からダウンロードされてもよい。
次に、マーカ型AR技術、マーカレス型AR技術又は位置情報AR技術を適用することにより、連携対象の機器が識別される(S02)。もちろん、AR技術以外の技術によって連携対象の機器が識別されてもよい。マーカ型AR技術又はマーカレス型AR技術を適用する場合、例えば、ユーザは、端末装置16のカメラ42によって連携対象の機器を撮影する。一例として、画像形成装置10(複合機(B))とプロジェクタ12(プロジェクタ(C))が連携機器として用いられる場合、ユーザは、カメラ42によって画像形成装置10とプロジェクタ12を撮影する。画像形成装置10とプロジェクタ12のそれぞれのデバイス識別情報が取得され、画像形成装置10とプロジェクタ12が連携対象の機器として識別される。位置情報AR技術を適用する場合、画像形成装置10とプロジェクタ12のそれぞれの位置情報が取得され、その位置情報に基づいて、画像形成装置10とプロジェクタ12のそれぞれのデバイス識別情報が特定され、画像形成装置10とプロジェクタ12が識別される。
例えば、連携機能表示の指示がユーザによって与えられた場合、識別された複数の機器が有する機能を利用する連携機能が識別される。端末装置16のUI部46には、識別された連携機能に関する情報が表示される(S03)。連携機能の識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
次に、端末装置16において、ユーザによって実行対象の連携機能が指定されると、端末装置16は、その連携機能を実行する連携対象の機器(例えば画像形成装置10とプロジェクタ12)に接続要求を示す情報を送信する(S04)。例えば、連携対象の機器のアドレスを示すアドレス情報が、サーバ14に記憶されている場合、端末装置16は、連携対象の機器のアドレス情報をサーバ14から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置16は、連携対象の機器の識別情報からそれぞれのアドレス情報を取得してもよい。別の例として、端末装置16に、連携対象の機器のアドレス情報が記憶されていてもよい。もちろん、端末装置16は、別の手法によって連携対象の機器のアドレス情報を取得してもよい。端末装置16は、連携対象の機器(例えば画像形成装置10とプロジェクタ12)のアドレス情報を用いて、連携対象の機器(例えば画像形成装置10とプロジェクタ12)に接続要求を示す情報を送信する。
接続要求を示す情報を受けた画像形成装置10とプロジェクタ12は、端末装置16との接続を許可する、又は、許可しない(S05)。例えば、画像形成装置10とプロジェクタ12が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置16からの接続が許可された場合、画像形成装置10とプロジェクタ12の固有の設定情報が端末装置16から変更されないように、その変更操作を禁止してもよい。例えば、画像形成装置10の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、画像形成装置10とプロジェクタ12から端末装置16に送信される(S06)。画像形成装置10とプロジェクタ12への接続が許可された場合、端末装置16と、画像形成装置10及びプロジェクタ12と、の間で通信が確立される。
次に、ユーザは端末装置16を利用して連携機能の実行を指示する(S07)。この指示に応じて、連携機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10とプロジェクタ12に送信される(S08)。画像形成装置10に送信される実行指示情報には、画像形成装置10にて実行される処理を示す情報(例えばジョブ情報)が含まれ、プロジェクタ12に送信される実行指示情報には、プロジェクタ12にて実行される処理を示す情報(例えばジョブ情報)が含まれる。
実行指示情報を受けた画像形成装置10とプロジェクタ12は、実行指示情報に従って機能を実行する(S09)。例えば、画像形成装置10(複合機(B))からプロジェクタ12(PC(A))へスキャンデータを転送してプロジェクタ12によってデータを投影する機能のように、連携機能に、画像形成装置10とプロジェクタ12との間でデータの送受信が行われる処理が含まれている場合、画像形成装置10とプロジェクタ12との間で通信が確立される。この場合、例えば、画像形成装置10に送信される実行指示情報にはプロジェクタ12のアドレス情報が含まれ、プロジェクタ12に送信される実行指示情報には画像形成装置10のアドレス情報が含まれ、それらのアドレス情報を用いて画像形成装置10とプロジェクタ12との間で通信が確立される。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、画像形成装置10とプロジェクタ12から端末装置16に送信される(S10)。端末装置16のUI部46には、連携機能の実行が完了したことを示す情報が表示される(S11)。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置16の制御部48は、エラーを示す情報をUI部46に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、画像形成装置10とプロジェクタ12に送信してもよい。
次に、ユーザは、画像形成装置10とプロジェクタ12の連携状態を解除するか否かを確認し(S12)、解除の有無に応じた処理が実行される(S13)。連携状態を解除する場合、ユーザは、端末装置16を利用して解除の指示を与える。これにより、端末装置16と、画像形成装置10及びプロジェクタ12と、の間の通信が解除される。同様に、画像形成装置10とプロジェクタ12との間の通信も解除される。連携状態を解除しない場合、継続して実行指示を与えてもよい。
また、連携対象の機器を増やしてもよい。例えば3台目の機器の機器識別情報が取得され、画像形成装置10とプロジェクタ12を含む3台の機器を連携させることによって実行される連携機能が特定されてもよい。なお、画像形成装置10とプロジェクタ12が既に連携機能として識別されていることを示す情報は、サーバ14や端末装置16に記憶される。
連携対象の機器を示すデバイス識別情報や、実行された連携機能を示す連携機能情報は、端末装置16やサーバ14等に記憶されてもよい。例えば、端末装置16を利用するユーザのユーザアカウント情報(ユーザ識別情報)が取得され、そのユーザアカウント情報と、連携対象の機器を示すデバイス識別情報と、実行された連携機能を示す連携機能情報と、の対応付けを示す履歴情報が作成され、端末装置16やサーバ14等に記憶されてもよい。履歴情報は、端末装置16によって作成されてもよいし、サーバ14によって作成されてもよい。履歴情報を参照することにより、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。
なお、連携対象の機器(例えば画像形成装置10とプロジェクタ12)は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置16を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することにより、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、サーバ14や端末装置16に記憶されてもよいし、別の装置に記憶されてもよい。
ユーザアカウント情報は、例えば、端末装置16の記憶部44に予め記憶されており、端末装置16の制御部48は、ユーザ識別手段の一例として機能し、記憶部44からユーザのユーザアカウント情報を読み込んで、端末装置16を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部44に記憶されている場合、ユーザは端末装置16を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置16の制御部48は、端末装置16にログインしているユーザのユーザアカウント情報を読み込むことにより、ユーザを識別してもよい。更に別の例として、同一の端末装置16に、1つのユーザアカウント情報のみが記憶されている場合、端末装置16の制御部48は、そのユーザアカウント情報を読み込むことによりユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。
ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカウント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置16のUI部46に表示されてもよい。その利用履歴を示す情報は、端末装置16に記憶されていてもよいし、サーバ14に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。
なお、単独機能が実行される場合、その単独機能の実行指示を示す情報が、端末装置16から単独機能を実行する機器に送信される。当該機器は、その実行指示に従って単独機能を実行する。
上記の例では、複数の機器によって連携機能を実行することが可能であるが、機器の組み合わせによっては、必ずしも連携機能を実行することが可能であるとは限らない。同様に、複数の機能の組み合わせ(例えば、ソフトウェア同士の組み合わせや、ソフトウェアとハードウェアとしての機器との組み合わせ)によっては、必ずしも連携機能を実行することが可能であるとは限らない。以下、この点について詳しく説明する。
図14には、連携機能を実行できない機器の組み合わせの一例が示されている。例えば、複合機(B)とドライヤ(D)が機器として識別されているものとする。図14(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)とドライヤ(D))に紐付く機器画像70,76が表示されている。複合機(B)とドライヤ(D)によって実行可能な連携機能が存在しない場合、複合機(B)とドライヤ(D)が連携対象の機器として指定されたり識別されたりしたとしても、連携機能に関する情報は表示されず、図14(b)に示すように、端末装置16のUI部46には、メッセージ画面78が表示される。そのメッセージ画面78には、複合機(B)とドライヤ(D)によって連携機能を実行することができないことを示すメッセージが表示される。
上記の処理についてより詳しく説明する。複合機(B)とドライヤ(D)が識別され、連携対象の機器として指定されると、上述したように、サーバ14の特定部38は、連携機能管理情報34(例えば図7に示されている連携機能管理テーブル)を参照することにより、複合機(B)とドライヤ(D)とを利用する連携機能を特定(識別)する。この連携機能管理テーブルに、複合機(B)とドライヤ(D)とを利用する連携機能が登録されている場合、特定部38は、上述したように、その連携機能を特定する。一方、連携機能管理テーブルに、複合機(B)とドライヤ(D)とを利用する連携機能が登録されていない場合、特定部38は、複合機(B)とドライヤ(D)とを利用する連携機能がないと判断する。この場合、サーバ14の制御部36は、複合機(B)とドライヤ(D)とによって連携機能を実行することができないことを示すメッセージを出力する。このメッセージは、図14(b)に示すように、端末装置16のUI部46に表示される。
上記のように、利用可能な連携機能がない場合であっても、機器の稼働状況、機器が設置されている環境(周辺環境)、機器の機能の変化(更新)、等によって、連携機能の利用が可能となる場合がある。上記の例で説明すると、複合機(B)が設置されている環境において結露が発生している場合、ドライヤ(D)によって結露を除去又は防止することが可能となる。この場合、複合機(B)とドライヤ(D)を利用した連携機能の利用が可能となるため、その連携機能を示す情報が、端末装置16のUI部46に表示される。例えば、サーバ14の制御部36は、各機器の稼働状況、各機器が設定されている環境(周辺環境)、各機器の機能の更新状況、等を監視しており、その監視結果に基づいて、連携機能の利用可能又は不可能を判断する。複合機(B)とドライヤ(D)との組み合わせを例に挙げて説明すると、制御部36は、複合機(B)の周辺環境が特定の条件を満たした場合に(例えば、複合機(B)の周辺環境にて結露が発生した場合に)、連携機能の利用が可能であると判断して、ドライヤ(D)を用いた連携機能を特定(識別)する。機器の稼働状況についても同様であり、制御部36は、識別又は指定された機器群が特定の稼働状況に該当する場合、その機器群を利用する連携機能の利用が可能であると判断する。また、機器の機能が更新されて、更新後の機能によって連携機能の利用が可能となった場合も同様である。
上記と同様に、複数のソフトウェアによって実現される複数の機能によって連携機能を実行できない場合や、ソフトウェアによって実現される機能とハードウェアとしての機器とによって連携機能が実行できない場合がある。
(案内処理)
本実施形態では、例えば、機器に紐付く画像が指定されると、その機器と共に連携機能を実行することが可能なハードウェアとしての機器やソフトウェアによって実現される機能が案内される。ソフトウェアを用いた連携機能についても同様であり、例えば、ソフトウェアによって実現される機能に紐付く画像が指定されると、その機能と共に連携機能を実行することが可能なハードウェアとしての機器やソフトウェアによって実現される機能が案内される。以下、本実施形態に係る案内処理の実施例について詳しく説明する。
(実施例1)
図15を参照して、実施例1に係る案内処理について説明する。図15には、実施例1に係る機器表示画面の一例が示されている。例えば、複合機(B)、プロジェクタ(C)及びドライヤ(D)が機器として識別されているものとする。端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)、プロジェクタ(C)及びドライヤ(D))に紐付く機器画像70,72,76が表示されている。
この場合において、例えば、複合機(B)がユーザによって選択され、複合機(B)に紐付く機器画像70がユーザによって指定されたものとする。複合機(B)が第1機器に相当し、複合機(B)に紐付く機器画像70が、第1機器に紐付く第1画像に相当する。第1機器としての複合機(B)がユーザによって指定された場合、サーバ14の特定部38は、連携機能管理情報34(例えば図7に示されている連携機能管理テーブル)を参照することにより、第1機器としての複合機(B)と共に連携機能を実行することが可能な第2機器を特定する。例えば、複合機(B)とプロジェクタ(C)とによって連携機能の実行が可能であり、複合機(B)とドライヤ(D)とによって連携機能の実行が不可能であるものとする。つまり、連携機能管理テーブルには、複合機(B)とプロジェクタ(C)とを利用する連携機能が登録されており、一方で、複合機(B)とドライヤ(D)とを利用する連携機能が登録されていないものとする。この場合、プロジェクタ(C)が第2機器として特定され、サーバ14の制御部36は、第2機器としてのプロジェクタ(C)の案内の通知を制御する。具体的には、制御部36の制御の下、プロジェクタ(C)を示すデバイス識別情報が、サーバ14から端末装置16に送信される。端末装置16の制御部48は、第2機器としてのプロジェクタ(C)の案内を通知する。例えば、図15に示されているように、端末装置16の制御部48は、プロジェクタ(C)を連携先の機器として誘導するための矢印80を機器表示画面68に表示させる。その矢印80は、例えば、第1機器としての複合機(B)に紐付く第1画像としての機器画像70と、第2機器としてのプロジェクタ(C)に紐付く第2画像としての機器画像72と、を結ぶ画像である。もちろん、制御部48は、矢印以外の手法によって第2機器としてのプロジェクタ(C)を案内してもよい。例えば、制御部48は、音声を出力することによって第2機器を案内してもよいし、第2機器に紐付く第2画像(例えば機器画像72)に重畳したマークを機器表示画面68に表示させてもよいし、第2機器に紐付く第2画像を他の画像と識別可能な状態にして機器表示画面68に表示させてもよいし、連携先を示す文字列を機器表示画面68に表示させてもよい。
以上のようにして、第1機器としての複合機(B)がユーザによって指定された場合、その複合機(B)と共に連携機能を実行可能な第2機器としてのプロジェクタ(C)が、連携先機器の候補として推奨される。これにより、そのような候補が推奨されない場合と比べて、連携機能に必要な機器を指定するときにおけるユーザの利便性が向上する。
ソフトウェアによって実現される第1機能に紐付く機能画像(第1画像に相当する画像)がユーザによって指定された場合も、上記と同様の案内処理が行われる。つまり、第1画像としての機能画像がユーザによって指定された場合、その機能画像に紐付く第1機能と共に連携機能を実行することが可能な第2機能への案内が通知される。例えば、第2機能に紐付く第2画像への案内がなされてもよいし、音声や文字列によって第2機能が案内されてもよい。第2機能は、ソフトウェアによって実現される機能であってもよいし、ハードウェアとしての機器が有する機能であってもよい。もちろん、第1機器に紐付く機器画像がユーザによって指定された場合、その第1機器と共に連携機能を実行することが可能な機能であってソフトウェアによって実現される第2機能への案内が通知されてもよい。
ドライヤ(D)は、複合機(B)と共に連携機能を実行することが可能な機器ではないため、ドライヤ(D)を連携先として誘導するための指示はなされない。
第1機器としての複合機(B)が設置されている環境(周辺環境)、複合機(B)の稼働状況(例えば、トナー量、紙の量、使用中、処理の終了時刻等)、複合機(B)の機能の変化(更新)、ドライヤ(D)の機能の変化(更新)、等によって、ドライヤ(D)が第2機器として案内される場合がある。例えば、上述したように、第1機器としての複合機(B)の周辺環境にて結露が発生している場合、サーバ14の特定部38は、その結露を除去するために必要な第2機器としてドライヤ(D)を特定する。この場合、上記のプロジェクタ(C)と同様に、ドライヤ(D)を連携先として誘導するための指示がなされる。例えば、第1機器としての複合機(B)に紐付く第1画像としての機器画像70と、第2機器としてのドライヤ(D)に紐付く第2画像としての機器画像76と、を結ぶ矢印等が表示されたり、音声によってドライヤ(D)が案内されたりする。
なお、機器表示画面68に表示されている画像であっても、必ずしも、その画像に紐付く機器や物体が識別されるとは限らない。例えば、ドライヤ(D)がサーバ14の特定部38によって識別されない場合もある。識別されない機器や物体は、連携先候補(第2機器)から除外されることになる。識別されない機器や物体に紐付く画像は、機器表示画面68に表示されてもよいし、機器表示画面68に表示されなくてもよい。
(実施例2)
図16を参照して、実施例2に係る案内処理について説明する。図16には、実施例2に係る機器表示画面の一例が示されている。実施例2においては、複数の機器が第2機器(連携先機器)に該当する。例えば、複合機(B)、プロジェクタ(C)、ドライヤ(D)及びカメラ(E)が機器として識別されており、観葉植物(F)も観葉植物として識別されているものとする。もちろん、機器に該当しない物体は識別されなくてもよい。
端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)、プロジェクタ(C)、ドライヤ(D)及びカメラE)に紐付く機器画像70,72,76,82が表示されており、また、観葉植物(F)に紐付く画像84が表示されている。
この場合において、例えば、複合機(B)が第1機器としてユーザによって選択され、複合機(B)に紐付く機器画像70が第1画像としてユーザによって指定されたものとする。第1機器としての複合機(B)と共に連携機能を実行することが可能な第2機器として、例えば、プロジェクタ(C)とカメラ(E)が特定されたものとする。この場合、第2機器としてのプロジェクタ(C)とカメラ(E)の案内が通知される。例えば、その案内が同時に通知される。図16に示す例では、実施例1と同様に、複合機(B)に紐付く機器画像70とプロジェクタ(C)に紐付く機器画像72とを結ぶ矢印80が、案内通知として表示され、同様に、複合機(B)に紐付く機器画像70とカメラ(E)に紐付く機器画像82とを結ぶ矢印86が、案内通知として表示されている。
なお、連携機能に優先順位が対応付けられていてもよい。その優先順位を示す情報は、連携機能管理情報34(例えば図7に示されている連携機能管理テーブル)において、各連携機能に対応付けられている。複数の第2機器の案内通知を行う場合、各連携機能の優先順位を示す情報が、サーバ14から端末装置16に送信され、その優先順位が機器表示画面68に表示される。例えば、複合機(B)とプロジェクタ(C)とを利用する連携機能1の優先順位が、複合機(B)とカメラ(E)とを利用する連携機能2の優先順位よりも上位に該当する場合、端末装置16の制御部48は、連携機能1に利用されるプロジェクタ(C)の優先順位が、連携機能2に利用されるカメラ(E)の優先順位よりも上位であることを示す情報を、機器表示画面68に表示させる。制御部48は、その順位を示す文字列を機器表示画面68に表示させてもよいし、矢印80,86を互いに異なる色で機器表示画面68に表示させてもよいし、機器画像72,82を互いに異なる表示形態で機器表示画面68に表示させもよいし、優先順位が上位の機器画像72に対する矢印80を機器表示画面68に表示させ、優先順位が下位の機器画像82に対する矢印86を機器表示画面68に表示させなくてもよい。
また、端末装置16の制御部48は、矢印を表示せずに、機器表示画面68内の特定の領域に、第2機器を示す文字列を表示してもよい。例えば、機器画像が表示されていない領域に、その文字列が表示される。これにより、矢印が表示されて、画面に表示されている情報が見難くなることが防止される。
以上のようにして、第1機器としての複合機(B)がユーザによって指定された場合、その複合機(B)と共に連携機能を実行可能な第2機器としてのプロジェクタ(C)とカメラ(E)が、連携先機器の候補として推奨される。
なお、連携先機器の候補(第2機器)が機器表示画面68に表示されていない場合、その第2機器が設置されている場所を示す位置情報や、その第2機器が設定されている場所への案内を示す情報が、端末装置16のUI部46に表示されてもよい。例えば、サーバ14の制御部36は、第2機器の位置情報をGPS機能等によって取得し、その位置情報と端末装置16の位置情報とに基づいて、端末装置16の場所から第2機器の設置場所への案内を示す情報を作成する。その案内を示す情報は、サーバ14から端末装置16に送信され、端末装置16のUI部46に表示されてもよい。
実施例1と同様に、実施例2に係る処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、第1画像としての機能画像がユーザによって指定された場合、その機能画像に紐付く第1機能と共に連携機能を実行することが可能な複数の第2機能への案内が通知されてもよい。もちろん、第1機器に紐付く機器画像がユーザによって指定された場合、その第1機器と共に連携機能を実行することが可能な複数の機能への案内の通知がなされてもよい。
(実施例3)
図17から図20を参照して、実施例3に係る案内処理について説明する。図17から図20には、実施例3に係る機器表示画面の一例が示されている。実施例3においては、第1機器がユーザによって指定された後、第2機器がユーザに指定され、第1機器及び第2機器とともに連携機能を実行することが可能な第3機器の案内の通知が制御される。また、第1機器と第2機器の指定の順番に応じて、第3機器として推奨される機器が変更されてもよい。
例えば、PC(A)、複合機(B)、プロジェクタ(C)及びカメラ(E)が機器として識別されており、図17に示すように、機器表示画面68に、識別された機器(PC(A)、複合機(B)、プロジェクタ(C)及びカメラ(E))に紐付く機器画像70,72,82,88と画像84が表示されているものとする。
この場合において、例えば、複合機(B)に紐付く機器画像70がユーザによって指定されると、サーバ14の特定部38によって、複合機(B)が第1機器として識別され、複合機(B)と共に連携機能を実行することが可能なPC(A)、プロジェクタ(C)及びカメラ(E)が第2機器(連携先機器の候補)として識別される。図17に示すように、第2機器の案内通知として、例えば矢印80,86,90が表示される。矢印90は、複合機(B)に紐付く機器画像70とPC(A)に紐付く機器画像88とを結ぶ画像である。
次に、連携先の機器として、第2機器群の中からプロジェクタ(C)がユーザによって選択され、プロジェクタ(C)に紐付く機器画像72がユーザによって指定されたものとする。この場合、サーバ14の特定部38は、連携機能管理情報34を参照することにより、第1機器としての複合機(B)及び第2機器としてのプロジェクタ(C)と共に連携機能を実行することが可能な第3機器を特定する。なお、図7に示されている連携機能管理テーブルにおいては、2つの機器を連携することで実行可能な連携機能が登録されているが、もちろん、3つ以上の機器を連携することで実行可能な連携機能が登録されていてもよい。例えば、第3機器としてPC(A)が特定されたものとする。この場合、図18に示すように、第3機器としてのPC(A)への案内が通知される。例えば、第2機器としてのプロジェクタ(C)に紐付く機器画像72と、第3機器としてのPC(A)に紐付く機器画像88と、を結ぶ矢印92が、案内通知として表示される。
例えば、ユーザが、プロジェクタ(C)に紐付く機器画像72を指定したり、複合機(B)に紐付く機器画像70とプロジェクタ(C)に紐付く機器画像72とを繋ぐ操作を行ったり、機器画像70を機器画像72に重ねたり、機器画像70と機器画像72との間を機器画像70から機器画像72へ向けてなぞったりすることで、第2機器として利用されるプロジェクタ(C)が指定される。
各機器(各機器画像)の指定の順番は、各機器で利用される機能の順番や、連携する各機器間を移動するデータの移動順番に対応しており、機器を指定する操作(例えば、画像を繋ぐ操作や画像を重ねる操作)は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。図18に示す例では、第1機器としての複合機(B)が1番目に利用され、第2機器としてのプロジェクタ(C)が2番目に利用される。第1機器及び第2機器と共に連携機能を実行することが可能であり、かつ、その連携機能において3番目に利用される機器が第3機器として案内される。つまり、1番目に複合機(B)が利用され2番目にプロジェクタ(C)が利用される連携機能において、3番目に利用される機器が第3機器として案内される。図18に示す例では、その第3機器がPC(A)である。実施例3では、連携機能管理情報34には、機器の利用順番も含めて、複数の機器を連携することで実行可能な連携機能が登録されており、サーバ14の特定部38は、その連携機能管理情報34を参照することで、第3機器を特定する。
図19には、別の例が示されている。図17と同様に、機器表示画面68に、機器画像70,72,82,88と画像84が表示されている。
この場合において、例えば、プロジェクタ(C)に紐付く機器画像72がユーザによって指定されると、サーバ14の特定部38によって、プロジェクタ(C)が第1機器として識別され、プロジェクタ(C)と共に連携機能を実行することが可能なPC(A)、複合機(B)及びカメラ(E)が第2機器(連携先機器の候補)として識別される。図19に示すように、第2機器の案内通知として、例えば矢印94,96,98が表示される。矢印94は、第1機器としてのプロジェクタ(C)に紐付く機器画像72と、第2機器としての複合機(B)に紐付く機器画像70とを結ぶ画像である。矢印96は、機器画像72と第2機器としてのカメラ(E)に紐付く機器画像82とを結ぶ画像である。矢印98は、機器画像72と第2機器としてのドライヤ(A)に紐付く機器画像88とを結ぶ画像である。
次に、連携先の機器として、第2機器群の中から複合機(B)がユーザによって選択され、複合機(B)に紐付く機器画像70がユーザによって指定されたものとする。この場合、サーバ14の特定部38は、連携機能管理情報34を参照することにより、第1機器としてのプロジェクタ(C)及び第2機器としての複合機(B)と共に連携機能を実行することが可能な第3機器を特定する。例えば、第3機器としてカメラ(E)が特定されたものとする。この場合、図20に示すように、第3機器としてのカメラ(E)の案内が通知される。例えば、第2機器としての複合機(B)に紐付き機器画像70と、第3機器としてのカメラ(E)に紐付く機器画像82と、を結ぶ矢印100が、案内通知として表示される。この場合、1番目にプロジェクタ(C)が利用され2番目に複合機(B)が利用される連携機能において、3番目に利用される機器(例えばカメラ(E))が第3機器として案内される。
例えば、ユーザが、複合機(B)に紐付く機器画像70を指定したり、プロジェクタ(C)に紐付く機器画像72と複合機(B)に紐付く機器画像70とを繋ぐ操作を行ったり、機器画像72を機器画像70に重ねたり、機器画像72と機器画像70との間を機器画像72から機器画像70へ向けてなぞったりすることで、第2機器として利用される複合機(B)が指定される。
以上のように、第1機器及び第2機器と共に連携機能を実行することが可能な第3機器の案内が通知される。また、第1機器と第2機器の指定順番に応じて、第3機器として案内(推奨)される機器が変わる。機器を指定する順番は、各機器で利用される機能の順番や、連携する各機器間を移動するデータの移動順番を兼ねており、機器を指定する操作は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。機器の指定順番によって、連携機能において、次に利用される機器やデータの移動先の機器が変わるため、実施例3では、その変更に対応して、連携機能に利用される第3機器の案内が通知される。
実施例1と同様に、実施例3に係る処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、第1機能に紐付く機能画像がユーザによって指定された場合、第1機能と共に連携機能を実行することができる第2機能に紐付く機能画像への案内が通知される。また、第2機能に紐付く機能画像がユーザによって指定された場合、第1機能及び第2機能と共に連携機能を実行することが可能な第3機能に紐付く機能画像への案内が通知されてもよい。この場合、第1機能と第2機能の指定順番に応じて、第3機能として案内される機能が変わる。また、実施例3においても、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を利用する機能であってもよい。
(実施例4)
図21及び図22を参照して、実施例4に係る案内処理について説明する。図21及び図22には、実施例4に係る機器表示画面の一例が示されている。実施例4では、第1機器と共に連携機能を実行できない機器が指定された場合に、第1機器と共に連携機能を実行することが可能な第2機器(連携先機器)の案内が通知される。例えば、複合機(B)、プロジェクタ(C)及びドライヤ(D)が機器として識別されているものとする。
図21に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)、プロジェクタ(C)及びドライヤ(D))に紐付く機器画像70,72,76が表示されている。
この場合において、例えば、複合機(B)が第1機器としてユーザによって選択され、複合機(B)に紐付く機器画像70が第1画像としてユーザによって指定されると、サーバ14の特定部38によって、複合機(B)が第1機器として識別される。例えば、プロジェクタ(C)が、第1機器としての複合機(B)と共に連携機能を実行することが可能な第2機器に該当し、ドライヤ(D)が、複合機(B)と共に連携機能を実行することが不可能な機器に該当するものとする。この場合において、例えば、ユーザが、ドライヤ(D)に紐付く機器画像76を指定したり、複合機(B)に紐付く機器画像70とドライヤ(D)に紐付く機器画像76とを繋ぐ操作を行ったり、機器画像70を機器画像76に重ねたり、機器画像70と機器画像76との間を機器画像70から機器画像76へ向けてなぞったりすることで、複合機(B)と共に連携機能を実行することができないドライヤ(D)を連携先の機器として指定したとする。図21に示す例では、矢印102で示すように、機器画像70と機器画像76とを繋ぐ操作がユーザによって行われている。
第1機器としての複合機(B)と共に連携機能を実行することができないドライヤ(D)がユーザによって連携先の機器として指定されると、サーバ14の制御部36は、その指定を受け付け、複合機(B)と共に連携機能を実行することができる第2機器としてのプロジェクタ(C)の案内の通知を制御する。これにより、プロジェクタ(C)を第2機器として案内するための通知がなされる。例えば図22に示すように、端末装置16の制御部48は、プロジェクタ(C)を連携先の機器として誘導するための矢印104を機器表示画面68に表示させる。その矢印104は、例えば、第1機器としての複合機(B)に紐付く機器画像70と、第2機器としてのプロジェクタ(C)に紐付く機器画像72と、を結ぶ画像である。もちろん、その案内通知は、音声や文字列の表示等によって行われてもよい。
以上のように、実施例4では、第1機器と共に連携機能を実行することができない機器が指定された場合に、第1機器と共に連携機能を実行することが可能な第2機器の案内の通知が制御される。第1機器が指定された場合に、常時、案内用の矢印等を表示する場合、画面上が矢印等によって煩雑になることがある。実施例4によると、その煩雑さを回避することが可能となる。
実施例1と同様に、実施例4に係る処理は、機能に紐付く機器画像が用いられる場合に適用されてもよい。例えば、第1機能と共に連携機能を実行することができない機能が指定された場合に、第1機能と共に連携機能を実行することが可能な第2機能の案内が通知される。
(実施例5)
図23から図25を参照して、実施例5について説明する。図23から図25には、実施例5に係る画面の一例が示されている。実施例5では、連携先の機器としてユーザによって指定された機器が、故障中又は使用中等の理由によって、第1機器と共に連携機能を実行することができない場合、第1機器と共に連携機能を実行することが可能な別の機器の案内が通知される。この場合、連携先の機器としてユーザによって指定された機器と同種の機器(例えば同種の機能を有する機器)の案内が優先的に通知されてもよい。サーバ14の制御部36は、各機器から各機器の稼働状況(例えば、処理の実行中、故障中、メンテナンス中等)を示す情報を取得して、各機器の稼働状況を管理している。
例えば、複合機(B)とプロジェクタ(C),(F)が機器として識別されているものとする。図23に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)とプロジェクタ(C),(F))に紐付く機器画像70,72,106が表示されている。
この場合において、例えば、複合機(B)が第1機器としてユーザによって選択され、複合機(B)に紐付く機器画像70が第1画像としてユーザによって指定されると、サーバ14の特定部38によって、複合機(B)が第1機器として識別される。例えば、プロジェクタ(C),(F)が、第1機器としての複合機(B)と共に連携機能を実行することが可能な第2機器に該当するものとする。例えば、ユーザが、プロジェクタ(F)に紐付く機器画像106を指定したり、複合機(B)に紐付く機器画像70とプロジェクタ(F)に紐付く機器画像106とを繋ぐ操作を行ったり、機器画像70を機器画像106に重ねたり、機器画像70と機器画像106との間を機器画像70から機器画像106へ向けてなぞったりすることで、プロジェクタ(F)を連携先の機器として指定したとする。図23に示す例では、矢印108で示すように、機器画像70と機器画像106とを繋ぐ操作がユーザによって行われている。
プロジェクタ(F)がユーザによって連携先の機器として指定されると、サーバ14の制御部36は、その指定を受け付け、プロジェクタ(F)の稼働状況を確認する。例えば、プロジェクタ(F)が故障中又は使用中の場合、サーバ14の制御部36は、プロジェクタ(F)以外の機器であって第1機器と共に連携機能を実行することが可能な他の機器の案内の通知を制御する。制御部36は、プロジェクタ(F)と同種の機器(例えば、プロジェクタ(F)と同種の機能を有する機器)の案内の通知を優先的に行ってもよい。例えば、プロジェクタ(C)がプロジェクタ(F)と同種の機器に該当する場合、プロジェクタ(C)を第2機器として案内するための通知が優先的に行われる。この場合、例えば図24に示すように、端末装置16の制御部48は、プロジェクタ(F)を連携先の機器として誘導するための矢印110を機器表示画面68に表示させる。その矢印110は、例えば、第1機器としての複合機(B)に紐付く機器画像70と、第2機器としてのプロジェクタ(C)に紐付く機器画像72と、を結ぶ画像である。
また、故障中や使用中の機器が連携先の機器としてユーザによって指定された場合、例えば図25に示すように、端末装置16のUI部46には、サーバ14の制御部36の制御の下、連携不可能な理由を示すメッセージを示す画面112が表示されてもよい。
なお、故障中であった機器が修理によって利用可能になった場合や、処理を実行中であった機器がその処理を完了して処理を実行していない場合、サーバ14の制御部36は、当該機器を第1機器と共に連携機能を実行することが可能な機器として識別する。
実施例5によると、故障中ではない機器や使用中ではない機器が案内されるので、ユーザの利便性が向上する。また、ユーザによって指定された機器と同種の機器が案内されるので、ユーザが利用すると想定される機器が案内される。
(実施例6)
図26を参照して、実施例6に係る案内処理について説明する。図26には、機器選択画面の一例が示されている。実施例6では、端末装置16のUI部46に、第1機器と共に連携機能を実行することが可能な第2機器に関する情報を示す候補リストが表示される。
例えば、複合機(B)とドライヤ(D)が機器として識別されており、図14(a)に示すように、複合機(B)に紐付く機器画像70とドライヤ(D)に紐付く機器画像76が、端末装置16のUI部46に表示されているものとする。この場合において、例えば、複合機(B)が第1機器としてユーザによって選択され、複合機(B)に紐付く機器画像70がユーザによって指定されると、サーバ14の特定部38によって、複合機(B)が第1機器として識別される。例えば、ドライヤ(D)が、複合機(B)と共に連携機能を実行することが不可能な機器に該当するものとする。この場合において、例えば、ユーザが、ドライヤ(D)に紐付く機器画像76を指定したり、複合機(B)に紐付く機器画像70とドライヤ(D)に紐付く機器画像76とを繋ぐ操作を行ったり、機器画像70を機器画像76に重ねたり、機器画像70と機器画像76との間を機器画像70から機器画像76へ向けてなぞったりすることで、ドライヤ(D)を連携先の機器として指定したとする。
第1機器としての複合機(B)と共に連携機能を実行することができないドライヤ(D)がユーザによって連携先の機器として指定されると、サーバ14の制御部36は、その指定を受け付け、複合機(B)と共に連携機能を実行することができる第2機器の案内の通知として、第2機器に関する情報を示す候補リストの表示を制御する。これにより、端末装置16のUI部46には、図26に示すように、機器選択画面114が表示され、その機器選択画面114中に候補リストが表示される。なお、機器選択画面114が表示される前に、図14(b)に示されているメッセージ画面78が、端末装置16のUI部46に表示されてもよい。
図26に示すように、候補リストには、複合機(B)と共に連携機能を実行することができる各機器の名称、各機器に紐付く各機器画像、連携機能の例(例えば連携機能の名称)、等が含まれている。もちろん、これらの中の少なくとも1つの情報が、候補リストに含まれていてもよい。また、機器画像は、実際の機器の外観を表わす画像(その機器と一対一の関係で紐付く画像)であってもよいし、機器を模した画像(例えばアイコン)であってもよい。実際の機器の外観を表わす画像は、例えば、機器の外観を撮影することで生成された画像であり、当該機器そのものを表わす画像である。機器を模した画像は、機器の種類を示す画像に相当する。連携機能の例として、1又は複数の連携機能の名称が、候補リストに含まれる。複数の連携機能の名称が表示される場合、連携対象となる複数の機器の指定順番に応じた表示順位で、各連携機能の名称が表示されてもよい。例えば、複合機とプロジェクタとによって複数の連携機能(例えば連携機能A,B)の実行が可能な場合、複合機が第1機器として指定された場合と、プロジェクタが第1機器として指定された場合とで、候補リストに含まれる複数の連携機能の表示順が異なっていてもよい。例えば、複合機が第1機器として指定された場合、連携機能A,Bの順番で各連携機能の名称が表示され、プロジェクタが第1機器として指定された場合、連携機能B,Aの順番で各連携機能の名称が表示されてもよい。
候補リスト内の各第2機器の並びの順番は、例えば、各第2機器の過去の利用実績に基づいて決定されてもよい。例えば、サーバ14の制御部36は、各機器の利用実績を示す情報を各機器から取得することで、各機器の利用実績を管理する。制御部36は、例えば、利用頻度が高い第2機器(例えば利用回数が多い第2機器)ほど、候補リスト内で上位に表示する。過去の利用実績は、第1画像を指定したユーザ(例えば、端末装置16を利用するユーザや、サーバ14にログインしたユーザ)の利用実績であってもよいし、他のユーザの利用実績を含む利用実績であってもよい。
別の例として、制御部36は、実行可能な連携機能の数が多い第2機器ほど、候補リスト内において上位の順番に表示してもよい。例えば、プロジェクタが複合機(B)と共に実行可能な連携機能の数が「3」であり、パソコンが複合機(B)と共に実行可能な連携機能の数が「2」の場合、候補リスト内において、プロジェクタがパソコンよりも上位に表示される。
また、各機器の機能が更新されて、連携機能管理情報34が更新された場合、制御部36は、その更新に伴って、候補リスト内の第2機器の表示を更新する。例えば、更新前には複合機と共に連携機能を実行することができなかった機器が、更新後には複合機と共に連携機能を実行することが可能になった場合、制御部36は、その機器を第2機器として候補リストに表示する。また、各機器の利用実績も時間と共に更新され、制御部36は、更新後の利用実績に基づいて、候補リスト内の各第2機器の表示順を更新する。
また、サーバ14の制御部36は、第1機器と第2機器の稼働状況や周辺状況に応じて、候補リストに含まれる第2機器を更新してもよいし、候補リスト内の第2機器の表示順位を更新してもよい。
なお、複合機と共に連携機能を実行することが可能な機器であっても、故障中又は使用中の機器は、候補リストに表示されなくてもよい。この場合においても、機器の故障が解消されたり、機器が使用中ではなくなった場合、その機器は候補リストに表示される。
ユーザが、候補リストに含まれる機器名又は機器画像を指定した場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、第1機器としての複合機と指定された機器とによって実行可能な連携機能の一覧を、端末装置16のUI部46に表示させてもよい。例えば、候補リスト内のプロジェクタが指定された場合、端末装置16の制御部48は、複合機とプロジェクタとによって実行可能な連携機能の一覧をUI部46に表示させる。また、ユーザが、候補リストに含まれる連携機能を指定した場合、指定された連携機能を実行するための制御が行われる。
なお、候補リストに表示される第2機器は、サーバ14に予め登録された機器群に含まれるであってもよいし、AR技術等によって識別された機器群に含まれる機器であってもよいし、端末装置16のUI部46に表示された機器群に含まれる機器であってもよいし、UI部46の画面内において特定の領域に表示された機器群に含まれる機器であってもよい。例えば、ユーザが機器に紐付く機器画像を操作することで、その機器画像が特定の領域に表示される。また、第1機器も、これらの機器群に含まれる機器であってもよい。上述した実施例1−5、及び、以下に説明する各実施例においても同様である。
実施例1と同様に、実施例6に係る処理は、機能に紐付き機器画像が用いられる場合に適用されてもよい。例えば、第1機能と共に連携機能を実行することができない機器や機能が指定された場合に、第1機能と共に連携機能を実行することができる機器(第2機器の候補)や機能(第2機能の候補)を示す候補リストが表示されてもよい。例えば、第2機能の機能名、第2機能に紐付く機器画像、連携機能の例、等が候補リストに含まれる。また、第1機器と共に連携機能を実行することができない機能が指定された場合に、候補リストが表示されてもよい。
実施例6によると、第2機器の候補や第2機能の候補が候補リストとして表示されるので、ユーザにとって便利である。
(実施例7)
図26から図32を参照して、実施例7について説明する。実施例7では、実施例6と同様に、端末装置16のUI部46に候補リストが表示される。
実施例6と同様に、複合機(B)が第1機器としてユーザによって指定され、複合機(B)と共に連携機能を実行することができない機器がユーザによって指定されたものとする。サーバ14の制御部36は、その指定を受け付け、複合機(B)と共に連携機能を実行することができる第2機器の案内の通知として、第2機器に関する情報を示す候補リストの表示を制御する。これにより、図26に示すように、機器選択画面114が端末装置16のUI部46に表示される。
例えば、ユーザが機器名を指定した場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、指定された機器と同種の機器の一覧(第2機器の一覧)を、端末装置16のUI部46に表示させる。例えば、ユーザがプロジェクタを指定した場合、図27に示すように、機器選択画面116が端末装置16のUI部46に表示される。機器選択画面116には、第2機器としてのプロジェクタの一覧が表示される。例えば、サーバ14の特定部38によって、プロジェクタaaa,bbb,cccが第2機器に該当するプロジェクタとして特定(識別)された場合、それらを示す一覧が表示される。ユーザは、この一覧の中から第2機器として利用されるプロジェクタを選択することになる。
また、機器選択画面116には、連携対象の機器の追加をユーザに問い合わせるメッセージが表示される。例えば、第2機器がユーザによって指定された後、連携対象の機器の追加がユーザによって指示された場合(例えば図27に示されている「はい」がユーザによって指定された場合)、図28に示すように、端末装置16のUI部46には、機器選択画面118が表示され、その機器選択画面118には、第1機器及び第2機器と共に連携機能を実行することが可能な第3機器に関する情報を示す候補リストが表示される。この候補リストは、第2機器に関する情報を示す候補リストと同じ構成を有する。なお、第3機器としての機器の表示順位は、第2機器についての候補リストと異なる順位であってもよい。第3機器がユーザによって指定された場合、第2機器が指定されたときに表示される機器選択画面116(図27参照)と同様に、第3機器の一覧が表示される。第4機器以降の機器を追加する場合も同様である。
なお、機器を模した画像(例えばアイコン)が機器画像として候補リストに含まれており、その機器画像がユーザによって指定された場合、図27に示すように、その機器画像に紐付く第2機器(例えばプロジェクタ)の一覧が表示される。つまり、その機器画像は、機器の種類を表わし、その機器を代表して表す画像であるため、その機器画像が指定された場合、その機器画像に紐付く第2機器の一覧が表示される。一方、実際の機器を表わす画像(機器と一対一の関係で紐付く画像)は、当該機器そのものを表わす画像であるため、その機器画像が候補リストに含まれて、ユーザによって指定された場合、当該機器そのものがユーザによって指定されたことになる。この場合、図27に示されている第2機器の一覧は表示されずに、連携対象の機器の追加をユーザに問い合わせるためのメッセージのみが表示されてもよい。
連携対象の機器の追加が行われない場合(例えば、図27に示されている「いいえ」がユーザによって指定された場合)、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図29に示すように、機能選択画面120を端末装置16のUI部46に表示させる。機能選択画面120には、ユーザによって指定された複数の機器によって実行可能な連携機能の一覧が表示される。例えば、複合機(B)が第1機器として指定され、プロジェクタaaaが第2機器として指定された場合、複合機(B)とプロジェクタaaaとによって実行可能な連携機能の一覧が表示される。ユーザが、その一覧の中から連携機能を指定して実行の指示を与えると、複合機(B)とプロジェクタaaaとによってその連携機能が実行される。
一方、連携機能の一覧に含まれない連携機能を実行する場合、ユーザは、その連携機能の実行を依頼する。例えば、端末装置16のUI部46には、図30に示すように、その依頼を行うための画面122が表示され、ユーザは、その画面122において、実行を希望する連携機能の名称等を入力する。その依頼を示す情報は、端末装置16からサーバ14に送信される。サーバ14の制御部36は、その依頼を受けると、指定された機器群(例えば第1機器と第2機器)とによって、その依頼に係る連携機能を実行することが可能か否かを判断する。依頼に係る連携機能の実行が不可能な場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図31に示すように、依頼に係る連携機能の実行が不可能な旨を示すメッセージを、端末装置16のUI部46に表示させる。依頼に係る連携機能の実行が可能な場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図32に示すように、依頼に係る連携機能を実行する旨を示すメッセージを、端末装置16のUI部46に表示させる。ユーザによって実行指示が与えられた場合、その連携機能が実行される。また、ユーザによって依頼された連携機能が登録されてもよい。例えば図32に示すように、端末装置16の制御部48は、サーバ14の制御部36の制御の下、依頼された連携機能を今後の連携機能候補として登録するか否かをユーザに問い合わせるためのメッセージを、端末装置16のUI部46に表示させる。ユーザによって「登録」が指示された場合、依頼された連携機能に関する情報は、連携機能管理情報34に登録され、今後、連携機能の一覧に含まれて表示される。ユーザによって「登録しない」が指示された場合、依頼された連携機能に関する情報は登録されず、連携機能の一覧に含まれない。例えば、依頼された連携機能が、例外的な処理に該当する場合や、他の連携機能の方が利用頻度が高い場合や、一覧に含まれる連携機能の数が増大して煩雑になるのを避ける場合等に、依頼された連携機能が登録されないことが想定される。
実施例1と同様に、実施例7に係る処理は、機能に紐付き機器画像が用いられる場合に適用されてもよい。
実施例7によると、第2機器の候補や第2機能の候補が候補リストとして表示されるので、ユーザにとって便利である。また、候補リストを利用して、連携対象の機器を簡単に増やすことが可能となる。
(実施例8)
図33から図35を参照して、実施例8について説明する。実施例8では、実施例6,7と同様に、端末装置16のUI部46に候補リストが表示される。
実施例6,7と同様に、複合機(B)が第1機器としてユーザによって指定され、複合機(B)と共に連携機能を実行することができない機器がユーザによって指定されたものとする。この場合、図26に示すように、機器選択画面114が端末装置16のUI部46に表示される。
機器選択画面114において、ユーザによって連携機能(例えば「表示画面を印刷」)が指定された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図33に示すように、機器選択画面124を端末装置16のUI部46に表示させる。機器選択画面124には、ユーザによって指定された連携機能(例えば「表示画面を印刷」)を実行するために必要な(その連携機能を実行可能な)機器の一覧(第2機器の一覧)が表示される。この一覧の中から機器(第2機器)がユーザによって指定されて連携機能の実行指示が与えられると、ユーザによって指定された第1機器と第2機器とによって、ユーザによって指定された連携機能が実行される。
機器選択画面124に表示されている機器の一覧には含まれない他の機器の選択がユーザによって指示された場合(「他の機器にしますか?」という問い合わせに対して「はい」が選択された場合)、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図34に示すように、機器選択画面126を端末装置16のUI部46に表示させる。機器選択画面126には、ユーザによって指定された連携機能の実行が可能な他の機器の候補の一覧が表示される。機器選択画面126において、機器(第2機器)がユーザによって指定されて連携機能の実行指示が与えられると、ユーザによって指定された第1機器と第2機器とによって、ユーザによって指定された連携機能が実行される。
機器選択画面126に表示されている機器の一覧には含まれない他の機器の選択がユーザによって指示された場合(「上記以外ですか?」という問い合わせに対して「はい」が選択された場合)、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図35に示すように、連携対象の機器に関する情報を入力するための画面128を、端末装置16のUI部46に表示させる。ユーザは、この画面128において、連携対象の機器に関する情報(例えば、機器の名称や種類等)を入力する。ユーザによって入力された連携対象の機器に関する情報は、端末装置16からサーバ14に送信される。サーバ14の制御部36は、その情報を受けると、第1機器と、ユーザによって指定された当該連携対象の機器と、によって、ユーザによって指定された連携機能を実行することが可能か否かを判断する。その連携機能の実行が不可能な場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、別の機器を連携対象の機器として設定し直すための画面を、端末装置16のUI部46に表示させる。その連携機能の実行が可能な場合、連携機能の実行指示が与えられると、ユーザによって指定された第1機器と第2機器(連携対象の機器)とによって、ユーザによって指定された連携機能が実行される。
実施例1と同様に、実施例8に係る処理は、機能に紐付き機器画像が用いられる場合に適用されてもよい。
実施例8によると、候補リストにて連携機能が指定されると、その連携機能を実行するために必要な機器が表示されるので、機器を選択するときのユーザの利便性が向上する。
本実施形態は、複数の機器を複数のユーザが利用するという環境に適用されてもよい。例えば、機器からタッチパネル等のユーザインターフェースが取り除かれた場合であっても、端末装置16がユーザインターフェースとして用いられる。別の場面として、例えば、ユーザの出先等で機器が一時的に利用される場合に、当該ユーザに適したユーザインターフェース、つまり、当該ユーザによって指定された機器が有する機能やその機器を利用する連携機能が表示されたユーザインターフェースが、端末装置16にて実現される。
以下、上記の実施例1から実施例8に関連する処理について説明する。
(連携機能に関する情報の表示の切り替え処理)
本実施形態において、機器に紐付く機器画像同士を繋げる順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。この場合において、連携対象の機器として指定された機器が、第1機器と共に連携機能を実行することができない場合、上記の実施例1から実施例8と同様に、第1機器と共に連携機能を実行することが可能な第2機器の案内の通知が制御される。一方、第1機器とともに連携機能を実行することが可能な第2機器がユーザによって指定された場合、機器画像同士を繋げる順番に応じて、連携機能に関する情報の表示が切り替えられる。以下、図36から図38を参照して、この処理について詳しく説明する。
図36には、連携機能管理情報34の別の例としての連携機能管理テーブルが示されている。この連携機能管理テーブルにおいては、一例として、機器IDの組み合わせを示す情報と、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能情報)と、接続順番を示す情報と、優先順位を示す情報と、が対応付けられている。接続順番は、機器に紐付く機器画像を繋ぐ順番に対応している。優先順位は、連携機能に関する情報の表示の優先順位である。例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機(B)を連携させることにより、連携機能として、例えば「スキャン転送機能」と「印刷機能」が実現される。「スキャン転送機能」は、複合機(B)によるスキャンによって生成された画像データをPC(A)に転送する機能である。「印刷機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機(B)に送信して複合機(B)にて印刷する機能である。例えば、複合機(B)からPC(A)に機器が接続された場合、つまり、複合機(B)に紐付く機器画像からPC(A)に紐付く機器画像へ機器画像が繋がれた場合、「スキャン転送機能」の優先順位が「1位」となり、「印刷機能」の優先順位は「2位」となる。この場合、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に表示される。これとは逆に、PC(A)から複合機(B)に機器が接続された場合、つまり、PC(A)に紐付く機器画像から複合機(B)に紐付く機器画像へ画像が繋がれた場合、「印刷機能」の優先順位が「1位」となり、「スキャン転送機能」の優先順位が「2位」となる。この場合、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。
図37及び図38には、端末装置16のUI部46に表示される画面の一例が示されている。例えば、複合機(B)とPC(A)が識別されているものとする。図37(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、複合機(B)に紐付く機器画像70とPC(A)に紐付く機器画像88が表示されている。この状態で、ユーザは指示子(例えばユーザの指、ペン、スタイラス等)を用いて連携対象の機器を表わす機器画像同士を繋ぐ。端末装置16の制御部48は、機器表示画面68への指示子の接触を検知し、機器表示画面68上での指示子の移動を検知する。例えば、矢印130で示すように、ユーザが操作子を用いて機器表示画面68上で機器画像70をタッチして機器画像88まで操作する(例えば、機器表示画面68上で操作子をなぞる)ことにより、機器画像70と機器画像88を繋ぐ。これにより、機器画像70に紐付く複合機(B)と機器画像88に紐付くPC(A)が、連携対象の機器として指定されるとともに、接続の順番が指定される。機器画像を繋ぐ順番が接続の順番に相当する。なお、複合機(B)が第1機器に該当し、PC(A)が第2機器に該当する。図37(a)に示す例では、機器画像70から機器画像88へ画像を繋げているため、複合機(B)からPC(A)へ機器が接続されている。機器の接続順番を示す情報は、端末装置16からサーバ14に送信される。なお、端末装置16の制御部48は、ユーザがなぞった軌跡を表わす画像を機器表示画面68に表示させてもよいし、機器同士が接続された後は、その軌跡を予め設定された直線等に置き換えて機器表示画面68に表示させてもよい。
上記のように、連携対象の機器(例えば複合機(B)とPC(A))が指定されると、サーバ14の特定部38は、図36に示されている連携機能管理テーブルにおいて、PC(A)と複合機(B)の組み合わせに対応付けられている連携機能を特定する。これにより、PC(A)と複合機(B)を連携させることによって実行される連携機能が特定される。また、ユーザによって機器の接続順番が指定されると、特定部38は、連携機能管理テーブルにおいて、その接続順番に対応付けられている優先順位を特定する。図36を参照して具体例を挙げて説明すると、PC(A)と複合機(B)が連携対象の機器として指定されているため、それらによって実行される連携機能は「スキャン転送機能」と「印刷機能」である。また、複合機(B)からPC(A)へ機器が接続されているため(B→A)、「スキャン転送機能」の優先順位は「1位」であり、「印刷機能」の優先順位は「2位」である。
上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ14から端末装置16に送信される。端末装置16の制御部48は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてUI部46に表示させる。
例えば図37(b)に示すように、端末装置16の制御部48は、UI部46に連携機能表示画面132を表示させ、その連携機能表示画面132に連携機能候補に関する情報を表示させる。「スキャン転送機能」の優先順位が「1位」であり、「印刷機能」の優先順位が「2位」であるため、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に(例えば上位に)表示されている。例えば、「スキャン転送機能」に関する情報として、「複合機(B)でスキャンしたデータをPC(A)に転送する。」という「スキャン転送機能」の説明文が表示される。また、「印刷機能」に関する情報として、「PC(A)にあるデータを印刷する。」という「印刷機能」の説明文が表示される。
連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。例えば、「YES」ボタンがユーザによって押されると、その「YES」ボタンに紐付く連携機能が実行される。また、連携機能表示画面132に「戻る」ボタンが表示されており、ユーザが「戻る」ボタンを押すことにより、機器の接続処理が中止される。
なお、連携機能の特定処理及び優先順位の特定処理は、端末装置16にて行われてもよい。
機器画像の間を操作子でなぞる以外の操作として、丸印を付けるような描画操作によって連携対象の機器を指定するとともに、接続順番を指定してもよい。例えば、描画操作の順番が接続順番に相当する。別の例として、ユーザの音声指示に従って連携対象の機器や接続順番が指定されてもよい。
図38には別の操作の例が示されている。例えば図38(a)に示すように、ユーザが操作子を用いて、機器表示画面68上で機器画像88をタッチし、矢印134で示す方向に機器画像70まで操作することにより、機器画像88と機器画像70を繋ぐ。これにより、機器画像88に紐付くPC(A)と機器画像70に紐付く複合機(B)が、連携対象の機器として指定されるとともに、接続の順番が指定される。この例では、機器画像88から機器画像70へ画像を繋げているため、PC(A)から複合機(B)へ機器が接続されている。図36に示されている連携機能管理テーブルを参照すると、「印刷機能」の優先順位が「1位」であり、「スキャン転送機能」の優先順位は「2位」である。この場合、図38(b)に示すように、連携機能表示画面136において、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に(例えば上位に)表示される。
以上のように、機器に紐付く機器画像同士を繋ぐことにより、機器が有する機能を利用する連携機能が特定される。また、画像を繋ぐ順番、つまり、機器を接続する順番に応じて、連携機能に関する情報の表示順位が変更される。機器の接続順番は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を接続する操作(つまり画像を繋ぐ操作)は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。例えば、複合機(B)からPC(A)へ画像が繋がれた場合、「PC(A)よりも先に複合機(B)の機能を利用し、複合機(B)からPC(A)へデータを転送する」という連携機能がユーザによって利用されると予測される。また、PC(A)から複合機(B)へ画像が繋がれた場合、「複合機(B)よりも先にPC(A)の機能を利用し、PC(A)から複合機(B)へデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、画像を繋ぐ順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。また、機器画像同士を繋ぐ操作以外の特別な操作を行わずに、利用する機能の順番やデータの移動順番が指定され、ユーザが利用するであろうと予測される連携機能に関する情報が表示される。
上記の表示切替処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、第1機能に紐付く機器画像と第2機能に紐付く機器画像の指定の順番に応じて、連携機能に関する情報の表示が切り替えられる。
また、上記の表示切替処理は、上記の実施例6等に係る候補リスト(例えば図26参照)に表示される連携機能に関する情報に適用されてもよい。つまり、複合機(B)が第1機器として指定された場合、第2機器の候補(連携先の候補)としてPC(A)が候補リストに含まれて表示され、PC(A)に紐付く連携機能に関する情報(複合機(B)とPC(A)とによって実行可能な連携機能に関する情報)として、例えば図37(b)に示されている順番で複数の連携機能に関する情報が表示される。一方、PC(A)が第1機器として指定された場合、第2機器の候補(連携先の候補)として複合機(B)が候補リストに含まれて表示され、複合機(B)に紐付く連携機能に関する情報として、例えば図38(b)に示されている順番で複数の連携機能に関する情報が表示される。
(部分画像を用いた連携処理)
機器に紐付く機器画像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっていてもよい。機器画像内において特定の位置がユーザによって指定されると、その特定の位置に対応する機能を利用する連携機能に関する情報が優先的に表示される。以下、この処理について詳しく説明する。
図39には、機器機能管理テーブルの一例が示されている。この機器機能管理テーブルのデータは、機器機能管理情報32としてサーバ14に記憶されている。この機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器画像内位置を示す情報と、その機器画像内位置に対応する機能を示す情報(機能情報)と、画像IDと、が対応付けられている。機器画像内位置は、機器に紐付く機器画像内の特定の位置(特定の部位)であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の特定の位置毎に、異なる機能が対応付けられている。
図40には、端末装置16のUI部46に表示される画面の一例が示されている。例えば、複合機(B)とPC(A)が識別されているものとする。図40(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に機器画像70,88が表示されている。例えば、機器画像70において複合機(B)の本体部分に対応する特定の位置(部分画像70a)には、「プリント機能」が割り当てられている。機器画像70において複合機(B)の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する特定の位置(部分画像70b)には、「スキャン機能」が割り当てられている。機器画像70において後処理装置に対応する特定の位置(部分画像70c)には、「ステープル止め機能」が割り当てられている。「ステープル止め機能」は、出力された用紙をステープルによって止める機能である。また、機器画像88においてPC(A)の本体部分に対応する特定の位置(部分画像88a)には、「データ保存機能」が割り当てられている。機器画像88においてPC(A)の表示部に対応する特定の位置(部分画像88b)には、「画面表示機能」が割り当てられている。「データ保存機能」は、他の装置から送られてきたデータをPC(A)にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをPC(A)にて表示する機能である。
なお、端末装置16の制御部48は、機器画像内の特定の位置に割り当てられている機能の名称(例えば印刷やスキャン等)を機器表示画面68に表示させてもよい。これにより、特定の位置にどのような機能が対応しているのかが分かり易い情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。
機器画像において機能が割り当てられている位置がユーザによって指定されると、その指定された位置に割り当てられている機能が連携対象の機能として指定される。ユーザは指示子を用いて、連携対象の機器を表わす機器画像において機能が割り当てられている特定の位置(部分画像)を繋ぐ。例えば、矢印138で示すように、ユーザが操作子を用いて、機器表示画面68上で部分画像70bをタッチして部分画像88bまで操作することにより、部分画像70bと部分画像88bを繋ぐ。これにより、部分画像70bを含む機器画像70に紐付く複合機(B)と部分画像88bを含む機器画像88に紐付くPC(A)が、連携対象の機器として指定されるとともに、部分画像70bに割り当てられている「スキャン機能」と部分画像88bに割り当てられている「画面表示機能」が指定される。また、この繋ぐ操作によって、接続の順番が指定されてもよい。この場合、部分画像を繋ぐ順番が接続の順番に相当する。図40(a)に示す例では、部分画像70bから部分画像88bへ画像を繋げているため、複合機(B)からPC(A)へ機器が接続されている。また、連携機能に利用する機能として「スキャン機能」と「画面表示機能」が指定されている。機器の接続順番を示す情報と、機器画像内においてユーザによって指定された特定の位置を示す情報が、端末装置16からサーバ14に送信される。
連携対象の機器(例えばPC(A)と複合機(B))が識別されると、サーバ14の特定部38は、例えば図7に示されている連携機能管理テーブルにおいて、PC(A)と複合機(B)を連携させることによって実現される連携機能を特定する。また、特定部38は、図39に示されている機器機能管理テーブルを参照することにより、機器画像内においてユーザによって指定された特定に位置に割り当てられている機能を特定する。そして、特定部38は、PC(A)と複合機(B)とを連携させることによって実現される連携機能群の中で、ユーザによって指定された位置に割り当てられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。
上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ14から端末装置16に送信される。端末装置16の制御部48は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてUI部46に表示させる。
例えば図40(b)に示すように、端末装置16の制御部48は、UI部46の表示部に連携機能表示画面140を表示させ、その連携機能表示画面140に連携機能候補に関する情報を表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」を連携させることによって実行される連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に(例えば上位に)表示される。例えば、「スキャン機能」と「データ保存機能」を連携させることによって実行される連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、スキャン転送表示機能は、複合機(B)によるスキャンによって生成されたデータをPC(A)に転送してPC(A)の画面に表示する機能である。スキャン転送保存機能は、複合機(B)によるスキャンによって生成されたデータをPC(A)に転送してPC(A)に保存する機能である。図40(b)に示す例では、各連携機能に関する情報として、各連携機能の説明文が表示されている。
部分画像を用いた連携処理によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。
なお、連携機能は、機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよいし、機器の全体同士の組み合わせを利用する機能であってもよい。
部分画像を用いた連携処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、機能画像内の位置に応じて異なる機能が割り当てられており、ユーザによって指定された位置に割り当てられている機能を利用する連携機能が特定される。
部分画像を用いた連携処理においても、上記の実施例1から実施例8が適用されてもよい。例えば、第1機器に紐付く第1画像内の部分画像がユーザによって指定された場合、その部分画像に紐付く部分に割り当てられている機能と共に連携機能を実行することが可能な第2機器の全体又は部分の案内の通知が制御されてもよい。別の例として、第1機器に紐付く第1画像の全体がユーザによって指定された場合、第1機器と共に連携機能を実行することが可能な第2機器の部分の案内の通知が制御されてもよい。その案内の通知として、上記の実施例6で説明した候補リストに、第2機器の全体又は部分が含まれて表示されてもよい。第1機器の全体又は部分がユーザによって指定された場合に、第1機器の全体又は部分と共に連携機能を実行することができる第2機器の全体又は部分の案内の通知がなされてもよいし、ユーザによって指定された第1機器の全体又は部分と共に連携機能を実行することができない第2機器の全体又は部分が指定された場合に、第1機器の全体又は部分と共に連携機能を実行することができる第2機器の全体又は部分の案内の通知がなされてもよい。以下、これらの処理について詳しく説明する。
例えば、第1機器に紐付く第1画像(全体画像)が指定された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、その第1機器と共に連携機能を実行することが可能な機能であって、第2機器が有する1又は複数の機能への案内を通知する。より詳しく説明すると、端末装置16の制御部48は、第2機器に含まれる1又は複数の部分に紐付く1又は複数の部分画像(第2機器に紐付く第2画像内の1又は複数の部分画像)であって、第1機器と共に連携機能を実行することが可能な機能が割り当てられている1又は複数の部分に紐付く1又は複数の部分画像への案内を通知する。例えば、端末装置16の制御部48は、実施例1から実施例8と同様に、案内を通知するための矢印を表わす画像を端末装置16のUI部46に表示させたり、その案内を音声によって行ったり、その案内を示す文字列をUI部46に表示させたりする。図40(a)を参照して説明すると、複合機(B)に紐付く機器画像70が第1画像としてユーザによって指定された場合、複合機(B)と共に連携機能を実行することが可能なPC(A)の機能が割り当てられた部分に紐付く部分画像への案内が通知される。例えば、PC(A)の「画面表示機能」が、複合機(B)と共に連携機能を実行することが可能な機能に該当する場合、「画面表示機能」に紐付く部分画像88bへの案内の通知がなされる。例えば、複合機(B)に紐付く機器画像70と部分画像88bとを結ぶ矢印が表示されたり、「画面表示機能」が音声によって案内されたり、「画面表示機能」を示す文字列が表示されたり、部分画像88bが、他の部分画像と識別可能な状態で表示されたりする。なお、第1画像としての機器画像70がユーザによって指定された場合に、案内が通知されてもよいし、PC(A)内の部分であって、複合機(B)と共に連携機能を実行することができない機能が割り当てられている部分がユーザによって指定された場合に、案内が通知されてもよい。
別の例として、第1機器に紐付く第1画像内の部分画像が指定された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、その部分画像に紐付く部分に割り当てられた機能(第1機器が有する機能)と共に連携機能を実行することが可能な第2機器(機器全体)への案内を通知してもよい。図40(a)を参照して説明すると、例えば、複合機(B)に紐付く部分画像70aがユーザによって指定された場合、部分画像70aに紐付く部分に割り当てられた「プリント機能」と共に連携機能を実行することが可能な第2機器に紐付く第2画像への案内が通知される。例えば、PC(A)が、複合機(B)と共に連携機能を実行することが可能な機器に該当する場合、PC(A)に紐付く機器画像88への案内が通知される。例えば、部分画像70aと機器画像88とを結ぶ矢印が表示されたり、PC(A)が音声によって案内されたり、PC(A)を示す文字列が表示されたり、機器画像88が他の機器画像と識別可能な状態で表示されたりする。なお、機器画像70内の部分画像がユーザによって指定された場合に、案内が通知されてもよいし、その部分画像に紐付く機能と共に連携機能を実行することができない機器に紐付く機器画像がユーザによって指定された場合に、案内が通知されてもよい。
別の例として、第1機器に紐付く第1画像内の部分画像(「第1部分画像」と称する)が指定された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、第1部分画像に紐付く部分に割り当てられた機能(第1機器が有する機能)と共に連携機能を実行することが可能な機能であって、第2機器が有する1又は複数の機能への案内を通知する。より詳しく説明すると、端末装置16の制御部48は、第2機器に含まれる1又は複数の部分に紐付く1又は複数の部分画像(第2機器に紐付く第2画像内の1又は複数の部分画像)(「第2部分画像」と称する)であって、第1部分画像に紐付く部分に割り当てられた機能と共に連携機能を実行することが可能な機能が割り当てられている1又は複数の部分に紐付く1又は複数の第2部分画像への案内を通知する。図40(a)を参照して説明すると、例えば、複合機(B)に紐付く部分画像70aがユーザによって指定された場合、部分画像70aに紐付く部分に割り当てられた「プリント機能」と共に連携機能を実行することが可能なPC(A)の機能が割り当てられている部分に紐付く第2部分画像への案内が通知される。例えば、PC(A)の「画面表示機能」が、「プリント機能」と共に連携機能を実行することが可能な機能に該当する場合、「画面表示機能」に紐付く部分画像88bへの案内の通知がなされる。例えば、部分画像70bと部分画像88bとを結ぶ矢印が表示されたり、「画面表示機能」が音声によって案内されたり、「画面表示機能」を示す文字列が表示されたり、部分画像88bが、他の部分画像と識別可能な状態で表示されたりする。なお、機器画像70内の部分画像がユーザによって指定された場合に、案内が通知されてもよいし、その部分画像に紐付く機能と共に連携機能を実行することができない機能に紐付く部分画像がユーザによって指定された場合に、案内が通知されてもよい。
3つ以上の部分画像が指定されることで3つ以上の機能がユーザによって指定されてもよい。例えば、2つの部分画像(つまり、2つの機能(第1機能と第2機能))がユーザによって指定された場合、その2つの機能と共に連携機能を実行することが可能な機能(第3機能)が割り当てられている部分への案内が通知されてもよい。この場合、サーバ14の特定部38は、第1機能に紐付く部分画像と第2機能に紐付く部分画像の指定の順番に応じて、案内される第3機能を変更してもよい。
同一の機器が有する複数の機能が連携対象の機能として指定されてもよい。例えば、PC(A)の「画面表示機能」と「データ保存機能」が連携対象の機能としてユーザによって指定されてもよいし、複合機(B)の「スキャン機能」、PC(A)の「画面表示機能」及び「データ保存機能」が連携対象の機能としてユーザによって指定されてもよい。この場合においても、先に指定された機能(例えば第1機能)と共に連携機能を実行することが可能な機能(例えば第2機能)が割り当てられている部分への案内が通知される。また、サーバ14の特定部38は、その指定の順番に従って各機能を利用する連携機能が特定し、その連携機能の優先順位を上げてもよい。
(部分画像を用いた連携処理の別の例)
以下、図41及び図42を参照して、部分画像を用いた連携処理の別の例について説明する。
図41には、機器機能管理テーブルの一例が示されている。この機器機能管理テーブルのデータは、機器機能管理情報32としてサーバ14に記憶されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器の部分の名称(例えば部分の種類)を示す情報と、その部分を識別するための部分識別情報としての部分IDと、その部分に割り当てられている機能(その部分が有する機能)を示す情報と、その部分に紐付く部分画像を識別するための部分画像IDと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表わす画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。
具体例を挙げて説明すると、PC(A)の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像IDには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をPC(A)にて表示する機能である。PC(A)の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像IDには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをPC(A)に保存する機能である。
また、複合機(B)の本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像IDには、プリント機能を示す情報が対応付けられている。複合機(B)の読取部(例えば、複合機(B)の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分)にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像IDには、スキャン機能を示す情報が対応付けられている。複合機(B)の後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像IDには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。
機器の部分に割り当てられている機能は、例えば、マーカレス型AR技術を用いることによって特定(識別)される。例えば、機器の部分がカメラ(例えば端末装置16のカメラ42)によって撮影された場合、その部分を表わす外観画像データが端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能管理テーブルにおいて、その外観画像データに対応付けられている機能を特定(識別)する。これにより、撮影された部分に割り当てられている機能が特定(識別)される。例えば、複合機(B)の本体部がカメラ42によって撮影された場合、複合機(B)の本体部を表わす外観画像データが端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能管理テーブルにおいて、その外観画像データに対応付けられているプリント機能を特定する。これにより、複合機(B)の本体部に割り当てられている機能がプリント機能であることが特定される。
もちろん、機器の部分に割り当てられている機能は、マーカ型AR技術を用いることによって特定(識別)されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報(例えば部分ID)がコード化された2次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型AR技術が適用されると、その部分の部分識別情報(例えば部分ID)が取得される。マーカ型AR技術の適用は、端末装置16で行われてもよいし、サーバ14で行われてもよい。このように部分識別情報が取得されると、サーバ14の特定部38は、機器機能管理テーブルにおいて、その部分識別情報(例えば部分ID)に対応付けられている機能を特定(識別)する。
図42には、連携機能管理テーブルの一例が示されている。この連携機能管理テーブルのデータは、連携機能管理情報34としてサーバ14に記憶されている。この連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分IDの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用する連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。
具体例を挙げて説明すると、PC(A)の表示部と複合機(B)の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、PC(A)の表示部の部分IDと複合機(B)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、PC(A)に保存されているデータを複合機(B)に送信して、そのデータを複合機(B)によって印刷する機能である。
また、複合機(B)の本体部とプロジェクタ(C)の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、複合機(B)の本体部の部分IDとプロジェクタ(C)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、プロジェクタ(C)によって投影されているデータを複合機(B)に送信して、そのデータを複合機(B)によって印刷する機能である。
また、複合機(B)の読取部とプロジェクタ(C)の本体部との組み合わせには、連携機能としてのスキャン投影機能が割り当てられており、複合機(B)の読取部の部分IDとプロジェクタ(C)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのスキャン投影機能を示す情報が対応付けられている。連携機能としてのスキャン投影機能は、例えば、複合機(B)によるスキャンによって生成されたデータをプロジェクタ(C)に送信して、そのデータをプロジェクタ(C)によって投影する機能である。
なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用する機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用する機能であってもよい。また、連携機能は、3つ以上の部分が有する機能を利用する機能であってもよい。
例えば、マーカ型AR技術又はマーカレス型AR技術を利用して、機器の複数の部分(例えば、互いに異なる複数の機器の複数の部分や、同一機器の複数の部分)が特定(識別)されると、サーバ14の特定部38は、連携機能管理テーブルにおいて、識別された複数の部分の組み合わせに対応付けられている連携機能を特定(識別)する。これにより、識別(例えば撮影)された複数の部分が有する機能を利用する連携機能が特定(識別)される。例えば、複合機(B)の本体部とプロジェクタ(C)の本体部が、端末装置16のカメラ42によって撮影されて、複合機(B)の本体部とプロジェクタ(C)の本体部が識別された場合、サーバ14の特定部38は、連携機能管理テーブルにおいて、複合機(B)の本体部とプロジェクタ(C)の本体部の組み合わせに対応付けられている連携機能としてのプリント機能等を特定する。
このような連携処理においても、上記の実施例1から実施例8が適用されてもよい。例えば、機器の第1部分が特定(識別)された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、その第1部分に割り当てられている機能と共に連携機能を実行することが可能な機器の第2部分を案内する。
(機器画像の重ね合わせによる連携対象の機器の指定)
複数の機器画像を重ね合わせることによって、連携対象の機器群が指定されてもよい。以下、図43及び図44を参照して、この処理について説明する。図43及び図44には、端末装置16のUI部46に表示される画面の一例が示されている。
例えば、複合機(B)とPC(A)が識別されているものとする。図43(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器に紐付く機器画像70,88が表示されている。この状態で、ユーザが指示子(例えばユーザの指、ペン、スタイラス等)を用いて第1機器に紐付く機器画像を、連携先の機器(第2機器)に紐付く機器画像に重ね合わせる。例えば、図43(b)に示すように、ユーザが操作子を用いて機器画像70を指定し、矢印142で示すように、その機器画像70を機器画像88に重ね合わせる。例えば、ドラッグ&ドロップ操作によって機器画像同士を重ね合わせる。つまり、ユーザは機器画像70をドラッグ操作し、機器画像88に重なる位置で機器画像70をドロップ操作する。このドラッグ&ドロップ操作自体は、例えば公知の技術である。なお、ユーザの音声指示に従って、重ね合わせる機器画像が指定されてもよい。例えば、ユーザの音声指示に従って、機器画像70,88が重ね合わせ対象の機器画像として指定され、それらが重ねられてもよい。
機器画像70,88を互いに重ね合わせることにより、機器画像70に紐付く複合機(B)と機器画像88に紐付くPC(A)が、連携対象の機器として指定される。例えば、先に指定された複合機(B)が第1機器に該当する。後に指定されたPC(A)が、複合機(B)と共に連携機能を実行することができない機器の場合、上記の実施例1から実施例8と同様に、複合機(B)と共に連携機能を実行することが可能な機器の案内が通知される。
なお、端末装置16の制御部48は、ドラッグ操作中の機器画像を識別可能な表示態様でUI部46に表示させてもよい。例えば、ドラッグ操作中の機器画像を半透明に表示したり、特定の色で表示したりしてもよい。
機器画像70が機器画像88に重ねられた場合において、PC(A)が複合機(B)と共に連携機能を実行することが可能な場合、図43(c)に示すように、端末装置16のUI部46に確認画面144が表示される。確認画面144は、連携対象の機器として指定された機器群を連携させるか否かを確認するための画面である。確認画面144において、連携指示がユーザによって与えられると(例えば「YES」ボタンがユーザによって押されると)、連携機能に関する情報が端末装置16のUI部46に表示される。
例えば図44(a)に示すように、端末装置16の制御部48は、UI部46に連携機能表示画面146を表示させ、その連携機能表示画面146に連携機能候補に関する情報を表示させる。PC(A)と複合機(B)を連携させることにより、例えば、「スキャン転送機能」と「印刷機能」が実現されるため、連携機能表示画面146には、「スキャン転送機能」に関する情報と「印刷機能」に関する情報が表示される。
連携機能がユーザによって指定されて実行指示が与えられると、端末装置16から連携対象の機器に対して接続要求が行われる。図44(b)に示すように、その接続要求の間、端末装置16のUI部46には待機画面148が表示される。端末装置16と連携対象の機器との接続が成功すると、指定された連携機能が実行される。
以上のように、機器に紐付いた機器画像同士を重ね合わせることにより、機器が有する機能を利用する連携機能が特定される。それ故、画像操作以外の操作を行わずに、機能を連携させることが可能となり、簡易な操作で機能が連携される。この場合においても、第1機器と共に連携機能を実行することが可能な第2機器の案内が通知されるので、その案内が通知されない場合と比べて、連携機能の利用時におけるユーザの利便性が向上する。
部分画像を機器画像又は部分画像に重ね合わせることで、連携機能が特定されてもよい。図45を参照して、この処理について説明する。図45には、端末装置16のUI部46に表示される画面の一例が示されている。
上述した部分画像を用いた連携処理と同様に、機器に紐付く機器画像内の位置に応じて、機器が有する機能が異なっている。機器画像内の部分画像を、同一又は異なる機器画像内の部分画像に重ね合わせることにより、両部分画像に紐付く機能を利用する連携機能が特定される。以下、この処理について詳しく説明する。
例えば、複合機(B)とPC(A)が識別されているものとする。図45(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に機器画像70,88が表示されている。例えば、部分画像70a,70b,70c,88a,88bは他の部分画像から分離して個別的に移動可能な画像として表示されている。
部分画像がユーザによって指定されて、その部分画像が他の部分画像に重ねられると、それら両部分画像に紐付く機能を利用する連携機能が特定され、その連携機能に関する情報が端末装置16のUI部46に表示される。この特定処理は、サーバ14の特定部38によって行われてもよいし、端末装置16によって行われてもよい。
例えば、図45(b)中の矢印150で示すように、ユーザが操作子を用いて、部分画像70bをドラッグ操作して部分画像88bに重ねてドロップ操作を行った場合、部分画像70bを含む機器画像70に紐付く複合機(B)と部分画像88bを含む機器画像88に紐付くPC(A)が、連携対象の機器として指定されるとともに、部分画像70bに割り当てられている「スキャン機能」と部分画像88bに割り当てられている「画面表示機能」が連携対象の機能として指定される。
サーバ14においては、部分画像に割り当てられている機能が管理されている。例えば、部分画像を識別するための識別情報と、部分画像に対応付けられている機能を示す機能情報と、機能を連携させることによって実行される連携機能を示す連携機能情報と、が対応付けられてサーバ14に記憶されている。機器表示画面68上で部分画像が選択されて他の部分画像に重ねられると、それらの部分画像を示す識別情報が、端末装置16からサーバ14に送信される。図45(b)に示す例では、部分画像70b,88bをそれぞれ示す識別情報が端末装置16からサーバ14に送信される。サーバ14の特定部38は、その識別情報に基づいて、重ねられた部分画像70b,88bのそれぞれに割り当てられている機能を特定し、その機能を利用する連携機能を特定する。その連携機能に関する情報は、サーバ14から端末装置16に送信されて表示される。
以上の処理によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、この指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。
また、部分画像を重ね合わせる順番に応じて、連携機能の表示の優先順位が変更されてもよい。この場合、重ねられた部分画像に紐付く機能を利用する連携機能に関する情報が優先的に表示される。
部分画像同士を重ね合わせる場合において、先に指定された部分画像が第1画像に相当し、その部分画像に紐付く機能が第1機能に相当する。後に指定された部分画像(第1画像が重ねられる部分画像)が第2画像に相当し、その部分画像に紐付く機能が第2機能に相当する。後に指定された機能が、先に指定された機能と共に連携機能を実行することができない機能の場合、上記の実施例1から実施例8と同様に、先に指定された機能と共に連携機能を実行することが可能な機能の案内が通知される。上記の例で説明すると、後に指定された部分画像88bに紐付く「画面表示機能」が、先に指定された部分画像70bに紐付く「スキャン機能」と共に連携機能を実行することができない場合、先に指定された「スキャン機能」と共に連携機能を実行することが可能な機能の案内が通知される。この場合、先に指定された機能(例えば「スキャン機能」)と共に連携機能を実行することが可能な機器の全体(例えば機器画像そのもの)が案内されてもよいし、先に指定された機能と共に連携機能を実行することが可能な機能が割り当てられた機器の部分(例えば部分画像)が案内されてもよい。
(単独機能と連携機能の表示の切り替え処理)
本実施形態において、機器が単独で利用される機能(以下、「単独機能」と称する)の表示と、連携機能の表示と、の切り替え制御が行われてもよい。
例えば、予め設定された識別時間内に、1つの機器のみが識別された場合、端末装置16の制御部48は、当該1つの機器(例えば画像形成装置10)が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。識別期間の長さは、ユーザによって変更されてもよい。なお、AR技術を適用することで機器を識別してもよいし、AR技術以外の技術を適用することで機器を識別してもよい。機器の識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。識別時間の始点(起算点)は、例えば、1つの機器が識別された時点であってもよいし、ユーザが指定した時点(例えば識別処理開始時点)であってもよい。
例えば、1つの機器が識別された時点から識別時間内に、別の機器が識別されない場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。この場合、当該1つの機器は、識別期間内に識別された機器として扱われる。機器に関する情報は、サーバ14から端末装置16に送信された情報であってもよいし、端末装置16に予め記憶されている情報であってもよい。
別の例として、ユーザが指定した時点を識別時間の開始時点として、その開始時点から識別時間内に1つの機器のみが識別された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機器に関する情報として、端末装置16のUI部46に表示させる。
別の例として、1つの機器が識別された後、単独機能の表示指示が与えられた場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させてもよい。端末装置16の制御部48は、例えば、常時、又は、1つの機器が撮影された場合(又は1つの機器が識別された場合)、単独機能の表示を指示するためのボタン画像を、端末装置16のUI部46に表示させる。そのボタン画像がユーザによって押された場合、制御部48は、当該1つの機器が有する機能に関する情報をUI部46に表示させる。
識別時間が経過した時点で、端末装置16の制御部48は、確認画面を端末装置16のUI部46に表示させてもよい。その確認画面は、例えば、ユーザが識別時間の延長を指示するための画面である。ユーザが確認画面を介して識別時間の延長を指示した場合において、その延長時間内に別の機器が撮影されない場合、端末装置16の制御部48は、識別された機器が有する機能に関する情報を、端末装置16のUI部46に表示させる。
単独機能に関する情報の表示制御について更に詳しく説明する。例えば、マーカ型AR技術又はマーカレス型AR技術によって機器が識別されるものとする。例えば、予め設定された撮影時間内に、1つの機器のみが撮影された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。撮影時間の始点(起算点)は、1つの機器が撮影された時点であってもよいし、ユーザが指示した時点(例えば撮影開始時点)であってもよい。撮影時間の長さは、ユーザによって変更されてもよい。なお、当該1つの機器が撮影されると、マーカ型AR技術又はマーカレス型AR技術によって、当該1つの機器が識別される。この識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
例えば、1つの機器が撮影された時点から撮影時間内に、別の機器が撮影されない場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。この場合、当該1つの機器は、撮影時間内に撮影された機器として扱われる。
別の例として、ユーザが指定した時点を撮影時間の開始時点として、その開始時点から撮影時間内に1つの機器のみが撮影された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。
別の例として、1つの機器が撮影された後、単独機能の表示指示が与えられた場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させてもよい。
例えば、撮影時間内に1つの機器のみが撮影された場合(例えば、1つ目の機器が撮影された時点から撮影時間内に別の機器が撮影されない場合や、ユーザが指定した開始時点から撮影時間内に1つの機器のみが撮影された場合)、端末装置16の制御部48は、その撮影で生成された画像データをサーバ14に送信する。撮影時間は、制御部48によって計測されてもよいし、タイマーによって計測されてもよい。サーバ14の特定部38は、その画像データに基づいて機器を特定(識別)し、その機器が有する機能を特定する。その機能に関する情報は、サーバ14から端末装置16に送信され、端末装置16のUI部46に表示される。もちろん、端末装置16が時間の管理を行わずに、サーバ14が時間の管理を行って、識別された機器が有する機能に関する情報を端末装置16に送信してもよい。
撮影時間が経過した時点で、端末装置16の制御部48は、確認画面を端末装置16のUI部46に表示させてもよい。その確認画面は、例えば、ユーザが撮影時間の延長を指示するための画面である。ユーザが確認画面を介して撮影時間の延長を指示した場合において、その延長時間内に別の機器が撮影されない場合、端末装置16の制御部48は、撮影で得られた画像データをサーバ14に送信し、それに応じて、当該1つの機器が有する機能を端末装置16のUI部46に表示させる。延長時間の長さは、ユーザによって変更されてもよい。
別の例として、端末装置16の制御部48は、1つの機器が撮影された後、単独機能の表示指示が与えられた場合、その撮影で生成された画像データをサーバ14に送信し、それに応じて、撮影された機器が有する機能に関する情報をサーバ14から受信してもよい。
更に別の例として、端末装置16の制御部48は、機器が撮影されて画像データが生成される度に、その画像データをサーバ14に送信し、それに応じて、撮影された機器が有する機能に関する情報をサーバ14から受信してもよい。この場合、端末装置16の制御部48は、撮影時間内に1つの機器のみが撮影された場合、当該1つの機器に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。
一方、識別時間内に複数の機器が識別された場合、サーバ14の制御部36は、連携機能モードを実行する。連携機能モードにおいては、上記の実施例1から実施例8と同様に、第1機器と共に連携機能を実行することが可能な第2機器への案内が通知される。
例えば、1つの目の機器が識別された時点から識別時間内に、別の機器が識別された場合、連携機能モードが実行される。この場合、1つ目の機器も、識別時間内に識別された機器として扱われる。また、1つ目の機器が識別された時点から識別時間内に別の機器が識別された場合、サーバ14の制御部36は、当該別の機器が識別された時点を開始時点とした新たな識別時間を設定してもよい。以降についても同様であり、新たな識別時間内に更に別の機器が識別された場合、更に新たな識別時間が設定される。
別の例として、ユーザが指定した時点を識別時間の開始時点として、その開始時点から識別時間内に複数の機器が撮影された場合、連携機能モードが実行されてもよい。
別の例として、複数の機器が識別された後、連携機能の表示指示が与えられた場合、連携機能モードが実行されてもよい。端末装置16の制御部48は、例えば、常時、又は、複数の機器が撮影された場合(又は複数の機器が識別された場合)、連携機能の表示を指示するためのボタン画像をUI部46に表示させる。そのボタン画像がユーザによって押された場合、連携機能モードが実行される。
別の例として、1つ目の機器が識別された後、当該1つ目の機器が有する機能の実行指示が与えられない間に、別の機器が識別された場合、連携機能モードが実行されてもよい。
連携機能モードの実行について更に詳しく説明する。例えば、マーカ型AR技術又はマーカレス型AR技術によって複数の機器が識別されるものとする。例えば、予め設定された撮影時間内に複数の機器が撮影された場合、連携機能モードが実行される。例えば、1つの目の機器が撮影された時点から撮影時間内に、別の機器が撮影された場合、連携機能モードが実行される。この場合、1つ目の機器も、撮影時間内に撮影された機器として扱われる。また、1つ目の機器が撮影された時点から撮影時間内に別の機器が撮影された場合、サーバ14の制御部36は、当該別の機器が撮影された時点を開始時点とした新たな撮影時間を設定してもよい。以降についても同様であり、新たな撮影時間内に更に別の機器が撮影された場合、更に新たな撮影時間が設定される。
別の例として、ユーザが指定した時点を撮影時間の開始時点として、その開始時点から撮影時間内に複数の機器が撮影された場合、連携機能モードが実行されてもよい。
別の例として、複数の機器が撮影された後、連携機能の表示指示が与えられた場合に、連携機能モードが実行されてもよい。
別の例として、1つ目の機器が撮影された後、当該1つ目の機器が有する機能の実行指示が与えられない間に、別の機器が撮影された場合、連携機能モードが実行されてもよい。
以上のように、単独機能と連携機能の表示の切り替え処理によると、1つの機器が識別(例えば撮影)された場合、当該1つの機器が有する機能に関する情報が表示され、複数の機器が識別(例えば撮影)された場合、連携機能モードが実行される。これにより、識別(例えば撮影)された機器を利用して実行可能な機能の情報がユーザに提供され、ユーザにとって便利である。
また、AR技術を適用して機器を識別するだけで単独機能や連携機能の利用が可能になるため、機能を実行するための設定等をユーザがマニュアル操作で行う場合と比べて、簡単な作業で各機能の利用が可能となり、ユーザの手間も軽減する。
なお、本実施形態において、識別された機器に紐付く機器画像や重ねられた機器画像は、背景画像に埋もれないように3次元で表示されてもよい。つまり、それらの画像が3次元画像として表示されてもよい。例えば、背景画像が2次元で表示され、機器画像が3次元で表示される。これより、機器画像の視認性が向上する。また、ユーザによって指定された機器画像が他の機器画像から識別されるように、指定された機器画像の色を変えたり、指定された機器画像を振動させたりしてもよい。
また、本実施形態によると、AR技術を適用することにより、連携対象の機器が有する機能を利用する連携機能が特定され、その連携機能に関する情報が表示される。これにより、連携対象の機器によってどのような連携機能が実行可能であるのかその外観からでは分からない場合であっても、その連携機能に関する情報がユーザに提供される。また、個々の機器が単独では実行できない機能が、複数の機器を連携させることによって実行できるようになり、便利である。また、AR技術を適用して連携対象の機器を識別するだけで連携機能の利用が可能となるため、連携機能を実行するための設定等をユーザがマニュアル操作で行う場合と比べて、簡単な操作で連携機能の利用が可能となり、ユーザの手間が軽減される。
上記の画像形成装置10、サーバ14及び端末装置16のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、画像形成装置10、サーバ14及び端末装置16のそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像形成装置10、サーバ14及び端末装置16の各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、画像形成装置10、サーバ14及び端末装置16のそれぞれの各部は、例えばプロセッサや電子回路やASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、画像形成装置10、サーバ14及び端末装置16のそれぞれの各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。
以下に、付記として本発明の構成の一例を示す。
(付記1)
連携機能に用いられる機器の候補を受け付ける受付手段と、
前記連携機能の設定が完了する前に、前記受付手段が受け付けた前記機器の候補と、前記機器の候補と連携する機器の候補とが連携可能である場合に、矢印画像を用いて表示する制御手段と、
を有し、
前記機器の候補と、前記機器の候補と連携する機器の候補は、撮影手段によって撮影されることで識別される機器である、
情報処理装置。
(付記2)
前記制御手段は、更に、前記機器の候補と、前記機器の候補と連携する機器の候補との組み合わせに応じた優先度に従って、前記機器の候補と連携する機器の候補への案内の通知を制御する、
ことを特徴とする付記1に記載の情報処理装置。
(付記3)
前記優先度は、前記機器の候補と、前記機器の候補と連携する機器の候補とを用いて実行できる前記連携機能の優先度である、
ことを特徴とする付記2に記載の情報処理装置。
(付記4)
前記受付手段が、前記機器の候補と、前記機器の候補と連携する機器の候補とを受け付けた場合、前記制御手段は、更に、その受付の順番に応じて、前記機器の候補と、前記機器の候補と連携する機器の候補と共に、前記連携機能を実行できる別の機器の候補を変えて、前記別の機器の候補への案内の通知を制御する、
ことを特徴とする付記1に記載の情報処理装置。