[第1実施形態]
図1を参照して、本発明の第1実施形態に係る情報処理システムとしての画像形成システムについて説明する。図1には、第1実施形態に係る画像形成システムの一例が示されている。
第1実施形態に係る画像形成システムは、機器の一例としての画像形成装置10と、機器の一例としての端末装置12と、サーバ14と、情報処理装置の一例としての端末装置16と、を含む。画像形成装置10、端末装置12,16及びサーバ14は、ネットワーク等の通信経路Nを介して互いに接続されている。もちろん、画像形成装置10、端末装置12,16及びサーバ14は、それぞれ異なる通信経路を介して他の装置に接続されてもよい。図1に示す例では、2つの機器(画像形成装置10と端末装置12)が画像形成システムに含まれているが、1つ以上の機器が画像形成システムに含まれていればよい。また、複数のサーバ14及び複数の端末装置16が、画像形成システムに含まれていてもよい。
画像形成装置10は画像形成機能を備えた装置である。具体的には、画像形成装置10は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を備えた装置である。また、画像形成装置10は、他の装置との間でデータを送受信する機能を備えている。
端末装置12,16は、PC(パーソナルコンピュータ)、タブレットPC、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を備えている。端末装置16は、例えば、画像形成装置10等の機器の利用時に、ユーザインターフェース部(UI部)として機能する。
サーバ14は、各機器が有する機能を管理する装置である。例えば、サーバ14は、複数の機能を連携させることによって実行される連携機能を管理する。また、サーバ14は、他の装置との間でデータを送受信する機能を備えている。
図1に示す例では、機器の一例として、画像形成装置10と端末装置12が画像形成システムに含まれているが、これは一例に過ぎない。プロジェクタ等の表示装置、電話機、時計、監視カメラ、等の装置が、機器として画像形成システムに含まれていてもよい。もちろん、画像形成装置10や端末装置12が画像形成システムに含まれていなくてもよい。
なお、サーバ14は、ユーザ毎に、ユーザによって利用可能な機能を管理してもよい。例えば、ユーザによって購入された機能が当該ユーザによって利用可能な機能であり、サーバ14は、ユーザ毎に機能購入履歴を管理してもよい。もちろん、無料で利用できる機能、追加アップデータ機能、管理者によって特別に管理されている機能等もあるので、サーバ14は、一概に購入の有無による機能を管理しているだけではない。機能の購入処理は、例えば、サーバ14によって行われる。もちろん、別の装置によって購入処理が行われてもよい。
第1実施形態に係る画像形成システムにおいては、複数の機能を連携させることによって実行される連携機能が特定され、複数の連携機能に関する情報が優先順位に従って表示される。
以下、第1実施形態に係る画像形成システムに含まれる各装置について詳しく説明する。
まず、図2を参照して、画像形成装置10の構成について詳しく説明する。図2には、画像形成装置10の構成が示されている。
通信部18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部18は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
画像形成部20は画像形成に関する機能を実行する。具体的には、画像形成部20は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を実行する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を連携させた連携機能が実行されてもよい。例えば、スキャン機能と送信機能(転送機能)とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成され、そのスキャンデータが送信先(例えば端末装置16等の外部装置)に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。
記憶部22はハードディスクやSSD等の記憶装置である。記憶部22には、例えば、画像形成の命令を示す情報(例えばジョブ情報等)、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、サーバ14のアドレスを示すサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
UI部24はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。なお、画像形成装置10はUI部24を備えていなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部(ハードウェアUI部)を備えていてもよい。ハードウェアUI部は、例えば、数字入力に特化したハードウェアキー(例えばテンキー)、方向の指示に特化したハードウェアキー(例えば方向指示キー)、等である。
制御部26は、画像形成装置10の各部の動作を制御する。
次に、図3を参照して、サーバ14の構成について詳しく説明する。図3には、サーバ14の構成が示されている。
通信部28は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部28は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
記憶部30はハードディスクやSSD等の記憶装置である。記憶部30には、例えば、機器機能情報32、連携機能情報34、各種のデータ、各種のプログラム、各機器のアドレスを示す機器アドレス情報、サーバ14のアドレスを示すサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。記憶部30に記憶されている機器機能情報32や連携機能情報34が、定期的に又は指定されたタイミングで端末装置16に提供され、これにより、端末装置16に記憶されている情報が更新されてもよい。以下、機器機能情報32と連携機能情報34について説明する。
機器機能情報32は、画像形成システムに含まれる各機器(例えば画像形成装置10や端末装置12)が有する機能を示す情報であり、例えば、機器を識別するための機器識別情報と、当該機器が有する機能を識別するための機能識別情報と、の対応付けを示す情報である。機器識別情報は、例えば、機器ID、機器名称、機器の種類を示す情報、型番号、位置情報、等である。機能識別情報は、例えば、機能IDや機能名称等である。例えば、ある画像形成装置10がスキャン機能、プリント機能、コピー機能及びスキャン転送機能を備えている場合、当該画像形成装置10の機器識別情報には、スキャン機能を示す機能識別情報、プリント機能を示す機能識別情報、コピー機能を示す機能識別情報及びスキャン転送機能を示す機能識別情報が対応付けられている。機器機能情報32を参照することにより、各機器が有する機能が特定(識別)される。
連携機能情報34は、複数の機能を連携させることによって実行される連携機能を示す情報である。複数の機能を連携させることによって、1又は複数の連携機能が実行される。連携機能は、1つの機器(例えば画像形成装置10又は端末装置12)が有する複数の機能を連携させることによって実行されてもよいし、複数の機器(例えば画像形成装置10と端末装置12)が有する複数の機能を連携させることによって実行されてもよい。また、操作指示を出している端末装置(本実施形態では、端末装置16)も識別対象の機器に含め、端末装置が有する機能を連携機能の一部として利用するようにしてもよい。
連携機能情報34は、例えば、連携機能を実行するために連携される各機能を識別するための機能識別情報の組み合わせを示す情報と、当該連携機能を識別するための連携機能識別情報と、当該連携機能に利用される各機能を接続する順番を示す情報と、当該連携機能の表示の優先順位を示す情報と、の対応付けを示す情報である。連携機能識別情報は、例えば、連携機能IDや連携機能名称等である。表示の優先順位は、端末装置16において連携機能に関する情報(例えば連携機能識別情報)が表示される順位である。
複数の機器を連携させる場合、連携機能情報34は、複数の機器が有する複数の機能を連携させることによって実行される連携機能を示す情報であり、連携機能を実行するために連携される各機器を識別するための機器識別情報の組み合わせを示す情報と、連携機能識別情報と、当該連携機能に利用される各機器を接続する順番を示す情報と、当該連携機能の表示の優先順位を示す情報と、の対応付けを示す情報である。
連携機能は、互いに異なる複数の機能を連携させることによって実行される機能であってもよいし、同一の機能を連携させることによって実行される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器(プリンタ)とスキャン機能を有する機器(スキャナ)を連携させることにより、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることにより、コピー機能が実現される。この場合、コピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能情報34においては、例えば、連携機能としてのコピー機能を識別するための連携機能識別情報と、プリント機能を有する機器を識別するための機器識別情報及びスキャン機能を有する機器を識別するための機器識別情報の組み合わせと、が対応付けられる。
なお、記憶部30には、機能購入履歴情報が記憶されていてもよい。機能購入履歴情報は、各ユーザによる機能の購入履歴を示す情報、つまり、各ユーザによって購入された機能を示す情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザによって購入された機能を示す機能識別情報と、の対応付けを示す情報である。ユーザ識別情報は、例えば、ユーザIDや氏名等のユーザアカウント情報である。ユーザによって購入された機能は、当該ユーザによって利用可能な機能である。機能購入履歴情報を参照することにより、各ユーザが購入した機能、つまり、各ユーザが利用可能な機能が特定される。機能購入履歴情報は、例えば、ユーザが機能を購入する度に更新される。
制御部36は、サーバ14の各部の動作を制御する。また、制御部36は、特定部38を含む。
特定部38は、機器を識別するための機器識別情報を受け、記憶部30に記憶されている機器機能情報32において当該機器識別情報に対応付けられている機能の機能識別情報を特定する。これにより、機器が有する機能が特定される。例えば、端末装置16からサーバ14に機器識別情報が送信され、特定部38によって、当該機器識別情報に対応付けられている機能の機能識別情報が特定される。機能に関する情報(例えば、機能識別情報や機能の説明情報等)は、例えばサーバ14から端末装置16に送信されて表示される。これにより、機器識別情報によって特定される機器が有する機能に関する情報が、端末装置16に表示される。
また、特定部38は、連携対象の各機器を識別するための機器識別情報を受け、記憶部30に記憶されている連携機能情報34において各機器識別情報の組み合わせに対応付けられている連携機能の連携機能識別情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行される連携機能が特定される。例えば、端末装置16からサーバ14に複数の機器識別情報が送信され、特定部38によって、当該複数の機器識別情報に対応付けられている連携機能の連携機能識別情報が特定される。連携機能に関する情報(例えば、連携機能識別情報や連携機能の説明情報等)は、例えばサーバ14から端末装置16に送信されて表示される。これにより、複数の機器識別情報によって特定される複数の機器によって実行される連携機能に関する情報が、端末装置16に表示される。
また、特定部38は、連携機能情報34を参照し、連携機能に利用される各機能の接続の順番に基づいて、連携機能に関する情報の表示の優先順位を決定する。例えば、複数の機能を連携させることによって複数の連携機能が実現される場合がある。この場合、各機能の接続順番に基づいて、複数の連携機能に含まれる各連携機能に関する情報の表示の優先順位が決定される。端末装置16においては、その優先順位に従って連携機能に関する情報が表示される。例えば、機器に紐付いた画像が端末装置16に表示され、画像同士がユーザによって繋がれる。複数の機器が有する複数の機能を連携させる場合、当該複数の機器に紐付いた複数の画像がユーザによって繋がれる。画像を繋ぐ順番が、機能の接続順番に相当する。特定部38は、画像を繋ぐ順番に基づいて、連携機能に関する情報の表示の優先順位を特定する。
なお、機能の購入履歴が管理されている場合、特定部38は、ユーザを識別するためのユーザ識別情報を受け、記憶部30に記憶されている機能購入履歴情報において当該ユーザ識別情報に対応付けられている各機能の機能識別情報を特定してもよい。これにより、当該ユーザによって購入された機能群、つまり、当該ユーザによって利用可能な機能群が特定(識別)される。例えば、端末装置16からサーバ14にユーザ識別情報が送信され、特定部38によって、当該ユーザ識別情報に対応付けられている各機能の機能識別情報が特定される。各機能の機能識別情報(例えば各機能の名称を示す情報)は、例えばサーバ14から端末装置16に送信されて表示される。これにより、ユーザ識別情報によって特定されるユーザが利用可能な機能を識別するための情報(機能識別情報)が、端末装置16に表示される。例えば、特定部38は、機器識別情報とユーザ識別情報を受け、機器機能情報32において当該機器識別情報に対応付けられている機能の機能識別情報を特定し、また、機能購入履歴情報において当該ユーザ識別情報に対応付けられている機能の機能識別情報を特定する。これにより、当該機器識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。その機能を示す機能識別情報は、例えばサーバ14から端末装置16に送信されて表示される。
制御部36は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部36は、当該ユーザに対して課金処理を適用し、その購入の履歴を示す機能購入履歴情報を作成する。
次に、図4を参照して、端末装置16の構成について詳しく説明する。図4には、端末装置16の構成が示されている。
通信部40は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部40は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
撮影手段としてのカメラ42は、撮影対象を撮影することにより画像データ(例えば静止画像データや動画像データ)を生成する。また、端末装置16のカメラを利用するだけではなく、ネットワーク等の通信経路に繋がった外部のカメラで撮影された画像データを通信部40で受け取り、UI部46で画像データを表示し、画像データを操作できるようにしてもよい。
記憶部44はハードディスクやSSD等の記憶装置であり、各種のプログラム、各種のデータ、サーバ14のアドレス情報、各機器のアドレス情報(例えば各画像形成装置10や端末装置12のアドレス情報)、識別した連携対象の機器に関する情報、連携機能に関する情報、等を記憶する。
UI部46はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えば、タッチパネル、キーボード、マウス、等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えばタッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示するものを含む)であってもよい。
制御部48は、端末装置16の各部の動作を制御する。制御部48は、例えば表示制御手段(制御手段)として機能し、各種の情報をUI部46の表示部に表示させる。
UI部46の表示部には、例えば、カメラ42によって撮影された画像や、利用対象の機器(例えば連携対象の機器)として識別された機器に紐付いた画像、等が表示される。機器に紐付いた画像は、カメラ42によって撮影された当該機器を表わす画像(静止画像又は動画像)であってもよいし、当該機器を模式的に表す画像(例えばアイコン)であってもよい。模式的に表す画像のデータは、例えば、サーバ14に記憶されてサーバ14から端末装置16に提供されてもよいし、端末装置16に予め記憶されていてもよい。例えば複数の機器を連携させて連携機能を実行する場合、複数の機器がカメラ42によって撮影され、各機器を表わす画像がUI部46の表示部に表示される。ユーザが連携対象の各機器に紐付いた各画像を繋ぐことにより、連携対象の機器群によって実行される連携機能が特定され、その繋ぐ順番に応じた優先順位に従って、連携機能に関する情報がUI部46の表示部に表示される。
機器としての端末装置12は、例えば上記の端末装置16と同様の構成を備えている。端末装置12はカメラ42を備えていなくてもよい。
なお、上述した機器機能情報32は、端末装置16の記憶部44に記憶されていてもよい。この場合、機器機能情報32は、サーバ14の記憶部30に記憶されていなくてもよい。同様に、上述した連携機能情報34は、端末装置16の記憶部44に記憶されていてもよい。この場合、連携機能情報34は、サーバ14の記憶部30に記憶されていなくてもよい。また、端末装置16の制御部48は、上述した特定部38を備え、機器識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を連携させることによって実行される連携機能を特定してもよい。この場合、サーバ14は特定部38を備えていなくてもよい。機能購入履歴情報が作成されている場合、その機能購入履歴情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、機能購入履歴情報は、サーバ14の記憶部30に記憶されていなくてもよい。また、端末装置16の制御部48は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ14の制御部36は、その管理機能を備えていなくてもよい。また、端末装置16の制御部48は、ユーザ識別情報に基づいて、ユーザによって利用可能な機能を特定してもよい。更に別の例として、画像形成装置10や端末装置12等の機器に、機器機能情報32や連携機能情報34が記憶されていてもよいし、画像形成装置10や端末装置12等の機器が特定部38を備えていてもよい。つまり、サーバ14の特定部38による処理は、サーバ14において行われてもよいし、端末装置16において行われてもよいし、画像形成装置10や端末装置16等の機器において行われてもよい。
第1実施形態では、一例として、AR(Augmented Reality)技術(拡張現実技術)を適用することにより、機器識別情報が取得されて利用対象の機器が識別される。例えば、AR技術を適用することにより、連携対象の機器の機器識別情報が取得されて連携対象の機器が識別される。AR技術として公知のAR技術が用いられる。例えば、2次元バーコード等のマーカを用いるマーカ型AR技術、画像認識技術を用いるマーカレス型AR技術、位置情報を用いる位置情報AR技術、等が用いられる。もちろん、AR技術を適用せずに機器識別情報が取得されて利用対象の機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、IPアドレスに基づいて機器を識別してもよいし、機器IDを読み出して機器を識別してもよい。
以下、図5を参照して、機器の機器識別情報の取得処理について詳しく説明する。一例として、画像形成装置10の機器識別情報を取得する場合について説明する。図5には、画像形成装置10の外観が模式的に示されている。ここでは、マーカ型AR技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置10の筐体には、2次元バーコード等のマーカ50が設けられている。マーカ50は、画像形成装置10の機器識別情報がコード化された情報である。ユーザは端末装置16のカメラ42を起動させ、利用対象の画像形成装置10に設けられているマーカ50をカメラ42によって撮影する。これにより、マーカ50を表す画像データが生成される。その画像データは、例えば、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該画像データに表されたマーカ像に対してデコード処理を適用することにより、機器識別情報を抽出する。これにより、利用対象の画像形成装置10(撮影されたマーカ50を有する画像形成装置10)が識別される。サーバ14の特定部38は、機器機能情報32において、抽出された機器識別情報に対応付けられている機能の機能識別情報を特定する。これにより、利用対象の画像形成装置10が有する機能が特定される。
なお、端末装置16の制御部48が、マーカ50を表す画像データにデコード処理を適用することにより、機器識別情報を抽出してもよい。この場合、抽出された機器識別情報は、端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能情報32において、端末装置16から送信された機器識別情報に対応付けられている機能の機能識別情報を特定する。端末装置16の記憶部44に機器機能情報32が記憶されている場合、端末装置16の制御部48が、その機器機能情報32において、抽出された機器識別情報に対応付けられている機能の機能識別情報を特定してもよい。
マーカ50には、画像形成装置10が有する機能の機能識別情報がコード化されて含まれていてもよい。この場合、マーカ50を表す画像データにデコード処理を適用することにより、当該画像形成装置10の機能識別情報が抽出されるとともに、当該画像形成装置10が有する機能の機能識別情報も抽出される。これにより、画像形成装置10が特定されるとともに、当該画像形成装置10が有する機能が特定される。このデコード処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
複数の機器を連携させることによって連携機能を実行する場合、連携対象の各機器のマーカを撮影することにより各機器の機器識別情報が取得され、これにより、連携機能が特定される。
マーカレス型AR技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置16のカメラ42によって、利用対象の機器(例えば画像形成装置10)の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称(例えば商品名)や型番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。その外観画像データは、例えば端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、サーバ14の記憶部30には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器の機器識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部36は、例えば、端末装置16から送信された外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器の機器識別情報を特定する。例えば、制御部36は、端末装置16から送信された外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられている機器識別情報を特定する。これにより、利用対象の機器(カメラ42によって撮影された機器)が認識される。別の例として、機器の名称(例えば商品名)や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器を識別してもよい。サーバ14の特定部38は、機器機能情報32において、特定された機器識別情報に対応付けられている各機能の機能識別情報を特定する。これにより、利用対象の機器(例えば画像形成装置10)が有する機能が特定される。
なお、端末装置16の制御部48が、利用対象の機器(例えば画像形成装置10)の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器の機器識別情報を特定してもよい。外観画像対応付け情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、端末装置16の制御部48は、端末装置16の記憶部44に記憶されている外観画像対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定する。または、端末装置16の制御部48は、サーバ14から外観画像対応付け情報を取得し、当該外観画像対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定してもよい。
複数の機器を連携させることによって連携機能を実行する場合、連携対象の各機器の外観の全部又は一部を撮影することにより各機器の機器識別情報が取得され、これにより、連携機能が特定される。
位置情報AR技術を適用してデバイス識別情報を取得する場合、例えば、GPS(Global Positioning System)機能を利用することにより、機器(例えば画像形成装置10)が設置されている位置を示す位置情報が取得される。例えば、各機器がGPS機能を備えており、機器自身の位置を示す機器位置情報を取得する。端末装置16は、利用対象の機器に対して機器位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器の機器位置情報を受信する。その機器位置情報は、例えば、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該機器位置情報に基づいて利用対象の機器を識別する。例えば、サーバ14の記憶部30には、機器毎に、機器が設置されている位置を示す機器位置情報と、当該機器の機器識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部36は、その位置対応付け情報において、端末装置16から送信された機器位置情報に対応付けられている機器識別情報を特定する。これにより、利用対象の機器が認識される。サーバ14の特定部38は、機器機能情報32において、特定された機器識別情報に対応付けられている各機能の機能識別情報を特定する。これにより、利用対象の機器(例えば画像形成装置10)が有する機能が認識される。
なお、端末装置16の制御部48が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられている機器識別情報を特定してもよい。位置対応付け情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、端末装置16の制御部48は、端末装置16の記憶部44に記憶されている位置対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定する。別の例として、端末装置16の制御部48は、サーバ14から位置対応付け情報を取得し、当該位置対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定してもよい。
複数の機器を連携させることによって連携機能を実行する場合、連携対象の各機器の機器位置情報が取得され、各機器位置情報に基づいて各機器の機器識別情報が特定される。これにより、連携機能が特定される。
以下、第1実施形態に係る画像形成システムについて詳しく説明する。
まず、図6を参照して、機器機能情報32について詳しく説明する。図6には、機器機能情報32としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器が有する機能を示す情報(機能識別情報)と、画像IDと、が対応付けられている。機器IDと機器名は機器識別情報の一例に相当する。画像IDは、機器を模式的に表す画像(例えばアイコン)を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像IDは含まれていなくてもよい。例えば、機器IDが「B」の機器は、複合機(複数の画像形成機能を有する画像形成装置)であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器を模式的に表す画像を識別するための画像IDが対応付けられている。機器を模式的に表す画像のデータは、例えば、サーバ14の記憶部30に記憶されている。
例えば、AR技術を適用することにより、利用対象の機器を識別するための機器IDが取得される。サーバ14の特定部38は、機器機能管理テーブルを参照することにより、その機器IDに対応付けられている機器名、機能及び画像IDを特定する。これにより、利用対象の機器が識別される。例えば、機器名を示す情報、及び、機器を模式的に表す画像のデータが、サーバ14から端末装置16に送信され、それらが端末装置16のUI部46に表示される。機器を模式的に表す画像は、当該機器に紐付いた画像として表示される。もちろん、機器を模式的に表す画像は表示されずに、カメラ42によって撮影された画像そのものが端末装置16のUI部46に表示されてもよい。また、端末装置16のUI部46において、機器に紐付いた画像(例えば、カメラ42によって撮影された画像や、機器を模式的に表す画像)がユーザによって指定されると、その機器が有する機能に関する情報(例えば、機能識別情報や機能の説明情報等)が、サーバ14から端末装置16に送信されて端末装置16のUI部46に表示されてもよい。
次に、図7を参照して、連携機能情報34について詳しく説明する。図7には、連携機能情報34としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器IDの組み合わせを示す情報と、連携対象の機器名(例えば各機器の種類)を示す情報、連携機能を示す情報(連携機能識別情報)と、接続順番を示す情報と、優先順位を示す情報と、が対応付けられている。接続順番は、機器に紐付いた画像を繋ぐ順番に対応している。優先順位は、連携機能に関する情報の表示の優先順位である。例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機(B)を連携させることにより、連携機能として、例えば「スキャン転送機能」と「印刷機能」が実現される。「スキャン転送機能」は、複合機(B)によるスキャンによって生成された画像データをPC(A)に転送する機能である。「印刷機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機(B)に送信して複合機(B)にて印刷する機能である。例えば、複合機(B)からPC(A)に機器が接続された場合、つまり、複合機(B)に紐付いた画像からPC(A)に紐付いた画像へ画像が繋がれた場合、「スキャン転送機能」の優先順位が「1位」となり、「印刷機能」の優先順位は「2位」となる。この場合、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に表示される。これとは逆に、PC(A)から複合機(B)に機器が接続された場合、つまり、PC(A)に紐付いた画像から複合機(B)に紐付いた画像へ画像が繋がれた場合、「印刷機能」の優先順位が「1位」となり、「スキャン転送機能」の優先順位が「2位」となる。この場合、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。
次に、図8を参照して、端末装置16のUI部46に表示される画面について詳しく説明する。図8には、機能表示画面の一例が示されている。機能表示画面は、単体の機器を利用する際に、端末装置16のUI部46に表示される画面である。
例えば、上述したマーカ型AR技術、マーカレス型AR技術、又は、位置情報AR技術のいずれかの技術を用いることにより、利用対象の機器(例えば画像形成装置10)の機器識別情報が取得されてその機器が識別され、その機器識別情報に対応付けられている各機能を示す機能識別情報、つまり、利用対象の機器(識別された機器)が有する各機能を示す機能識別情報が特定される。また、利用対象の機器を利用するユーザのユーザ識別情報に対応付けられている各機能を示す機能識別情報、つまり、当該ユーザによって利用可能な各機能を示す機能識別情報が特定されてもよい。それらの情報が、機能表示画面として端末装置16のUI部46に表示される。また、利用対象の機器が有する機能が特定されるので、販売対象となっている機能群の中で利用対象の機器が有していない機能が特定されてもよい。利用対象の機器が有していない各機能を示す機能識別情報が、機能表示画面に表示されてもよい。
図8に示されている機能表示画面52には、機能識別情報の一例として、機能Aを表すボタン像54、機能Bを表すボタン像56、及び、機能Cを表すボタン像58が、表示されている。機能Aは、利用対象の機器(AR技術等によって識別された機器)が有している機能であって、ユーザによって利用可能な機能、つまり、当該ユーザによって購入された機能である。機能Bは、利用対象の機器が有している機能であって、ユーザによる利用が不可能な機能、つまり、当該ユーザによって購入されていない機能である。ユーザが機能Bを購入することにより、当該ユーザによる機能Bの利用が可能となる。機能Cは、利用対象の機器が有していない機能、つまり、利用対象の機器が対応していない機能である。端末装置16の制御部48は、ボタン像によって表されている機能が、利用対象の機器が有している機能であるか否かに応じて、当該ボタン像の表示態様を変えてもよい。また、制御部48は、ボタン像によって表されている機能が、ユーザによって利用可能な機能であるか否かに応じて、当該ボタン像の表示態様を変えてもよい。例えば、制御部48は、ボタン像の色や形状を変える。図8に示す例では、ボタン像54,56,58はそれぞれ異なる色で表示されている。一例として、利用対象の機器が有している機能であってユーザによって利用可能な機能を表すボタン像(例えば機能Aを表すボタン像54)は、青色で表示される。利用対象の機器が有している機能であってユーザによる利用が不可能な機能を表すボタン像(機能Bを表すボタン像56)は、黄色で表示される。利用対象の機器が有していない機能を表すボタン像(例えば機能Cを表すボタン像58)は、灰色で表示される。別の例として、制御部48は、ボタン像54,56,58の形状を変えてもよいし、機能表示名のフォントを変えてもよい。もちろん、別の手法によって表示態様を変えてもよい。これにより、ユーザに視認性良く各機能の利用可否が伝えられる。
例えば、ユーザが端末装置16を利用して機能Aを表すボタン像54を指定し、機能Aの実行の指示を与えると、機能Aの実行指示を示す実行指示情報が、端末装置16から利用対象の機器に送信される。その実行指示情報には、機能Aを実行するための制御データや、機能Aによる処理が適用される画像データ等のデータ、等が含まれる。利用対象の機器は実行指示情報を受けると、その実行指示情報に従って機能Aを実行する。例えば、利用対象の機器が画像形成装置10の場合であって機能Aがスキャン転送機能の場合、画像形成装置10の画像形成部20によってスキャン機能が実行され、これによりスキャンデータ(画像データ)が生成される。そのスキャンデータは、画像形成装置10から設定された送信先(例えば端末装置16)に送信される。
また、ユーザが端末装置16を利用して機能Bを表すボタン像56を指定し、機能Bの購入を指示した場合、購入処理が実行される。購入処理がサーバ14によって行われる場合、端末装置16はサーバ14にアクセスする。これにより、ユーザによる機能Bの利用を可能にするための情報として、機能Bを購入するための画面(例えばWebサイト)が端末装置16のUI部46に表示される。この画面上で購入手続きを行うことにより、ユーザによる機能Bの利用が許可される。例えば、端末装置16にはWebブラウザのプログラムが記憶されており、そのWebブラウザを利用することにより、端末装置16からサーバ14へのアクセスが実現される。ユーザはWebブラウザを用いてサーバ14にアクセスすると、端末装置16のUI部46に、機能購入画面(例えばWebサイト)が表示され、そのWebサイトを介して機能が購入される。もちろん、サーバ14以外のサーバ等によって購入処理が行われてもよい。別の例として、端末装置16のUI部46には、ユーザによる機能Bの利用を可能にするための情報として、管理者等に機能Bの利用を依頼するための利用許可依頼画面(例えばWebサイト)が表示されてもよい。この利用許可依頼画面を介して機能Bの利用の許可を管理者等に依頼し、その許可が得られた場合、ユーザによる機能Bの利用が可能となる。
以下、AR技術を適用して複数の機能を連携させる方法について詳しく説明する。
図9を参照して、マーカ型AR技術又はマーカレス型AR技術を適用して複数の機器を識別し、当該複数の機器が有する複数の機能を連携させる方法について説明する。図9には、連携対象の機器の一例が示されている。一例として、連携対象の機器として画像形成装置10と端末装置12が用いられるものとする。画像形成装置10は例えば複合機であり、端末装置12は例えばPC(パーソナルコンピュータ)である。画像形成装置10と端末装置12は、現実空間に存在する機器である。端末装置16は、複数の機能を連携させる際に利用される、現実空間に存在する機器である。端末装置16は、例えばスマートフォンや携帯電話等の携帯端末装置である。
例えば、画像形成装置10の筐体に2次元バーコード等のマーカ50が設けられており、端末装置12(PC)の筐体に2次元バーコード等のマーカ60が設けられている。マーカ60は、端末装置12の機器識別情報がコード化された情報である。マーカ型AR技術又はマーカレス型AR技術が用いられる場合、ユーザは端末装置16(例えばスマートフォン)のカメラ42によって、連携対象の画像形成装置10と端末装置12を撮影する。図9に示す例では、カメラ42の撮影領域に画像形成装置10と端末装置12の両方が含まれる状態で、画像形成装置10と端末装置12が一緒に撮影されている。これにより、マーカ50,60をそれぞれ表す画像データが生成され、端末装置16からサーバ14に送信される。サーバ14においては、制御部36がその画像データにデコード処理を適用することにより、画像形成装置10の機器識別情報と端末装置12の機器識別情報を抽出し、これにより画像形成装置10と端末装置12を識別する。別の例として、画像形成装置10と端末装置12の両方の外観を表わす外観画像データが生成され、端末装置16からサーバ14に送信されてもよい。この場合、サーバ14においては、制御部36が、外観画像対応付け情報を参照することにより、画像形成装置10の機器識別情報と端末装置12の機器識別情報を特定する。これにより、画像形成装置10と端末装置12が識別される。もちろん、連携対象の機器を識別するための処理は、端末装置16によって行われてもよい。
端末装置16のUI部46の表示部には機器表示画面62が表示され、その機器表示画面62に、画像形成装置10に紐付いた機器像64と端末装置12に紐付いた機器像66が表示される。機器像64,66は、カメラ42によって撮影された機器(画像形成装置10と端末装置12)の画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)であってもよいし、識別された機器に紐付く予め用意された画像データ(撮影で得られた画像そのものではなく模式的な画像(例えばアイコン))であってもよい。上述したように、外部のカメラで撮影された機器を表わす画像を利用するようにしてもよい。
例えば、機器を撮影することで得られた画像データを利用する場合、現在の機器そのものの外観(例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観)が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。
模式的な画像を利用する場合、模式的な画像のデータは、例えばサーバ14から端末装置16に送信される。例えば画像形成装置10が識別されると、サーバ14の特定部38は、図6に示されている機器機能管理テーブル(機器機能情報32)を参照することにより、画像形成装置10に紐付く模式的な画像を特定する。その模式的な画像のデータはサーバ14から端末装置16に送信され、その模式的な画像は機器像64として機器表示画面62に表示される。端末装置12に紐付いた機器像66についても同様である。模式的な画像としての機器像64,66のデータが端末装置16に予め記憶されていてもよい。この場合、画像形成装置10が識別されると、端末装置16に記憶されている機器像64が機器表示画面62に表示される。端末装置12についても同様である。模式的な画像のデータは、サーバ14や端末装置16以外の装置に記憶されていてもよい。
また、機器が識別されると、その機器の名称を示す情報がサーバ14から端末装置16に送信され、端末装置16において、機器表示画面62に機器の名称が表示されてもよい。図9に示す例では、画像形成装置10は複合機であり、その名称は「複合機(B)」である。端末装置12はPC(パーソナルコンピュータ)であり、その名称は「PC(A)」である。
なお、AR技術等を適用しても撮影対象の機器が識別されない場合、その撮影対象の機器を表わす機器像は、機器表示画面62に表示されなくてもよい。これにより、識別された機器の視認性が向上する。例えば、識別された機器と識別されない機器が混在し、それぞれがカメラ42によって撮影された場合、識別されない機器を表わす機器像を非表示にする。これにより、識別された機器を表わす機器像が、識別されない機器を表わす機器像に埋もれずに表示されるので、識別された機器の視認性が向上する。また、識別された機器を表わす機器像(例えば機器像64,66)を強調して表示してもよい。例えば、識別された機器を表わす機器像を特定の色で表示してもよいし、機器像の縁を強調して表示してもよいし、機器像を拡大して表示してもよいし、機器像を3次元で表示してもよいし、機器像を振動させて表示してもよい。これにより、識別された機器の視認性が向上する。
ユーザが機器表示画面62上にて機器像64,66を操作することにより、連携対象の機器として画像形成装置10と端末装置12が指定され、画像形成装置10と端末装置12を連携させることにより実行される連携機能が特定される。機器像を操作する順番に応じた優先順位に従って、連携機能に関する情報が端末装置16のUI部46に表示される。
以下、図10及び図11を参照して、連携機能を特定するための操作について詳しく説明する。
図10及び図11には、端末装置16のUI部46に表示される画面の一例が示されている。例えば、画像形成装置10と端末装置12が連携対象の機器として識別されているものとする。図10(a)に示すように、端末装置16のUI部46には機器表示画面62が表示されており、その機器表示画面62に機器像64,66が表示されている。この状態で、ユーザは指示子(例えばユーザの指、ペン、スタイラス等)を用いて連携対象の機器を表わす機器像を繋ぐ。端末装置16の制御部48は、機器表示画面62への指示子の接触を検知し、機器表示画面62上での指示子の移動を検知する。例えば、矢印68で示すように、ユーザが操作子を用いて機器表示画面62上で機器像64をタッチして機器像66まで操作する(例えば、機器表示画面62上で操作子をなぞる)ことにより、機器像64と機器像66を繋ぐ。これにより、機器像64に紐付いた画像形成装置10(複合機(B))と機器像66に紐付いた端末装置12(PC(A))が、連携対象の機器として指定されるとともに、接続の順番が指定される。機器像を繋ぐ順番が接続の順番に相当する。図10(a)に示す例では、機器像64から機器像66へ画像を繋げているため、画像形成装置10(複合機(B))から端末装置12(PC(A))へ機器が接続されている。機器の接続順番を示す情報は、端末装置16からサーバ14に送信される。なお、端末装置16の制御部48は、ユーザがなぞった軌跡を表わす画像を機器表示画面62に表示させてもよいし、機器同士が接続された後は、その軌跡を予め設定された直線等に置き換えて機器表示画面62に表示させてもよい。
上記のように、連携対象の機器(例えば画像形成装置10と端末装置12)が指定されると、サーバ14の特定部38は、図7に示されている連携機能管理テーブル(連携機能情報34)において、PC(A)と複合機(B)の組み合わせに対応付けられている連携機能を特定する。これにより、PC(A)と複合機(B)を連携させることによって実行される連携機能が特定される。また、ユーザによって機器の接続順番が指定されると、特定部38は、連携機能管理テーブルにおいて、その接続順番に対応付けられている優先順位を特定する。図7を参照して具体例を挙げて説明すると、PC(A)と複合機(B)が連携対象の機器として指定されているため、それらによって実行される連携機能は「スキャン転送機能」と「印刷機能」である。また、複合機(B)からPC(A)へ機器が接続されているため(B→A)、「スキャン転送機能」の優先順位は「1位」であり、「印刷機能」の優先順位は「2位」である。
上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ14から端末装置16に送信される。端末装置16の制御部48は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてUI部46に表示させる。
例えば図10(b)に示すように、端末装置16の制御部48は、UI部46に連携機能表示画面70を表示させ、その連携機能表示画面70に連携機能候補に関する情報を表示させる。「スキャン転送機能」の優先順位が「1位」であり、「印刷機能」の優先順位が「2位」であるため、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に(例えば上位に)表示されている。例えば、「スキャン転送機能」に関する情報として、「複合機(B)でスキャンしたデータをPC(A)に転送する。」という「スキャン転送機能」の説明文が表示される。また、「印刷機能」に関する情報として、「PC(A)にあるデータを印刷する。」という「印刷機能」の説明文が表示される。
連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。例えば、「YES」ボタンがユーザによって押されると、その「YES」ボタンに紐付く連携機能が実行される。また、連携機能表示画面70に「戻る」ボタンが表示されており、ユーザが「戻る」ボタンを押すことにより、機器の接続処理が中止される。
なお、連携機能の特定処理及び優先順位の特定処理は、端末装置16にて行われてもよい。
機器像の間を操作子でなぞる以外の操作として、丸印を付けるような描画操作によって連携対象の機器を指定するとともに、接続順番を指定してもよい。例えば、描画操作の順番が接続順番に相当する。別の例として、ユーザの音声指示に従って連携対象の機器や接続順番が指定されてもよい。
図11には別の操作の例が示されている。例えば図11(a)に示すように、ユーザが操作子を用いて、機器表示画面62上で機器像66をタッチし、矢印72で示す方向に機器像64まで操作することにより、機器像66と機器像64を繋ぐ。これにより、機器像66に紐付いた端末装置12(PC(A))と機器像64に紐付いた画像形成装置10(複合機(B))が、連携対象の機器として指定されるとともに、接続の順番が指定される。この例では、機器像66から機器像64へ画像を繋げているため、端末装置12(PC(A))から画像形成装置10(複合機(B))へ機器が接続されている。図7に示されている連携機能管理テーブルを参照すると、「印刷機能」の優先順位が「1位」であり、「スキャン転送機能」の優先順位は「2位」である。この場合、図11(b)に示すように、連携機能表示画面74において、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に(例えば上位に)表示される。
以上のように、第1実施形態によると、機器に紐付いた機器像同士を繋ぐことにより、機器が有する機能を利用する連携機能が特定される。また、画像を繋ぐ順番、つまり、機器を接続する順番に応じて、連携機能に関する情報の表示順位が変更される。機器の接続順番は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を接続する操作(つまり画像を繋ぐ操作)は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。例えば、複合機(B)からPC(A)へ画像が繋がれた場合、「PC(A)よりも先に複合機(B)の機能を利用し、複合機(B)からPC(A)へデータを転送する」という連携機能がユーザによって利用されると予測される。また、PC(A)から複合機(B)へ画像が繋がれた場合、「複合機(B)よりも先にPC(A)の機能を利用し、PC(A)から複合機(B)へデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、画像を繋ぐ順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。また、機器像同士を繋ぐ操作以外の特別な操作を行わずに、利用する機能の順番やデータの移動順番が指定され、ユーザが利用するであろうと予測される連携機能に関する情報が表示される。
以下、第1実施形態の変形例について説明する。
(変形例1)
以下、変形例1について説明する。変形例1においては、機器に紐付いた機器像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっている。機器像内において特定の位置がユーザによって指定されると、その特定の位置に対応する機能を利用する連携機能に関する情報が優先的に表示される。以下、変形例1について詳しく説明する。
図12には、変形例1に係る機器機能管理テーブルの一例が示されている。変形例1に係る機器機能管理テーブルのデータは、機器機能情報32としてサーバ14に記憶されている。変形例1に係る機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、画像内位置を示す情報と、その画像内位置に対応する機能を示す情報(機能識別情報)と、画像IDと、が対応付けられている。画像内位置は、機器に紐付いた機器像内の特定の位置(特定の部位)であり、例えば、機器を模式的に表す機器像内の特定の位置や、カメラによって撮影された機器像内の特定の位置である。画像内の特定の位置毎に、異なる機能が対応付けられている。
図13には、端末装置16のUI部46に表示される画面の一例が示されている。例えば、画像形成装置10(複合機(B))と端末装置12(PC(A))が連携対象の機器として識別されているものとする。図13(a)に示すように、端末装置16のUI部46には機器表示画面62が表示されており、その機器表示画面62に機器像64,66が表示されている。例えば、機器像64において複合機(B)の本体部分に対応する特定の位置(部分像76)には、「プリント機能」が対応付けられている。機器像64において複合機(B)の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する特定の位置(部分像78)には、「スキャン機能」が対応付けられている。機器像64において後処理装置に対応する特定の位置(部分像80)には、「ステープル止め機能」が対応付けられている。「ステープル止め機能」は、出力された用紙をステープルによって止める機能である。また、機器像66においてPC(A)の本体部分に対応する特定の位置(部分像82)には、「データ保存機能」が対応付けられている。機器像66においてPC(A)の表示部に対応する特定の位置(部分像84)には、「画面表示機能」が対応付けられている。「データ保存機能」は、他の装置から送られてきたデータをPC(A)にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをPC(A)にて表示する機能である。
なお、端末装置16の制御部48は、機器像内の特定の位置に対応付けられている機能の名称(例えば印刷やスキャン等)を機器表示画面62に表示させてもよい。これにより、特定の位置にどのような機能が対応しているのかが分かり易い情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。
変形例1では、機器像において機能が対応付けられている位置がユーザによって指定されると、その指定された位置に対応付けられている機能が連携対象の機能として指定される。ユーザは指示子を用いて、連携対象の機器を表わす機器像において機能が対応付けられている特定の位置(部分像)を繋ぐ。例えば、矢印86で示すように、ユーザが操作子を用いて、機器表示画面62上で部分像78をタッチして部分像84まで操作することにより、部分像78と部分像84を繋ぐ。これにより、部分像78を含む機器像64に紐付いた複合機(B)と部分像84を含む機器像66に紐付いたPC(A)が、連携対象の機器として指定されるとともに、部分像78に対応する「スキャン機能」と部分像84に対応する「画面表示機能」が指定され、さらに、接続の順番が指定される。部分像を繋ぐ順番が接続の順番に相当する。図13(a)に示す例では、部分像78から部分像84へ画像を繋げているため、複合機(B)からPC(A)へ機器が接続されている。また、連携機能に利用する機能として「スキャン機能」と「画面表示機能」が指定されている。機器の接続順番を示す情報と、機器像内においてユーザによって指定された特定の位置を示す情報が、端末装置16からサーバ14に送信される。
連携対象の機器(例えばPC(A)と複合機(B))が識別されると、サーバ14の特定部38は、図7に示されている連携機能管理テーブルにおいて、PC(A)と複合機(B)を連携させることによって実現される連携機能を特定する。また、特定部38は、図12に示されている機器機能管理テーブルを参照することにより、機器像内においてユーザによって指定された特定に位置に対応付けられている機能を特定する。そして、特定部38は、PC(A)と複合機(B)とを連携させることによって実現される連携機能群の中で、ユーザによって指定された位置に対応付けられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。
上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ14から端末装置16に送信される。端末装置16の制御部48は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてUI部46に表示させる。
例えば図13(b)に示すように、端末装置16の制御部48は、UI部46の表示部に連携機能表示画面88を表示させ、その連携機能表示画面88に連携機能候補に関する情報を表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」を連携させることによって実行される連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に(例えば上位に)表示される。例えば、「スキャン機能」と「データ保存機能」を連携させることによって実行される連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、スキャン転送表示機能は、複合機(B)によるスキャンによって生成されたデータをPC(A)に転送してPC(A)の画面に表示する機能である。スキャン転送保存機能は、複合機(B)によるスキャンによって生成されたデータをPC(A)に転送してPC(A)に保存する機能である。図13(b)に示す例では、各連携機能に関する情報として、各連携機能の説明文が表示されている。
変形例1によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。
図14には、変形例1の別の例が示されている。図14は、端末装置16のUI部46に表示される画面の一例を示す図である。端末装置16の制御部48は、機能像内において、特定の機能が割り当てられている特定の位置(部分像)に、識別可能な接触領域像を重ねて表示させる。図14(a)に示す例では、部分像76に接触領域像90が重畳して表示されており、部分像78に接触領域像92が重畳して表示されており、部分像80に接触領域像94が重畳して表示されている。また、部分像82に接触領域像96が重畳して表示されており、部分像84に接触領域像98が重畳して表示されている。各接触領域像は、例えば、半透明又は不透明の画像であり、円形、楕円形、矩形等の形状を有する。特定の機能が割り当てられている位置に接触領域像を表示することにより、その位置が強調されるので、ユーザにとって、どの位置に機能が割り当てられているのかが分かり易くなる。つまり、どの位置が連携機能に利用される機能として反応する位置であるのかが分かり易くなる。
また、端末装置16の制御部48は、連携機能として利用される機能に対応する接触領域像や、ユーザによって指定された接触領域像が、他の接触領域像から識別されるように接触領域像の表示態様(例えば色及び形状の中の少なくとも1つ)を変えてもよい。例えば図14(b)に示すように、矢印100で示す操作によって、部分像78と部分像84が繋がれた場合、部分像78に対応する接触領域像92と部分像84に対応する接触領域像98の色が、他の接触領域像とは異なる色で表示される。
図15には、変形例1の更に別の例が示されている。図15は、端末装置16のUI部46に表示される画面の一例を示す図である。識別された機器が複数の機能を有している場合、同一機器が有する複数の機能が指定されることにより、当該複数の機能を連携することによって実行される連携機能が指定される。例えば図15(a)に示すように、ユーザが、矢印102,104,106が示す方向に画像を繋いだとする。この場合、部分像78,84,82,76が、その順番で繋がれる。サーバ14の特定部38は、部分像78,84,82,76に割り当てられている機能(スキャン機能、画面表示機能、データ保存機能、及び、プリント機能)を特定し、接続の順番に従って各機能を利用する連携機能を特定し、その連携機能の優先順位を上げる。これにより、その連携機能に関する情報が、他の連携機能に関する情報よりも優先的に表示される。図15(b)には、連携機能表示画面108が示されており、その連携機能表示画面108に、その連携機能に関する情報が優先的に表示されている。優先的な連携機能は、例えば、「複合機(B)によるスキャンによって生成されたデータをPC(A)に転送してPC(A)の画面に表示し、PC(A)にて色味調整を行った後、そのデータをPC(A)に保存するとともに複合機(B)に転送して複合機(B)にて印刷する」機能である。
(変形例2)
以下、図16及び図17を参照して、変形例2について説明する。図16及び図17には、端末装置16に表示される画面の一例が示されている。変形例2においては、予め設定された時間以上の間、機器像が押し続けられた場合に、複数機能選択モード(複数の機能を指定するモード)に移行する。
変形例2においても、画像形成装置10(複合機(B))と端末装置12(PC(A))が、連携対象の機器として識別されており、図16(a)に示すように、端末装置16において、機器表示画面62に機器像64,66が表示されている。例えば、ユーザが操作子を用いて、機器像64を予め設定された時間以上の間、指定し続けたものとする。つまり、機器像64が長押しされたものとする。図16(a)に示す例では、符号110で示す箇所が長押しされている。この場合、図16(b)に示すように、端末装置16のUI部46に機能選択画面112が表示され、その機能選択画面112に、複合機(B)が有する機能の一覧が表示される。図16(b)に示す例では、各機能の名称(スキャン、印刷、ステープラ止め、FAX送信)が表示されている。例えば、ユーザによって機器像64が指定されると、機器像64に紐付いた複合機(B)の機器識別情報が端末装置16からサーバ14に送信される。サーバ14においては、機器機能管理テーブルを参照することにより、複合機(B)が有する機能が特定される。その機能に関する情報(例えば機器識別情報)がサーバ14から端末装置16に送信されて表示される。もちろん、端末装置16にて、複合機(B)が有する機能が特定されてもよい。なお、端末装置16のユーザインターフェースが、ユーザの操作時の接触力を複数段階に分けて検知できる場合、その接触力が強くなったことを検知して(例えば、予め設定された接触力を検知した場合)、機能選択画面112を表示するようにしてもよい。
図16(b)に示されている機能選択画面112において、連携機能に利用する複数の機能がユーザによって選択される。例えば、(1)スキャン機能と(4)FAX送信機能が選択されたものとする。この場合、図16(c)に示すように、端末装置16のUI部46には確認画面114が表示される。確認画面114には、ユーザによって選択された機能を示す情報が表示される。そして、確認画面114において、ユーザが連携の順番(利用の順番)を指定すると、図17(a)に示すように、端末装置16のUI部46には、別の確認画面116が表示される。図17(a)に示す例では、(1)スキャン機能の順番が「1番」であり、(4)FAX送信機能の順番が「2番」である。なお、図16(b)に示されている機能選択画面112において、連携の順番に従って、連携機能に利用する複数の機能がユーザによって選択されてもよい。この場合、図16(c)に示されている確認画面114の表示が省略されて、図17(a)に示されている確認画面116が端末装置16のUI部46に表示される。
次に、図17(a)に示されている確認画面116において、ユーザによって「YES」ボタンが押されると、連携機能に利用される複合機(B)の機能が確定され、図17(b)に示すように、画面は機器表示画面62に遷移する。この機器表示画面62において、矢印118で示すように、ユーザが機器像64と機器像66を繋ぐ。これにより、連携機能に利用される機器としてPC(A)が指定されるとともに、連携の順番(利用の順番)が指定される。サーバ14の特定部38は、連携の順番に従って各機能を利用する連携機能を特定し、その連携機能の優先順位を上げる。これにより、その連携機能に関する情報が、他の連携機能に関する情報よりも優先的に表示される。連携機能に関する情報は、サーバ14から端末装置16に送信されて表示される。例えば図17(c)に示すように、連携機能表示画面120が端末装置16のUI部46に表示され、連携機能表示画面120に、連携機能に関する情報が表示される。連携の順番に従って各機能を利用する連携機能に関する情報は優先的に表示される。優先的な連携機能は、例えば、「複合機(B)によるスキャンによって生成された画像をFAX送信し、そのFAX送信したデータの写しをPC(A)に転送する」機能である。
なお、図17(a)に示されている確認画面116において、ユーザによって「NO」ボタンが押されると、連携機能に利用される複合機(B)の機能の選択が解除され、画面は機能選択画面112に戻る。また、機能選択画面112には「キャンセル」ボタンが表示されており、ユーザによって「キャンセル」ボタンが押されると、画面は機器表示画面62に戻る。
変形例2によると、指定された機器が有する機能の一覧が表示されるので、当該機器がどのような機能を有しているのかがユーザにとって分かり易くなる。
図18には、変形例2の別の例が示されている。変形例2においては、機器表示画面62に、複数の機能を選択するためのボタン像122が表示されている。ユーザが機能像を押しながらボタン像122を押すと、モードは複数機能選択モードに移行する。図18に示す例では、符号124で示すように、複合機(B)に紐付いた機器像64がユーザによって押された状態で、ボタン像122が押されている。この場合、画面は、図16(b)に示されている機能選択画面112に遷移する。それ以降、図16及び図17を参照して説明した処理が行われる。
(変形例3)
以下、図19を参照して、変形例3について説明する。図19には、端末装置16のUI部46に表示される画面の一例が示されている。
変形例3においても、画像形成装置10(複合機(B))と端末装置12(PC(A))が、連携対象の機器として識別されており、図19(a)に示すように、端末装置16において、機器表示画面62に機器像64,66が表示されている。また、矢印126,128,130で示すように、部分像78,84,82,76が、その順番で繋がれているものとする。つまり、スキャン機能、画面表示機能、データ保存機能、及び、プリント機能が、その順番で指定されている。
変形例3においては、解除対象の画像の1つ前に繋がれた画像が指定されると、解除対象の画像に紐付いた機能が連携機能から解除される。つまり、解除対象の機能が連携対象の機能から除外される。例えば、解除対象の画像の1つ前に繋がれた画像が指定されると、その指定を示す情報が端末装置16からサーバ14に送信され、サーバ14の特定部38は、解除対象の画像に紐付いた機能を連携対象の機能から除外する。
図19(a)に示す例で説明すると、破線の矢印132で示すように、部分像76から部分像82へ画像が繋がれている。つまり、部分像76の1つ前に繋がれた部分像82が指定されている。この場合、部分像76に紐付いた機能(プリント機能)が連携対象の機能から除外される。
その後、図19(b)に示すように、矢印134で示す方向に、ユーザによって、部分像82から部分像80へ画像が繋がれた場合、部分像80に紐付いた機能(ステープラ止め機能)が連携対象の機能として選択され、部分像80に紐付いた機能を利用する連携機能が優先的に選択される。
変形例3によると、画像を繋ぐ操作以外の特別な操作を行わずに、解除対象の機能が連携対象の機能から除外され、解除対象の機能を利用する連携機能が解除される。例えば、連携対象の機能を間違って指定した場合、その機能に紐付いた画像よりも1つ前に繋いだ画像を指定することにより、それ以外の特別な操作を行わずに、間違って指定された機能が解除される。これにより、解除ボタン等を用いて機能を連携対象の機能から除外する場合と比べて、簡単な操作で解除対象の機能が除外される。
なお、解除用の操作の軌跡(例えば矢印132の軌跡)が、機器表示画面62に表示されてもよい。この場合、接続用の操作の軌跡(例えば矢印126,128,130の軌跡)とは異なる表示態様(例えば異なる色や異なる線の種類)で、解除用の操作の軌跡が表示されてもよい。
別の例として、連携を解除する場合、ユーザが機器表示画面62上で解除対象の機器に紐付いた機器像や部分像を指定してもよいし、連携解除ボタンを押してもよい。また、連携対象ではない機器が機器表示画面62に写り込んでいる場合、ユーザが機器表示画面62上でその機器に紐付いた機器像を指定することにより、その機器を連携対象の機器から除外してもよい。解除対象の機器に紐付いた機器像にバツ印等を付けるような予め設定された操作が行われた場合に、その機器が連携対象の機器から除外されてもよい。
(変形例4)
以下、図20を参照して、変形例4について説明する。図20には、端末装置16のUI部46に表示される画面の一例が示されている。
変形例4においても、画像形成装置10(複合機(B))と端末装置12(PC(A))が、連携対象の機器として識別されており、図20(a)に示すように、端末装置16において、機器表示画面62に機器像64,66が表示されている。また、矢印136で示すように、部分像78,84(接触領域像92,98)が、その順番で繋がれているものとする。つまり、スキャン機能及び画面表示機能が、その順番で指定されている。
変形例4においては、端末装置16の制御部48は、最後に連携した機器を表わす機器像を機器表示画面62に残して表示させつつ、カメラ42の撮影領域を変更して機器表示画面62に表示させる。この場合、既に連携された機器(例えば複合機(B)とPC(A))の識別情報は端末装置16又はサーバ14の記憶部に記憶される。
図20(a)に示す例では、端末装置12(PC(A))が最後に連携した機器であるため、その機器像66が機器表示画面62に残って表示される。ユーザが端末装置16のカメラ42の撮影領域を変えた場合、端末装置16の制御部48は、機器像66を機器表示画面62に表示させた状態で、カメラ42によって撮影された画像を機器表示画面62に表示させる。例えば、図20(a)に示す環境では撮影しきれないプロジェクタ(C)を連携対象の機器として用いる場合、図20(b)に示すように、機器像66が機器表示画面62に表示されている状態で、ユーザは、カメラ42の撮影領域にプロジェクタ(C)が含まれるようにカメラ42の向きを変えてプロジェクタ(C)を撮影する。これにより、プロジェクタ(C)がカメラ42によって撮影され、プロジェクタ(C)に紐付いた機器像138が機器表示画面62に表示される。上述したように、プロジェクタ(C)が識別され、例えば、プロジェクタ(C)が有する機能の名称(例えば「投影する」)が機器表示画面62に表示される。また、プロジェクタ(C)を表わす機器像138に重畳して接触領域像140が表示されている。矢印142で示すように、ユーザによって、部分像84(接触領域像98)から機器像138(接触領域像140)へ画像が繋がれた場合、機器像138に紐付いた機器が有する機能(例えば投影機能)が連携対象の機能として選択され、機器像138に紐付いた機能を利用する連携機能が優先的に表示される。
変形例4によると、連携対象となる複数の機器を一度に撮影しきれない場合であっても、複数の機器を別々に撮影して連携させることが可能となる。つまり、連携対象の機器が必ずしも互いに近い位置に配置されているとは限らない。変形例4によると、そのような場合であっても、複数の機器を別々に撮影して連携させることが可能となる。もちろん、カメラ42の撮影領域のアングルを変えたり、撮影領域を拡大又は縮小することによって対応することも可能であるが、そのような操作で対応しきれない場合、撮影を複数回に分けることで各機器が識別される。
なお、上記の例では、最後に連携した機器に紐付いた機器像を機器表示画面62に残して表示しているが、別の例として、ユーザによって指定された機器像や、最初に撮影された機器に紐付いた機器像や、予め設定された基本機器に紐付いた機器像を、機器表示画面62に残して表示してもよい。この場合も、複数の機器を別々に撮影して連携させることが可能となる。
上述した第1実施形態及び変形例1−4において、識別された機器を表わす機器像、接触領域像、接続用の操作の軌跡(例えば、なぞった線の軌跡)、及び、解除用の操作の軌跡は、背景画像に埋もれないように3次元で表示されてもよい。つまり、それらの画像は3次元画像として表示されてもよい。例えば、背景画像が2次元で表示され、機器像、接触領域像及び操作の軌跡が3次元で表示される。これにより、機器像、接触領域像及び操作の軌跡の視認性が向上する。別の例として、識別されない機器に紐付いた機器像や背景画像は、機器表示画面62に表示されずに、識別された機器に紐付いた機器像のみが機器表示画面62に表示されてもよい。
上記のように、機器に紐付いた画像が繋がれて連携機能が特定されると、端末装置16から連携対象の機器に対して接続要求が送信され、端末装置16と連携対象の機器とが接続される。以下、図21を参照して、その接続処理について説明する。図21は、その処理を示すシーケンス図である。
まず、ユーザは、端末装置16を利用して、連携機能実行用のアプリケーション(プログラム)の起動を指示する。端末装置16の制御部48は、その指示に応じて当該アプリケーションを起動させる(S01)。なお、そのアプリケーションは、端末装置16の記憶部44に予め記憶されていてもよいし、サーバ14等からダウンロードされてもよい。
次に、マーカ型AR技術、マーカレス型AR技術又は位置情報AR技術を適用することにより、連携対象の機器が識別される(S02)。もちろん、AR技術以外の技術によって連携対象の機器が識別されてもよい。マーカ型AR技術又はマーカレス型AR技術を適用する場合、ユーザは、端末装置16のカメラ42によって連携対象の機器を撮影する。一例として、画像形成装置10(複合機(B))と端末装置12(PC(A))が連携機器として用いられる場合、ユーザは、カメラ42によって画像形成装置10と端末装置12を撮影する。画像形成装置10と端末装置12のそれぞれの機器識別情報が取得され、画像形成装置10と端末装置12が連携対象の機器として識別される。位置情報AR技術を適用する場合、画像形成装置10と端末装置12のそれぞれの位置情報が取得され、その位置情報に基づいて、画像形成装置10と端末装置12のそれぞれの機器識別情報が特定され、画像形成装置10と端末装置12が識別される。
端末装置16において、ユーザが、連携対象となる複数の機器に紐付いた複数の機器像を互いに繋ぐことにより、連携機能が特定されるとともに、各連携機能の優先順位が特定される。端末装置16のUI部46には、その優先順位に従って連携機能に関する情報が表示される(S03)。連携機能の特定処理及び優先順位の特定処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
次に、端末装置16において、ユーザによって実行対象の連携機能が指定されると、端末装置16は、その連携機能を実行する連携対象の機器(例えば画像形成装置10と端末装置12)に接続要求を示す情報を送信する(S04)。例えば、連携対象の機器のアドレスを示すアドレス情報が、サーバ14に記憶されている場合、端末装置16は、連携対象の機器のアドレス情報をサーバ14から取得する。機器識別情報にアドレス情報が含まれている場合、端末装置16は、連携対象の機器の機器識別情報からそれぞれのアドレス情報を取得してもよい。別の例として、端末装置16に、連携対象の機器のアドレス情報が記憶されていてもよい。もちろん、端末装置16は、別の手法によって連携対象の機器のアドレス情報を取得してもよい。端末装置16は、連携対象の機器(例えば画像形成装置10と端末装置12)のアドレス情報を用いて、連携対象の機器(例えば画像形成装置10と端末装置12)に接続要求を示す情報を送信する。
接続要求を示す情報を受けた画像形成装置10と端末装置12は、端末装置16との接続を許可する、又は、許可しない(S05)。例えば、画像形成装置10と端末装置12が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置16からの接続が許可された場合、画像形成装置10と端末装置16の固有の設定情報が端末装置16から変更されないように、その変更操作を禁止してもよい。例えば、画像形成装置10の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、画像形成装置10と端末装置12から端末装置16に送信される(S06)。画像形成装置10と端末装置12への接続が許可された場合、端末装置16と、画像形成装置10及び端末装置12と、の間で通信が確立される。
次に、ユーザは端末装置16を利用して連携機能の実行を指示する(S07)。この指示に応じて、連携機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10と端末装置12に送信される(S08)。画像形成装置10に送信される実行指示情報には、画像形成装置10にて実行される処理を示す情報(例えばジョブ情報)が含まれ、端末装置12に送信される実行指示情報には、端末装置12にて実行される処理を示す情報(例えばジョブ情報)が含まれる。
実行指示情報を受けた画像形成装置10と端末装置12は、実行指示情報に従って機能を実行する(S09)。例えば、画像形成装置10(複合機(B))から端末装置12(PC(A))へスキャンデータを転送するスキャン転送機能のように、連携機能に、画像形成装置10と端末装置12との間でデータの送受信が行われる処理が含まれている場合、画像形成装置10と端末装置12との間で通信が確立される。この場合、例えば、画像形成装置10に送信される実行指示情報には端末装置12のアドレス情報が含まれ、端末装置12に送信される実行指示情報には画像形成装置10のアドレス情報が含まれ、それらのアドレス情報を用いて画像形成装置10と端末装置12との間で通信が確立される。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、画像形成装置10と端末装置12から端末装置16に送信される(S10)。端末装置16のUI部46には、連携機能の実行が完了したことを示す情報が表示される(S11)。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置16の制御部48は、エラーを示す情報をUI部46に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、画像形成装置10と端末装置12に送信してもよい。
次に、ユーザは、画像形成装置10と端末装置12の連携状態を解除するか否かを確認し(S12)、解除の有無に応じた処理が実行される(S13)。連携状態を解除する場合、ユーザは、端末装置16を利用して解除の指示を与える。これにより、端末装置16と、画像形成装置10及び端末装置12と、の間の通信が解除される。同様に、画像形成装置10と端末装置12との間の通信も解除される。連携状態を解除しない場合、継続して実行指示を与えてもよい。
また、連携対象の機器を増やしてもよい。例えば3台目の機器の機器識別情報が取得され、画像形成装置10と端末装置12を含む3台の機器を連携させることによって実行される連携機能が特定されてもよい。なお、画像形成装置10と端末装置12が既に連携機能として識別されていることを示す情報は、サーバ14や端末装置16に記憶される。
連携対象の機器を示す機器識別情報や、実行された連携機能を示す連携機能識別情報は、端末装置16やサーバ14等に記憶されてもよい。例えば、端末装置16を利用するユーザのユーザアカウント情報(ユーザ識別情報)が取得され、そのユーザアカウント情報と、連携対象の機器を示す機器識別情報と、実行された連携機能を示す連携機能識別情報と、の対応付けを示す履歴情報が作成され、端末装置16やサーバ14等に記憶されてもよい。履歴情報は、端末装置16によって作成されてもよいし、サーバ14によって作成されてもよい。履歴情報を参照することにより、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。
なお、連携対象の機器(例えば画像形成装置10と端末装置12)は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置16を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することにより、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、サーバ14や端末装置16に記憶されてもよいし、別の装置に記憶されてもよい。
ユーザアカウント情報は、例えば、端末装置16の記憶部44に予め記憶されており、端末装置16の制御部48は、ユーザ識別手段の一例として機能し、記憶部44からユーザのユーザアカウント情報を読み込んで、端末装置16を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部44に記憶されている場合、ユーザは端末装置16を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置16の制御部48は、端末装置16にログインしているユーザのユーザアカウント情報を読み込むことにより、ユーザを識別してもよい。更に別の例として、同一の端末装置16に、1つのユーザアカウント情報のみが記憶されている場合、端末装置16の制御部48は、そのユーザアカウント情報を読み込むことによりユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。
ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置16のUI部46に表示されてもよい。その利用履歴を示す情報は、端末装置16に記憶されていてもよいし、サーバ14に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。
[第2実施形態]
以下、本発明の第2実施形態に係る情報処理システムとしての画像形成システムについて説明する。図22には、第2実施形態に係るサーバ14Aが示されている。第2実施形態に係る画像形成システムは、第1実施形態に係るサーバ14の代りにサーバ14Aを含む。サーバ14A以外の構成は、図1に示されている第1実施形態に係る画像形成システムの構成と同じである。
サーバ14Aは、第1実施形態に係るサーバ14と同様に、複数の機能を連携させることによって実行される連携機能を管理する。以下、図22を参照して、サーバ14Aの構成について詳しく説明する。
サーバ14Aは、通信部28、記憶部30A及び制御部36Aを含む。通信部28は、第1実施形態に係る通信部28と同じ構成を備えている。
記憶部30AはハードディスクやSSD等の記憶装置である。記憶部30Aには、例えば、機器機能情報32、連携機能情報144、各種のデータ、各種のプログラム、各機器のアドレスを示す機器アドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。記憶部30Aに記憶されている機器機能情報32や連携機能情報144が、定期的に又は指定されたタイミングで端末装置16に提供され、これにより、端末装置16に記憶されている情報が更新されてもよい。
機器機能情報32は、第1実施形態に係る機器機能情報32と同じ情報である。
連携機能情報144は、複数の機能を連携させることによって実行される連携機能を示す情報であり、例えば、連携機能を実行するために連携される機能を識別するための機能識別情報の組み合わせを示す情報と、当該連携機能を識別するための連携機能識別情報と、の対応付けを示す情報である。複数の機器を連携させる場合、連携機能情報144は、複数の機器が有する複数の機能を連携させることによって実行される連携機能を示す情報であり、連携機能を実行するために連携される機器を識別するための機器識別情報の組み合わせを示す情報と、連携機能識別情報と、の対応付けを示す情報である。
制御部36Aは、サーバ14Aの各部の動作を制御する。また、制御部36Aは、特定部38と連携機能登録部146を含む。
特定部38は、第1実施形態に係る特定部38と同様に、機器識別情報に基づいて機器を識別し、当該機器が有する機能を特定する。また、特定部38は、連携対象の機器が有する機能を連携させることによって実行される連携機能を特定する。第2実施形態においても、AR技術を適用することにより、機器識別情報が取得されて機器が識別される。もちろん、AR技術以外の技術によって機器識別情報が取得されて機器が識別されてもよい。
第2実施形態においては、連携対象の機器に紐付いた機器像が端末装置16のUI部46に表示され、機器像同士を重ね合わせることにより連携機能が特定されて、その連携機能に関する情報が端末装置16のUI部46に表示される。
連携機能登録部146は、連携機能を登録する機能を備えており、例えば、登録対象の連携機能の登録内容を示す情報と、連携機能を実行するときに表示される画像(例えばショートカット用の画像)と、を対応付ける。その画像は、例えば、機器像の重ね合わせによって生成された画像や、重ね合わせの対象となった機器を模式的に表わす画像である。
以下、第2実施形態に係る画像形成システムについて詳しく説明する。
まず、図23を参照して、連携機能情報144について詳しく説明する。図23には、連携機能情報144としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器IDの組み合わせを示す情報と、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能識別情報)と、が対応付けられている。図7に示されている第1実施形態に係る連携機能管理テーブルとは異なり、第2実施形態に係る連携機能管理テーブルには、接続順番を示す情報と優先順位を示す情報は含まれていない。
以下、図24及び図25を参照して、連携機能を特定するための操作について詳しく説明する。図24及び図25には、端末装置16のUI部46に表示される画面の一例が示されている。
例えば、第1実施形態と同様に、UR技術等を適用することにより、画像形成装置10(複合機(B))と端末装置12(PC(A))が連携対象の機器として識別されているものとする。図24(a)に示すように、端末装置16のUI部46には機器表示画面62が表示されており、その機器表示画面62に、識別された機器(画像形成装置10と端末装置12)に紐付く機器像64,66が表示されている。この状態で、ユーザが指示子(例えばユーザの指、ペン、スタイラス等)を用いて連携対象の機器に紐付いた機器像を、他の連携対象の機器に紐付いた機器像に重ね合わせる。例えば、図24(b)に示すように、ユーザが操作子を用いて機器像64を指定し、矢印148で示すように、その機器像64を機器像66に重ね合わせる。例えば、ドラッグ&ドロップ操作によって機器像同士を重ね合わせる。つまり、ユーザは機器像64をドラッグ操作し、機器像66に重なる位置で機器像64をドロップ操作する。このドラッグ&ドロップ操作自体は、例えば公知の技術である。なお、ユーザの音声指示に従って、重ね合わせる機器像(連携させるべき機器に紐付いた画像)が指定されてもよい。例えば、ユーザの音声指示に従って、機器像64,66が重ね合わせ対象の機器像として指定され、それらが重ねられてもよい。
機器像64,66を互いに重ね合わせることにより、機器像64に紐付いた画像形成装置10(複合機(B))と機器像66に紐付いた端末装置12(PC(A))が、連携対象の機器として指定される。なお、図24(b)に示す例では、機器像64を機器像66に重ね合わせているが、機器像66を機器像64に重ね合わせてもよい。
なお、端末装置16の制御部48は、ドラッグ操作中の機器像を識別可能な表示態様でUI部46に表示させてもよい。例えば、ドラッグ操作中の機器像を半透明に表示したり、特定の色で表示したりしてもよい。
機器像64が機器像66に重ねて表示されると、図24(c)に示すように、端末装置16のUI部46に確認画面150が表示される。確認画面150は、連携対象の機器として指定された機器群を連携させるか否かを確認するための画面である。確認画面150において、連携指示がユーザによって与えられると(例えば「YES」ボタンがユーザによって押されると)、連携機能に関する情報が端末装置16のUI部46に表示される。具体的には、連携対象の機器(例えば画像形成装置10と端末装置12)が指定されて連携指示が与えられると、サーバ14Aの特定部38は、図23に示されている連携機能管理テーブル(連携機能情報144)において、PC(A)と複合機(B)の組み合わせに対応付けられている連携機能を特定する。これにより、PC(A)と複合機(B)を連携させることによって実行される連携機能が特定される。このようにして特定された連携機能に関する情報は、サーバ14から端末装置16に送信され、連携機能候補に関する情報として端末装置16のUI部46に表示される。
例えば図25(a)に示すように、端末装置16の制御部48は、UI部46に連携機能表示画面152を表示させ、その連携機能表示画面152に連携機能候補に関する情報を表示させる。PC(A)と複合機(B)を連携させることにより、例えば、「スキャン転送機能」と「印刷機能」が実現されるため、連携機能表示画面152には、「スキャン転送機能」に関する情報と「印刷機能」に関する情報が表示される。
連携機能がユーザによって指定されて実行指示が与えられると、端末装置16から連携対象の機器に対して接続要求が行われる。図25(b)に示すように、その接続要求の間、端末装置16のUI部46には待機画面154が表示される。端末装置16と連携対象の機器との接続が成功すると、指定された連携機能が実行される。
以上のように、第2実施形態によると、機器に紐付いた機器像同士を重ね合わせることにより、機器が有する機能を利用する連携機能が特定される。それ故、画像操作以外の特別な操作を行わずに、機能を連携させることが可能となり、簡易な操作で機能が連携される。
以下、第2実施形態の変形例について説明する。
(変形例5)
以下、図26及び図27を参照して、変形例5について説明する。図26及び図27には、端末装置16のUI部46に表示される画面の一例が示されている。変形例5においては、複数の機器像が重ねられた後、その重ねた状態を示す新たな画像が生成されて表示される。以下、変形例5について詳しく説明する。
変形例5においても、画像形成装置10(複合機(B))と端末装置12(PC(A))が、連携対象の機器として識別されており、図26(a)に示すように、端末装置16において、機器表示画面62に機器像64,66が表示されているものとする。例えば、ユーザが操作子を用いて、矢印156で示すように、機器像64を機器像66に重ね合わせたものとする。機器像64,66を重ね合わせることにより、機器像64に紐付いた画像形成装置10(複合機(B))と機器像66に紐付いた端末装置12(PC(A))が、連携対象の機器として指定される。
機器像64が機器像66に重ねて表示されると、図26(b)に示すように、端末装置16のUI部46に確認画面158が表示される。確認画面158は、連携対象の機器として指定された機器群を連携させるか否かを確認するための画面であるとともに、更に連携させる機器が存在するか否かを確認するための画面である。複合機(B)をPC(A)に連携させる指示がユーザによって与えられると(例えば、複合機(B)をPC(A)に連携させるための「YES」ボタンがユーザによって押されると)、複合機(B)とPC(A)が連携させられる。他に連携させる機器が存在する場合(例えば、他の機器を連携させるための「YES」ボタンがユーザによって押されると)、図26(c)に示すように、機器表示画面62が表示される。この機器表示画面62には、重ねられた機器像64,66をグルーピングすることにより生成された新たな機器像160が表示される。新たな機器像160は、例えば端末装置16の制御部48によって生成されてもよいし、サーバ14Aの制御部36Aによって生成されてもよい。機器像160は、機器像64上に機器像66が重ねられた状態を表わす画像である。
変形例5においては、端末装置16の制御部48は、新たに生成された機器像160を機器表示画面62に残して表示させる。ユーザが端末装置16のカメラ42の撮影領域を変えた場合、端末装置16の制御部48は、機器像160を機器表示画面62に表示させた状態で、カメラ42によって撮影された画像を機器表示画面62に表示させる。この場合、既に連携された機器(例えば複合機(B)とPC(A))の識別情報は端末装置16又はサーバ14Aの記憶部に記憶される。
例えば、図26(a)に示す環境では撮影しきれないプロジェクタ(C)を連携対象の機器として用いる場合、図26(c)に示すように、機器像160が機器表示画面62に表示されている状態で、ユーザは、カメラ42の撮影領域にプロジェクタ(C)が含まれるようにカメラ42の向きを変えてプロジェクタ(C)を撮影する。これにより、プロジェクタ(C)がカメラ42によって撮影され、プロジェクタ(C)に紐付いた機器像138が機器表示画面62に表示され、プロジェクタ(C)が識別される。矢印162で示すように、ユーザが、新たな機器像160を機器像138に重ね合わせることにより、機器像138に紐付いた機器が連携対象の機器として選択される。更に連携させる機器が存在しない場合、既に指定された連携対象の機器群を連携させることによって実行される連携機能がサーバ14において特定され、その連携機能に関する情報がサーバ14から端末装置16に送信されて端末装置16のUI部46に表示される。例えば、図26(b)に示されている確認画面158において、更に連携させる機器が存在しないことを指示するための「NO」ボタンがユーザによって押されると、連携機能に関する情報が端末装置16のUI部46に表示される。
以上のように、変形例5によると、機器像を重ね合わせることにより生成された新たな機器像を、次の連携候補の機器に紐付いた機器像に重ね合わせることにより、連携させる機器を増加させることができる。また、新たな機器像は、連携対象の機器に紐付いた機器像が重ねられた状態を表わしているため、新たな機器像を表示することにより、どのような機器が連携対象の機器として指定されているのかが視覚的に分かり易くなる。
なお、確認画面158の表示は省略されてもよい。この場合、機器像同士を重ね合わせた後に、連携機能の表示指示がユーザによって与えられると、その重ね合わせによって指定された連携対象の機器によって実行される連携機能に関する情報が、端末装置16のUI部46に表示される。
変形例5においては、互いに重ねられた機器像群をグルーピングすることにより新たな機器像が生成されるが、互いに重ねられた機器像群を別の画像に代えて機器表示画面62に表示してもよい。例えば、図27に示すように、機器表示画面62には、グルーピングによって生成された機器像160の代りに、新たな機器像164が表示されており、その新たな機器像164が矢印166で示すように操作されている。機器像164は、複合機(B)とPC(A)とを模式的に表す画像や、複合機(B)が有する機能とPC(A)とが有する機能の内容を表わす画像等である。機器像164は、端末装置16の制御部48によって生成されてもよいし、サーバ14Aの制御部36Aによって生成されてもよい。機能の内容を表わす画像を新たな機器像として表示することにより、どのような機能が連携対象の機能として指定されているのかが視覚的に分かり易くなる。
図27に示す例では、元の機器像160が新たな機器像164に自動的に置き換えられて表示されているが、この置き換えの際に確認画面が端末装置16のUI部46に表示されてもよい。図28には、その確認画面の一例が示されている。複数の機能像が重ねられた後、確認画面168が端末装置16のUI部46に表示される。この確認画面168には、複数の機器像をグルーピングすることによって生成された元の機器像160と、模式的な機器像164が表示されている。ユーザによって画像の置き換えが指示された場合(例えば「YES」ボタンがユーザによって押された場合)、元の機器像160から模式的な機器像164に置き換えられ、図27に示すように、模式的な機器像164が機器表示画面62に表示される。
(変形例6)
以下、図29から図31を参照して、変形例6について説明する。図29から図31には、端末装置16のUI部46に表示される画面の一例が示されている。変形例6においては、最後に連携したときに生成された機器像が、次回以降に連携機能を実行する際のショートカットボタン用の画像として用いられる。以下、変形例6について詳しく説明する。
変形例6においては、変形例5と同様に、機器像64,66が重ねられて、画像形成装置10(複合機(B))と端末装置12(PC(A))が、連携対象の機器として識別されており、機器像64,66をグルーピングすることにより新たな機器像160が生成されているものとする。
ユーザが端末装置16を用いて、新たな機器像160をショートカットボタン用の画像として登録する指示を与えると、図29(a)に示すように、端末装置16のUI部46に連携機能登録画面170が表示される。この連携機能登録画面170には、新たな機器像160が表示されるとともに、複合機(B)とPC(A)とを連携させることによって実行される連携機能の登録内容を示す情報が表示される。例えば、連携機能名、連携機能の概要、及び、連携に必要な機器を示す情報が、登録内容を示す情報として表示されている。ユーザは端末装置16を用いて、登録内容(例えば、連携機能名、連携機能の概要等)を編集してもよい。
連携機能登録画面170において、連携機能のショートカット機能を登録しない指示がユーザによって与えられた場合(例えば「NO」ボタンがユーザによって押された場合)、図29(b)に示すように、端末装置16のUI部46に確認画面172が表示される。確認画面172において、終了指示がユーザによって与えられると(例えば、登録終了に関する「YES」ボタンがユーザによって押されると)、連携機能登録処理は終了する。一部の編集指示がユーザによって与えられると(例えば、一部編集に関する「YES」ボタンがユーザによって押されると)、画面は連携機能登録画面170に戻る。
一方、連携機能登録画面170において、連携機能のショートカット機能を登録する指示がユーザによって与えられた場合(例えば「YES」ボタンがユーザによって押された場合)、図30(a)に示すように、端末装置16のUI部46に確認画面174が表示される。この確認画面174において、ショートカットボタンの作成指示がユーザによって与えられた場合(例えば「YES」ボタンがユーザによって押された場合)、連携機能を実行するためのショートカットボタンを表わす画像(ショートカットボタン像)が生成される。ショートカットボタン像は、端末装置16によって作成されてもよいしサーバ14Aによって作成されてもよい。例えば図30(b)に示すように、端末装置16のUI部46の画面176(例えばデスクトップ画面)には、そのショートカットボタン像178が表示される。ショートカットボタン像178には、機器像160が含まれている。例えば、サーバ14Aの連携機能登録部146は、登録対象の連携機能の登録内容を示す情報と、ショートカットボタン像178と、を対応付ける。もちろん、端末装置16によって、その対応付けが行われてもよい。複数のショートカットボタン像が生成されて登録されると、画面176にはショートカットボタン像の一覧が表示される。連携機能の登録内容を示す情報とショートカットボタン像は、例えば端末装置16に記憶される。別の例として、連携機能の登録内容を示す情報とショートカットボタン像は、ユーザアカウント情報に対応付けられてサーバ14に記憶されてもよい。この場合、ユーザアカウント情報が端末装置16からサーバ14に送信されると、そのユーザアカウント情報に対応付けられている情報(連携機能の登録内容を示す情報とショートカットボタン像)が、サーバ14から端末装置16に送信されて表示される。
ショートカットボタン像178には、ステータス像180,182が含まれている。ステータス像は、連携対象の機器のステータスを表わす画像、つまり、連携対象の機器が連携機能を実行できる状態にあるか否かを表わす画像である。例えば、ステータス像180は、画像形成装置10(複合機(B))のステータスを表わす画像であり、ステータス像182は、端末装置12(PC(A))のステータスを表わす画像である。連携対象の機器が連携機能を実行できる状態の場合、その旨を象徴する特定の色(例えば緑色や青色等)でステータス像が表示され、連携対象の機器が連携機能を実行できる状態ではない場合、その旨を象徴する別の特定の色(例えば白色や赤色等)でステータス像が表示される。図30(b)に示す例では、ステータス像180が緑色で表示されており、ステータス像182が白色で表示されている。それ故、画像形成装置10(複合機(B))は連携機能を実行できる状態にあるが、端末装置12(PC(A))は連携機能を実行できる状態にない。もちろん、色以外の情報によって、連携対象の機器のステータスを表わしてもよい。例えば、ステータスに応じた形状を有するステータス像を表示してもよいし、ステータスを示す文字列を表示してもよい。
連携機能を実行できる状態とは、例えば、現在、他のユーザによって使用されていない状態、故障が発生していない状態、等である。連携機能を実行できない状態とは、例えば、現在、他のユーザによって使用されている状態、故障が発生している状態、等である。例えば、端末装置16が、連携対象の機器のステータスを示す情報を連携対象の機器から取得し、その情報に基づいてステータス像を特定の色で表示させる。別の例として、サーバ14が、ステータスを示す情報を連携対象の機器から取得し、端末装置16は、サーバ14からその情報を取得してもよい。
以上のように、連携機能とショートカットボタン像とを紐付けて管理することにより、次回以降、連携機能を実行するための操作が軽減される。
図31には、連携機能の閲覧編集画面の一例が示されている。ユーザが端末装置16を使用して、連携機能の登録情報の閲覧指示を与えると、図31(a)に示すように、端末装置16のUI部46に閲覧編集画面184が表示される。閲覧編集画面184には、表示画像としてのショートカット像や、連携機能の登録内容(例えば、連携機能名、機能概要、接続機器名)等が表示される。例えば、閲覧編集画面184において、ユーザが、編集対象の連携機能についての項目(例えば、表示画像、連携機能名、機能概要、接続機器名)を指定すると、図31(b)に示すように、端末装置16のUI部46に確認画面186が表示される。例えば、ある連携機能の連携機能名がユーザによって指定されると、連携機能名の編集を確認するための確認画面186が表示される。その確認画面186において「YES」ボタンがユーザによって押されると、図31(c)に示すように、端末装置16のUI部46に編集画面188が表示される。この編集画面188において、連携機能名がユーザによって編集され、編集画面188には、編集前の連携機能名と編集後の連携機能名が表示される。編集内容を反映させる指示がユーザによって与えられると(例えば「YES」ボタンがユーザによって押されると)、その編集内容が反映される。例えば、編集後の連携機能名が、ショートカット像とともに端末装置16のUI部46のデスクトップ画面に表示される。連携機能名以外の項目についても、同様の方法によって編集される。
(変形例7)
以下、図32を参照して、変形例7について説明する。図32には、端末装置16のUI部46に表示される画面の一例が示されている。変形例7においては、重ね合わせ対象の機器像が選択された後、機器表示画面62上において機器像が表示されていない領域で、その選択が解除された場合、連携機能が解除される。
例えば、図32(a)に示すように、機器像66が機器像64に重ねられ、新たな機器像160が生成されて表示されたものとする。このとき、ユーザが機器像160を選択し、矢印190で示すように、機器表示画面62上において機器像が表示されていない領域で機器像160の選択を解除すると、複合機(B)とPC(A)とを連携させることによって実行される連携機能が解除される。つまり、機器像160を、機器像が表示されていない領域までドラッグ操作し、その領域でドロップ操作することにより、連携機能が解除されて、機器が連携される前の状態に戻る。例えば、そのドラッグ操作及びドロップ操作を示す情報が端末装置16からサーバ14に送信され、サーバ14の特定部38は、連携機能を解除する。もちろん、端末装置16が連携機能を解除してもよい。
図32(b)には、連携機能が解除された後の機器表示画面62が示されている。機器が連携される前においては、機器像64,66,138が重ねられずに別々に表示されている。
以上のように、変形例7によると、重ね合わせ対象の機器像の選択を解除することにより、それ以外の特別な操作を行わずに連携機能が解除されるので、連携機能の解除のために選択解除以外の特別な操作が必要になる場合と比べて、連携機能が簡単に解除される。
別の例として、連携を解除する場合、ユーザが機器表示画面62上で解除対象の機器に紐付いた機器像を指定してもよいし、連携解除ボタンを押してもよい。また、連携対象ではない機器が機器表示画面62に写り込んでいる場合、ユーザが機器表示画面62上でその機器に紐付いた機器像を指定することにより、その機器を連携対象の機器から除外してもよい。解除対象の機器に紐付いた機器像にバツ印等を付けるような予め設定された操作が行われた場合に、その機器が連携対象の機器から除外されてもよい。
(変形例8)
以下、図33を参照して、変形例8について説明する。図33には、端末装置16のUI部46に表示される画面の一例が示されている。
変形例8においても、画像形成装置10(複合機(B))と端末装置12(PC(A))が、連携対象の機器として識別されており、図33(a)に示すように、端末装置16において、機器表示画面62に機器像64,66が表示されている。また、矢印192で示すように、機器像64が機器像66に重ねられており、これにより、新たな機器像160が生成されて表示されている。画像形成装置10(複合機(B))と端末装置12(PC(A))が、連携対象の機器として指定されている。
変形例8においては、端末装置16の制御部48は、最後に重ね合わせて生成された機器像を機器表示画面62に残して表示させつつ、カメラ42の撮影領域を変更して機器表示画面62に表示させる。この場合、連携された機器(重ねられた機器像に紐付いた機器)の識別情報は端末装置16又はサーバ14に記憶される。
図33(a)に示す例では、機器像64が機器像66に重ね合わされて新たな機器像160が生成されて表示されているため、その機器像160が機器表示画面62に残って表示される。例えば、図33(a)に示す環境では撮影しきれないプロジェクタ(C)を連携対象の機器として用いる場合、図33(b)に示すように、機器像160が機器表示画面62に表示されている状態で、ユーザは、カメラ42の撮影領域にプロジェクタ(C)が含まれるようにカメラ42の向きを変えてプロジェクタ(C)を撮影する。これにより、プロジェクタ(C)がカメラ42によって撮影され、プロジェクタ(C)に紐付いた機器像138が機器表示画面62に表示される。機器像160を機器像138に重ね合わせることにより、プロジェクタ(C)が連携対象の機器として指定される。
変形例8によると、連携対象となる複数の機器を一度に撮影しきれない場合であっても、複数の機器を別々に撮影して連携させることが可能となる。
なお、上記の例では、最後に重ね合わせて生成された機器像を機器表示画面62に残して表示しているが、別の例として、ユーザによって指定された機器像や、最初に撮影された機器に紐付いた機器像や、予め設定された基本機器に紐付いた機器像を、機器表示画面62に残して表示してもよい。この場合も、複数の機器を別々に撮影して連携させることが可能となる。
(変形例9)
以下、変形例9について説明する。変形例9においては、第1実施形態に係る処理が適用される。つまり、機器像を重ね合わせる順番に応じて、連携機能に関する情報の表示の優先順位が決定される。例えば、図24(b)に示すように、機器像64が選択され、その機器像64が操作されて機器像66に重ねられた場合、機器像64から機器像66へ画像が繋がれたことになる。これにより、機器像64に紐付いた画像形成装置10(複合機(B))と機器像66に紐付いた端末装置12(PC(A))が、連携対象の機器として指定されるとともに、接続の順番が指定される。機器像を重ねる順番が接続の順番に相当する。図24(b)に示す例では、画像形成装置10(複合機(B))から端末装置12(PC(A))へ機器が接続されている。
変形例9においては、サーバ14Aには、第1実施形態に係る連携機能情報34(図7に示されている連携機能管理テーブル)が記憶されている。上記のように、連携対象の機器(例えば画像形成装置10と端末装置12)が指定されると、サーバ14Aの特定部38は、図7に示されている連携機能管理テーブル(連携機能情報34)において、PC(A)と複合機(B)の組み合わせに対応付けられている連携機能を特定する。これにより、PC(A)と複合機(B)を連携させることによって実現される連携機能が特定される。また、ユーザによって機器の接続順番が指定されると、特定部38は、連携機能管理テーブルにおいて、その接続順番に対応付けられている優先順位を特定する。
上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ14Aから端末装置16に送信される。端末装置16の制御部48は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてUI部46に表示させる。
以上のように、変形例9によると、機器像を重ね合わせることにより、機器が有する機能を利用する連携機能が特定される。また、機器像を重ねる順番、つまり、機器を接続する順番を変えることにより、連携機能に関する情報の表示順位が変更される。それ故、機器像同士を重ねる操作以外の特別な操作を行わずに、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。
(変形例10)
以下、図34を参照して、変形例10について説明する。図34には、端末装置16のUI部46に表示される画面の一例が示されている。
変形例10においては、第1実施形態の変形例1と同様に、機器に紐付いた機器像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっている。機器像内の特定の部分像を、他の機器像内の特定の部分像に重ね合わせることにより、その特定の部分像に紐付いた機能を利用する連携機能が特定される。以下、変形例10について詳しく説明する。
変形例10においても、画像形成装置10(複合機(B))と端末装置12(PC(A))が識別されているものとする。図34(a)に示すように、端末装置16のUI部46には機器表示画面62が表示されており、その機器表示画面62に機器像64,66が表示されている。第1実施形態の変形例1と同様に、機器像64内の部分像76には「プリント機能」が対応付けられており、機器像64内の部分像78には「スキャン機能」が対応付けられており、機器像64内の部分像80には「ステープル止め機能」が対応付けられている。また、機器像66内の部分像82には「データ保存機能」が対応付けられており、機器像66内の部分像84には「画面表示機能」が対応付けられている。変形例10においては、部分像は他の部分像から分離して個別的に移動可能な画像として表示されている。
なお、第1実施形態の変形例1と同様に、各機能の名称(例えば印刷やスキャン等)が機器表示画面62に表示されてもよいし、接触領域像90−98が機器表示画面62に表示されてもよい。この場合、ユーザによって指定された部分像に対応する接触領域像の色や、重ねられた部分像に対応する接触領域像の色が変更されてもよい。もちろん、機能の名称や接触領域像は表示されなくてもよい。
変形例10においては、部分像がユーザによって指定されて、その部分像が他の部分像に重ねられると、重ねられた部分像に紐付いた機能を利用する連携機能が特定され、その連携機能に関する情報が端末装置16のUI部46に表示される。この特定処理は、サーバ14の特定部38によって行われてもよいし、端末装置16によって行われてもよい。
例えば、図34(b)中の矢印194で示すように、ユーザが操作子を用いて、部分像78をドラッグ操作して部分像84に重ねてドロップ操作を行った場合、部分像78を含む機器像64に紐付いた複合機(B)と部分像84を含む機器像66に紐付いたPC(A)が、連携対象の機器として指定されるとともに、部分像78に対応する「スキャン機能」と部分像82に対応する「画面表示機能」が連携対象の機能として指定される。
サーバ14Aにおいては、部分像に対応する機能が管理されている。例えば、部分像を識別するための識別情報と、部分像に対応付けられている機能を示す機能識別情報と、機能を連携させることによって実行される連携機能を示す連携機能識別情報と、が対応付けられてサーバ14Aに記憶されている。機器表示画面62上で部分像が選択されて他の部分像に重ねられると、重ねられた部分像を示す識別情報が、端末装置16からサーバ14Aに送信される。図34(b)に示す例では、部分像78,84をそれぞれ示す識別情報が端末装置16からサーバ14Aに送信される。サーバ14Aの特定部38は、その識別情報に基づいて、重ねられた部分像78,84のそれぞれに対応する機能を特定し、その機能を利用する連携機能を特定する。その連携機能に関する情報は、サーバ14Aから端末装置16に送信されて表示される。
以上のように、変形例10によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、この指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。
変形例10においても、第1実施形態と同様に、部分像を重ね合わせる順番に応じて、連携機能の表示の優先順位が変更されてもよい。この場合、重ねられた部分像に紐付いた機能を利用する連携機能に関する情報が優先的に表示される。
(変形例11)
以下、変形例11について説明する。変形例11においては、変形例10と同様に、機器に紐付いた機器像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっているが、変形例10と異なり、部分像は他の部分像から分離して個別的に移動可能になっていない。変形例11では、図24(b)に示す例と同様に、ユーザによって機器像の全体が移動させられ、他の機器像に重ねられる。このとき、重ねられた位置に応じて連携機能が変更される。この点について、図34(a)を参照して具体例を挙げて説明する。例えば、複合機(B)に紐付いた機器像64の全体がユーザによって操作されて、PC(A)に紐付いた機器像66に重ねられたものとする。このとき、機器像64内の部分像78(スキャン機能に紐付いた部分像)と、機器像66内の部分像84(画面表示機能に紐付いた部分像)と、が重ねられた場合、スキャン機能と画面表示機能とを利用する連携機能に関する情報が優先的に表示される。
上述した第2実施形態及び変形例5−11においても、第1実施形態と同様に、図21に示されているシーケンスに従って、連携対象の機器が接続される。
また、上述した第2実施形態及び変形例5−11において、識別された機器に紐付いた機器像、及び、重ねられた機器像は、背景画像に埋もれないように3次元で表示されてもよい。つまり、それらの画像が3次元画像として表示されてもよい。例えば、背景画像が2次元で表示され、機器像が3次元で表示される。これより、機器像の視認性が向上する。また、ユーザによって指定された機器像が他の機器像から識別されるように、指定された機器像の色を変えたり、指定された機器像を振動させたりしてもよい。
上述した第1実施形態、第2実施形態及び変形例1−11においては、機器等のハードウェアを識別して連携機能を実現しているが、ソフトウェア(アプリケーションプログラム)を識別して、各ソフトウェアの機能を連携させてもよい。例えば、スマートフォンのホーム画面やパーソナルコンピュータのデスクトップ画面に表示されている機能に関するアイコン等の画像(機能に紐付いた画像の一例に相当する)を繋いだり重ねたりすることで、連携機能が特定され、その連携機能に関する情報が表示されてもよい。この場合において、画像を繋げる順番や重ねる順番に応じて、連携機能の表示の優先順位が変更されてもよい。
また、上述した第1実施形態、第2実施形態及び変形例1−11によると、AR技術を適用することにより、連携対象の機器が有する機能を利用する連携機能が特定され、その連携機能に関する情報が表示される。これにより、連携対象の機器によってどのような連携機能が実行可能であるのかその外観からでは分からない場合であっても、その連携機能に関する情報がユーザに提供される。また、個々の機器が単独では実行できない機能が、複数の機器を連携させることによって実行できるようになり、便利である。また、AR技術を適用して連携対象の機器を識別するだけで連携機能の利用が可能となるため、連携機能を実行するための設定等をユーザがマニュアル操作で行う場合と比べて、簡単な操作で連携機能の利用が可能となり、ユーザの手間が軽減される。
また、複数の機器を複数のユーザが利用するという環境において、連携機能に関する情報が各ユーザの端末装置16に表示される。例えば、機器からタッチパネル等のユーザインターフェースが取り除かれた場合であっても、端末装置16がユーザインターフェースとして機能し、連携機能に関する情報が各ユーザの端末装置16に表示される。別の場面として、例えば、ユーザの出先等で複数の機器が一時的に利用される場合に、当該ユーザに適したユーザインターフェース、つまり、当該ユーザによって指定された連携対象の機器が有する機能を利用する連携機能に関する情報を表わすユーザインターフェースが表示される。
上述した第1実施形態、第2実施形態及び変形例1−11の連携機能実行動作の過程で、予め機器を撮影する、他のユーザが機器を識別して取得した機器識別情報及び機器の画像を譲り受ける等して、既に機器を識別している場合、その機器識別情報及び機器の画像をサーバ14や端末装置16等の記憶部に記憶しておき、後で連携機能を実行するための編集画面を起動して、その記憶した機器識別情報及び機器の画像を記憶部から読み出し、編集画面上で、上述したように機器の画像を繋げたり、重ね合わせることで、連携機能を実行するようにしてもよい。ここで、図35を参照して、具体例を挙げて説明する。図35には、端末装置16に表示される編集画面196が示されている。この編集画面には、一例として、PC(A)に紐付いた機器像66、複合機(B)に紐付いた機器像64、プロジェクタ(C)に紐付いた機器像138、及び、カメラ(D)に紐付いた機器像198が、表示されている。これらの画像は、上述したように、過去において既に取得された画像であり、サーバ14や端末装置16等の記憶部に記憶されている。連携機能を実行するときに、これらの画像が記憶部から読み出されて編集画面196に表示される。この編集画面196上において、上述したように、画像を繋げたり重ね合わせたりすることで、連携機能が実行される。このような処理を行うことにより、過去に識別したことのある機器を連携機能を実行する度に撮影する必要がなくなり、効率的に連携機能を実行することができる。また、カメラの撮影画像に写り込む機器以外の画像がなくなるため、操作すべき機器の視認性も向上する。
上記の画像形成装置10、端末装置12,16及びサーバ14,14Aのそれぞれは、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、画像形成装置10、端末装置12,16及びサーバ14,14Aのそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像形成装置10、端末装置12,16及びサーバ14,14Aの各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、画像形成装置10、端末装置12,16及びサーバ14,14Aのそれぞれの各部は、例えばプロセッサや電子回路等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、画像形成装置10、端末装置12,16及びサーバ14,14Aのそれぞれの各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。