JP6179653B1 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP6179653B1
JP6179653B1 JP2016205160A JP2016205160A JP6179653B1 JP 6179653 B1 JP6179653 B1 JP 6179653B1 JP 2016205160 A JP2016205160 A JP 2016205160A JP 2016205160 A JP2016205160 A JP 2016205160A JP 6179653 B1 JP6179653 B1 JP 6179653B1
Authority
JP
Japan
Prior art keywords
function
display
image
cooperation
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016205160A
Other languages
English (en)
Other versions
JP2018067139A (ja
Inventor
賢吾 得地
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2016205160A priority Critical patent/JP6179653B1/ja
Priority to CN202210680942.3A priority patent/CN114895864A/zh
Priority to US15/586,412 priority patent/US10567608B2/en
Priority to CN201710307933.9A priority patent/CN107391061B/zh
Priority to US15/641,871 priority patent/US10440208B2/en
Priority to US15/642,665 priority patent/US10987804B2/en
Application granted granted Critical
Publication of JP6179653B1 publication Critical patent/JP6179653B1/ja
Publication of JP2018067139A publication Critical patent/JP2018067139A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】機器を利用して実行可能な機能の情報を表示する画像形成システムを提供する。【解決手段】画像形成システムは、各機器が有する機能を管理するサーバ14と、1つの機器(例えば機器10)が撮影された場合、当該1つの機器(例えば機器10)が有する機能を表示し、複数の機器(例えば機器10,12)が撮影された場合、当該複数の機器(例えば機器10,12)が有する機能を利用する連携機能を表示する端末装置16と、を備える。【選択図】図1

Description

本発明は、情報処理装置及びプログラムに関する。
特許文献1には、装置本体と着脱可能で無線通信可能な操作パネルに、操作の案内を示す画像を表示する技術が開示されている。
特許文献2には、クライアント装置とサービスを提供するサービス提供装置との間でデータの中継を行う中継装置が開示されている。
特許文献3には、撮像手段によって撮像された撮像画像に画像形成装置の状態情報を含む付加情報を重畳させた拡張現実画像を生成する携帯端末が開示されている。
特許文献4には、複数のクラウドサーバと通信する通信システムにおいて、ユーザによる各クラウドサーバの利用状況を、当該ユーザがログインに際して操作した機器のディスプレイに表示する技術が開示されている。
特許第5737906号 特開2014−10769号公報 特開2014−48672号公報 特開2014−238786号公報
ところで、画像形成装置等の機器の利用環境に関して、一般的には、1つの機器を複数のユーザが利用するという利用環境が想定されている。これに対して、今後、複数の機器を複数のユーザが利用するという利用環境が想定される。また、機器からタッチパネル等のユーザインターフェースが取り除かれたり、ユーザの出先等で機器が一時的に利用されたりするという場面が想定される。このような利用環境下では、機器によってどのような機能が実行可能であるのかがユーザにおいて簡単には分からない場合がある。
本発明の目的は、機器を利用して実行可能な機能の情報を提供することにある。
請求項1に係る発明は、第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、予め定められた時間内に前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段を有する情報処理装置である。
請求項に係る発明は、第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器が撮影された時点から予め設定された時間内に第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段を有する情報処理装置である。
請求項に係る発明は、前記制御手段は、前記第1機器と前記第2機器が撮影された場合、前記第1機能と前記第2機能の表示を制御するとともに、前記連携機能の表示を制御する、ことを特徴とする請求項1又は請求項に記載の情報処理装置である。
請求項に係る発明は、前記制御手段は、前記第1機器と前記第2機器が撮影された場合において、ユーザによって単独利用機能の表示指示が与えられた場合、前記第1機能と前記第2機能の表示を制御し、ユーザによって前記連携機能の表示指示が与えられた場合、前記連携機能の表示を制御する、ことを特徴とする請求項1又は請求項に記載の情報処理装置である。
請求項に係る発明は、前記制御手段は、前記第1機器の一部が撮影された場合、前記一部に割り当てられている機能の表示を制御する、ことを特徴とする請求項1から請求項何れかに記載の情報処理装置である。
請求項に係る発明は、前記制御手段は、前記連携機能の表示を制御する場合において、前記第1機器及び前記第2機器の中の少なくとも1つの機器の一部が撮影された場合、前記一部に割り当てられている機能を利用する前記連携機能の表示を制御する、ことを特徴とする請求項1から請求項何れかに記載の情報処理装置である。
請求項に係る発明は、前記制御手段は、前記第1機器の全体が撮影された場合、前記第1機器が有する1又は複数の機能の表示を制御し、前記第1機器の一部が撮影された場合、前記一部に割り当てられている機能の表示を制御する、ことを特徴とする請求項1から請求項何れかに記載の情報処理装置である。
請求項に係る発明は、第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段を有し、前記第1機器と前記第2機器が撮影された場合、前記第1機器に紐付く第1画像と前記第2機器に紐付く第2画像が表示手段に表示され、前記制御手段は、前記表示手段における前記第1画像と前記第2画像の表示位置に応じて、前記連携機能で利用する機器の起点及び次の連携先を変えて前記連携機能の表示を制御する、情報処理装置である。
請求項に係る発明は、前記制御手段は、前記表示手段に表示されている前記第1画像と前記第2画像の中で予め設定された領域に表示されている画像に紐付く機器を起点とした前記連携機能の表示を制御する、ことを特徴とする請求項に記載の情報処理装置である。
請求項1に係る発明は、前記制御手段は、前記予め設定された領域に機器の一部に紐付く画像が表示されている場合、前記一部に紐付く画像に割り当てられている機能を起点とした前記連携機能の表示を制御する、ことを特徴とする請求項に記載の情報処理装置である。
請求項1に係る発明は、前記制御手段は、撮影された機器に紐付く画像を、前記予め設定された領域に表示させるための編集画面の表示を制御する、ことを特徴とする請求項又は請求項1に記載の情報処理装置である。
請求項1に係る発明は、前記第1画像と前記第2画像の表示位置に応じて、前記連携機能で利用される前記第1機器と前記第2機器の利用の順番が変更される、ことを特徴とする請求項から請求項1何れかに記載の情報処理装置である。
請求項1に係る発明は、前記第1画像と前記第2画像の表示位置に応じて、前記連携機能で利用される前記第1機器と前記第2機器の間を移動するデータの移動の順番が変更される、ことを特徴とする請求項から請求項1何れかに記載の情報処理装置である。
請求項1に係る発明は、第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段を有し、前記第1機器と前記第2機器が撮影された場合、撮影を行う撮影装置との間の位置関係に応じて、前記連携機能の起点として利用される機器が変更される、情報処理装置である。
請求項1に係る発明は、前記撮影装置から近い位置に設置されている機器ほど優先的に前記連携機能の起点の機器として利用される、ことを特徴とする請求項1に記載の情報処理装置である。
請求項1に係る発明は、画像が表示される表示画面上に設定された基準位置から近い位置に表示されている画像に紐付く機器ほど優先的に前記連携機能の起点の機器として利用される、ことを特徴とする請求項1に記載の情報処理装置である。
請求項1に係る発明は、前記第1機器に紐付く第1外観画像と前記第2機器に紐付く第2外観画像との間の欠損関係に基づいて、前記位置関係が判定される、ことを特徴とする請求項1から請求項1何れかに記載の情報処理装置である。
請求項18に係る発明は、前記制御手段は、前記起点の機器が有する機能を利用する前記連携機能を優先的に表示手段に表示させる、ことを特徴とする請求項1から請求項1何れかに記載の情報処理装置である。
請求項19に係る発明は、前記制御手段は、前記撮影装置から近い位置の順番に応じた情報を、前記第1機器と前記第2機器に対応付けて表示手段に表示させる、ことを特徴とする請求項1から請求項18何れかに記載の情報処理装置である。
請求項2に係る発明は、第1機器に紐付く第1画像と第2機器に紐付く第2画像の表示位置に応じて、前記第1機器が有する第1単独機能及び前記第2機器が有する第2単独機能の表示と、前記第1単独機能と前記第2単独機能とを組み合わせることで実行可能な連携機能の表示と、を切り替える制御手段を有する情報処理装置である。
請求項2に係る発明は、撮影された機器に紐付く外観画像が予め設定された領域基準を満たさない場合、当該機器は利用対象の機器として識別されない、ことを特徴とする請求項1から請求項2何れかに記載の情報処理装置である。
請求項2に係る発明は、前記外観画像が障害物によって欠損している場合に、前記外観画像は前記領域基準を満たさない、ことを特徴とする請求項2に記載の情報処理装置である。
請求項2に係る発明は、前記連携機能の表示を制御する場合において、撮影された機器に紐付く外観画像が当該機器の一部のみを表わしている場合、前記一部に紐付く画像に割り当てられている機能が、前記連携機能で利用される、ことを特徴とする請求項1から請求項2何れかに記載の情報処理装置である。
請求項2に係る発明は、撮影手段による撮影で得られた機器の画像に基づいて、前記撮影手段によって撮影された機器を識別する識別手段、を更に有し、前記制御手段は、前記識別手段によって前記第1機器が識別された場合、前記第1機器が有する機能の表示を制御し、前記識別手段によって前記第1機器と前記第2機器が識別された場合、前記連携機能の表示を制御する、ことを特徴とする請求項1から請求項2何れかに記載の情報処理装置である。
請求項2に係る発明は、コンピュータを、第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、予め定められた時間内に前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段、として機能させるプログラムである。
請求項26に係る発明は、コンピュータを、第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器が撮影された時点から予め定められた時間内に第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段、として機能させるプログラムである。
請求項27に係る発明は、コンピュータを、第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段、として機能させ、前記第1機器と前記第2機器が撮影された場合、前記第1機器に紐付く第1画像と前記第2機器に紐付く第2画像が表示手段に表示され、前記制御手段は、前記表示手段における前記第1画像と前記第2画像の表示位置に応じて、前記連携機能で利用する機器の起点及び次の連携先を変えて前記連携機能の表示を制御する、プログラムである。
請求項28に係る発明は、コンピュータを、第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段、として機能させ、前記第1機器と前記第2機器が撮影された場合、撮影を行う撮影装置との間の位置関係に応じて、前記連携機能の起点として利用される機器が変更される、プログラムである。
請求項29に係る発明は、コンピュータを、第1機器に紐付く第1画像と第2機器に紐付く第2画像の表示位置に応じて、前記第1機器が有する第1単独機能及び前記第2機器が有する第2単独機能の表示と、前記第1単独機能と前記第2単独機能とを組み合わせることで実行可能な連携機能の表示と、を切り替える制御手段、として機能させるプログラムである。
請求項1−4,25,26に係る発明によると、機器を利用して実行可能な機能の情報が提供される。また、複数の機器の撮影のタイミングに応じた機能の情報が提供される。
請求項に係る発明によると、機器の一部を利用して実行可能な機能の情報が提供される。
請求項に係る発明によると、撮影対象に応じた機能の情報が提供される。
請求項8−10,27に係る発明によると、機器の表示位置によって連携機能を変えることが可能となる。
請求項1に係る発明によると、簡単な操作によって連携機能を変えることが可能となる。
請求項1に係る発明によると、機器の表示位置によって機器の利用の順番を変えることが可能となる。
請求項1に係る発明によると、機器の表示位置によってデータの移動の順番を変えることが可能となる。
請求項14−19,28に係る発明によると、撮影装置との位置関係によって連携機能を変えることが可能となる。
請求項20,29に係る発明によると、簡単な操作によって機能の表示制御を切り替えることが可能となる。
請求項2,2に係る発明によると、不要と想定される機器が利用対象の機器から除外される。
請求項2に係る発明によると、機器に紐付く外観画像が欠損している場合であっても、連携機能の情報が提供される。
請求項2に係る発明によると、識別された機器を利用して実行可能な機能の情報が提供される。
本発明の実施形態に係る画像形成システムを示すブロック図である。 本実施形態に係る画像形成装置を示すブロック図である。 本実施形態に係るサーバを示すブロック図である。 本実施形態に係る端末装置を示すブロック図である。 画像形成装置の外観を示す模式図である。 機器機能管理テーブルの一例を示す図である。 連携機能管理テーブルの一例を示す図である。 単独で利用される機器を示す図である。 機能表示画面の一例を示す図である。 機能表示画面の一例を示す図である。 連携対象の機器を示す図である。 機能表示画面の一例を示す図である。 機器表示画面の一例を示す図である。 機器表示画面の一例を示す図である。 変形例1に係る機器表示画面の一例を示す図である。 変形例1に係る機能表示画面の一例を示す図である。 変形例1に係る機器表示画面の一例を示す図である。 変形例1に係る機能表示画面の一例を示す図である。 変形例1に係る機器表示画面の一例を示す図である。 変形例2に係る機器表示画面の一例を示す図である。 変形例2に係る機器表示画面の一例を示す図である。 変形例3に係る機器表示画面の一例を示す図である。 変形例4に係る機器表示画面の一例を示す図である。 変形例4に係る機器表示画面の一例を示す図である。 変形例5に係る機器機能管理テーブルの一例を示す図である。 変形例5に係る連携機能管理テーブルの一例を示す図である。 変形例5に係る機器表示画面の一例を示す図である。 変形例5に係る機器表示画面の一例を示す図である。 変形例6に係る機器表示画面の一例を示す図である。 変形例6に係る機器表示画面の一例を示す図である。 変形例7に係る機器標示画面の一例を示す図である。 変形例7に係る機器表示画面の一例を示す図である。 画像形成システムにおける接続処理を示すシーケンス図である。
図1を参照して、本発明の実施形態に係る情報処理システムとしての画像形成システムについて説明する。図1には、本実施形態に係る画像形成システムの一例が示されている。
本実施形態に係る画像形成システムは、複数の機器(例えば機器10,12)と、外部装置の一例としてのサーバ14と、情報処理装置の一例としての端末装置16と、を含む。機器10,12、サーバ14及び端末装置16は、ネットワーク等の通信経路Nを介して互いに通信する機能を備えている。もちろん、機器10,12、サーバ14及び端末装置16は、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図1に示す例では、2つの機器(機器10,12)が画像形成システムに含まれているが、3つ以上の機器が画像形成システムに含まれていてもよい。また、複数のサーバ14や複数の端末装置16が、画像形成システムに含まれていてもよい。
機器10,12は、特定の機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、パーソナルコンピュータ(PC)、プロジェクタ、液晶ディスプレイやプロジェクタ等の表示装置、電話機、時計、監視カメラ、等の装置である。また、機器10,12は、他の装置との間でデータを送受信する機能を有する。本実施形態では、機器10は、一例として画像形成装置であるとする。画像形成装置(機器10)は、例えば、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する装置である。
サーバ14は、各機器が有する機能を管理する装置である。例えば、サーバ14は、各機器が有する機能と、複数の装置が有する機能を利用する連携機能を管理する。また、サーバ14は、他の装置との間でデータを送受信する機能を有する。
サーバ14は、ユーザ毎に、ユーザによって利用可能な機能を管理してもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。サーバ14は、ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報(例えば機能購入履歴情報)を管理してもよい。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、サーバ14は、一概に購入の有無によって機能を管理しなくてもよい。機能の購入処理は、例えば、サーバ14によって行われる。もちろん、別の装置によって購入処理が行われてもよい。
端末装置16は、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。端末装置16は、例えば、機器の利用時に、ユーザインターフェース部(UI部)として機能する。
本実施形態に係る画像形成システムにおいては、例えば、1つの機器が識別された場合、当該機器が有する機能の表示が制御され、複数の機器が識別された場合、当該複数の機器が有する機能を利用する連携機能の表示が制御される。例えば、1つの機器が撮影された場合、当該機器が有する機能の表示が制御され、複数の機器が撮影された場合、当該複数の機器が有する機能を利用する連携機能の表示が制御される。
以下、本実施形態に係る画像形成システムに含まれる各装置について詳しく説明する。
図2を参照して、画像形成装置としての機器10の構成について詳しく説明する。以下では、機器10を画像形成装置10と称することとする。図2には、画像形成装置10の構成が示されている。
通信部18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部18は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
画像形成部20は画像形成機能を有する。具体的には、画像形成部20は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を連携させた連携機能が実行されてもよい。例えば、スキャン機能と送信機能(転送機能)とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成され、そのスキャンデータが送信先(例えば端末装置16等の外部装置)に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。
記憶部22はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部22には、例えば、画像形成の命令を示す情報(例えばジョブ情報等)、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、サーバ14のアドレスを示すサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
UI部24はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。なお、画像形成装置10はUI部24を備えていなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部(ハードウェアUI部)を備えていてもよい。ハードウェアUI部は、例えば、数字入力に特化したハードウェアキー(例えばテンキー)、方向の指示に特化したハードウェアキー(例えば方向指示キー)、等である。
制御部26は、画像形成装置10の各部の動作を制御する。
以下、図3を参照して、サーバ14の構成について詳しく説明する。図3には、サーバ14の構成が示されている。
通信部28は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部28は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
記憶部30はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部30には、例えば、機器機能情報32、連携機能情報34、各種のデータ、各種のプログラム、各機器のアドレスを示す機器アドレス情報、サーバ14のアドレスを示すサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。記憶部30に記憶されている機器機能情報32や連携機能情報34が、定期的に又は指定されたタイミングで端末装置16に提供され、これにより、端末装置16に記憶されている情報が更新されてもよい。以下、機器機能情報32と連携機能情報34について説明する。
機器機能情報32は、画像形成システムに含まれる各機器(例えば画像形成装置10や機器12)が有する機能を示す情報であり、例えば、機器を識別するための機器識別情報と、当該機器が有する機能を識別するための機能識別情報と、の対応付けを示す情報である。機器識別情報は、例えば、機器ID、機器名称、機器の種類を示す情報、型番号、位置情報、機器の外観を表わす外観画像、等である。機能識別情報は、例えば、機能IDや機能名称等である。例えば、画像形成装置10がスキャン機能、プリント機能、コピー機能及びスキャン転送機能を有する場合、当該画像形成装置10の機器識別情報には、スキャン機能を示す機能識別情報、プリント機能を示す機能識別情報、コピー機能を示す機能識別情報、及び、スキャン転送機能を示す機能識別情報が対応付けられている。機器機能情報32を参照することにより、各機器が有する機能が特定(識別)される。
連携機能情報34は、複数の機能を連携させることによって実行される連携機能を示す情報である。複数の機能を連携させることによって、1又は複数の連携機能が実行される。連携機能は、1つの機器(例えば画像形成装置10又は機器12)が有する複数の機能を連携させることによって実行されてもよいし、複数の機器(例えば画像形成装置10と機器12)が有する複数の機能を連携させることによって実行されてもよい。また、操作指示を出している端末装置(本実施形態では端末装置16)も識別対象の機器に含め、端末装置が有する機能を連携機能の一部として利用するようにしてもよい。
連携機能情報34は、例えば、連携機能に利用される各機能を識別するための機能識別情報の組み合わせと、当該連携機能を識別するための連携機能識別情報と、の対応付けを示す情報である。連携機能識別情報は、例えば、連携機能IDや連携機能名称等である。
複数の機器を連携させる場合、連携機能情報34は、複数の機器が有する複数の機能を利用する連携機能を示す情報であり、連携機能に利用される各機器を識別するための機器識別情報の組み合わせと、連携機能識別情報と、の対応付けを示す情報である。
連携機能は、互いに異なる複数の機能を連携させることによって実行される機能であってもよいし、同一の機能を連携させることによって実行される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器(プリンタ)とスキャン機能を有する機器(スキャナ)を連携させることにより、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることにより、コピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能情報34においては、例えば、連携機能としてのコピー機能を識別するための連携機能識別情報と、プリント機能を有する機器を識別するための機器識別情報及びスキャン機能を有する機器を識別するための機器識別情報の組み合わせと、が対応付けられる。
なお、記憶部30には、利用可能機能情報が記憶されていてもよい。利用可能機能情報は、各ユーザが利用可能な機能を示す情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能識別情報(連携機能識別情報を含む)と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機器が有する機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザIDや氏名等のユーザアカウント情報である。利用可能機能情報を参照することにより、各ユーザが利用可能な機能が特定される。利用可能機能情報は、例えば、ユーザに機能が提供される度に(例えば、ユーザに無償又は有償で機能が提供される度に)更新される。
制御部36は、サーバ14の各部の動作を制御する。また、制御部36は、特定部38を含む。
特定部38は、機器を識別するための機器識別情報を受け、記憶部30に記憶されている機器機能情報32において当該機器識別情報に対応付けられている機能の機能識別情報を特定する。これにより、機器が有する機能が特定(識別)される。例えば、端末装置16からサーバ14に機器識別情報が送信され、特定部38によって、当該機器識別情報に対応付けられている機能の機能識別情報が特定される。機能に関する情報(例えば、機能識別情報や機能の説明情報等)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、機器識別情報によって特定される機器が有する機能に関する情報が、端末装置16に表示される。
また、特定部38は、連携対象の各機器を識別するための機器識別情報を受け、記憶部30に記憶されている連携機能情報34において各機器識別情報の組み合わせに対応付けられている連携機能の連携機能識別情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行される連携機能が特定(識別)される。例えば、端末装置16からサーバ14に複数の機器識別情報が送信され、特定部38によって、当該複数の機器識別情報に対応付けられている連携機能の連携機能識別情報が特定される。連携機能に関する情報(例えば、連携機能識別情報や連携機能の説明情報等)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、複数の機器識別情報によって特定される複数の機器によって実行される連携機能に関する情報が、端末装置16に表示される。
例えば、1つの機器が識別された場合(例えば1つの機器が撮影された場合)、特定部38は、当該機器を識別するための機器識別情報を受け、機器機能情報32において当該機器識別情報に対応付けられている機能の機能識別情報を特定する。これにより、1つの機器が識別された場合(例えば1つの機器が撮影された場合)、当該機器が有する機能が特定(識別)される。複数の機器が識別された場合(例えば複数の機器が撮影された場合)、特定部38は、当該複数の機器に含まれる各機器を識別するための機器識別情報を受け、連携機能情報34において各機器識別情報の組み合わせに対応付けられている連携機能の連携機能識別情報を特定する。これにより、複数の機器が識別された場合(例えば複数の機器が撮影された場合)、当該複数の機器が有する機能を利用する連携機能が特定(識別)される。このように、特定部38は、識別された機器の数に応じて(例えば撮影された機器の数に応じて)、機能の特定処理を切り替える。端末装置16においては、識別(例えば撮影)された機器の数に応じて、単体の機器が有する機能に関する情報、又は、複数の機器が有する機能を利用する連携機能に関する情報、が表示される。もちろん、複数の機器が撮影された場合であっても、特定部38は、当該複数の機器に含まれる各機器の機器識別情報を受け、機器機能情報32を参照することにより、各機器が有する機能を特定(識別)してもよい。
なお、ユーザが利用可能な機能が管理されている場合、特定部38は、ユーザを識別するためのユーザ識別情報を受け、記憶部30に記憶されている利用可能機能情報において当該ユーザ識別情報に対応付けられている各機能の機能識別情報を特定してもよい。これにより、当該ユーザが利用可能な機能群が特定(識別)される。例えば、端末装置16からサーバ14にユーザ識別情報が送信され、特定部38によって、当該ユーザ識別情報に対応付けられている各機能の機能識別情報が特定される。ユーザが利用可能な各機能に関する情報(例えば各機能の名称を示す情報)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、ユーザ識別情報によって特定されるユーザが利用可能な各機能に関する情報が、端末装置16に表示される。例えば、特定部38は、機器識別情報とユーザ識別情報を受け、機器機能情報32において当該機器識別情報に対応付けられている機能の機能識別情報を特定し、また、利用可能機能情報において当該ユーザ識別情報に対応付けられている機能の機能識別情報を特定する。これにより、当該機器識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。
制御部36は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部36は、当該ユーザに対して課金処理を適用してもよい。
また、制御部36は、例えば、文字認識機能、翻訳機能、画像加工機能、画像形成機能、等の画像処理に関する機能を実行してもよい。もちろん、制御部36は、画像処理以外の処理に関する機能を実行してもよい。文字認識機能が実行されることにより、画像内の文字が認識されて当該文字を示す文字データが生成される。翻訳機能が実行されることにより、画像内の文字が特定の言語で表される文字に翻訳され、翻訳された文字を示す文字データが生成される。画像加工機能が実行されることにより、画像が加工される。制御部36は、例えば、スキャン機能を実行することにより生成されたスキャンデータを画像形成装置10から受信し、当該スキャンデータを対象として、文字認識機能、翻訳機能、画像加工機能、等の画像処理に関する機能を実行する。制御部36は、画像データを端末装置16から受信し、当該画像データを対象として各機能を実行してもよい。制御部36によって生成された文字データや画像データは、例えば、サーバ14から端末装置16に送信される。サーバ14は外部機器として利用され、連携機能は、サーバ14を含む複数の機器が有する機能を利用する機能であってもよい。
以下、図4を参照して、端末装置16の構成について詳しく説明する。図4には、端末装置16の構成が示されている。
通信部40は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部40は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
撮影手段としてのカメラ42は、撮影対象を撮影することにより画像データ(例えば静止画像データや動画像データ)を生成する。また、端末装置16のカメラを利用するだけではなく、ネットワーク等の通信経路に繋がった外部のカメラで撮影された画像データを通信部40で受け取り、UI部46で画像データを表示し、ユーザが画像データを操作できるようにしてもよい。
記憶部44はハードディスクやメモリ(例えばSSD等)等の記憶装置であり、各種のプログラム、各種のデータ、サーバ14のアドレス情報、各機器のアドレス情報(例えば画像形成装置10や機器12のアドレス情報)、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等を記憶する。
UI部46はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えば、タッチパネル、キーボード、マウス、等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えばタッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示するものを含む)であってもよい。
制御部48は、端末装置16の各部の動作を制御する。制御部48は、例えば表示制御手段(制御手段)として機能し、各種の情報をUI部46の表示部に表示させる。
UI部46の表示部には、例えば、カメラ42によって撮影された画像や、利用対象の機器(例えば、単独で利用される機器や連携対象の機器)として識別された機器に紐付いた画像、等が表示される。機器に紐付いた画像は、カメラ42によって撮影された当該機器を表わす画像(静止画像又は動画像)であってもよいし、当該機器を模式的に表す画像(例えばアイコン)であってもよい。模式的に表す画像のデータは、例えば、サーバ14に記憶されてサーバ14から端末装置16に提供されてもよいし、端末装置16に予め記憶されていてもよいし、別の装置に記憶されて当該別の装置から端末装置16に提供されてもよい。
上述した機器機能情報32は、端末装置16の記憶部44に記憶されていてもよい。この場合、機器機能情報32は、サーバ14の記憶部30に記憶されていなくてもよい。同様に、上述した連携機能情報34は、端末装置16の記憶部44に記憶されていてもよい。この場合、連携機能情報34は、サーバ14の記憶部30に記憶されていなくてもよい。端末装置16の制御部48は、上述した特定部38を有し、機器識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を利用する連携機能を特定してもよい。この場合、サーバ14は特定部38を有していなくてもよい。
利用可能機能情報が作成されている場合、その利用可能機能情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、利用可能機能情報は、サーバ14の記憶部30に記憶されていなくてもよい。端末装置16の制御部48は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ14の制御部36は、その管理機能を有していなくてもよい。端末装置16の制御部48は、ユーザ識別情報に基づいて、ユーザによって利用可能な機能を特定してもよい。
更に別の例として、画像形成装置10や機器12等の機器に、機器機能情報32や連携機能情報34が記憶されていてもよいし、画像形成装置10や機器12等の機器が特定部38を有していてもよい。つまり、サーバ14の特定部38による処理は、サーバ14において行われてもよいし、端末装置16において行われてもよいし、画像形成装置10や機器12等の機器において行われてもよい。
本実施形態では、一例として、AR(Augmented Reality)技術(拡張現実技術)を適用することにより、機器識別情報が取得されて利用対象の機器が識別される。例えば、AR技術を適用することにより、単独で使用される機器の機器識別情報が取得されて当該機器が識別され、また、連携対象の機器の機器識別情報が取得されて連携対象の機器が識別される。AR技術として公知のAR技術が用いられる。例えば、2次元バーコード等のマーカを用いるマーカ型AR技術、画像認識技術を用いるマーカレス型AR技術、位置情報を用いる位置情報AR技術、等が用いられる。もちろん、AR技術を適用せずに機器識別情報が取得されて利用対象の機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、IPアドレスに基づいて機器を識別してもよいし、機器IDを読み出して機器を識別してもよい。更に、赤外線通信、可視光通信、Wi−Fi(Wireles Fidelity)(登録商標)、ブルートゥース(Bluetooth(登録商標))といった各種無線通信機能を備えた機器、端末装置であれば、それら無線通信機能を利用して連携する機器の機器IDを取得することで機器を識別し、連携機能を実行してもよい。
以下、図5を参照して、機器識別情報の取得処理について詳しく説明する。一例として、画像形成装置10の機器識別情報を取得する場合について説明する。図5には、画像形成装置10の外観が模式的に示されている。ここでは、マーカ型AR技術を適用して機器識別情報を取得するための処理について説明する。画像形成装置10の筐体には、2次元バーコード等のマーカ50が設けられている。マーカ50は、画像形成装置10の機器識別情報がコード化された情報である。ユーザは端末装置16のカメラ42を起動させ、利用対象の画像形成装置10に設けられているマーカ50をカメラ42によって撮影する。これにより、マーカ50を表す画像データが生成される。その画像データは、例えば、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該画像データに表されたマーカ画像に対してデコード処理を適用することにより、機器識別情報を抽出する。これにより、利用対象の画像形成装置10(撮影されたマーカ50を有する画像形成装置10)が識別される。サーバ14の特定部38は、機器機能情報32において、抽出された機器識別情報に対応付けられている機能の機能識別情報を特定する。これにより、利用対象の画像形成装置10が有する機能が特定(識別)される。
なお、端末装置16の制御部48が、マーカ50を表す画像データにデコード処理を適用することにより、機器識別情報を抽出してもよい。この場合、抽出された機器識別情報は、端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能情報32において、端末装置16から送信された機器識別情報に対応付けられている機能の機能識別情報を特定する。端末装置16の記憶部44に機器機能情報32が記憶されている場合、端末装置16の制御部48が、その機器機能情報32において、抽出された機器識別情報に対応付けられている機能の機能識別情報を特定してもよい。
マーカ50には、画像形成装置10が有する機能の機能識別情報がコード化されて含まれていてもよい。この場合、マーカ50を表す画像データにデコード処理を適用することにより、当該画像形成装置10の機器識別情報が抽出されるとともに、当該画像形成装置10が有する機能の機能識別情報も抽出される。これにより、画像形成装置10が特定(識別)されるとともに、当該画像形成装置10が有する機能が特定(識別)される。このデコード処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
複数の機器が有する機能を利用する連携機能を実行する場合、連携対象の各機器のマーカを撮影することにより各機器の機器識別情報が取得され、これにより、連携機能が特定(識別)される。
マーカレス型AR技術を適用して機器識別情報を取得する場合、例えば、ユーザは端末装置16のカメラ42によって、利用対象の機器(例えば画像形成装置10)の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称(例えば商品名)や型番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。その外観画像データは、例えば端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、サーバ14の記憶部30には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器の機器識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部36は、例えば、端末装置16から送信された外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器の機器識別情報を特定する。例えば、制御部36は、端末装置16から送信された外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられている機器識別情報を特定する。これにより、利用対象の機器(カメラ42によって撮影された機器)が識別される。別の例として、機器の名称(例えば商品名)や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器を識別してもよい。サーバ14の特定部38は、機器機能情報32において、特定された機器識別情報に対応付けられている各機能の機能識別情報を特定する。これにより、利用対象の機器(例えば画像形成装置10)が有する機能が特定される。
なお、端末装置16の制御部48が、利用対象の機器(例えば画像形成装置10)の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器の機器識別情報を特定してもよい。外観画像対応付け情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、端末装置16の制御部48は、端末装置16の記憶部44に記憶されている外観画像対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定する。または、端末装置16の制御部48は、サーバ14から外観画像対応付け情報を取得し、当該外観画像対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定してもよい。
複数の機器が有する機能を利用する連携機能を実行する場合、連携対象の各機器の外観の全部又は一部を撮影することにより各機器の機器識別情報が取得され、これにより、連携機能が特定(識別)される。
位置情報AR技術を適用して機器識別情報を取得する場合、例えば、GPS(Global Positioning System)機能を利用することにより、機器(例えば画像形成装置10)が設置されている位置を示す位置情報が取得される。例えば、各機器がGPS機能を備えており、機器自身の位置を示す機器位置情報を取得する。端末装置16は、利用対象の機器に対して機器位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器の機器位置情報を受信する。その機器位置情報は、例えば、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該機器位置情報に基づいて利用対象の機器を識別する。例えば、サーバ14の記憶部30には、機器毎に、機器が設置されている位置を示す機器位置情報と、当該機器の機器識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部36は、その位置対応付け情報において、端末装置16から送信された機器位置情報に対応付けられている機器識別情報を特定する。これにより、利用対象の機器が特定(識別)される。サーバ14の特定部38は、機器機能情報32において、特定された機器識別情報に対応付けられている各機能の機能識別情報を特定する。これにより、利用対象の機器(例えば画像形成装置10)が有する機能が特定(識別)される。
なお、端末装置16の制御部48が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられている機器識別情報を特定してもよい。位置対応付け情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、端末装置16の制御部48は、端末装置16の記憶部44に記憶されている位置対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定する。別の例として、端末装置16の制御部48は、サーバ14から位置対応付け情報を取得し、当該位置対応付け情報を参照することにより、利用対象の機器の機器識別情報を特定してもよい。
複数の機器を利用する連携機能を実行する場合、連携対象の各機器の機器位置情報が取得され、各機器位置情報に基づいて各機器の機器識別情報が特定される。これにより、連携機能が特定(識別)される。
以下、本実施形態に係る画像形成システムについて詳しく説明する。
図6を参照して、機器機能情報32について詳しく説明する。図6には、機器機能情報32としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器が有する機能を示す情報(機能識別情報)と、画像IDと、が互いに対応付けられている。機器IDと機器名は機器識別情報の一例に相当する。画像IDは、機器を表わす画像(例えば、機器の外観を表わす画像や、機器を模式的に表す画像(例えばアイコン)等)を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像IDは含まれていなくてもよい。例えば、機器IDが「B」の機器は、複合機(複数の画像形成機能を有する画像形成装置)であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器を表わす画像を識別するための画像IDが対応付けられている。機器を表わす画像のデータは、例えば、サーバ14の記憶部30に記憶されている。
例えば、AR技術を適用することにより、利用対象の機器を識別するための機器IDが取得される。サーバ14の特定部38は、機器機能管理テーブルを参照することにより、その機器IDに対応付けられている機器名、機能及び画像IDを特定する。これにより、利用対象の機器が識別される。例えば、機器名を示す情報、及び、機器を表す画像のデータが、サーバ14から端末装置16に送信され、それらが端末装置16のUI部46に表示される。機器を表す画像は、当該機器に紐付いた画像として表示される。もちろん、カメラ42によって撮影された画像そのものが端末装置16のUI部46に表示されてもよい。また、端末装置16のUI部46において、機器に紐付いた画像(例えば、カメラ42によって撮影された画像や、機器を模式的に表す画像)がユーザによって指定されると、その機器が有する機能に関する情報(例えば、機能識別情報や機能の説明情報等)が、サーバ14から端末装置16に送信されて端末装置16のUI部46に表示されてもよい。
以下、図7を参照して、連携機能情報34について詳しく説明する。図7には、連携機能情報34としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器IDの組み合わせと、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能識別情報)と、が互いに対応付けられている。例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機(B)を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機(B)によるスキャンによって生成された画像データをPC(A)に転送する機能である。「プリント機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機(B)に送信して複合機(B)にて印刷する機能である。
以下、図8を参照して、機器が単独で利用される場合の処理について説明する。図8には、単独で利用される機器の一例が示されている。一例として、画像形成装置10が、単独で利用される機器であるとする。画像形成装置10は例えば複合機である。画像形成装置10は、現実空間に存在する機器である。図8に示されている端末装置16は、現実空間に存在する機器であり、例えばスマートフォンや携帯電話等の携帯端末装置である。
例えば、画像形成装置10の筐体に2次元バーコード等のマーカ50が設けられている。マーカ型AR技術又はマーカレス型AR技術が用いられる場合、ユーザは端末装置16(例えばスマートフォン)のカメラ42によって、利用対象の画像形成装置10を撮影する。これにより、マーカ50を表わす画像データ又は画像形成装置10の外観を表わす外観画像データが生成される。端末装置16のUI部46の表示部には機器表示画面52が表示され、その機器表示画面52に、画像形成装置10に紐付いた機器画像54が表示される。機器画像54は、例えば、カメラ42による撮影によって生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)である。
カメラ42による撮影によって生成された画像データは、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が画像データにデコード処理を適用することにより、画像形成装置10の機器識別情報を抽出し、これにより、画像形成装置10を識別する。別の例として、画像形成装置10の外観を表わす外観画像データが生成され、端末装置16からサーバ14に外観画像データが送信されてもよい。この場合、サーバ14においては、制御部36が、外観画像対応付け情報を参照することにより、画像形成装置10の機器識別情報を特定する。これにより、画像形成装置10が識別される。
また、サーバ14の特定部38は、機器機能情報32(例えば図6に示されている機器機能管理テーブル)を参照することにより、画像形成装置10が有する機能を特定(識別)する。この点について図6を参照して詳しく説明する。画像形成装置10は、一例として「複合機(B)」であるとする。特定部38は、図6に示されている機器機能管理テーブルにおいて、複合機(B)に対応付けられている機能を特定する。これにより、複合機(B)が有する機能が特定される。特定された機能に関する情報は、サーバ14から端末装置16に送信される。もちろん、機器や機能を識別するための処理は、端末装置16によって行われてもよい。
なお、機器表示画面52には、カメラ42による撮影によって生成された画像の替わりに、識別された画像形成装置10に紐付く予め用意された画像(撮影で得られた画像そのものではなく模式的な画像(例えばアイコン))や、外部のカメラによる撮影によって生成された画像が、機器画像54として表示されてもよい。
例えば、機器を撮影することで得られた画像データを利用する場合、現在の機器そのものの外観(例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観)が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。
模式的な画像を利用する場合、模式的な画像のデータは、例えばサーバ14から端末装置16に送信される。例えば画像形成装置10が識別されると、サーバ14の特定部38は、図6に示されている機器機能管理テーブル(機器機能情報32)を参照することにより、画像形成装置10に紐付く模式的な画像を特定する。その模式的な画像のデータはサーバ14から端末装置16に送信され、その模式的な画像は機器画像54として機器表示画面52に表示される。模式的な画像のデータは端末装置16に予め記憶されていてもよい。この場合、画像形成装置10が識別されると、端末装置16に記憶されている機器画像54が機器表示画面52に表示される。模式的な画像のデータは、サーバ14や端末装置16以外の装置に記憶されていてもよい。
また、機器が識別されると、その機器の名称を示す情報がサーバ14から端末装置16に送信され、端末装置16において、機器表示画面52に機器の名称が表示されてもよい。図8に示す例では、画像形成装置10は複合機であり、その名称「複合機(B)」が表示されている。
画像形成装置10が有する機能が特定されると、例えば図9に示すように、端末装置16の制御部48は、機能表示画面56を端末装置16のUI部46に表示させ、その機能表示画面56に機能に関する情報を表示させる。機能に関する情報として、例えば、その機能の実行を指示するためのボタン画像が表示される。画像形成装置10としての複合機(B)は、例えば、プリント機能、スキャン機能、コピー機能、及び、ファクシミリ機能を有しているため、これらの機能の実行を指示するためのボタン画像が機能表示画面56に表示される。例えば、ユーザが端末装置16を使用してプリント機能を表わすボタン画像を指定し、プリント機能の実行を指示すると、プリント機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10に送信される。その実行指示情報には、プリント機能を実行するための制御データや、プリント機能が適用される画像データ等のデータ、等が含まれる。画像形成装置10は実行指示情報を受けると、その実行指示情報に従ってプリントを実行する。
図10には、機能表示画面の別の例が示されている。この機能表示画面58は、図8に示すように、単体の機器を利用する際に、端末装置16のUI部46に表示される画面である。上述したように、利用対象の機器(例えば画像形成装置10)が特定され、利用対象の機器が有する機能が特定される。また、利用対象の機器を利用するユーザがユーザ識別情報に対応付けられている機能を示す機能識別情報、つまり、当該ユーザが利用可能な機能が特定されてもよい。さらに、利用対象の機器が有する機能が特定されるので、提供対象となっている機能群の中で利用対象の機器が有していない機能が特定されてもよい。これらの情報は、機能表示画面58に表示されてもよい。
図10に示されている機能表示画面58には、機能識別情報の一例として、機能Aを表すボタン画像60、機能Bを表すボタン画像62、及び、機能Cを表すボタン画像64が、表示されている。機能Aは、利用対象の機器(例えば識別された画像形成装置10)が有している機能であって、ユーザによって利用可能な機能である。機能Bは、利用対象の機器が有している機能であって、ユーザによる利用が不可能な機能である。ユーザが機能Bの提供を受けることにより、当該ユーザによる機能Bの利用が可能となる。機能Bが有償の機能であれば、ユーザが機能Bを購入することにより、機能Bの利用が可能となり、機能Bが無償の機能であれば、ユーザが無償で機能Bの提供を受けることにより、機能Bの利用が可能となる。機能Cは、利用対象の機器が有していない機能、つまり、利用対象の機器が対応していない機能である。端末装置16の制御部48は、ボタン画像によって表されている機能が、利用対象の機器が有している機能であるか否かに応じて、当該ボタン画像の表示態様を変えてもよい。また、制御部48は、ボタン画像によって表されている機能が、ユーザによって利用可能な機能であるか否かに応じて、当該ボタン画像の表示態様を変えてもよい。例えば、制御部48は、ボタン画像の色や形状を変えてもよい。図10に示す例では、ボタン画像60,62,64はそれぞれ異なる色で表示されている。一例として、利用対象の機器が有している機能であってユーザによって利用可能な機能を表すボタン画像(例えば機能Aを表すボタン画像60)は、青色で表示される。利用対象の機器が有している機能であってユーザによる利用が不可能な機能を表すボタン画像(機能Bを表すボタン画像62)は、黄色で表示される。利用対象の機器が有していない機能を表すボタン画像(例えば機能Cを表すボタン画像64)は、灰色で表示される。別の例として、制御部48は、ボタン画像60,62,64の形状を変えてもよいし、機能表示名のフォントを変えてもよい。もちろん、別の手法によって表示態様を変えてもよい。これにより、ユーザに視認性良く各機能の利用可否が伝えられる。
例えば、ユーザが端末装置16を利用して機能Aを表すボタン画像60を指定し、機能Aの実行の指示を与えると、機能Aの実行指示を示す実行指示情報が、端末装置16から利用対象の機器に送信される。その実行指示情報には、機能Aを実行するための制御データや、機能Aによる処理が適用される画像データ等のデータ、等が含まれる。利用対象の機器は実行指示情報を受けると、その実行指示情報に従って機能Aを実行する。例えば、利用対象の機器が画像形成装置10の場合であって機能Aがスキャン転送機能の場合、画像形成装置10の画像形成部20によってスキャン機能が実行され、これによりスキャンデータ(画像データ)が生成される。そのスキャンデータは、画像形成装置10から設定された送信先(例えば端末装置16)に送信される。
また、ユーザが端末装置16を利用して機能Bを表すボタン画像62を指定し、機能Bの提供を指示した場合、提供処理が実行される。提供処理がサーバ14によって行われる場合、端末装置16はサーバ14にアクセスする。これにより、ユーザによる機能Bの利用を可能にするための情報として、機能Bの提供を受けるための画面(例えばWebサイト)が端末装置16のUI部46に表示される。この画面上で提供手続きを行うことにより、ユーザによる機能Bの利用が可能となる。例えば、端末装置16にはWebブラウザのプログラムが記憶されており、そのWebブラウザを利用することにより、端末装置16からサーバ14へのアクセスが実現される。ユーザはWebブラウザを用いてサーバ14にアクセスすると、端末装置16のUI部46に、機能提供画面(例えばWebサイト)が表示され、そのWebサイトを介して機能が提供される。もちろん、サーバ14以外のサーバ等によって提供処理が行われてもよい。別の例として、端末装置16のUI部46には、ユーザによる機能Bの利用を可能にするための情報として、管理者等に機能Bの利用を依頼するための利用許可依頼画面(例えばWebサイト)が表示されてもよい。この利用許可依頼画面を介して機能Bの利用の許可を管理者等に依頼し、その許可が得られた場合、ユーザによる機能Bの利用が可能となる。
以下、図11を参照して、連携機能が利用される場合の処理について説明する。図11には、連携対象の機器の一例が示されている。一例として、画像形成装置10と機器12としてのプロジェクタ(以下、プロジェクタ12と称する)とが、連携対象の機器として用いられるものとする。画像形成装置10、プロジェクタ12及び端末装置16は、現実空間に存在する機器である。
例えば、画像形成装置10の筐体に2次元バーコード等のマーカ50が設けられており、プロジェクタ12の筐体に2次元バーコード等のマーカ66が設けられている。マーカ66は、プロジェクタ12の機器識別情報がコード化された情報である。マーカ型AR技術又はマーカレス型AR技術が用いられる場合、ユーザは端末装置16(例えばスマートフォン)のカメラ42によって、連携対象の画像形成装置10とプロジェクタ12を撮影する。図11に示す例では、カメラ42の撮影領域に画像形成装置10とプロジェクタ12の両方が含まれる状態で、画像形成装置10とプロジェクタ12が一緒に撮影されている。これにより、マーカ50,66のそれぞれを表わす画像データが生成される。端末装置16のUI部46の表示部には機器表示画面68が表示され、その機器表示画面68に、画像形成装置10に紐付いた機器画像70とプロジェクタ12に紐付いた機器画像72が表示される。機器画像70,72は、例えば、カメラ42による撮影によって生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)である。
カメラ42による撮影によって生成された画像データは、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が画像データにデコード処理を適用することにより、画像形成装置10の機器識別情報とプロジェクタ12の機器識別情報を抽出し、これにより、画像形成装置10とプロジェクタ12を識別する。別の例として、画像形成装置10とプロジェクタ12のそれぞれの外観を表わす外観画像データが生成され、端末装置16からサーバ14に送信されてもよい。この場合、サーバ14においては、制御部36が、外観画像対応付け情報を参照することにより、画像形成装置10の機器識別情報とプロジェクタ12の機器識別情報を特定する。これにより、画像形成装置10とプロジェクタ12が識別される。
また、サーバ14の特定部38は、連携機能情報34(例えば図7に示されている連携機能管理テーブル)を参照することにより、画像形成装置10が有する機能とプロジェクタ12が有する機能とを利用する連携機能を特定(識別)する。この点について図7を参照して詳しく説明する。画像形成装置10は、一例として「複合機(B)」であり、プロジェクタ12は、一例として「プロジェクタ(C)」であるとする。特定部38は、図7に示されている連携機能管理テーブルにおいて、複合機(B)とプロジェクタ(C)の組み合わせに対応付けられている連携機能を特定する。これにより、複合機(B)とプロジェクタ(C)を連携させることによって実行される連携機能が特定される。特定された連携機能に関する情報は、サーバ14から端末装置16に送信される。もちろん、機器や連携機能を識別するための処理は、端末装置16によって行われてもよい。
なお、機器表示画面68には、カメラ42による撮影によって生成された画像の替わりに、識別された画像形成装置10に紐付く予め用意された画像(例えば模式的な画像(例えばアイコン))や、外部のカメラによる撮影によって生成された画像が、機器画像70として表示されてもよい。同様に、識別されたプロジェクタ12に紐付く予め用意された画像や、外部のカメラによる撮影によって生成された画像が、機器画像72として表示されてもよい。模式的な画像のデータは、上述したように、例えばサーバ14から端末装置16に送信されてもよいし、端末装置16に予め記憶されていてもよいし、それら以外の装置に記憶されていてもよい。
また、機器が識別されると、その機器の名称を示す情報がサーバ14から端末装置16に送信され、端末装置16において、機器表示画面68に機器の名称が表示されてもよい。図11に示す例では、画像形成装置10の名称「複合機(B)」と、プロジェクタ12の名称「プロジェクタ(C)」が表示されている。
なお、複数の機器が撮影された場合であっても、サーバ14の特定部38は、機器機能情報32を参照することにより、各機器が有する機能を特定してもよい。図11に示す例では、特定部38は、画像形成装置10が有する機能とプロジェクタ12が有する機能をそれぞれ特定してもよい。特定された機能に関する情報は、サーバ14から端末装置16に送信されてもよい。
連携機能が特定されると、例えば図12に示すように、端末装置16の制御部48は、機能表示画面74を端末装置16のUI部46に表示させ、その機能表示画面56に連携機能に関する情報を表示させる。連携機能に関する情報として、例えば、その連携機能の実行を指示するためのボタン画像が表示される。複合機(B)とプロジェクタ(C)を連携させることで、例えば、複合機(B)によるスキャンによって生成された画像をプロジェクタ(C)によって投影する連携機能や、プロジェクタ(C)によって投影されている画像を複合機(B)によってプリントする連携機能が実行可能となる。これらの連携機能の実行を指示するためのボタン画像が機能表示画面74に表示される。例えば、ユーザが端末装置16を使用してボタン画像を指定し、連携機能の実行を指示すると、その連携機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10とプロジェクタ12に送信される。画像形成装置10とプロジェクタ12は、実行指示情報を受けると、ユーザによって指定された連携機能を実行する。
ユーザの操作によって、連携対象の機器が指定されてもよい。例えば、画像形成装置10とプロジェクタ12をカメラ42によって撮影することにより、図11に示すように、端末装置16のUI部46には、画像形成装置10に紐付く機器画像70とプロジェクタ12に紐付く機器画像72が表示される。なお、機器に紐付く画像は、カメラ42による撮影で得られた画像であってもよいし、識別された機器に紐付く予め用意された画像(例えば模式的な画像(例えばアイコン))であってもよい。ユーザが機器表示画面68上で機器画像70,72を指定することにより、連携対象の機器として画像形成装置10とプロジェクタ12が指定される。例えば、ユーザが機器画像70を指定すると、マーカ型AR技術又はマーカレス型AR技術が機器画像70に適用され、これにより、画像形成装置10が特定(識別)される。同様に、ユーザが機器画像72を指定すると、マーカ型AR技術又はマーカレス型AR技術が機器画像72に適用され、これにより、プロジェクタ12が特定(識別)される。これにより、画像形成装置10とプロジェクタ12によって実行される連携機能が特定され、その連携機能に関する情報が端末装置16のUI部46に表示される。
別の例として、ユーザが機器表示画面68上で機器画像70をタッチして機器画像72までの間を指等で操作する(例えば指等でなぞる)ことにより、機器画像70,72が指定され、画像形成装置10とプロジェクタ12が連携対象の機器として指定されてもよい。機器画像70,72を触れる順番やなぞる方向は、上記の例と逆であってもよい。もちろん、機器表示画面68をなぞるためのペンといった指以外の画面接触手段が用いられてもよい。丸を付けるような描画操作によって連携対象の機器を指定してもよいし、連携したい機器に紐付く機器画像を予め設定された時間内に指定することで、連携対象の機器を指定してもよい。連携を解除する場合、ユーザが機器表示画面68上で解除対象の機器を指定してもよいし、連携解除ボタンを押してもよい。連携対象ではない機器が画像に写り込んでいる場合、ユーザが機器表示画面68上にてその機器を指定することにより、その機器を連携対象の機器群から除外してもよい。バツ印等を付けるような予め設定された操作によって、解除対象の機器を指定してもよい。
連携対象の各機器は別々に撮影されてもよい。例えば、カメラ42による撮影を複数回に分けることで、連携対象の各機器を識別する。カメラ42による撮影を複数回に分けた場合、各撮影回で識別された機器の機器識別情報は、サーバ14又は端末装置16の記憶部に記憶される。例えば、カメラ42の撮影領域に画像形成装置10が含まれる状態で画像形成装置10が撮影され、次に、カメラ42の撮影領域にプロジェクタ12が含まれる状態でプロジェクタ12が撮影される。これにより、画像形成装置10についての画像データとプロジェクタ12についての画像データが生成され、各画像データにマーカ型AR技術又はマーカレス型AR技術が適用されることにより、画像形成装置10とプロジェクタ12が特定(識別)され、画像形成装置10とプロジェクタ12の機能を利用する連携機能が特定(識別)される。例えば、連携対象の各機器が互いに近い位置に配置されて、カメラ42の撮影領域に画像形成装置10とプロジェクタ12の両方が必ずしも一緒に含まれるとは限らない。カメラ42の撮影領域のアングルを変えたり、撮影領域の拡大又は縮小によって対応することができる場合もあるが、そのような操作で対応しきれない場合、撮影を複数回に分けることにより、連携対象の機器を識別することも解決手段としてあり得る。
別の例として、連携対象の機器が基本連携機器として予め設定されていてもよい。例えば、画像形成装置10が基本連携機器として予め設定されているものとする。基本連携機器の機器識別情報は、サーバ14や端末装置16の記憶部に予め記憶されていてもよい。ユーザが端末装置16を利用して基本連携機器を指定してもよい。基本連携機器が設定されている場合、ユーザは端末装置16のカメラ42によって、基本連携機器以外の連携対象の機器を撮影する。これにより、連携対象の機器が特定(識別)され、基本連携機器と撮影された機器が有する機能を利用する連携機能が特定(識別)される。
なお、AR技術等を適用しても撮影対象の機器が識別されない場合、その撮影対象の機器を表わす機器画像は、機器表示画面に表示されなくてもよい。これにより、識別された機器の視認性が向上する。例えば、識別された機器と識別されない機器が混在し、それぞれがカメラ42によって撮影された場合、識別されない機器を表わす機器画像を非表示にする。これにより、識別された機器を表わす機器画像が、識別されない機器を表わす機器画像に埋もれずに表示されるので、識別された機器の視認性が向上する。また、識別された機器を表わす機器画像を強調して表示してもよい。例えば、識別された機器を表わす機器画像を特定の色で表示してもよいし、機器画像の縁を強調して表示してもよいし、機器画像を拡大して表示してもよいし、機器画像を3次元で表示してもよいし、機器画像を振動させて表示してもよい。これにより、識別された機器の視認性が向上する。
以下、機器が単独で利用される機能(以下、「単独利用機能」と称する)の表示と、連携機能の表示と、の切り替え制御について詳しく説明する。
例えば、予め設定された識別時間内に、1つの機器のみが識別された場合、端末装置16の制御部48は、当該1つの機器(例えば画像形成装置10)が有する機能に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させる。識別期間の長さは、ユーザによって変更されてもよい。なお、AR技術を適用することで機器を識別してもよいし、AR技術以外の技術を適用することで機器を識別してもよい。機器の識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。識別時間の始点(起算点)は、例えば、1つの機器が識別された時点であってもよいし、ユーザが指定した時点(例えば識別処理開始時点)であってもよい。
例えば、1つの機器が識別された時点から識別時間内に、別の機器が識別されない場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させる。この場合、当該1つの機器は、識別期間内に識別された機器として扱われる。機器に関する情報は、サーバ14から端末装置16に送信された情報であってもよいし、端末装置16に予め記憶されている情報であってもよい。
別の例として、ユーザが指定した時点を識別時間の開始時点として、その開始時点から識別時間内に1つの機器のみが識別された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機器に関する情報として、端末装置16のUI部46に表示させる。
別の例として、1つの機器が識別された後、単独利用機能の表示指示が与えられた場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させてもよい。端末装置16の制御部48は、例えば、常時、又は、1つの機器が撮影された場合(又は1つの機器が識別された場合)、単独利用機能の表示を指示するためのボタン画像を、図8に示されている機器表示画面52に表示させる。そのボタン画像がユーザによって押された場合、制御部48は、当該1つの機器が有する機能に関する情報をUI部46に表示させる。
識別時間が経過した時点で、端末装置16の制御部48は、確認画面を端末装置16のUI部46に表示させてもよい。その確認画面は、例えば、ユーザが識別時間の延長を指示するための画面である。ユーザが確認画面を介して識別時間の延長を指示した場合において、その延長時間内に別の機器が撮影されない場合、端末装置16の制御部48は、識別された機器が有する機能に関する情報を、端末装置16のUI部46に表示させる。
単独利用機能に関する情報の表示制御について更に詳しく説明する。例えば、マーカ型AR技術又はマーカレス型AR技術によって機器が識別されるものとする。例えば、予め設定された撮影時間内に、1つの機器のみが撮影された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させる。撮影時間の始点(起算点)は、1つの機器が撮影された時点であってもよいし、ユーザが指示した時点(例えば撮影開始時点)であってもよい。撮影時間の長さは、ユーザによって変更されてもよい。なお、当該1つの機器が撮影されると、マーカ型AR技術又はマーカレス型AR技術によって、当該1つの機器が識別される。この識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
例えば、1つの機器が撮影された時点から撮影時間内に、別の機器が撮影されない場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させる。この場合、当該1つの機器は、撮影時間内に撮影された機器として扱われる。
別の例として、ユーザが指定した時点を撮影時間の開始時点として、その開始時点から撮影時間内に1つの機器のみが撮影された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させる。
別の例として、1つの機器が撮影された後、単独利用機能の表示指示が与えられた場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させてもよい。
例えば、撮影時間内に1つの機器のみが撮影された場合(例えば、1つ目の機器が撮影された時点から撮影時間内に別の機器が撮影されない場合や、ユーザが指定した開始時点から撮影時間内に1つの機器のみが撮影された場合)、端末装置16の制御部48は、その撮影で生成された画像データをサーバ14に送信する。撮影時間は、制御部48によって計測されてもよいし、タイマーによって計測されてもよい。サーバ14の特定部38は、その画像データに基づいて機器を特定(識別)し、その機器が有する機能を特定する。その機能に関する情報は、サーバ14から端末装置16に送信され、端末装置16のUI部46に表示される。もちろん、端末装置16が時間の管理を行わずに、サーバ14が時間の管理を行って、識別された機器が有する機能に関する情報を端末装置16に送信してもよい。
撮影時間が経過した時点で、端末装置16の制御部48は、確認画面を端末装置16のUI部46に表示させてもよい。その確認画面は、例えば、ユーザが撮影時間の延長を指示するための画面である。ユーザが確認画面を介して撮影時間の延長を指示した場合において、その延長時間内に別の機器が撮影されない場合、端末装置16の制御部48は、撮影で得られた画像データをサーバ14に送信し、それに応じて、当該1つの機器が有する機能を端末装置16のUI部46に表示させる。延長時間の長さは、ユーザによって変更されてもよい。
別の例として、端末装置16の制御部48は、1つの機器が撮影された後、単独利用機能の表示指示が与えられた場合、その撮影で生成された画像データをサーバ14に送信し、それに応じて、撮影された機器が有する機能に関する情報をサーバ14から受信してもよい。
更に別の例として、端末装置16の制御部48は、機器が撮影されて画像データが生成される度に、その画像データをサーバ14に送信し、それに応じて、撮影された機器が有する機能に関する情報をサーバ14から受信してもよい。この場合、端末装置16の制御部48は、撮影時間内に1つの機器のみが撮影された場合、当該1つの機器に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させる。
一方、識別時間内に複数の機器が識別された場合、端末装置16の制御部48は、当該識別時間内に識別された複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。識別時間が延長された場合、端末装置16の制御部48は、その延長時間を含む識別時間内に識別された複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。その識別時間内に識別された複数の機器は、連携対象の機器として指定されたことになる。連携機能に関する情報は、サーバ14から端末装置16に送信された情報であってもよいし、端末装置16に予め記憶されている情報であってもよい。
例えば、1つの目の機器が識別された時点から識別時間内に、別の機器が識別された場合、端末装置16の制御部48は、当該1つ目の機器と当該別の機器とを含む複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。この場合、1つ目の機器も、識別時間内に識別された機器として扱われる。
また、1つ目の機器が識別された時点から識別時間内に別の機器が識別された場合、端末装置16の制御部48は、当該別の機器が識別された時点を開始時点とした新たな識別時間を設定してもよい。以降についても同様であり、新たな識別時間内に更に別の機器が識別された場合、更に新たな識別時間が設定される。この場合、端末装置16の制御部48は、全識別時間内に識別された複数の機器(1つ目の機器を含む)が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。
別の例として、ユーザが指定した時点を識別時間の開始時点として、その開始時点から識別時間内に複数の機器が撮影された場合、端末装置16の制御部48は、当該複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。
別の例として、複数の機器が識別された後、連携機能の表示指示が与えられた場合に、端末装置16の制御部48は、当該複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させてもよい。端末装置16の制御部48は、例えば、常時、又は、複数の機器が撮影された場合(又は複数の機器が識別された場合)、連携機能の表示を指示するためのボタン画像を機器表示画面68に表示させる。そのボタン画像がユーザによって押された場合、制御部48は、当該複数の機器が有する機能を利用する連携機能に関する情報をUI部46に表示させる。
別の例として、1つ目の機器が識別された後、当該1つ目の機器が有する機能の実行指示が与えられない間に、別の機器が識別された場合、端末装置16の制御部48は、当該複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させてもよい。例えば、図9又は図10に示すように、機能表示画面56,58が端末装置16のUI部46に表示されている状態で、ユーザによって機能の実行が指示される前に、別の機器が撮影された場合、端末装置16の制御部48は、最初に識別された機器と当該別の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。
連携機能に関する情報の表示制御について更に詳しく説明する。例えば、マーカ型AR技術又はマーカレス型AR技術によって複数の機器が識別されるものとする。例えば、予め設定された撮影時間内に複数の機器が撮影された場合、端末装置16の制御部48は、当該撮影時間内に撮影された複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。撮影時間が延長された場合、端末装置16の制御部48は、その延長時間を含む撮影時間内に撮影された複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。その撮影時間内に撮影された複数の機器は、連携対象の機器として指定されたことになる。なお、複数の機器が撮影されると、マーカ型AR技術又はマーカレス型AR技術によって、当該複数の機器が識別される。この識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
例えば、1つの目の機器が撮影された時点から撮影時間内に、別の機器が撮影された場合、端末装置16の制御部48は、当該1つ目の機器と当該別の機器とを含む複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。この場合、1つ目の機器も、撮影時間内に撮影された機器として扱われる。
また、1つ目の機器が撮影された時点から撮影時間内に別の機器が撮影された場合、端末装置16の制御部48は、当該別の機器が撮影された時点を開始時点とした新たな撮影時間を設定してもよい。以降についても同様であり、新たな撮影時間内に更に別の機器が撮影された場合、更に新たな撮影時間が設定される。この場合、端末装置16の制御部48は、全撮影時間内に撮影された複数の機器(1つ目の機器を含む)が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。
別の例として、ユーザが指定した時点を撮影時間の開始時点として、その開始時点から撮影時間内に複数の機器が撮影された場合、端末装置16の制御部48は、当該複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。
別の例として、複数の機器が撮影された後、連携機能の表示指示が与えられた場合に、端末装置16の制御部48は、当該複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させてもよい。
別の例として、1つ目の機器が撮影された後、当該1つ目の機器が有する機能の実行指示が与えられない間に、別の機器が撮影された場合、端末装置16の制御部48は、当該複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させてもよい。例えば、図9又は図10に示すように、機能表示画面56,58が端末装置16のUI部46に表示されている状態で、ユーザによって機能の実行が指示される前に、別の機器が撮影された場合、端末装置16の制御部48は、最初に撮影された機器と当該別の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。
例えば、撮影時間内に複数の機器が撮影された場合(例えば、1つ目の機器が撮影された時点から撮影時間内に別の機器が撮影された場合や、ユーザが指定した開始時点から撮影時間内に複数の機器が撮影された場合)、端末装置16の制御部48は、その撮影で生成された複数の画像データをサーバ14に送信する。サーバ14の特定部38は、各画像データに基づいて各機器を特定(識別)し、識別された複数の機器が有する機能を利用する連携機能を特定する。その連携機能に関する情報は、サーバ14から端末装置16に送信されて、端末装置16のUI部46に表示される。もちろん、各機器が単独で有する機能が特定され、各機器が有する機能に関する情報が、サーバ14から端末装置16に送信されて、端末装置16のUI部46に表示されてもよい。
別の例として、端末装置16の制御部48は、複数の機器が撮影された後、連携機能の表示指示が与えられた場合、その撮影で生成された複数の画像データをサーバ14に送信し、それに応じて、撮影された複数の機器が有する機能を利用する連携機能に関する情報をサーバ14から受信してもよい。
別の例として、1つ目の機器が撮影された後、当該1つ目の機器が有する機能の実行指示が与えられる前に、別の機器が撮影された場合、端末装置16の制御部48は、その撮影で生成された複数の画像データをサーバ14に送信し、それに応じて、撮影された複数の機器が有する機能を利用する連携機能に関する情報をサーバ14から受信してもよい。
別の例として、端末装置16の制御部48は、機器が撮影されて画像データが生成される度に、その画像データをサーバ14に送信し、それに応じて、撮影された複数の機器が有する機能を利用する連携機能に関する情報をサーバ14から受信してもよい。この場合、端末装置16の制御部48は、撮影時間内に複数の機器が撮影された場合、当該複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。
以下、機能に関する情報の別の表示例について説明する。
図13には、単独利用機能の表示例が示されている。端末装置16の制御部48は、機器表示画面52を端末装置16のUI部46に表示させ、その機器表示画面52に、撮影された機器(例えば画像形成装置10)を表わす機器画像54と、当該機器が有する機能に関する情報を表示させる。図13に示す例では、吹き出しの形状を有する表示領域76に、画像形成装置10が有する機能に関する情報(例えば各機能の名称)が表示されている。表示領域76の形状は一例に過ぎず、別の形状を有する表示領域76が表示されてもよい。表示領域76内に表示された機能に関する情報がユーザによって指定されて、機能の実行指示が与えられると、その指定された機能が実行される。
図14には、連携機能の表示例が示されている。端末装置16の制御部48は、機器表示画面68を端末装置16のUI部46に表示させ、その機器表示画面68に、撮影された複数の機器(例えば画像形成装置10とプロジェクタ12)を表わす機器画像70,72を表示させる。さらに、端末装置16の制御部48は、機器表示画面68に、当該複数の機器が有する機能を利用する連携機能に関する情報を表示させる。図14に示す例では、吹き出しの形状を有する表示領域78に、連携機能に関する情報(例えば、連携機能の名称や説明文)が表示されている。表示領域78は一例に過ぎず、別の形状を有する表示領域78が表示されてもよい。表示領域78内に表示された連携機能に関する情報がユーザによって指定されて、連携機能の実行指示が与えられると、その指定された連携機能が実行される。
また、端末装置16の制御部48は、連携対象の各機器が有する単独利用機能に関する情報を、機器表示画面68に表示させてもよい。図14に示す例では、吹き出しの形状を有する表示領域80に、画像形成装置10が有する機能に関する情報が表示されており、吹き出しの形状を有する表示領域82に、プロジェクタ12が有する機能に関する情報が表示されている。端末装置16の制御部48は、連携機能に関する情報と単独利用機能に関する情報とを区別して機器表示画面68に表示させてもよい。例えば、表示領域78は、表示領域80,82とは異なる色で表示されてもよいし、表示領域78の形状は、表示領域80,82の形状とは異なる形状であってもよい。別の例として、表示領域78,80,82の表示位置が、単独利用機能と連携機能とで異なっていてもよい。例えば、表示領域80は、対応する機器画像70の近くに表示され、表示領域82は、対応する機器画像72の近くに表示され、表示領域78は、表示領域80,82よりも機器画像70,72から離れた位置に表示される。このように、表示領域78と表示領域80,82とを区別して表示することにより、ユーザにおいて、単独利用機能と連携機能との区別が容易となる。
端末装置16の制御部48は、ユーザの指示に応じて、単独利用機能に関する情報の表示や連携機能に関する情報の表示を制御してもよい。例えば、ユーザが機器画像(例えば機器画像70)を指定した場合に、端末装置16の制御部48は、指定された機器画像に紐付く機器(例えば画像形成装置10)が有する機能に関する情報を、機器表示画面68に表示させてもよい。ユーザが機器画像を指定して単独利用機能の表示指示を与えた場合に、端末装置16の制御部48は、指定された機器画像に紐付く機器が有する機能に関する情報を、機器表示画面68に表示させてもよい。ユーザが複数の機器画像(例えば機器画像70,72)を指定した場合に、端末装置16の制御部48は、指定された複数の機器画像に紐付く複数の機器(例えば画像形成装置10とプロジェクタ12)が有する機能を利用する連携機能に関する情報を、機器表示画面68に表示させてもよい。例えば、1つめの機器画像がユーザによって指定された後に、予め設定された時間内に他の機器画像がユーザによって指定された場合、端末装置16の制御部48は、それら複数の機器画像に紐付く複数の機器が有する機能を利用する連携機能に関する情報を、機器表示画面68に表示させる。別の例として、ユーザが複数の機器画像を指定して連携機能の表示指示を与えた場合に、端末装置16の制御部48は、指定された複数の機器画像に紐付く複数の機器が有する機能を利用する連携機能に関する情報を、機器表示画面68に表示させてもよい。
以上のように、本実施形態によると、1つの機器が識別(例えば撮影)された場合、当該1つの機器が有する機能に関する情報が表示され、複数の機器が識別(例えば撮影)された場合、当該複数の機器が有する機能を利用する連携機能に関する情報が表示される。これにより、識別(例えば撮影)された機器を利用して実行可能な機能の情報がユーザに提供され、ユーザにとって便利である。
また、連携機能を実行することにより、個々の機器が単独では実行できない機能が実行されるので、便利である。
また、AR技術を適用して機器を識別するだけで単独利用機能や連携機能の利用が可能になるため、機能を実行するための設定等をユーザがマニュアル操作で行う場合と比べて、簡単な作業で各機能の利用が可能となり、ユーザの手間も軽減する。
また、本実施形態によると、例えば、複数の機器を複数のユーザが利用するという環境において、単独利用機能に関する情報や連携機能に関する情報が端末装置16に適切に表示される。例えば、機器からタッチパネル等のユーザインターフェースが取り除かれた場合であっても、端末装置16がユーザインターフェースとして用いられる。別の場面として、例えば、ユーザの出先等で機器が一時的に利用される場合に、当該ユーザに適したユーザインターフェース、つまり、当該ユーザによって指定された機器が有する機能やその機器を利用する連携機能が表示されたユーザインターフェースが、端末装置16にて実現される。
なお、上記の実施形態では、2つの機器を利用する連携機能について説明したが、もちろん、連携機能は、3つ以上の機器を利用する機能であってもよい。
また、複数の機器が識別(例えば撮影)された場合であっても、ユーザによって指定された機器が、連携対象の機器から除外されてもよい。
(変形例1)
以下、変形例1について説明する。変形例1においては、複数の機器が識別されており、連携機能に関する情報が表示されるものとする。機器は、上述した実施形態と同様に、AR技術を用いることによって識別されてもよいし、AR技術以外の技術を用いることによって識別されてもよい。機器の識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
変形例1においては、端末装置16の制御部48は、機器表示画面68における機器画像の表示位置に応じて連携機能を変えて、その連携機能に関する情報を端末装置16のUI部46に表示させる。例えば、機器画像の表示位置に応じて、連携機能で利用される各機器の利用の順番が変更され、端末装置16の制御部48は、その利用順番に従った連携機能に関する情報を端末装置16のUI部46に表示させる。換言すると、機器画像の表示位置に応じて、連携機能で利用される各機器の間を移動するデータの移動順番が変更され、端末装置16の制御部48は、その移動順番に従った連携機能に関する情報を端末装置16のUI部46に表示させる。以下、変形例1について詳しく説明する。
図15には、変形例1に係る機器表示画面68が示されている。機器表示画面68には、例えば、境界線84によって、起点となる機器に紐付く機器画像が表示される起点表示領域86と、次の連携先となる機器に紐付く機器画像が表示される連携先表示領域88と、が予め設定されている。一例として、機器表示画面68は左右に分割され、左側に起点表示領域86が設定され、右側に連携先表示領域88が設定されている。もちろん、境界線84や表示領域を示す文字列(例えば、「左」や「右」)は、表示されなくてもよい。図15に示す例では、起点表示領域86には機器画像70が表示されており、連携先表示領域88には機器画像72が表示されている。そのため、機器画像70に紐付く画像形成装置10(複合機(B))が起点の機器として指定され、機器画像72に紐付くプロジェクタ12(プロジェクタ(C))が連携先の機器として指定される。この場合、端末装置16の制御部48は、画像形成装置10を起点の機器として利用するとともにプロジェクタ12を連携先の機器として利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。端末装置16の制御部48は、例えば、起点の機器としての画像形成装置10を先に利用し、次に、連携先の機器としてのプロジェクタ12を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。換言すると、端末装置16の制御部48は、起点の機器としての画像形成装置10から連携先の機器としてのプロジェクタ12にデータを移動させる連携機能に関する情報を、端末装置16のUI部46に表示させる。なお、機器画像70,72は、カメラによる撮影によって生成された画像であってもよいし、模式的な画像(例えばアイコン)であってもよい。
図16には、連携機能に関する情報の表示例が示されている。端末装置16のUI部46には機能表示画面90が表示され、その機能表示画面90中に、画像形成装置10を起点の機器として利用するとともにプロジェクタ12を連携先の機器として利用する連携機能に関する情報が表示される。図16に示す例では、その連携機能は、スキャンで得られた画像データを画像形成装置10(複合機(B))からプロジェクタ12(プロジェクタ(C))に移動させ、プロジェクタ12にて画像を投影する機能である。具体的には、その連携機能が実行されると、画像形成装置10が起点の機器として利用され、その画像形成装置10によるスキャンによって生成された画像データが、連携先の機器としてのプロジェクタ12に送信され、プロジェクタ12によって画像が投影される。
図17には、変形例1に係る機器表示画面68の別の例が示されている。機器表示画面68には、境界線84によって、起点表示領域92と連携先表示領域94が設定されている。図15に示す例とは異なり、機器表示画面68において、右側に起点表示領域92が設定され、左側に連携先表示領域94が設定されている。この場合、機器画像72に紐付くプロジェクタ12(プロジェクタ(C))が起点の機器として指定され、機器画像70に紐付く画像形成装置10(複合機(B))が連携先の機器として指定される。この場合、端末装置16の制御部48は、プロジェクタ12を起点の機器として利用するとともに画像形成装置10を連携先の機器として利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。端末装置16の制御部48は、例えば、起点の機器としてのプロジェクタ12を先に利用し、次に、連携先の機器としての画像形成装置10を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。換言すると、端末装置16の制御部48は、起点の機器としてのプロジェクタ12から連携先の機器としての画像形成装置10にデータを移動させる連携機能に関する情報を、端末装置16のUI部46に表示させる。
図18には、連携機能に関する情報の表示例が示されている。端末装置16のUI部46には機能表示画面96が表示され、その機能表示画面96中に、プロジェクタ12を起点の機器として利用するとともに画像形成装置10を連携先の機器として利用する連携機能に関する情報が表示される。図18に示す例では、その連携機能は、投影されている画像を印刷(プリント)機能である。具体的には、その連携機能が実行されると、プロジェクタ12が起点の機器として利用され、そのプロジェクタ12に投影されている画像データが、連携先の機器としての画像形成装置10に送信され、画像形成装置10によってその画像データが印刷される。
変形例1においては、端末装置16は、起点表示領域86(92)に表示されている機器画像のデータを、起点機器の画像データとしてサーバ14に送信し、連携先表示領域88(94)に表示されている機器画像のデータを、連携先機器の画像データとしてサーバ14に送信する。サーバ14の特定部38は、起点機器の画像データに紐付く機器を起点機器として扱い、連携先機器の画像データに紐付く機器を連携先機器として扱う。サーバ14には、変形例1に係る連携機能管理テーブルのデータが記憶されており、その連携機能管理テーブルにおいては、起点機器の機器識別情報と、連携先機能の機器識別情報と、連携機能識別情報と、が互いに対応付けられている。サーバ14の特定部38は、その連携機能管理テーブルにおいて、起点機器として特定された機器の機器識別情報と、連携先機器として特定された機器の機器識別情報と、に対応付けられている連携機能識別情報を特定する。例えば、起点機器としての画像形成装置10の機器識別情報と、連携先機器としてのプロジェクタ12の機器識別情報と、スキャンで得られた画像を投影する連携機能(図16に示す連携機能)の連携機能識別情報と、が互いに対応付けられている。また、起点機器としてのプロジェクタ12の機器識別情報と、連携先機器としての画像形成装置10の機器識別情報と、投影している画像を印刷する連携機能(図18に示す連携機能)の連携機能識別情報と、が互いに対応付けられている。従って、変形例1に係る連携機能管理テーブルを参照することにより、起点機器と連携先機器が有する機能を利用する連携機能が特定される。
変形例1において、機器画像の表示位置が変えられるようにしてもよい。この場合、機器画像が表示される機器表示画面は、機器画像の表示位置を変えるための編集画面として機能することになる。なお、撮影している状態で画面を編集画面へ移行させてもよいし、予め機器画像の撮影が完了している又は機器画像を受け渡されている等して、機器画像を保有している状態で、連携機能を指示するための編集画面を立ち上げてもよい。もちろん、別の手法によって画面を編集画面に移行させてもよい。例えば図19に示すように、起点表示領域86に機器画像70が表示されており、連携先表示領域88に機器画像72が表示されているものとする。例えば、ユーザが、矢印98で示す方向に、機器画像70を起点表示領域86から連携先表示領域88に移動させた場合、端末装置16の制御部48は、その移動指示に従って、機器画像70を連携先表示領域88に表示させ、機器画像70を起点表示領域86に表示させない。これにより、機器画像70に紐付く画像形成装置10(複合機(B))は、連携先の機器として特定(識別)されることになる。また、ユーザが、矢印100で示す方向に、機器画像72を連携先表示領域88から起点表示領域86に移動させた場合、端末装置16の制御部48は、その移動指示に従って、機器画像72を起点表示領域86に表示させ、機器画像72を連携先表示領域88に表示させない。これにより、機器画像72に紐付くプロジェクタ12(プロジェクタ(C))は、起点の機器として特定(識別)されることになる。表示位置の変更後、ユーザが連携機能の表示指示を与えた場合に、変更後の表示位置に対応する連携機能に関する情報が端末装置16のUI部46に表示されてもよいし、ユーザが連携機能の表示指示を与えなくても、表示位置の変更に伴って、変更後の表示位置に対応する連携機能に関する情報が端末装置16のUI部46に表示されてもよい。
上記の変形例1では、機器表示画面68が左右の方向に分割されているが、これは一例に過ぎず、上下方向に分割されて、起点表示領域と連携先表示領域が上下方向に並んで表示されてもよい。別の例として、起点表示領域が画面の中央付近に表示され、その起点表示領域を囲むように連携先表示領域が表示されてもよいし、それとは逆に、連携先表示領域が画面の中央付近に表示され、その連携先表示領域を囲むように起点表示領域が表示されてもよい。
また、上記の変形例1では、2つの機器を利用する連携機能について説明したが、もちろん、連携機能は3つ以上の機器を利用する機能であってもよい。例えば、端末装置16の制御部48は、複数の連携先表示領域を機器表示画面68に表示させる。各連携先表示領域には利用順番が予め設定されており、その利用順番に従って、各機器の利用の順番(連携の順番)が決定される。例えば、1番目の連携先表示領域に表示されている機器画像に紐付く機器は、1番目の連携先機器として利用され、2番目の連携先表示領域に表示されている機器画像に紐付く機器は、2番目の連携先機器として利用される。この場合の連携機能は、起点の機器が最初に利用され、次に、1番目の連携先機器が利用され、次に、2番目の連携先機器が利用される機能である。換言すると、その連携機能は、データが、起点の機器、1番目の連携先機器、2番目の連携先機器の順番で移動する機能である。各連携先表示領域に設定されている利用順番は、ユーザによって変更されてもよい。
以上のように、変形例1によると、機器画像の表示位置に応じて連携機能が変更されるので、連携機能の変更の操作性が向上する。また、簡単な操作で連携機能が変更される。
(変形例2)
以下、変形例2について説明する。変形例2においては、上記の変形例1と同様に、複数の機器が識別されているものとする。また、機器画像の表示位置に応じて、単独利用機能に関する情報、又は、連携機能に関する情報、のいずれかが表示される。
例えば、端末装置16のUI部46に表示されている機器表示画面上において、複数の機器画像が特定の方向(例えば左右方向)に並べられた場合、端末装置16の制御部48は、当該複数の機器画像に紐付く複数の機器が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。例えば図20に示すように、機器表示画面68が境界線102によって左右に分割され、左側の領域104に機器画像70が表示され、右側の領域106に機器画像72が表示された場合、端末装置16の制御部48は、機器画像70に紐付く画像形成装置10と機器画像72に紐付くプロジェクタ12を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。変形例1と同様に、領域104,106の中の1つの領域が起点表示領域として用いられ、他の領域が連携先表示領域として用いられてもよい。
機器表示画面上において、複数の機器画像が上記特定の方向と交差する方向(例えば上下方向)に並べられた場合、端末装置16の制御部48は、各機器画像に紐付く各機器が有する機能(単独利用機能)に関する情報を、端末装置16のUI部46に表示させる。例えば図21に示すように、機器表示画面68が境界線108によって上下に分割され、上側の領域110に機器画像70が表示され、下側の領域112に機器画像72が表示された場合、端末装置16の制御部48は、機器画像70に紐付く画像形成装置10が有する機能(単独利用機能)に関する情報と、機器画像72に紐付くプロジェクタ12が有する機能(単独利用機能)に関する情報を、端末装置16のUI部46に表示させる。
なお、境界線102,108や、左右や上下の文字列は表示されてもよいし、表示されなくてもよい。
例えば、ユーザが端末装置16のUI部46を利用して、連携機能用の表示領域の表示指示を与えた場合、端末装置16の制御部48は、図20に示すように、機器表示画面68を左右に分割して、領域104,106を設定する。一方、ユーザが、単独利用機能用の表示領域の表示指示を与えた場合、端末装置16の制御部48は、図21に示すように、機器表示画面68を上下に分割して、領域110,112を設定する。もちろん、表示領域の表示指示がユーザによって与えられなくても、複数の機器画像が左右の方向に並べられた場合、連携機能に関する情報が表示され、複数の機器画像が上下の方向に並べられた場合、単独利用機能に関する情報が表示されてもよい。
複数の機器画像が左右方向に並べられた場合に、単独利用機能に関する情報が表示され、複数の機器画像が上下方向に並べられた場合に、連携機能に関する情報が表示されてもよい。もちろん、これら以外の方向に複数の機器画像が並べられた場合に、その方向に応じて、単独利用機能に関する情報、又は、連携機能に関する情報、のいずれかが表示されてもよい。
以上のように、変形例2によると、複数の機器画像の表示位置に応じて、単独利用機能に関する情報、又は、連携機能に関する情報が表示されるので、簡単な操作で、それらの情報が切り替えられて表示される。
(変形例3)
以下、変形例3について説明する。変形例3においては、撮影された機器に紐付く機器画像が予め設定された領域基準を満たさない場合、当該機器は利用対象の機器として識別されない。例えば図22に示すように、複合機(B)としての画像形成装置10がカメラ42によって撮影されているものとする。画像形成装置10の手前側に(画像形成装置10と端末装置16との間に)、障害物としての植木が配置されており、画像形成装置10に紐付く機器画像70(例えばカメラ42による撮影で生成された画像)には、植木の画像114が重なっている。つまり、機器画像70が障害物の画像によって欠損している。この場合、画像形成装置10は利用対象の機器として識別されない。例えば、機器に対する撮影で得られた外観画像データが、端末装置16からサーバ14に送信され、サーバ14の特定部38は、その外観画像データに基づいて機器を特定(識別)する。この場合、外観画像データに欠損部分が含まれている場合、サーバ14の特定部38は、その外観画像データに基づいて機器を特定(識別)しない。これにより、欠損部分を含む外観画像データに紐付く機器(例えば画像形成装置10)は、利用対象の機器として識別されないことになる。
なお、障害物は、例えば、サーバ14の特定部38によって機器として識別されない物である。植木等は機器として登録されていないため、植木を表わす外観画像データがサーバ14に送信されても、植木は機器として識別されず、障害物として識別される。
サーバ14の特定部38は、外観画像データにおける欠損部分以外の領域の大きさに応じて、その外観画像データに基づく機器の特定(識別)を行ってもよい。例えば、外観画像データにおける欠損部分以外の領域の大きさが、予め設定された閾値以上となる場合、サーバ14の特定部38は、その外観画像データにおける欠損部分以外の領域に基づいて、機器を特定(識別)してもよい。別の例として、欠損部分以外の領域が欠損部分よりも大きい場合に、サーバ14の特定部38は、その外観画像データにおける欠損部分以外の領域に基づいて、機器を特定(識別)してもよい。別の例として、マーカレス型AR技術を外観画像データに適用して機器が特定できる場合、外観画像データに欠損部分が含まれていても、サーバ14の特定部38は、外観画像データにおける欠損部分以外の領域に基づいて、機器を特定(識別)してもよい。
画像形成装置10(複合機(B))が利用対象の機器として識別されない場合、端末装置16の制御部48は、撮影された他の機器についての機能に関する情報を、端末装置16のUI部46に表示させる。例えば、プロジェクタ(C)としてのプロジェクタ12が撮影されて、プロジェクタ12に紐付く機器画像72が表示され、カメラ(D)が撮影されて、カメラ(D)に紐付く機器画像116が表示されているものとする。この場合、端末装置16の制御部48は、上述した実施形態に係る処理に従って、プロジェクタ(C)とカメラ(D)が有する機能を利用する連携機能に関する情報、又は、プロジェクタ(C)とカメラ(D)がそれぞれ有する機能(単独利用機能)に関する情報を、端末装置16のUI部46に表示させる。
なお、外観画像データにおいて欠損部分以外の画像部分に紐付く機能を利用して連携機能が構築されてもよい。例えば、図22に示す例において、機器画像70に複合機(B)(画像形成装置10)の本体部が表されている場合、端末装置16の制御部48は、上述した実施形態に係る処理に従って、その本体部が有する機能を利用する連携機能に関する情報、又は、その本体部が有する機能(単独利用機能)に関する情報を、端末装置16のUI部46に表示させてもよい。例えば、機器の部分毎に、その部分を表わす外観部分画像と、その部分が有する機能と、が互いに対応付けられており、その対応付けを示す機器機能情報32が、サーバ14の記憶部30に記憶されている。その機器機能情報32を参照することにより、欠損部分以外の画像部分に紐付く機能が特定(識別)される。また、複数の部分が有する機能を利用する連携機能を示す連携機能情報34が、サーバ14の記憶部30に記憶されている。もちろん、その連携機能情報34は、機器の部分が有する機能と機器全体が有する機能とを利用する連携機能を示す情報を含んでいてもよい。その連携機能情報34を参照することにより、欠損部分以外の画像部分に紐付く機能を利用する連携機能が特定(識別)される。
機器画像が欠損している場合、サーバ14の特定部38は、マーカ型AR技術や位置情報AR技術等の複数の識別技術を用いることにより、その機器画像に紐付く機器を特定(識別)し、これにより、その機器が有する機能や、その機器が有する機能を利用する連携機能を特定(識別)してもよい。
以上のように、変形例3によると、欠損している機器画像に紐付く機器は、利用対象の機器から除外される。これにより、欠損している機器画像に紐付く機器は、ユーザが利用対象の機器として望んでいない場合等において、ユーザが想定していない機器が識別されることが防止され、その結果、当該機器が有する機能に関する情報や、当該機器が有する機能を利用する連携機能に関する情報が表示されることが防止される。
(変形例4)
以下、変形例4について説明する。変形例4においては、上記の変形例1と同様に、複数の機器が識別されているものとする。また、機器の撮影を行う撮影装置と各機器との間の位置関係に応じて、連携機能の起点として利用される機器が変更される。
例えば、撮影装置(例えばカメラ42を備えた端末装置16)から近い位置に設置されている機器(撮影された機器)ほど優先的に連携機能の起点の機器として利用される。この場合、サーバ14の特定部38は、端末装置16と各機器との間の距離を示す情報を取得し、その距離に基づいて、各機器に優先順位を付ける。端末装置16や各機器の位置情報は、例えば、GPS(Global Positioning System)機能を利用することにより取得される。もちろん、別の技術によって位置情報が取得されてもよい。例えば、端末装置16や各機器はGPS機能を備えており、自身の位置情報を取得する。端末装置16は、各機器から位置情報を取得し、端末装置16と各機器の位置情報をサーバ14に送信する。サーバ14の特定部38は、端末装置16と各機器の位置情報に基づいて、端末装置16と各機器との間の距離を算出する。例えば、端末装置16との間の距離が最短となる機器は、1番目(最優先)の機器として利用され、端末装置16との間の距離が2番目に短い機器は、2番目の機器として利用される。この場合、サーバ14の特定部38は、優先順位の高い機器が有する機能から順番に利用する連携機能を特定(識別)し、端末装置16の制御部48は、優先順位の高い機器が有する機能から順番に利用する連携機能を優先的に端末装置16のUI部46に表示させる。
例えば図23に示すように、複合機(B)としての画像形成装置10、プロジェクタ(C)としてのプロジェクタ12、カメラ(D)、及び、ディスプレイ(E)、がカメラ42によって撮影されたものとする。この場合、複合機(B)に紐付く機器画像70、プロジェクタ(C)に紐付く機器画像72、カメラ(D)に紐付く機器画像116、及び、ディスプレイ(E)に紐付く機器画像118が、端末装置16のUI部46に表示される。例えば、プロジェクタ(C)、カメラ(D)、複合機(B)、及び、ディスプレイ(E)の順番で、端末装置16から近いと判断された場合、プロジェクタ(C)、カメラ(D)、複合機(B)、及び、ディスプレイ(E)の順番で利用する連携機能が特定(識別)され、端末装置16のUI部46に、その連携機能が優先的に表示される。
別の例として、機器表示画面68上に設定された基準位置120から近い位置に表示されている機器画像に紐付く機器ほど優先的に連携機能の起点の機器として利用されてもよい。この場合、端末装置16は、基準位置120と各機器画像との間の距離(例えば、図23に示されている各矢印の長さ)を示す情報をサーバ14に送信する。サーバ14の特定部38は、基準位置120と各機器画像との間の距離に基づいて、各機器画像に紐付く各機器に優先順位を付ける。例えば、基準位置120との間の距離が最短となる機器画像に紐付く機器は、1番目(最優先)の機器として利用され、基準位置120からの距離が2番目に短い機器画像に紐付く機器は、2番目の機器として利用される。この場合、サーバ14の特定部38は、優先順位の高い機器が有する機能から順番に利用する連携機能を特定(識別)し、端末装置16の制御部48は、その連携機能を端末装置16のUI部46に表示させる。なお、端末装置16の制御部48は、基準位置120を表わすマーク(例えば丸い形状を有するマーク)や、画像間の距離を表わす矢印を、機器表示画面68に表示してもよいし、表示しなくてもよい。
端末装置16の制御部48は、優先順位を示す情報(例えば、端末装置16から近い位置の順番に応じた番号)を、各機器画像に対応付けて機器表示画面68に表示させてもよい。例えば、各機器画像の近傍に、優先順位を示す情報(例えば番号)が表示される。図23に示す例では、プロジェクタ(C)に紐付く機器画像72の近傍に、1番目(最優先)を示す番号が表示される。他の機器画像についても同様である。
以上のように、変形例4によると、撮影装置(例えば端末装置16)に近い機器が有する機能ほど優先的に利用される連携機能が優先的に表示される。これにより、ユーザが撮影装置(例えば端末装置16)から近い位置に設置されている機器から順番に利用したいと望んでいる場合等に、ユーザの要望に適合した連携機能に関する情報が表示されるので、便利である。
各機器に紐付く機器画像(外観画像)同士の欠損関係に基づいて、各機器の位置関係が判定されてもよい。例えば図24に示すように、ディスプレイ(E)に紐付く機器画像118(例えばカメラ42による撮影で得られた外観画像)上に、複合機(B)に紐付く機器画像70が重畳して表示されている場合、複合機(B)はディスプレイ(E)よりも端末装置16に近い位置に設置されていると判定される。この判定は、端末装置16によって行われてもよいし、サーバ14によって行われてもよい。この場合、サーバ14の特定部38は、複合機(B)、ディスプレイ(E)の順番で各機器を利用する連携機能を特定(識別)し、端末装置16の制御部48は、その連携機能に関する情報を優先的に端末装置16のUI部46に表示させる。
なお、機器画像118上に機器画像70が重畳しているため、機器画像118は欠損している。この場合、サーバ14の特定部38は、マーカ型AR技術や位置情報AR技術等の複数の識別技術を用いることにより、機器画像118に紐付くディスプレイ(E)を特定(識別)し、これにより、ディスプレイ(E)が有する機能や、ディスプレイ(E)が有する機能を利用する連携機能を特定(識別)してもよい。
(変形例5)
以下、変形例5について説明する。変形例5においては、機器の各部分に機能が割り当てられており、識別(例えば撮影)された部分に割り当てられている機能に関する情報や、識別(例えば撮影)された部分に割り当てられている機能を利用する連携機能に関する情報が表示される。以下、変形例5について詳しく説明する。
図25には、変形例5に係る機器機能管理テーブルの一例が示されている。変形例5に係る機器機能管理テーブルのデータは、機器機能情報32としてサーバ14に記憶されている。変形例5に係る機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器の部分の名称(例えば部分の種類)を示す情報と、その部分を識別するための部分識別情報としての部分IDと、その部分に割り当てられている機能(その部分が有する機能)を示す情報と、その部分に紐付く機器部分画像を識別するための部分画像IDと、が互いに対応付けられている。機器部分画像は、カメラによる撮影によって得られた機器の部分の外観を表わす画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。
具体例を挙げて説明すると、PC(A)の表示部には画面表示機能が割り当てられており、その表示部に紐付く機器部分画像の部分画像IDには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をPC(A)にて表示する機能である。PC(A)の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く機器部分画像の部分画像IDには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをPC(A)に保存する機能である。
また、複合機(B)の本体部にはプリント機能が割り当てられており、その本体部に紐付く機器部分画像の部分画像IDには、プリント機能を示す情報が対応付けられている。複合機(B)の読取部(例えば、複合機(B)の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分)にはスキャン機能が割り当てられており、その読取部に紐付く機器部分画像の部分画像IDには、スキャン機能を示す情報が対応付けられている。複合機(B)の後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く機器部分画像の部分画像IDには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。
機器の部分に割り当てられている機能は、例えば、マーカレス型AR技術を用いることによって特定(識別)される。例えば、機器の部分がカメラ(例えば端末装置16のカメラ42)によって撮影された場合、その部分を表わす外観画像データが端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能管理テーブルにおいて、その外観画像データに対応付けられている機能を特定(識別)する。これにより、撮影された部分に割り当てられている機能が特定(識別)される。例えば、複合機(B)の本体部がカメラ42によって撮影された場合、複合機(B)の本体部を表わす外観画像データが端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能管理テーブルにおいて、その外観画像データに対応付けられているプリント機能を特定する。これにより、複合機(B)の本体部に割り当てられている機能がプリント機能であることが特定される。
もちろん、機器の部分に割り当てられている機能は、マーカ型AR技術を用いることによって特定(識別)されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報(例えば部分ID)がコード化された2次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型AR技術が適用されると、その部分の部分識別情報(例えば部分ID)が取得される。マーカ型AR技術の適用は、端末装置16で行われてもよいし、サーバ14で行われてもよい。このように部分識別情報が取得されると、サーバ14の特定部38は、機器機能管理テーブルにおいて、その部分識別情報(例えば部分ID)に対応付けられている機能を特定(識別)する。
図26には、変形例5に係る連携機能管理テーブルの一例が示されている。変形例6に係る連携機能管理テーブルのデータは、連携機能情報34としてサーバ14に記憶されている。変形例5に係る連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分IDの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用する連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。
具体例を挙げて説明すると、PC(A)の表示部と複合機(B)の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、PC(A)の表示部の部分IDと複合機(B)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、PC(A)に保存されているデータを複合機(B)に送信して、そのデータを複合機(B)によって印刷する機能である。
また、複合機(B)の本体部とプロジェクタ(C)の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、複合機(B)の本体部の部分IDとプロジェクタ(C)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、プロジェクタ(C)によって投影されているデータを複合機(B)に送信して、そのデータを複合機(B)によって印刷する機能である。
また、複合機(B)の読取部とプロジェクタ(C)の本体部との組み合わせには、連携機能としてのスキャン投影機能が割り当てられており、複合機(B)の読取部の部分IDとプロジェクタ(C)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのスキャン投影機能を示す情報が対応付けられている。連携機能としてのスキャン投影機能は、例えば、複合機(B)によるスキャンによって生成されたデータをプロジェクタ(C)に送信して、そのデータをプロジェクタ(C)によって投影する機能である。
なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用する機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用する機能であってもよい。また、連携機能は、3つ以上の部分が有する機能を利用する機能であってもよい。
例えば、マーカ型AR技術又はマーカレス型AR技術を利用して、機器の複数の部分(例えば、互いに異なる複数の機器の複数の部分や、同一機器の複数の部分)が特定(識別)されると、サーバ14の特定部38は、連携機能管理テーブルにおいて、識別された複数の部分の組み合わせに対応付けられている連携機能を特定(識別)する。これにより、識別(例えば撮影)された複数の部分が有する機能を利用する連携機能が特定(識別)される。例えば、複合機(B)の本体部とプロジェクタ(C)の本体部が、端末装置16のカメラ42によって撮影されて、複合機(B)の本体部とプロジェクタ(C)の本体部が識別された場合、サーバ14の特定部38は、連携機能管理テーブルにおいて、複合機(B)の本体部とプロジェクタ(C)の本体部の組み合わせに対応付けられている連携機能としてのプリント機能等を特定する。
変形例5においても、上述した実施形態と同様に、単独利用機能に関する情報又は連携機能に関する情報が、端末装置16のUI部46に表示されてもよい。例えば、単独利用機能の表示指示がユーザによって与えられたり、機器内の1つの部分のみが識別されたりした場合、端末装置16の制御部48は、識別された1つの部分が有する機能に関する情報を、端末装置16のUI部46に表示させてもよい。一方、複数の機器の複数の部分が識別されたり、同一機器内の複数の部分が識別されたり、複数の部分が識別された上で連携機能の表示指示が与えられたりした場合、端末装置16の制御部48は、識別された複数の部分が有する機能を利用する連携機能に関する情報を、端末装置16のUI部46に表示させてもよい。
以下、変形例5について具体例を挙げて説明する。例えば、画像形成装置10としての複合機(B)の本体部が、端末装置16のカメラ42によって撮影され、マーカ型AR技術又はマーカレス型AR技術によって、複合機(B)の本体部が特定(識別)されたものとする。この場合、例えば図27に示すように、端末装置16のUI部46に機器表示画面52が表示され、その機器表示画面52に、複合機(B)の本体部に紐付く機器部分画像121が表示される。複合機(B)の読取部や後処理装置が識別されていない場合、読取部に紐付く機器部分画像122と後処理装置に紐付く機器部分画像124は、機器表示画面52に表示されない。
例えば、単独利用機能の表示指示がユーザによって与えられたり、複数の部分が撮影されずに1つの部分のみが撮影されたりした場合、端末装置16の制御部48は、複合機(B)の本体部が有する機能に関する情報を、単独利用機能に関する情報として、端末装置16のUI部46に表示させる。なお、複合機(B)の本体部が有する機能の識別処理は、端末装置16によって行われてもよいし、サーバ14によって行われてもよい。図27に示す例では、機器表示画面52内に設けられた表示領域126に、複合機(B)の本体部が有する機能に関する情報(例えば各機能の名称)が表示されている。表示領域126内に表示されている機能に関する情報がユーザによって指定されて、機能の実行指示が与えられると、その指定された機能が実行される。表示領域126は、複合機(B)の本体部に紐付く機器部分画像121の近傍に配置されている。もちろん、端末装置16の制御部48は、機器表示画面52とは異なる機能表示画面を端末装置16のUI部46に表示させ、その機能表示画面内に、複合機(B)の本体部が有する機能に関する情報を表示させてもよい。
なお、機器の全体を表わす機器画像が端末装置16のUI部46に表示されている場合に、その機器画像においてユーザによって指定された部分に対応する機能に関する情報が、単独利用機能に関する情報として、端末装置16のUI部46に表示されてもよい。例えば、機器画像内の位置毎に異なる機能が割り当てられており、各位置に対応する各機能に関する情報は、機器機能情報32としてサーバ14に記憶されている。機器画像においてユーザによって指定された位置を示す情報は、端末装置16からサーバ14に送信され、サーバ14の特定部38は、その指定された位置に対応する機能を特定(識別)する。その機能に関する情報は、単独利用機能として、端末装置16のUI部46に表示される。別の例として、機器の全体を表わす機器画像は、当該機器を構成する複数の部分を表わす複数の機器部分画像によって構成されていてもよい。上述したように、機器部分画像には機能が割り当てられているため、ユーザによって指定された機器部分画像に対応する機能が特定され、その機能に関する情報が端末装置16のUI部46に表示される。
端末装置16の制御部48は、機器の全体が撮影された場合、その機器が有する1又は複数の機能に関する情報を、端末装置16のUI部46に表示させ、機器の一部が撮影された場合、その一部に割り当てられている機能に関する情報を、端末装置16のUI部46に表示させてもよい。例えば、複合機(B)の全体が撮影された場合、図9に示すように、複合機(B)が有する機能に関する情報が表示され、複合機(B)の本体部が撮影された場合、図27に示すように、その本体部が有する機能に関する情報が表示されてもよい。
また、画像形成装置10としての複合機(B)の本体部とプロジェクタ12としてのプロジェクタ(C)の本体部が、端末装置16のカメラ42によって撮影され、マーカ型AR技術又はマーカレス型AR技術によって、複合機(B)の本体部とプロジェクタ(C)の本体部が特定(識別)されたものとする。この場合、例えば図28に示すように、端末装置16のUI部46に機器表示画面68が表示され、その機器表示画面68に、複合機(B)の本体部に紐付く機器部分画像121と、プロジェクタ(C)の本体部に紐付く機器部分画像128が表示される。
例えば、連携機能の表示指示がユーザによって与えられたり、撮影時間内に複数の部分が撮影されたり、1つの部分に割り当てられた機能の実行指示が与えられる前に、複数の部分が撮影されたりした場合、端末装置16の制御部48は、複合機(B)の本体部が有する機能とプロジェクタ(C)の本体部が有する機能とを利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。なお、連携機能の識別処理は、端末装置16によって行われてもよいし、サーバ14によって行われてもよい。図28に示す例では、機器表示画面68内に設けられた表示領域130に、連携機能に関する情報(例えば連携機能の名称)が表示されている。表示領域130内に表示されている機能に関する情報がユーザによって指定されて、連携機能の実行指示が与えられると、その指定された連携機能が実行される。また、図28に示す例では、複合機(B)の本体部が有する機能に関する情報が表示領域132内に表示され、プロジェクタ(C)の本体部が有する機能に関する情報が表示領域134内に表示されている。表示領域132は、複合機(B)の本体部に紐付く機器部分画像121の近傍に配置され、表示領域134は、プロジェクタ(C)の本体部に紐付く機器部分画像128の近傍に配置されている。もちろん、端末装置16の制御部48は、機器表示画面68とは異なる機能表示画面を端末装置16のUI部46に表示させ、その機能表示画面内に、連携機能に関する情報や単独利用機能に関する情報を表示してもよい。また、表示領域132,134は表示されなくてもよいし、ユーザの指示に応じて表示と非表示が切り替えられてもよい。
なお、端末装置16の制御部48は、機器部分画像に紐付く機器が有する機能の名称(例えばプリントやスキャン等)を機器表示画面68に表示させてもよい。これにより、各部分にどのような機能が割り当てられているのかが分かり易い情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。
以上のように、変形例5によると、機器の一部が識別された場合、当該一部が有する機能に関する情報が表示され、複数の部分が識別された場合、当該複数の部分が有する機能を利用する連携機能に関する情報が表示される。例えば、機器において利用対象の部分を識別(例えば撮影)することで、当該部分が有する機能に関する情報が表示されるので、機器が有する全機能に関する情報が表示される場合と比べて、ユーザにとって不要な情報が表示され難くなるので、便利である。同様に、複数の部分を識別(例えば撮影)することで、当該複数の部分が有する機能を利用する連携機能に関する情報が表示されるので、ユーザにとって不要な情報が表示され難くなるので、便利である。
(変形例6)
以下、変形例6について説明する。変形例6は、変形例1,5の組み合わせである。例えば、複合機(B)の本体部とプロジェクタ(C)の本体部が撮影されたものとする。この場合、例えば図29に示すように、端末装置16のUI部46に機器表示画面68が表示され、その機器表示画面68に、複合機(B)の本体部に紐付く機器部分画像121と、プロジェクタ(C)の本体部に紐付く機器部分画像128が表示される。変形例1と同様に、機器表示画面68に起点表示領域86と連携先表示領域88が設定されている。この場合、起点表示領域86内に表示されている機器部分画像に紐付く機器の部分が起点として指定され、連携先表示領域88内に表示されている機器部分画像に紐付く機器の部分が連携先と指定される。図29に示す例では、機器部分画像121が起点表示領域86内に表示されているため、複合機(B)の本体部が起点として指定されており、機器部分画像128が連携先表示領域88内に表示されているため、プロジェクタ(C)の本体部が連携先として指定されている。この場合、端末装置16の制御部48は、複合機(B)の本体部を起点として利用するとともにプロジェクタ(C)の本体部を連携先として利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。端末装置16の制御部48は、例えば、起点としての複合機(B)の本体部を先に利用し、次に、連携先としてのプロジェクタ(C)の本体部を利用する連携機能に関する情報を、端末装置16のUI部46に表示させる。換言すると、端末装置16の制御部48は、起点としての複合機(B)の本体部から連携先としてのプロジェクタ(C)にデータを移動させる連携機能に関する情報を、端末装置16のUI部46に表示させる。
また、変形例1と同様に、機器部分画像の表示位置が変えられるようにしてもよい。例えば、ユーザが機器部分画像121を連携先表示領域88に移動させた場合、機器部分画像121に紐付く複合機(B)の本体部は、連携先の機器の部分として扱われる。同様に、ユーザが機器部分画像128を起点表示領域86に移動させた場合、機器部分画像128に紐付くプロジェクタ(C)の本体部は、起点の機器の部分として扱われる。
変形例1と同様に、端末装置16は、起点表示領域86に表示されている機器部分画像のデータを、起点機器の部分の画像データとしてサーバ14に送信し、連携先表示領域88に表示されている機器部分画像のデータを、連携先機器の部分の画像データとしてサーバ14に送信する。サーバ14の特定部38は、起点機器の部分の画像データに紐付く機器の部分を起点として設定し、連携先機器の部分の画像データに紐付く機器の部分を連携先として設定する。サーバ14には、変形例6に係る連携機能管理テーブルのデータが記憶されており、その連携機能管理テーブルにおいては、起点機器の部分の識別情報と、連携先機器の部分の識別情報と、連携機能識別情報と、が対応付けられている。サーバ14の特定部38は、その連携機能管理テーブルにおいて、起点機器の部分の識別情報と、連携先機器の部分の識別情報と、に対応付けられている連携機能識別情報を特定する。このようにして連携機能識別情報が特定されると、端末装置16のUI部46には、特定された連携機能に関する情報が表示される。
なお、機器の全体を表わす機器画像から部分を表わす機器部分画像を切り離して、機器部分画像の表示位置が変えられるようにしてもよい。例えば図30に示すように、複合機(B)の全体を表わす機器画像70が、起点表示領域86に表示されているものとする。この場合、矢印136で示すように、ユーザが、機器画像70に含まれる機器部分画像122を起点表示領域86から連携先表示領域88に移動させると、機器部分画像122に紐付く部分が有する機能(例えば読取部が有するスキャン機能)は、連携先の機能として設定される。同様に、連携先表示領域88に表示されている機器画像に含まれる機器部分画像がユーザによって起点表示領域86に移動させられると、その機器部分画像に紐付く部分が有する機能は、起点の機能として設定される。
以上のように、変形例6によると、機器部分画像の表示位置に応じて連携機能が変更されるので、連携機能の変更の操作性が向上する。また、簡単な操作で連携機能が変更される。
(変形例7)
以下、図31及び図32を参照して、変形例7について説明する。図31及び図32には、変形例7に係る機器表示画面68が示されている。変形例7では、上述した変形例1等と同様に、機器表示画面68に、起点表示領域86と連携先表示領域88が設定されており、同一の連携先表示領域88内に複数の機器画像(例えば、機器画像72,116,118)が表示されている。なお、起点表示領域86内には、機器画像70が表示されている。この場合、連携先表示領域88内に表示されている各機器画像に紐付く各機器の利用の順番(連携の順番)は、ユーザによって指定されてもよいし、各機器画像の表示位置の関係に基づいて自動的に設定されてもよい。
ユーザの指示によって連携の順番を設定する場合、ユーザは、例えば、連携先表示領域88内に表示されている各機器画像を順番に指定する。例えば、プロジェクタ(C)に紐付く機器画像72、ディスプレイ(E)に紐付く機器画像118、カメラ(D)に紐付く機器画像116の順番で、各機器画像がユーザによって指定された場合、起点表示領域86内に表示されている機器画像70に紐付く複合機(B)が最初に利用された後、その指定された順番で連携先の各機器が連携(利用)される。
連携順番を自動的に設定する場合、起点表示領域86内に表示されている機器画像70から近い順に、各機器に連携順番を割り当ててもよい。図31に示す例では、機器画像70から近い順に、機器画像72、機器画像118及び機器画像116が連携先表示領域88内に表示されている。この場合、複合機(B)が最初に利用された後、プロジェクタ(C)、ディスプレイ(E)及びカメラ(D)の順番で、各機器が連携(利用)される。
別の例として、起点表示領域86内に表示されている機器画像70から最も近い位置に表示されている機器画像に紐付く機器が、最初の連携先の機器として設定され、同一の連携先表示領域88内に表示されている機器画像同士の位置関係に基づいて、2番目以降の連携先機器の連携順番が順次決定されてもよい。例えば図32に示すように、機器画像70から最も近い位置に表示されている機器画像72に紐付く画像が、最初の連携先の機器として設定される。次に、連携先表示領域88内において、機器画像72に最も近い位置に表示されている機器画像116に紐付くカメラ(D)が、2番目の連携先の機器として設定される。次に、連携先表示領域88内において、連携先として既に設定された機器に紐付く機器画像(例えば機器画像72)以外の機器画像を対象として、機器画像116に最も近い位置に表示されている機器画像118に紐付くディスプレイ(E)が、3番目の連携先の機器として設定される。それ以降の連携順番についても同様である。
以上のように、同一の連携先表示領域88内に複数の機器画像が表示されている場合に、機器画像同士の表示位置の関係に基づいて連携順番を自動的に設定することにより、ユーザの手間が省けて便利である。なお、同一の連携先表示領域88内に複数の機器部分画像が表示されている場合も、上記と同じ処理によって、各機器の部分の連携順番が決定される。もちろん、起点表示領域86内に、機器部分画像が表示されていてもよい。
なお、上述した実施形態及び変形例において、連携機能は、機器の全体同士の組み合わせを利用する機能であってもよいし、機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよい。
また、ユーザの指示に応じて、各変形例の機能が切り替えられるようにしてもよい。例えば、ユーザが変形例1の機能の実行を指示した場合、変形例1の機能が実行され、これにより、機器表示画面に、起点表示領域と連携先表示領域が設定されてもよい。他の変形例についても同様であり、ユーザが変形例の機能の実行を指示した場合、当該変形例に係る機能が実行される。
以下、上述した実施形態及び変形例において、機器が有する機能を実行するときの処理について説明する。一例として、連携機能を実行するときの処理について説明する。この場合、端末装置16から連携対象の機器に対して接続要求が送信され、端末装置16と連携対象の機器とが接続される。以下、図33を参照して、この接続処理について説明する。図33は、その処理を示すシーケンス図である。
まず、ユーザは、端末装置16を利用して、機器機能実行用のアプリケーション(プログラム)の起動を指示する。端末装置16の制御部48は、その指示に応じて当該アプリケーションを起動させる(S01)。なお、そのアプリケーションは、端末装置16の記憶部44に予め記憶されていてもよいし、サーバ14等からダウンロードされてもよい。
次に、マーカ型AR技術、マーカレス型AR技術又は位置情報AR技術を適用することにより、連携対象の機器が識別される(S02)。もちろん、AR技術以外の技術によって連携対象の機器が識別されてもよい。マーカ型AR技術又はマーカレス型AR技術を適用する場合、ユーザは、端末装置16のカメラ42によって連携対象の機器を撮影する。一例として、画像形成装置10(複合機(B))とプロジェクタ12(プロジェクタ(C))が連携機器として用いられる場合、ユーザは、カメラ42によって画像形成装置10とプロジェクタ12を撮影する。画像形成装置10とプロジェクタ12のそれぞれの機器識別情報が取得され、画像形成装置10とプロジェクタ12が連携対象の機器として識別される。位置情報AR技術を適用する場合、画像形成装置10とプロジェクタ12のそれぞれの位置情報が取得され、その位置情報に基づいて、画像形成装置10とプロジェクタ12のそれぞれの機器識別情報が特定され、画像形成装置10とプロジェクタ12が識別される。
上述したように、複数の機器が識別されたり、連携機能表示の指示が与えられたり、1つの機器が有する単独利用機能の実行指示が与えられる前に別の機器が識別されたりした場合、複数の機器が有する機能を利用する連携機能が識別される。端末装置16のUI部46には、識別された連携機能に関する情報が表示される。(S03)。連携機能の識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。
次に、端末装置16において、ユーザによって実行対象の連携機能が指定されると、端末装置16は、その連携機能を実行する連携対象の機器(例えば画像形成装置10とプロジェクタ12)に接続要求を示す情報を送信する(S04)。例えば、連携対象の機器のアドレスを示すアドレス情報が、サーバ14に記憶されている場合、端末装置16は、連携対象の機器のアドレス情報をサーバ14から取得する。機器識別情報にアドレス情報が含まれている場合、端末装置16は、連携対象の機器の機器識別情報からそれぞれのアドレス情報を取得してもよい。別の例として、端末装置16に、連携対象の機器のアドレス情報が記憶されていてもよい。もちろん、端末装置16は、別の手法によって連携対象の機器のアドレス情報を取得してもよい。端末装置16は、連携対象の機器(例えば画像形成装置10とプロジェクタ12)のアドレス情報を用いて、連携対象の機器(例えば画像形成装置10とプロジェクタ12)に接続要求を示す情報を送信する。
接続要求を示す情報を受けた画像形成装置10とプロジェクタ12は、端末装置16との接続を許可する、又は、許可しない(S05)。例えば、画像形成装置10とプロジェクタ12が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置16からの接続が許可された場合、画像形成装置10とプロジェクタ12の固有の設定情報が端末装置16から変更されないように、その変更操作を禁止してもよい。例えば、画像形成装置10の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、画像形成装置10とプロジェクタ12から端末装置16に送信される(S06)。画像形成装置10とプロジェクタ12への接続が許可された場合、端末装置16と、画像形成装置10及びプロジェクタ12と、の間で通信が確立される。
次に、ユーザは端末装置16を利用して連携機能の実行を指示する(S07)。この指示に応じて、連携機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10とプロジェクタ12に送信される(S08)。画像形成装置10に送信される実行指示情報には、画像形成装置10にて実行される処理を示す情報(例えばジョブ情報)が含まれ、プロジェクタ12に送信される実行指示情報には、プロジェクタ12にて実行される処理を示す情報(例えばジョブ情報)が含まれる。
実行指示情報を受けた画像形成装置10とプロジェクタ12は、実行指示情報に従って機能を実行する(S09)。例えば、画像形成装置10(複合機(B))からプロジェクタ12(PC(A))へスキャンデータを転送してプロジェクタ12によってデータを投影する機能のように、連携機能に、画像形成装置10とプロジェクタ12との間でデータの送受信が行われる処理が含まれている場合、画像形成装置10とプロジェクタ12との間で通信が確立される。この場合、例えば、画像形成装置10に送信される実行指示情報にはプロジェクタ12のアドレス情報が含まれ、プロジェクタ12に送信される実行指示情報には画像形成装置10のアドレス情報が含まれ、それらのアドレス情報を用いて画像形成装置10とプロジェクタ12との間で通信が確立される。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、画像形成装置10とプロジェクタ12から端末装置16に送信される(S10)。端末装置16のUI部46には、連携機能の実行が完了したことを示す情報が表示される(S11)。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置16の制御部48は、エラーを示す情報をUI部46に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、画像形成装置10とプロジェクタ12に送信してもよい。
次に、ユーザは、画像形成装置10とプロジェクタ12の連携状態を解除するか否かを確認し(S12)、解除の有無に応じた処理が実行される(S13)。連携状態を解除する場合、ユーザは、端末装置16を利用して解除の指示を与える。これにより、端末装置16と、画像形成装置10及びプロジェクタ12と、の間の通信が解除される。同様に、画像形成装置10とプロジェクタ12との間の通信も解除される。連携状態を解除しない場合、継続して実行指示を与えてもよい。
また、連携対象の機器を増やしてもよい。例えば3台目の機器の機器識別情報が取得され、画像形成装置10とプロジェクタ12を含む3台の機器を連携させることによって実行される連携機能が特定されてもよい。なお、画像形成装置10とプロジェクタ12が既に連携機能として識別されていることを示す情報は、サーバ14や端末装置16に記憶される。
連携対象の機器を示す機器識別情報や、実行された連携機能を示す連携機能識別情報は、端末装置16やサーバ14等に記憶されてもよい。例えば、端末装置16を利用するユーザのユーザアカウント情報(ユーザ識別情報)が取得され、そのユーザアカウント情報と、連携対象の機器を示す機器識別情報と、実行された連携機能を示す連携機能識別情報と、の対応付けを示す履歴情報が作成され、端末装置16やサーバ14等に記憶されてもよい。履歴情報は、端末装置16によって作成されてもよいし、サーバ14によって作成されてもよい。履歴情報を参照することにより、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。
なお、連携対象の機器(例えば画像形成装置10とプロジェクタ12)は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置16を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することにより、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、サーバ14や端末装置16に記憶されてもよいし、別の装置に記憶されてもよい。
ユーザアカウント情報は、例えば、端末装置16の記憶部44に予め記憶されており、端末装置16の制御部48は、ユーザ識別手段の一例として機能し、記憶部44からユーザのユーザアカウント情報を読み込んで、端末装置16を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部44に記憶されている場合、ユーザは端末装置16を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置16の制御部48は、端末装置16にログインしているユーザのユーザアカウント情報を読み込むことにより、ユーザを識別してもよい。更に別の例として、同一の端末装置16に、1つのユーザアカウント情報のみが記憶されている場合、端末装置16の制御部48は、そのユーザアカウント情報を読み込むことによりユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。
ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置16のUI部46に表示されてもよい。その利用履歴を示す情報は、端末装置16に記憶されていてもよいし、サーバ14に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。
なお、単独利用機能が実行される場合、その単独利用機能の実行指示を示す情報が、端末装置16から単独利用機能を実行する機器に送信される。当該機器は、その実行指示に従って単独利用機能を実行する。
上記の画像形成装置10、サーバ14及び端末装置16のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、画像形成装置10、サーバ14及び端末装置16のそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像形成装置10、サーバ14及び端末装置16の各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、画像形成装置10、サーバ14及び端末装置16のそれぞれの各部は、例えばプロセッサや電子回路等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、画像形成装置10、サーバ14及び端末装置16のそれぞれの各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。
10 機器(画像形成装置)、12 機器(プロジェクタ)、14 サーバ、16 端末装置、32 機器機能情報、34 連携機能情報、38 特定部。

Claims (29)

  1. 第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、予め定められた時間内に前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段を有する情報処理装置。
  2. 第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器が撮影された時点から予め設定された時間内に第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段を有する情報処理装置。
  3. 前記制御手段は、前記第1機器と前記第2機器が撮影された場合、前記第1機能と前記第2機能の表示を制御するとともに、前記連携機能の表示を制御する、
    ことを特徴とする請求項1又は請求項に記載の情報処理装置。
  4. 前記制御手段は、前記第1機器と前記第2機器が撮影された場合において、ユーザによって単独利用機能の表示指示が与えられた場合、前記第1機能と前記第2機能の表示を制御し、ユーザによって前記連携機能の表示指示が与えられた場合、前記連携機能の表示を制御する、
    ことを特徴とする請求項1又は請求項に記載の情報処理装置。
  5. 前記制御手段は、前記第1機器の一部が撮影された場合、前記一部に割り当てられている機能の表示を制御する、
    ことを特徴とする請求項1から請求項何れかに記載の情報処理装置。
  6. 前記制御手段は、前記連携機能の表示を制御する場合において、前記第1機器及び前記第2機器の中の少なくとも1つの機器の一部が撮影された場合、前記一部に割り当てられている機能を利用する前記連携機能の表示を制御する、
    ことを特徴とする請求項1から請求項何れかに記載の情報処理装置。
  7. 前記制御手段は、前記第1機器の全体が撮影された場合、前記第1機器が有する1又は複数の機能の表示を制御し、前記第1機器の一部が撮影された場合、前記一部に割り当てられている機能の表示を制御する、
    ことを特徴とする請求項1から請求項何れかに記載の情報処理装置。
  8. 第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段を有し、
    前記第1機器と前記第2機器が撮影された場合、前記第1機器に紐付く第1画像と前記第2機器に紐付く第2画像が表示手段に表示され、
    前記制御手段は、前記表示手段における前記第1画像と前記第2画像の表示位置に応じて、前記連携機能で利用する機器の起点及び次の連携先を変えて前記連携機能の表示を制御する
    報処理装置。
  9. 前記制御手段は、前記表示手段に表示されている前記第1画像と前記第2画像の中で予め設定された領域に表示されている画像に紐付く機器を起点とした前記連携機能の表示を制御する、
    ことを特徴とする請求項に記載の情報処理装置。
  10. 前記制御手段は、前記予め設定された領域に機器の一部に紐付く画像が表示されている場合、前記一部に紐付く画像に割り当てられている機能を起点とした前記連携機能の表示を制御する、
    ことを特徴とする請求項に記載の情報処理装置。
  11. 前記制御手段は、撮影された機器に紐付く画像を、前記予め設定された領域に表示させるための編集画面の表示を制御する、
    ことを特徴とする請求項又は請求項1に記載の情報処理装置。
  12. 前記第1画像と前記第2画像の表示位置に応じて、前記連携機能で利用される前記第1機器と前記第2機器の利用の順番が変更される、
    ことを特徴とする請求項から請求項1何れかに記載の情報処理装置。
  13. 前記第1画像と前記第2画像の表示位置に応じて、前記連携機能で利用される前記第1機器と前記第2機器の間を移動するデータの移動の順番が変更される、
    ことを特徴とする請求項から請求項1何れかに記載の情報処理装置。
  14. 第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段を有し、
    前記第1機器と前記第2機器が撮影された場合、撮影を行う撮影装置との間の位置関係に応じて、前記連携機能の起点として利用される機器が変更される
    報処理装置。
  15. 前記撮影装置から近い位置に設置されている機器ほど優先的に前記連携機能の起点の機器として利用される、
    ことを特徴とする請求項1に記載の情報処理装置。
  16. 画像が表示される表示画面上に設定された基準位置から近い位置に表示されている画像に紐付く機器ほど優先的に前記連携機能の起点の機器として利用される、
    ことを特徴とする請求項1に記載の情報処理装置。
  17. 前記第1機器に紐付く第1外観画像と前記第2機器に紐付く第2外観画像との間の欠損関係に基づいて、前記位置関係が判定される、
    ことを特徴とする請求項1から請求項1何れかに記載の情報処理装置。
  18. 前記制御手段は、前記起点の機器が有する機能を利用する前記連携機能を優先的に表示手段に表示させる、
    ことを特徴とする請求項1から請求項1何れかに記載の情報処理装置。
  19. 前記制御手段は、前記撮影装置から近い位置の順番に応じた情報を、前記第1機器と前記第2機器に対応付けて表示手段に表示させる、
    ことを特徴とする請求項1から請求項18何れかに記載の情報処理装置。
  20. 第1機器に紐付く第1画像と第2機器に紐付く第2画像の表示位置に応じて、前記第1機器が有する第1単独機能及び前記第2機器が有する第2単独機能の表示と、前記第1単独機能と前記第2単独機能とを組み合わせることで実行可能な連携機能の表示と、を切り替える制御手段を有する情報処理装置。
  21. 撮影された機器に紐付く外観画像が予め設定された領域基準を満たさない場合、当該機器は利用対象の機器として識別されない、
    ことを特徴とする請求項1から請求項2何れかに記載の情報処理装置。
  22. 前記外観画像が障害物によって欠損している場合に、前記外観画像は前記領域基準を満たさない、
    ことを特徴とする請求項2に記載の情報処理装置。
  23. 前記連携機能の表示を制御する場合において、撮影された機器に紐付く外観画像が当該機器の一部のみを表わしている場合、前記一部に紐付く画像に割り当てられている機能が、前記連携機能で利用される、
    ことを特徴とする請求項1から請求項2何れかに記載の情報処理装置。
  24. 撮影手段による撮影で得られた機器の画像に基づいて、前記撮影手段によって撮影された機器を識別する識別手段、
    を更に有し、
    前記制御手段は、前記識別手段によって前記第1機器が識別された場合、前記第1機器が有する機能の表示を制御し、前記識別手段によって前記第1機器と前記第2機器が識別された場合、前記連携機能の表示を制御する、
    ことを特徴とする請求項1から請求項2何れかに記載の情報処理装置。
  25. コンピュータを、
    第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、予め定められた時間内に前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段、
    として機能させるプログラム。
  26. コンピュータを、
    第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器が撮影された時点から予め定められた時間内に第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段、
    として機能させるプログラム。
  27. コンピュータを、
    第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段、
    として機能させ、
    前記第1機器と前記第2機器が撮影された場合、前記第1機器に紐付く第1画像と前記第2機器に紐付く第2画像が表示手段に表示され、
    前記制御手段は、前記表示手段における前記第1画像と前記第2画像の表示位置に応じて、前記連携機能で利用する機器の起点及び次の連携先を変えて前記連携機能の表示を制御する、
    プログラム。
  28. コンピュータを、
    第1機器が撮影された場合、前記第1機器が有する第1機能の表示を制御し、前記第1機器と第2機器が撮影された場合、前記第1機能と前記第2機器が有する第2機能とを組み合わせることで実行可能な連携機能の表示を制御する制御手段、
    として機能させ、
    前記第1機器と前記第2機器が撮影された場合、撮影を行う撮影装置との間の位置関係に応じて、前記連携機能の起点として利用される機器が変更される、
    プログラム。
  29. コンピュータを、
    第1機器に紐付く第1画像と第2機器に紐付く第2画像の表示位置に応じて、前記第1機器が有する第1単独機能及び前記第2機器が有する第2単独機能の表示と、前記第1単独機能と前記第2単独機能とを組み合わせることで実行可能な連携機能の表示と、を切り替える制御手段、
    として機能させるプログラム。
JP2016205160A 2016-05-06 2016-10-19 情報処理装置及びプログラム Active JP6179653B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016205160A JP6179653B1 (ja) 2016-10-19 2016-10-19 情報処理装置及びプログラム
CN202210680942.3A CN114895864A (zh) 2016-05-06 2017-05-04 信息处理装置、信息处理方法以及记录介质
US15/586,412 US10567608B2 (en) 2016-05-06 2017-05-04 Information processing apparatus and non-transitory computer readable medium
CN201710307933.9A CN107391061B (zh) 2016-05-06 2017-05-04 信息处理装置及信息处理方法
US15/641,871 US10440208B2 (en) 2016-10-19 2017-07-05 Information processing apparatus with cooperative function identification
US15/642,665 US10987804B2 (en) 2016-10-19 2017-07-06 Robot device and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016205160A JP6179653B1 (ja) 2016-10-19 2016-10-19 情報処理装置及びプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2017113024A Division JP2018067292A (ja) 2017-06-07 2017-06-07 情報処理装置及びプログラム
JP2017113023A Division JP6455551B2 (ja) 2017-06-07 2017-06-07 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP6179653B1 true JP6179653B1 (ja) 2017-08-16
JP2018067139A JP2018067139A (ja) 2018-04-26

Family

ID=59604806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016205160A Active JP6179653B1 (ja) 2016-05-06 2016-10-19 情報処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6179653B1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447689B1 (ja) * 2017-09-11 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019049900A (ja) * 2017-09-11 2019-03-28 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019053424A (ja) * 2017-09-13 2019-04-04 富士ゼロックス株式会社 情報処理装置、画像ファイルのデータ構造及びプログラム
CN109672798A (zh) * 2017-10-16 2019-04-23 富士施乐株式会社 信息处理装置以及存储媒体
CN110581930A (zh) * 2018-06-07 2019-12-17 富士施乐株式会社 信息处理装置、非暂时性计算机可读介质和信息处理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7099092B2 (ja) * 2018-07-03 2022-07-12 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7360243B2 (ja) * 2019-02-15 2023-10-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP7521347B2 (ja) 2020-09-17 2024-07-24 富士フイルムビジネスイノベーション株式会社 端末装置及び端末処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012090077A (ja) * 2010-10-20 2012-05-10 Konica Minolta Business Technologies Inc 携帯端末及び処理装置の操作方法
JP2012205134A (ja) * 2011-03-25 2012-10-22 Fuji Xerox Co Ltd 映像表示装置、携帯端末およびプログラム
JP2013161246A (ja) * 2012-02-03 2013-08-19 Konica Minolta Inc 携帯端末、携帯端末の制御プログラム、及び携帯端末を含む表示システム
JP2015055987A (ja) * 2013-09-11 2015-03-23 コニカミノルタ株式会社 画像処理システム、携帯端末、サーバー装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012090077A (ja) * 2010-10-20 2012-05-10 Konica Minolta Business Technologies Inc 携帯端末及び処理装置の操作方法
JP2012205134A (ja) * 2011-03-25 2012-10-22 Fuji Xerox Co Ltd 映像表示装置、携帯端末およびプログラム
JP2013161246A (ja) * 2012-02-03 2013-08-19 Konica Minolta Inc 携帯端末、携帯端末の制御プログラム、及び携帯端末を含む表示システム
JP2015055987A (ja) * 2013-09-11 2015-03-23 コニカミノルタ株式会社 画像処理システム、携帯端末、サーバー装置およびプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447689B1 (ja) * 2017-09-11 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019050519A (ja) * 2017-09-11 2019-03-28 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019049900A (ja) * 2017-09-11 2019-03-28 富士ゼロックス株式会社 情報処理装置及びプログラム
US10805243B2 (en) 2017-09-11 2020-10-13 Fuji Xerox Co., Ltd. Artificial intelligence conversation interface for receiving and interpreting user input
JP7081099B2 (ja) 2017-09-11 2022-06-07 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
JP2019053424A (ja) * 2017-09-13 2019-04-04 富士ゼロックス株式会社 情報処理装置、画像ファイルのデータ構造及びプログラム
JP6992342B2 (ja) 2017-09-13 2022-01-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN109672798A (zh) * 2017-10-16 2019-04-23 富士施乐株式会社 信息处理装置以及存储媒体
JP2019074649A (ja) * 2017-10-16 2019-05-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP7013786B2 (ja) 2017-10-16 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
CN110581930A (zh) * 2018-06-07 2019-12-17 富士施乐株式会社 信息处理装置、非暂时性计算机可读介质和信息处理方法
CN110581930B (zh) * 2018-06-07 2023-09-26 富士胶片商业创新有限公司 信息处理装置、非暂时性计算机可读介质和信息处理方法

Also Published As

Publication number Publication date
JP2018067139A (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
JP6179653B1 (ja) 情報処理装置及びプログラム
JP6052459B1 (ja) 情報処理装置及びプログラム
CN107346220B (zh) 信息处理设备和信息处理方法
JP6024848B1 (ja) 情報処理装置及びプログラム
JP6052458B1 (ja) 情報処理装置及びプログラム
JP6958069B2 (ja) 情報処理装置及びプログラム
CN107391061B (zh) 信息处理装置及信息处理方法
JP6160761B1 (ja) 情報処理装置及びプログラム
JP6146528B1 (ja) 情報処理装置及びプログラム
JP6493466B2 (ja) 情報処理装置及びプログラム
US10440208B2 (en) Information processing apparatus with cooperative function identification
JP7235072B2 (ja) 情報処理装置、プログラム及び制御方法
JP6327387B2 (ja) 情報処理装置及びプログラム
JP6443498B2 (ja) 情報処理装置及びプログラム
CN108307084B (zh) 信息处理设备和信息处理方法
JP2017201501A (ja) 情報処理装置及びプログラム
JP6972738B2 (ja) 情報処理装置及びプログラム
JP6455551B2 (ja) 情報処理装置及びプログラム
JP2018129097A (ja) 情報処理装置及びプログラム
JP2018067292A (ja) 情報処理装置及びプログラム
JP6958680B2 (ja) 情報処理装置及びプログラム
JP6443497B2 (ja) 情報処理装置及びプログラム
JP6743928B2 (ja) 情報処理装置及びプログラム
JP2019068442A (ja) 情報処理装置及びプログラム
JP2022027759A (ja) 情報処理装置、プログラム及び制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170703

R150 Certificate of patent or registration of utility model

Ref document number: 6179653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350