図1を参照して、本発明の実施形態に係る情報処理システムについて説明する。図1は、本実施形態に係る情報処理システムの一例を示す。
本実施形態に係る情報処理システムは、1又は複数の端末装置と1又は複数の機器とを含む。図1に示す例では、情報処理システムは、端末装置10と機器12A~12Tとを含む。この構成は一例に過ぎず、情報処理システムは、複数の端末装置10を含んでもよいし、他の機器を含んでもよい。以下、各機器を区別する必要がない場合には、各機器を「機器12」と称することとする。なお、機器12の概念の範疇に、端末装置10が含まれてもよい。つまり、端末装置10が機器12として扱われてもよい。
端末装置10及び各機器12は、他の装置と通信する機能を有する。その通信は、無線通信であってもよいし、有線通信であってもよい。例えば、端末装置10及び各機器12は、インターネット又は他のネットワーク等の通信経路を介して他の装置と通信してもよいし、直接的に他の装置と通信してもよいし、ハブとして機能する中継器を介して他の装置と通信してもよいし、いわゆるクラウド又はサーバを介して他の装置と通信してもよい。各機器12は、いわゆるIoT(Internet of Things)機器であってもよい。また、通信経路に、通信経路への不正侵入を防止するためのファイヤーウォールが設けられてもよい。図1に示す例では、ファイヤーウォール14A~14Dが設けられている。
情報処理装置としての端末装置10は、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン又は携帯電話等の装置であり、他の装置と通信する機能を有する。端末装置10は、ウェアラブル端末(腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末又はヒアラブル端末等)であってもよい。また、端末装置10は、表示装置としてフレキシブルディスプレイを有していてもよい。フレキシブルディスプレイとして、例えば、有機エレクトロルミネッセンス型のディスプレイ(フレキシブル有機ELディスプレイ)、電子ペーパー型のディスプレイ又はフレキシブル液晶ディスプレイ等が用いられる。これら以外の表示方式が採用されたフレキシブルディスプレイが用いられてもよい。フレキシブルディスプレイは、表示部分が柔軟に変形可能なディスプレイであり、例えば、曲げたり、折り畳んだり、巻いたり、捩ったり、伸ばしたりすることが可能なディスプレイである。端末装置10全体がフレキシブルディスプレイによって構成されていてもよいし、フレキシブルディスプレイとそれ以外の構成とが機能的又は物理的に分かれていてもよい。
機器12は機能を有する装置であり、例えば、画像形成機能(スキャン機能、プリント機能、コピー機能、ファクシミリ機能等)を有する画像形成装置、PC、タブレットPC、スマートフォン、携帯電話、ロボット(人型ロボット、人以外の動物型ロボット、又は、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明装置、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(いわゆるドローン))、ゲーム機、又は、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器12は、ユーザに対して情報を出力する機器(例えば画像形成装置又はPC等)であってもよいし、ユーザに対して情報を出力しない機器(例えばセンシング機器)であってもよい。また、後述する連携機能を実行する複数の機器12の中のすべての機器12が、ユーザに対して情報を出力する機器であってもよいし、一部の機器12がユーザに対して情報を出力する機器であり、他の機器12がユーザに対して情報を出力しない機器であってもよいし、すべての機器12がユーザに対して情報を出力しない機器であってもよい。機器12の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、及び、その他の機器も、機器12の概念の範疇に含まれてもよい。
本実施形態では、一例として、端末装置10を用いて連携機能が設定される。連携機能は、1又は複数の構成を用いて実行可能な機能である。構成は、例えば、ハードウェアとしての機器12、ソフトウェア、機能又は対象である。機能は、機器12又はソフトウェアが有する機能である。対象は、ファイル(データ)又は物理的な物体等である。端末装置10も連携機能を実行する機器として用いられてもよい。連携機能に用いられるソフトウェアは、端末装置10にインストールされていてもよいし、機器12にインストールされていてもよい。なお、機器12は、他の機器12と連携していない場合、独立してユーザからの指示を受け付けて機能を実行してもよい。もちろん、ユーザからの指示を受けずに機能を実行する機器12(例えばセンシング機器)が、情報処理システムに含まれてもよい。
例えば、機器12を利用する連携機能を示す設定情報が当該機器12に記憶され、当該機器12は当該設定情報に従って連携機能を実行する。なお、当該設定情報は、当該機器12を制御する中継器、端末装置10又はサーバ等の装置に記憶され、当該機器12は、当該中継器、当該端末装置10又は当該サーバ等の装置の制御の下、連携機能を実行してもよい。また、ソフトウェアを用いる連携機能を示す設定情報が、当該ソフトウェアがインストールされている端末装置10、機器12又はサーバ等の装置に記憶され、当該ソフトウェアは当該設定情報に従って連携機能を実行する。
ここで、連携機能について説明する。機器12の全体、機器12の特定の部分、ソフトウェアの特定の機能、又は、複数の機能を含む集合機能等が、連携機能に用いられてもよい。例えば、機器12の部分毎に機能が割り当てられている場合、連携機能は、その部分を用いる機能であってもよい。具体例を挙げて説明すると、複数の画像形成機能を有する複合機の本体部にプリント機能が割り当てられており、複合機の読取部(例えば、原稿カバー、原稿ガラス又は自動原稿給紙装置に対応する部分)にスキャン機能が割り当てられており、複合機の後処理装置に後処理機能(例えばステープル止め機能等)が割り当てられているものとする。この場合、複合機の本体部、読取部又は後処理装置が、連携機能に用いられてもよい。また、ソフトウェアとして、RPA(Robotics Process Automation)等のようにブロック単位でまとまった集合機能が、連携機能に用いられてもよい。また、ソフトウェアが複数の機能を有している場合、連携機能は、当該複数の機能の中の一部の機能を用いる機能であってもよい。集合機能は、複数の機能によって構成されており、当該複数の機能が同時又は順次に実行されることで、当該集合機能による処理が実行される。また、連携機能は、ハードウェアのみを用いる機能であってもよいし、ソフトウェアのみを用いる機能であってもよいし、ハードウェアとソフトウェアの両方を用いる機能であってもよい。また、連携機能には、画像ファイル又は文書ファイル等のデータが用いられてもよい。
連携機能は、互いに異なる種類の複数の機器12を連携させることで実行可能な機能であってもよいし、同一の種類の複数の機器12を連携させることで実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。例えば、プリント機能を有する機器12(プリンタ)と、スキャン機能を有する機器12(スキャナ)とを連携させることで、連携機能としてのコピー機能が実行可能となる。すなわち、プリント機能とスキャン機能とを連携させることで、コピー機能が実行可能となる。ソフトウェアについても同様であり、連携機能は、互いに異なる種類の複数のソフトウェアを連携させることで実行可能な機能であってもよいし、同一の種類の複数のソフトウェアを連携させることで実行可能な機能であってもよい。
連携機能の概念の範疇には、複数の機器12を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダとを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、例えば、テレビに表示されている画像を録画する機能である。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。この拡張機能は、例えば各カメラの撮影領域を繋ぎ合わせて撮影する機能である。また、電話と翻訳機又は翻訳ソフトとを組み合わせることで、合体機能としての翻訳通話機能(電話を介した会話が翻訳される機能)が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の複数の機器12又はソフトウェアを連携させることで実現可能となる機能、及び、互いに異なる種類の複数の機器12又はソフトウェアを連携させることで実現可能となる機能が含まれてもよい。
また、複数の機器12によってコネクテッドホーム(IoT技術を用いて、家電等の機器12同士をネットワークによって接続するシステム)が構築され、そのコネクテッドホームにて連携機能が用いられてもよい。この場合、特定のサーバを介して機器12同士が接続してもよいし、特定のサーバを介さずに機器12同士が接続してもよい。
また、複数の機器12は、IFTTT(イフト)を用いて連携することで連携機能を実行してもよい。つまり、連携機能の内容が、ある機器12にてトリガーとなる事象が発生した場合に、他の機器12がアクション(処理)を実行するというものであってもよい。例えば、機器12としてのセンサが扉の開きを検知したことがトリガーとなって、別の機器12としての照明装置を点灯させるというアクションを実行する連携機能が実行されてもよい。また、ある機器12によるアクションが別のトリガーとなって、更に別の機器12がアクションを実行する機能も、連携機能の概念の範疇に含まれてもよい。また、複数のWebサービスを連携させる機能、及び、API(Application Programming Interface)を利用して複数のシステム又はサービス等を連携させるAPI連携が、連携機能の概念の範疇に含まれてもよい。
図1に示す例では、機器12Aはサーバであり、機器12Bは監視カメラであり、機器12Cはビデオカメラであり、機器12Dは、画像形成機能を有する複合機であり、機器12EはノートPCであり、機器12Fはキャッシュレジスタであり、機器12Gは入退出ゲートであり、機器12HはTVモニタであり、機器12Kはプロジェクタであり、機器12Lは通信基地局であり、機器12Mは中継器(例えばルータ等)である。機器12A,12M及び端末装置10は、機器12Lに接続されている。機器12A~12Kは、機器12Mに接続されている。機器12Aと機器12Lとの間の通信経路にはファイヤーウォール14Aが設けられている。機器12Lと機器12Mとの間の通信経路にはファイヤーウォール14Bが設けられている。機器12Aと機器12Mとの間の通信経路にはファイヤーウォール14Cが設けられている。
また、機器12Nは空気清浄機であり、機器12Pはオーディオ機器であり、機器12Qはレコーダであり、機器12Rは空調機であり、機器12Sはセンサであり、機器12Tは中継器(例えばルータ等)である。機器12N~12Sは、機器12Tに接続されている。また、機器12Tは機器12Mに接続されている。機器12Tと機器12Mとの間の通信経路にはファイヤーウォール14Dが設けられている。
例えば、データ16A,16B(例えば指示情報及びファイル等)が、端末装置10と機器12との間、又は、機器12間で送受信される。
なお、中継器は、例えば、当該中継器に接続されている他の機器12(例えば、当該他の機器12が有するハードウェア、及び、当該他の機器12にインストールされているソフトウェア)を制御してもよい。また、中継器は、インターネット等を利用することで各種の情報を取得してもよい。中継器は、サーバとして機能してもよいし、データ及びユーザ情報の管理等を行ってもよい。中継器は、いわゆるスマートスピーカ(通信機能及びスピーカ機能を有する機器)であってもよいし、通信機能を有するがスピーカ機能を有していない機器であってもよい。中継器は、屋内(例えば、部屋の床、天井、又は、テーブル等)に設置されてもよいし、屋外に設置されてもよい。中継器は、移動可能な機器(例えば自動式の機器)であってもよい。
各機器12は、ユーザの指示に従って、又は、ユーザの指示の有無に関わらず自動的に、単独機能を実行するように構成されている。また、各機器12は、自身に設定された連携機能を実行してもよい。例えば、連携機能の内容を示す設定情報が、当該連携機能に用いられる各機器12に記憶され、各機器12は、自身に記憶されている設定情報が示す連携機能を他の機器12と連携して実行する。
以上のように、現実空間には、1又は複数の端末装置10、及び、1又は複数の機器12が存在している。また、端末装置10及び各機器12には、1又は複数のソフトウェアがインストールされている。もちろん、ソフトウェアがインストールされていない端末装置10及び機器12が、本実施形態に係る情報処理システムに含まれてもよい。ソフトウェアは、仮想空間(例えば、ソフトウェアが格納されている記憶領域によって形成される仮想空間)内に存在している。
以下、図2を参照して、端末装置10の構成について詳しく説明する。図2は、端末装置10の構成の一例を示す。
通信部18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部18は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部18は、例えば、1又は複数の種類の通信方式に対応しており、通信相手に適した通信方式(つまり、通信相手が対応している通信方式)に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Wi-Fi(登録商標)通信、又は、近接無線通信(例えばNFC(Near Field Communication)等)等である。近接無線通信としては、Felica(登録商標)、Bluetooth(ブルートゥース)(登録商標)、又は、RFID(Radio Frequency Identifier)等が用いられる。また、通信部18は、第5世代移動通信システム(5G)に対応してもよい。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部18は、通信相手に応じて通信方式又は周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式又は周波数帯域を切り替えてもよい。周波数帯域として、例えば、2.4GHz又は5GHz等が用いられてもよい。
UI部20はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。表示部は、フレキシブルディスプレイであってもよい。操作部は、例えばタッチパネル又はキーボード等の入力装置である。UI部20は、表示部と操作部とを兼ねたユーザインターフェース(例えば、タッチ式のディスプレイ、又は、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。また、UI部20は、マイク等の集音部、及び、スピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置10に入力されてもよいし、音声によって情報が発せられてもよい。
記憶部22は、ハードディスク又はメモリ(例えばSSD等)等の記憶装置である。記憶部22には、例えば、各種のデータ及び各種のプログラム(ソフトウェア)等が記憶されている。プログラムとして、例えば、OS(Operating System)、及び、各種のアプリケーションプログラム(ソフトウェア)等が記憶されている。また、記憶部22には、機器12のアドレスを示す機器アドレス情報(例えば、機器12に割り当てられたIPアドレス又はMACアドレス等)等が記憶されている。また、記憶部22には、単独機能管理情報及び設定内容管理情報が記憶されている。
単独機能管理情報は、構成としての各機器12及び各ソフトウェアが有する機能、及び、各機器12及び各ソフトウェアが出力するデータ等の出力内容を管理するための情報である。単独機能管理情報は、例えば予め作成されて記憶部22に記憶されている。
設定内容管理情報は、設定された連携機能を管理するための情報である。例えば、機能管理情報においては、連携機能毎に、連携機能に用いられる各構成を識別するための構成識別情報の組み合わせと、当該連携機能に関する機能情報とが互いに紐付けられている。
構成識別情報として、例えば、構成の名称、記号、又は、構成に紐付けられた画像等が用いられる。機能情報は、例えば、連携機能の名称又はID等の識別情報と、当該連携機能の内容を示す内容情報とを含む。以下では、構成に紐付けられた画像を「構成画像」と称することとする。
構成が機器12である場合、構成識別情報は、当該機器12を識別するための情報(機器識別情報)である。構成がソフトウェアである場合、構成識別情報は、当該ソフトウェアを識別するための情報(ソフトウェア識別情報)である。構成が対象である場合、構成識別情報は、当該対象を識別するための情報(対象識別情報)である。機器12を識別するための構成識別情報は、当該機器12が有する機能を示す情報を含んでもよい。同様に、ソフトウェアを識別するための構成識別情報は、当該ソフトウェアが有する機能を示す情報を含んでもよい。
機器識別情報は、例えば、機器12の名称、機器ID、機器12の種類を示す情報、機器12の型番号、機器12を管理するための情報(例えば資産管理情報等)、機器12が設置されている位置を示す情報(機器の位置情報)、機器12に紐付く画像(機器画像)、機器アドレス情報等である。機器画像は、例えば、機器12を表す外観画像である。外観画像は、機器12の外側(例えば機器の筐体)を表す画像であってもよいし、筐体を開けて内部が外から見える状態(例えば内部構造)を表す画像であってもよいし、梱包用のシート等によって機器12が覆われている状態を表す画像であってもよい。機器画像は、機器12をカメラ等の撮影装置によって撮影することで生成された画像(機器12の外観又は内部を表す画像等)であってもよいし、機器12を模式的に表す画像(例えばアイコン等)であってもよい。機器画像は、静止画像であってもよいし、動画像であってもよい。機器画像のデータは、記憶部22に記憶されていてもよいし、他の装置(機器12又はサーバ等)に記憶されていてもよい。
ソフトウェア識別情報は、例えば、ソフトウェアの名称、ソフトウェアID、ソフトウェアの種類を示す情報、ソフトウェアの型番号、ソフトウェアを管理するための情報、ソフトウェアに紐付く画像(ソフトウェア画像)、等である。ソフトウェア画像は、例えば、ソフトウェアを表す画像(例えばアイコン等)である。ソフトウェア画像は、静止画像であってもよいし、動画像であってもよい。ソフトウェア画像のデータは、記憶部22に記憶されていてもよいし、他の装置(機器12又はサーバ等)に記憶されていてもよい。
対象識別情報は、例えば、対象の名称、対象ID、対象の種類を示す情報、対象に紐付く画像(対象画像)等である。例えば、対象がファイル(データ)である場合、そのファイル(例えば画像ファイル、文書ファイル等)の名称等が、対象識別情報として用いられる。また、対象が物理的な物体(例えば商品等)である場合、その物体の名称等が、対象識別情報として用いられる。対象画像は、物理的な対象をカメラ等の撮影装置によって撮影することで生成された画像(静止画像、動画像等)であってもよいし、対象を模式的に表す画像(例えばアイコン等)であってもよい。対象画像のデータは、記憶部22に記憶されていてもよいし、他の装置(機器12又はサーバ等)に記憶されていてもよい。
なお、単独機能管理情報及び設定内容管理情報は、機器12又はサーバ等に記憶されていてもよい。この場合、それらの情報は端末装置10に記憶されていなくてもよい。以下では、それらの情報が端末装置10に記憶されているものとする。
制御部24は、端末装置10の各部の動作を制御するように構成されている。制御部24は、例えば、各種のプログラム(ソフトウェア)の実行、通信部18による通信の制御、UI部20を用いた情報の通知(例えば情報の表示及び音声出力等)の制御、UI部20を用いて端末装置10に入力された情報の受け付け、記憶部22への情報の書き込み、及び、記憶部22からの情報の読み出し等を行う。また、制御部24は、表示制御部26及び設定部28を含む。
表示制御部26は、各種の情報をUI部20の表示部に表示させるように構成されている。例えば、表示制御部26は、連携機能に用いられる構成(例えば機器12、機能、ソフトウェア又は対象等)に紐付く構成画像を表示部に表示させる。表示制御部26は、連携機能に用いられる構成に紐付く構成画像が、連携機能を設定するための領域に表示されている場合と当該領域に表示されていない場合とで、当該構成画像の表示を異ならせる。
設定部28は、構成(例えば、機器12、機能、ソフトウェア又は対象等)に連携機能を設定するように構成されている。設定部28は、連携機能の設定内容を示す情報を設定内容管理情報に登録する。
なお、機器12に設定部28が設けられて、設定部28による処理が当該機器12によって行われてもよい。この場合、端末装置10に設定部28が設けられていなくてもよい。以下では、端末装置10に設定部28が設けられているものとする。
以下、図3を参照して、単独機能管理情報について詳しく説明する。図3は、単独機能管理情報としての単独機能管理テーブルの一例を示す。
図3に示されている単独機能管理テーブルにおいては、一例として、機器12又はソフトウェアを識別するための構成識別情報と、当該機器12又は当該ソフトウェアが有する単独機能を示す単独機能情報と、当該機器12又は当該ソフトウェアが出力する内容(例えばデータ又は物体等)を示す情報とが互いに対応付けられている。単独機能管理テーブルは予め作成されて記憶部22に記憶される。
単独機能管理テーブルに登録されている機器12は、情報処理システムに含まれる機器12である。情報処理システムに新たな機器12が追加された場合、当該機器12が有する単独機能及び出力内容が単独機能管理テーブルに登録されてもよい。また、単独機能管理テーブルに登録されているソフトウェアは、端末装置10又は機器12にインストールされているソフトウェアである。端末装置10又は機器12に新たなソフトウェアがインストールされた場合、当該ソフトウェアが有する単独機能及び出力内容が単独機能管理テーブルに登録されてもよい。例えば、端末装置10及び各機器12の間で情報を送受信することで、単独機能管理テーブルが更新される。単独機能管理テーブルに登録されている情報が、端末装置10及び各機器12によって共有されてもよい。
以下、単独機能管理テーブルに登録されている内容について詳しく説明する。
機器12としてのセンサAは、例えば、温度検知機能、湿度検知機能及び圧力検知機能等の検知機能を有し、出力内容として、検知結果(例えば、温度データ、湿度データ、圧力データ等のデータ)を出力する。
機器12としての複合機Bは、例えば、スキャン機能、プリント機能及びコピー機能等の画像形成機能を有し、出力内容として、画像データ、印刷物等を出力する。
機器12としてのロボットCは、例えば、運搬機能、撮影機能、会話機能及び検索機能等を有し、出力内容として、画像データ、音声データ等を出力する。
ソフトウェアとしてのアプリケーション1は、例えば統計機能等を有し、出力内容として統計データ等を出力する。
ソフトウェアとしてのアプリケーション2は、例えば文書作成機能等を有し、出力内容として文書データ等を出力する。
ソフトウェアとしてのアプリケーション3は、例えば画像処理機能等を有し、出力内容として画像データ等を出力する。
上記の機器12及びソフトウェアは一例に過ぎず、他の機器12及びソフトウェアが単独機能管理テーブルに登録されていてもよい。また、機器12の各部分に割り当てられている単独機能が単独機能管理テーブルに登録されてもよい。例えば、複合機Bの本体部B1にプリント機能が割り当てられている場合、本体部B1を示す情報とプリント機能を示す情報とが対応付けられて単独機能管理テーブルに登録される。また、対象としてのファイル(データ)に紐付くソフトウェアが単独機能管理テーブルに登録されてもよい。
上記の単独機能管理テーブルを参照することで、機器12及びソフトウェアのそれぞれが有する単独機能及び出力内容が特定される。
以下、図4を参照して、UI部20の表示部に表示される画面について説明する。図4は、その画面の一例を示す。表示制御部26は、画面30を表示部に表示させ、その画面30に各種の情報を表示させる。画面30は、例えば、ホーム画面又はデスクトップ画面等である。画面30は、主表示領域32及びタスクバー34を含む。主表示領域32には、アイコン等の画像、及び、各種のウィンドウ等が表示される。例えば、複合機Bに紐付く機器画像36、PC(D)に紐付く機器画像38、センサAに紐付く機器画像40、文書ソフトウェアに紐付く画像42、及び、画像管理ソフトウェアに紐付く画像44等が、主表示領域32に表示されている。タスクバー34には、アイコン等の画像が表示される。例えば、電子メールソフトウェアに紐付く画像46、プレゼンテーション用ソフトウェアに紐付く画像48、及び、文書作成ソフトウェアに紐付く画像50等が、タスクバー34に表示されている。また、タスクバー34には、メニュー52を表示させるためのボタン画像54が表示されている。ユーザがボタン画像54を押した場合(例えばボタン画像54をクリックした場合)、メニュー52が主表示領域32に表示される。メニュー52には、ソフトウェアの一覧が表示される。例えば、ソフトウェアに紐付く画像56,58がメニュー52に表示される。なお、タスクバー34に表示された矢印ボタン画像がユーザによって押された場合、他のソフトウェアに紐付く画像がタスクバー34に表示されてもよい。
例えば、表示制御部26は、端末装置10又は他の装置によって識別された機器12に紐付く画像を画面30に表示させてもよいし、端末装置10にインストールされているソフトウェアに紐付く画像を画面30に表示させてもよいし、機器12にインストールされているソフトウェアに紐付く画像を画面30に表示させてもよい。例えば、カメラ等の撮影装置によって機器12が撮影され、その撮影によって生成された画像データに基づいて当該機器12が識別される。その識別処理は、端末装置10によって行われてもよいし、別の装置(例えばサーバ等)によって行われてもよい。表示制御部26は、このようにして識別された機器12に紐付く画像を画面30に表示させてもよい。また、表示制御部26は、端末装置10に接続されている機器12に紐付く画像を画面30に表示させてもよいし、当該機器12にインストールされているソフトウェアに紐付く画像を画面30に表示させてもよい。例えば、端末装置10は、自装置に接続されている機器12を検索し、表示制御部26は、検索された機器12に紐付く画像を画面30に表示させる。また、表示制御部26は、検索された機器12にインストールされているソフトウェアに紐付く画像を画面30に表示させてもよい。また、表示制御部26は、端末装置10に記憶されているデータに紐付く画像を画面30に表示させてもよいし、機器12に記憶されているデータに紐付く画像を画面30に表示させてもよい。
図4に示されている画面30は表示部に表示される画面の一例に過ぎず、別の画面が表示部に表示されてもよい。例えば、連携機能の設定操作が行われる場合には、別の画面が表示されてもよい。
以下、図5を参照して、連携機能の設定操作の概略について説明する。図5は、UI部20の表示部に表示される画面の一例を示す。表示制御部26は、例えば、画面60を表示部に表示させる。画面60には、構成画像の一例として、複合機Bに紐付く機器画像36、センサAに紐付く機器画像40、関連付け機能に紐付く機能画像62、PC(D)に紐付く機器画像38、及び、保存機能に紐付く機能画像64が表示されている。関連付け機能及び保存機能のそれぞれは、ハードウェアとしての機器12によって実現されてもよいし、ソフトウェアによって実現されてもよい。
ユーザが画面60上で構成画像同士を接続した場合、設定部28は、ユーザによって接続された複数の構成画像のそれぞれに紐付く構成を連携機能に用いられる構成として識別し、当該構成を連携機能に用いられる構成として設定内容管理情報に登録する。また、各構成から出力されるデータの出力先がユーザによって指定され、設定部28は、各構成についてのデータの出力先を示す情報を設定内容管理情報に登録する。
また、ユーザが画面60上で構成に紐付く構成画像を指定した場合、表示制御部26は、単独機能管理テーブルにおいて、当該構成画像に紐付く構成が有する1又は複数の機能を特定し、当該1又は複数の機能を示す情報(機能の一覧)を画面60に表示させる。ユーザは、当該機能の一覧の中から、当該構成に実行させる機能(連携機能に用いられる機能)を指定する。また、ユーザは、当該機能が実行されるための条件を指定する。例えば、各構成に条件の候補が紐付けられており、その紐付けを示す情報が単独機能管理テーブルに予め登録されている。表示制御部26は、ユーザによって指定された構成に紐付けられている条件の候補の一覧を画面60に表示させる。ユーザは、当該候補の一覧の中から条件を指定する。設定部28は、当該機能を連携機能に用いられる機能として当該構成に設定し、当該条件を当該構成に設定し、これらの設定内容を設定内容管理情報に登録する。
連携機能の実行時においては、各構成は、自身に紐付けられた条件が発生した場合に、自身に紐付けられた機能を実行し、自身に紐付けられたデータの出力先にデータを出力する。
ユーザによって各構成が接続されることで、当該各構成が、共に連携機能を実行する構成として指定され、設定部28は、当該各構成を、連携機能に用いられる構成として設定内容管理情報に登録する。
以下、具体例を挙げて説明する。例えば、ユーザがUI部20を操作して機器画像40と機能画像62とを互いに繋げる操作を行った場合、表示制御部26は、機器画像40と機能画像62とを互いに接続する矢印画像66を画面60に表示させる。矢印画像66は、接続用部材に紐付く画像の一例に相当する。なお、接続用部材に紐付く画像は、矢印の形状を有する画像に限定されるものではない。適宜別の形状を有する画像が、接続用部材に紐付く画像として用いられてもよい。例えば、複数種類の接続用部材に紐付く画像がストックされており、ユーザが、当該複数種類の画像の中から画像を選択して使用してもよい。矢印画像以外の画像の一例として、円形、矩形、曲線等の画像が用いられてもよい。この場合、設定部28は、機器画像40に紐付くセンサAと機能画像62に紐付く関連付け機能とを互いに接続し、センサAと関連付け機能を連携機能に用いられる構成として設定内容管理情報に登録する。また、矢印画像66が指し示す先がデータの出力先を示している。図5に示す例では、矢印画像66は機能画像62を指し示しているため、連携機能の実行時には、センサAから関連付け機能へデータが出力される。また、ユーザが機器画像40を指定すると、表示制御部26は、単独機能管理テーブルを参照することで、センサAが有する1又は複数の機能の一覧を画面60に表示させる。ユーザが当該一覧の中からセンサAに実行させる機能を選択した場合、設定部28は、ユーザによって指定された機能を連携機能に用いられる機能としてセンサAに設定し、その設定内容を設定内容管理情報に登録する。関連付け機能に関しても同様である。
他の構成画像についても同様である。例えば、複合機Bに紐付く機器画像36と関連付け機能に紐付く機能画像62とが矢印画像68によって接続されている。機能画像62とPC(D)に紐付く機器画像38とが矢印画像70によって接続されている。機器画像38と保存機能に紐付く機能画像64とが矢印画像72によって接続されている。複合機B、PC(D)及び保存機能のそれぞれについて、連携機能に用いられる機能、及び、機能を実行するための条件がユーザによって指定される。設定部28は、複合機B、PC(D)及び保存機能のそれぞれに対して、ユーザによって指定された機能及び条件を設定し、その設定内容を設定内容管理情報に登録する。また、設定部28は、各矢印画像によって指し示されているデータの出力先を示す情報を設定内容管理情報に登録する。
また、表示制御部26は、矢印画像が接続される部分を表す接続部分画像を各構成画像上に重畳させて画面60に表示させる。矢印画像は、構成画像の中で接続部分画像に接続される。
例えば、接続部分画像40aが機器画像40上に重畳されて表示されている。矢印画像66は、機器画像40の中で接続部分画像40aに接続される。他の構成画像についても同様である。機器画像36上には接続部分画像36aが重畳して表示されている。機能画像62上には接続部分画像62a,62b1,62b2が重畳して表示されている。機器画像38上には接続部分画像38a,38bが重畳して表示されている。機能画像64上には接続部分画像64bが重畳して表示されている。各矢印画像は、各接続部分画像に接続される。なお、接続部分画像は、構成画像上に重畳されずに、構成画像から離れた位置に表示されてもよい。また、ユーザが接続部分画像を操作することで、接続部分画像の表示位置が変更されてもよい。
接続部分画像は、例えば、構成画像よりも小さい画像であり、円形状の画像、矩形状の画像、又は、×印の画像等である。もちろん、接続部分画像は、これら以外の画像であってもよい。なお、構成画像の一部が接続部分画像として用いられてもよい。また、透明な小さい画像が接続部分画像として構成画像の一部に設定されていてもよい。
接続部分画像は、データの出力又は入力を表している。例えば、構成画像において、データの出力を表す接続部分画像の表示領域と、データの入力を表す接続部分画像の表示領域とが定められている。図5に示す例では、各構成画像の右側領域が、データの出力を表す表示領域であり、左側領域が、データの入力を表す表示領域である。
データの出力を表す表示領域内に表示された接続部分画像は、データの出力を表す画像である。データの入力を表す表示領域内に表示された接続部分画像は、データの入力を表す画像である。
データの出力を表す接続部分画像に矢印画像が接続された場合、当該接続部分画像を有する構成画像に紐付く構成は、データを、当該矢印画像が指し示す構成に出力する。データの入力を表す接続部分画像に矢印画像が接続された場合、当該接続部分画像を有する構成画像に紐付く構成には、他の構成から出力されたデータが入力される。
表示制御部26は、例えば、データの出力を表す接続部分画像の表示態様とデータの入力を表す接続部分画像の表示態様とを異ならせてもよい。表示態様は、色、形状、大きさ、透明度、点滅の有無、点滅の態様等である。例えば、データの出力を表す接続部分画像が紫色で表示され、データの入力を表す接続部分画像が赤色で表示される。
図5に示す例では、接続部分画像36a,38a,40a,62aは、データの出力を表す表示領域内に表示されており、データの出力を表す接続部分画像に該当する。接続部分画像62b1,62b2,64bは、データの入力を表す表示領域内に表示されており、データの入力を表す接続部分画像に該当する。なお、機能画像62には、データの入力を表す複数の接続部分画像(接続部分画像62b1,62b2)が重畳して表示されている。このように、1つの構成画像に、データの入力を表す複数の接続部分画像が表示されてもよいし、データの出力を表す複数の接続部分画像が表示されてもよい。
図5に示す例では、センサA、複合機B、関連付け機能、PC(D)及び保存機能が、連携機能に用いられる構成として設定されており、これらを用いて実行される連携機能が設定内容管理情報に登録されている。
登録されている連携機能の実行がアクティブ(オン)に設定されている場合において、条件が発生した場合、当該連携機能が実行される。連携機能の実行がオフに設定されている場合、条件が発生しても当該連携機能は実行されない。実行のオン又はオフは、例えば、ユーザによって設定される。もちろん、オン及びオフが設定されずに、条件が発生した場合に、連携機能が実行されてもよい。
連携機能の実行がアクティブ(オン)に設定されている場合において、センサAに紐付けられた条件が発生した場合、センサAは、センサAが検知したデータを関連付け機能に出力する。同様に、複合機Bは、複合機Bが生成又は取得したデータを関連付け機能に出力する。両データが関連付け機能に入力されることで関連付け機能に紐付く条件が満たされ、関連付け機能が実行される。これにより、センサAからのデータと複合機Bからのデータが関連付けられる。なお、関連付け機能は、端末装置10によって実行されてもよいし、機器12によって実行されてもよい。センサA及び複合機Bのそれぞれからのデータは、関連付け機能を実行する端末装置10又は機器12に出力されることになる。また、センサAからのデータと複合機Bからのデータとが互いに関連付けられた状態で、関連付け機能(端末装置10又は機器12)からPC(D)に出力される。関連付け機能からPC(D)にデータが入力されることでPC(D)に紐付く条件が満たされ、PC(D)は、PC(D)に設定された機能を実行し、その機能の実行結果のデータを、保存機能(保存機能を実行する端末装置10又は機器12)に出力する。そして、PC(D)から保存機能にデータが入力されることで保存機能に紐付く条件が満たされ、これにより、端末装置10又は機器12にて保存機能が実行されることで、PC(D)から出力されたデータが保存先に保存される。設定部28は、上記の連携機能の設定内容を示す情報を設定内容管理情報に登録する。
なお、矢印画像の種類に応じて、他の構成に出力されるデータの種類が変更されてもよい。例えば、センサAは、温度データ、湿度データ及び圧力データ等を出力することが可能であり、各データの種類に矢印画像の種類(例えば、色、形状、太さ等)が紐付けられている。例えば、温度データには赤色の矢印画像が紐付けられており、湿度データには青色の矢印画像が紐付けられている。ユーザが、センサAに紐付く機器画像40と機能画像62とを接続する矢印画像66として、赤色の矢印画像を選択した場合、設定部28は、センサAから関連付け機能に出力されるデータの種類として温度データをセンサAに設定し、その設定内容を設定内容管理情報に登録する。この場合、連携機能の実行時にて、センサAは、温度データを関連付け機能(端末装置10又は機器12)に出力する。例えば、ユーザが画面60上で矢印画像66を指定すると、表示制御部26は、センサAが出力可能なデータに対応する矢印画像の候補の一覧を画面60上に表示させる。ユーザが当該一覧の中から矢印画像を選択すると、設定部28は、センサAから出力されるデータの種類を識別し、当該データの種類をセンサAに設定する。他の構成画像に接続された矢印画像についても同様である。
また、矢印画像の長さ、太さ又は形状等が、データ通信の性能又は機能の実行タイミング等を表していてもよい。つまり、ユーザが、矢印画像の長さ、太さ又は形状等を変更することで、データ通信の性能又は機能の実行タイミング等が変更されてもよい。
以下、図6を参照して、接続部分画像の表示態様について詳しく説明する。図6は、UI部20の表示部に表示される画面の一例を示す。例えば、ユーザの指示によって、連携機能を設定するためのプログラムが実行された場合、表示制御部26は、UI部20の表示部に画面74を表示させる。画面74は、例えば、連携機能を設定するための表示領域76、ストックされた構成画像が表示される表示領域78、ストックされた機能画像が表示される表示領域80、及び、ストックされた矢印画像が表示される表示領域82を含む。
表示領域76には、連携機能に用いられる構成に紐付く構成画像が表示される。ユーザは、表示領域76に表示された構成画像同士を接続することで、連携機能に用いられる構成の指定することができ、また、各構成に実行させる機能を設定することができる。
表示領域78には、1又は複数のストックされた構成画像が表示される。表示領域78内においては、例えば、各構成画像はサムネイル画像として表示される。例えば、端末装置10によって識別された機器に紐付く機器画像、端末装置10にインストールされているソフトウェアに紐付くソフトウェア画像、及び、機器12にインストールされているソフトウェアに紐付くソフトウェア画像等が、表示領域78内に表示される。表示領域78には、方向キー画像78a,78bが表示されている。ユーザが画面74上で方向キー画像78a(右方向を示すボタン画像)を押すと、表示領域78内に表示されている各構成画像が、方向キー画像78aが指し示す方向(右方向)に移動し、別の構成画像が表示領域78内に表示される。方向キー画像78b(左方向を示すボタン画像)が押された場合も同様である。なお、上方向を示すボタン画像、及び、下方向を示すボタン画像が表示されて、上方向又は下方向に構成画像の表示が切り替えられてもよい。また、表示領域78内には一覧ボタン画像78cが表示されている。ユーザが画面74上で一覧ボタン画像78cを押すと、構成画像の一覧が画面74に表示される。また、表示領域78内では、各構成画像上に接続部分画像は表示されない。
表示領域80には、1又は複数のストックされた機能画像が表示される。表示領域80内においては、例えば、各機能画像はサムネイル画像として表示される。例えば、端末装置10が有する機能に紐付く機能画像、及び、機器12が有する機能に紐付く機能画像が、表示領域80内に表示される。表示領域80には、方向キー画像80aが表示されている。ユーザが画面74上で方向キー画像80aを押すと、表示領域80内に表示されている各機能画像が、方向キー画像80aが指し示す方向(例えば右方向)に移動し、別の機能画像が表示領域80内に表示される。また、表示領域80内では、各機能画像上に接続部分画像は表示されない。
表示領域82には、1又は複数の矢印画像が表示される。矢印画像は、構成画像同士を接続するために用いられる画像である。出力されるデータの種類、データ通信の性能又は機能の実行タイミング等を表す1又は複数の矢印画像が用意されている場合、当該1又は複数の矢印画像が表示領域82に表示される。ユーザが画面74上で方向キー画像82aを押すと、表示領域82内に表示されている各矢印画像が、方向キー画像82aが指し示す方向(例えば右方向)に移動し、別の矢印画像が表示領域82内に表示される。
ユーザがUI部20を操作することで、表示領域78に表示されている構成画像を表示領域78から表示領域76へ移動させる操作を行った場合、表示制御部26は、当該構成画像を表示領域78から表示領域76へ移動させて表示領域76内に表示させる。例えば、表示制御部26は、表示領域78内では縮小して表示されていた構成画像を拡大して表示領域76内に表示させる。図6に示す例では、矢印84で示すように、表示領域78内に表示されている機器画像36がユーザによって指定されて表示領域76へ移動させられている。表示制御部26は、その操作に応じて、機器画像36を拡大して表示領域76内に表示させる。
表示領域80内に表示されている機能画像、及び、表示領域82内に表示されている矢印画像についても、機器画像36と同様に、ユーザの操作によって表示領域76内に表示させられる。
図6に示す例では、ユーザの操作によって、複合機Bに紐付く機器画像36、保存機能に紐付く機能画像64、及び、PC(D)に紐付く機器画像38が、表示領域76に表示されている。表示領域76では、これらの構成画像を対象として連携機能の設定が行われる。
また、連携機能を設定するための表示領域76内に構成画像が表示された場合、表示制御部26は、当該構成画像上に接続部分画像を重畳して画面74に表示させる。機能画像が表示領域76内に表示された場合も同様である。
例えば、複合機Bに紐付く機器画像36が、ユーザの操作によって表示領域78から表示領域76内に移動させられて、表示領域76内に表示された場合、表示制御部26は、機器画像36上に接続部分画像36aを重畳して表示領域76内に表示させる。つまり、表示領域78内では、機器画像36に重畳して接続部分画像36aは表示されないが、表示領域76内では、機器画像36に重畳して接続部分画像36aが表示される。なお、図6に示す例では、複合機Bからのデータの出力を表す1つの接続部分画像36aが機器画像36上に重畳して表示されているが、データの出力を表す複数の接続部分画像が機器画像36上に重畳して表示されてもよいし、複合機Bへのデータの入力を表す接続部分画像が機器画像36上に重畳して表示されてもよい。また、ユーザが画面74上で機器画像36を操作した場合(例えば、ユーザが機器画像36をクリックした場合)、表示制御部26は、データ出力用の接続部分画像及びデータ入力用の接続部分画像の中の少なくとも1つの画像を機器画像36上に重畳して表示領域76に表示させてもよい。ユーザの指示によって、表示制御部26は、データ出力用の接続部分画像又はデータ入力用の接続部分画像の重畳表示を行ってもよい。例えば、ユーザが構成画像の右側領域(データ出力に対応する領域)を指定した場合(例えばクリックした場合)、表示制御部26は、データ出力用の接続部分画像を構成画像に重畳表示する。一方、ユーザが構成画像の左側領域(データ入力に対応する領域)を指定した場合、表示制御部26は、データ入力用の接続部分画像を構成画像に重畳表示する。PC(D)に紐付く機器画像38についても同様である。
なお、データ出力に対応する領域、及び、データ入力に対応する領域は、ユーザによって変更されてもよい。例えば、構成画像の左側領域がデータ出力に対応する領域として定められ、右側領域がデータ入力に対応する領域として定められてもよい。上側領域及び下側領域のそれぞれが、データ出力用領域及びデータ入力用領域のそれぞれとして定められてもよい。もちろん、ユーザによって、任意の領域がデータ出力用領域又はデータ入力用領域として定められてもよい。
また、保存機能に紐付く機能画像64が、ユーザの操作によって表示領域80から表示領域76内に移動させられて、表示領域76内に表示された場合、表示制御部26は、機能画像64上に接続部分画像64a,64bを重畳して表示領域76内に表示させる。つまり、表示領域80内では、機能画像64に重畳して接続部分画像64a,64bが表示されないが、表示領域76内では、機能画像64に重畳して接続部分画像64a,64bが表示される。なお、保存機能(端末装置10又は機器12)からのデータの出力を表す接続部分画像64a、及び、保存機能へのデータの入力を表す接続部分画像64bが、機能画像64上に重畳して表示されているが、接続部分画像64a,64bの何れかが表示されてもよいし、更に別の接続部分画像が表示されてもよい。機器画像36と同様に、ユーザが機能画像64を操作した場合、接続部分画像が機能画像64上に重畳して表示されてもよい。
連携機能の設定を設定するための表示領域76では接続部分画像を構成画像上に重畳して表示し、表示領域78,80では接続部分画像を構成画像上に重畳して表示しないことで、表示領域78,80にて、接続部分画像の表示スペースを確保せずに済む。
また、接続部分画像を構成画像上に重畳して表示した場合、構成画像において接続部分画像が重畳している部分が表示されず、構成画像の一部が欠けた状態で構成画像が表示されるが、上記のように表示制御することで、表示領域78,80では構成画像の欠損も生じない。例えば、連携のためのユーザの操作性を向上させるために表示領域76の大きさを広くするほど、表示領域78,80の広さを狭くせざるを得ず、表示領域78,80内に表示される構成画像も、表示領域78,80の広さに応じて小さく表示される。この場合において、表示領域78,80に接続部分画像が表示されると、小さく表示された構成画像が接続部分画像によって更に欠けた状態で表示されることになり、ユーザにとって構成画像が観難いといった事態が生じる。上記の表示制御によれば、このような事態の発生が防止される。
また、データ出力用の接続部分画像が重畳表示された構成画像、データ入力用の接続部分画像が重畳表示された構成画像、及び、両方の接続部分画像が重畳表示された構成画像のすべてを予め作成して表示領域78,80に表示させる必要がないため、表示領域78,80内にストックして表示される画像の数が減る。
図6に示す例では、機器画像36と機能画像64とが矢印画像86によって互いに接続されており、機能画像64と機器画像38とが矢印画像88によって互いに接続されている。各構成(複合機B、保存機能及びPC(D))に設定される機能、及び、当該機能を実行するための条件は、ユーザによって設定される。例えば、複合機Bがスキャンを実行し、それによって生成された画像データを保存機能(端末装置10又は機器12)に出力し、その保存機能が実行されることで、当該画像データがPC(D)に出力されてPC(D)に保存される。なお、複合機BからPC(D)に直接的に画像データが出力されてもよい。設定部28は、このようにして設定された連携機能を設定内容管理情報に登録する。
なお、矢印画像は表示領域82から取り出し可能になっているが、ユーザが接続部分画像を動かす操作(例えば引っ張る操作)を行った場合、表示制御部26は、当該接続部分画像から延びる矢印画像を表示部に表示させてもよい。
構成の部分毎に機能が割り当てられている場合、部分に紐付く部分画像毎に接続部分画像が表示されてもよい。例えば、複合機Bの本体部にプリント機能が割り当てられており、後処理部にステープル機能が割り当てられているものとする。この場合、表示制御部26は、機器画像36の中で本体部に紐付く部分画像上に接続部分画像を重畳して表示部に表示させ、機器画像36の中で後処理部に紐付く部分画像上に別の接続部分画像を重畳して表示部に表示させる。こうすることで、各部分からのデータの出力、及び、各部分へのデータの入力を、個別的に設定することができる。
(変形例1)
以下、図7を参照して変形例1について説明する。図7は、画面の一例を示す。変形例1では、構成画像が表示領域76に表示された場合に、構成画像と矢印画像との位置関係に応じて、接続部分画像を当該構成画像上に重畳して表示部に表示させる。例えば、表示制御部26は、表示領域76内において構成画像と矢印画像との間の距離が閾値以下になった場合、接続部分画像を当該構成画像上に重畳して表示部に表示させ、当該距離が当該閾値を超えている場合、接続部分画像を当該構成画像上に重畳して表示部に表示させない。閾値は、予め定められてもよいし、ユーザ等によって変更されてもよい。
具体例を挙げて説明する。図7に示すように、表示領域76に機器画像36が表示されている。破線で示されている領域90内の位置は、機器画像36の中心位置からの距離が閾値以下となる位置である。なお、領域90を表す破線等は表示されてもよいし、表示されなくてもよいし、矢印画像の一部又は全部が領域90内に配置された場合に、領域90を表す破線等が表示されてもよい。
矢印画像92aは、表示領域76内において領域90の外側に表示されている。この場合、表示制御部26は、接続部分画像36aを表示部に表示させない。つまり、接続部分画像36aは、機器画像36上に重畳して表示されない。
矢印画像92bの一部は、表示領域76内において領域90の内側に表示されている。この場合、表示制御部26は、接続部分画像36aを機器画像36上に重畳して表示部に表示させる。例えば、矢印94で示すように、ユーザが、領域90の外側に表示されている矢印画像を領域90内まで移動させた場合、接続部分画像36aが表示される。もちろん、矢印画像92bの全部が領域90内に表示されている場合に、接続部分画像36aが表示されてもよい。
矢印画像92bの一部又は全部が、領域90内において機器画像36の右側領域(データ出力に対応する領域)に表示されている場合、表示制御部26は、データ出力用の接続部分画像36aを機器画像36上に重畳させて表示部に表示させる。矢印画像92bの一部又は全部が、領域90内において機器画像36の左側領域(データ入力に対応する領域)に表示されている場合、表示制御部26は、データ入力用の接続部分画像を機器画像36上に重畳させて表示部に表示させる。
構成画像と矢印画像との間の距離が閾値を超える場合に接続部分画像を表示しないことで、その場合に当該構成画像が接続部分画像の重畳表示によって欠けて表示されることが防止される。
構成画像と矢印画像との間の距離が閾値以下となる場面は、ユーザが矢印画像を構成画像に接続しようとする場面、又は、矢印画像が構成画像に接続される直前等の場面であり、このような場面以外では、接続部分画像の表示が不要になる場合があると想定される。構成画像と矢印画像との間の位置関係に応じて接続部分画像の表示又は非表示を制御することで、このように想定された場面に対応することができる。
なお、構成の部分毎に機能が割り当てられている場合において、構成画像中の部分画像と矢印画像との間の距離が閾値以下になった場合、表示制御部26は、接続部分画像を当該部分画像に重畳させて表示部に表示させてもよい。例えば、複合機Bに紐付く機器画像36中の本体部に紐付く部分画像と矢印画像との間の距離が閾値以下になった場合、表示制御部26は、当該本体部に紐付く部分画像上に矢印画像を重畳して表示部に表示させる。この場合において、機器画像36中の後処理部に紐付く部分画像と矢印画像との間の距離が閾値を超えている場合、表示制御部26は、当該後処理部に紐付く部分画像上に矢印画像を表示させない。こうすることで、部分画像毎に接続部分画像を表示する場合においても、各部分画像が不必要に欠けて表示されることが防止される。
(変形例2)
以下、図8を参照して、変形例2について説明する。図8は、画面の一例を示す。変形例2では、既に矢印画像が構成画像の接続部分画像に接続されている場合において、他の矢印画像と当該構成画像との間の距離が閾値以下となった場合、表示制御部26は、別の接続部分画像を当該構成画像上に重畳して表示部に表示させる。
具体例を挙げて説明する。図8に示すように、表示領域76に機器画像36,38,40が表示されている。機器画像36,38は、矢印画像96によって既に互いに接続されている。詳しく説明すると、機器画像36上にデータ出力用の接続部分画像36aが重畳して表示され、機器画像38上にデータ入力用の接続部分画像38b1が表示され、接続部分画像36aと接続部分画像38b1とが互いに矢印画像96によって接続されている。この状態で、別の矢印画像98(機器画像40上に重畳表示されたデータ出力用の接続部分画像40aに接続された矢印画像)と機器画像38との間の距離が閾値以下になった場合、表示制御部26は、機器画像38上に接続部分画像を重畳して表示部に表示させる。図8に示す例では、データ入力用の接続部分画像38b2が機器画像38上に重畳して表示されている。例えば、機器画像38の左側領域(データ入力に対応する領域)にて、矢印画像98の先端と機器画像38との間の距離が閾値以下になった場合、表示制御部26は、データ入力用の接続部分画像38b2を機器画像38上に重畳して表示部に表示させる。こうすることで、既に矢印画像が構成画像に接続されている場合であっても、別の矢印画像を構成画像に接続することができる。
図示されていないが、機器画像38の右側領域(データ出力に対応する領域)にて、矢印画像の先端と機器画像38との間の距離が閾値以下になった場合、表示制御部26は、データ出力用の接続部分画像を機器画像38上に重畳して表示部に表示させる。
なお、設定部28は、センサA、複合機B及びPC(D)を、連携機能に用いられる構成として設定内容管理情報に登録し、これらの構成によって実行される連携機能の設定内容を設定内容管理情報に登録する。なお、各構成によって実行される機能、及び、当該機能が実行される条件は、ユーザによって設定される。例えば、センサAによって検知されたデータ、及び、複合機Bによって生成された画像データが、PC(D)に出力され、PC(D)にて、それらのデータに対して処理が施される。
(変形例3)
以下、図9を参照して、変形例3について説明する。図9は、画面の一例を示す。変形例3では、表示制御部26は、表示領域76に表示されている構成画像に紐付く構成に紐付けられた機能に応じて、当該構成画像を変更する。また、表示制御部26は、構成画像が表示領域76に表示される前は、機能に紐付かない状態の構成画像を表示部に表示させ、表示領域76に構成画像が表示されている場合、機能に応じて構成画像を変更する。
具体例を挙げて説明する。図9に示すように、表示領域76に、センサAに紐付く機器画像40、人検知機能に紐付く機能画像100、及び、電灯に紐付く機器画像102が表示されている。なお、機能画像100が示す内容は、人を検知する機能であるともいえるし、人を検知した場合という条件であるともいえる。
機器画像40上のデータ出力用の接続部分画像40aと、機能画像100上のデータ入力用の接続部分画像100bとが、矢印画像104によって互いに接続されている。また、機能画像100上のデータ出力用の接続部分画像100aと、機器画像102上のデータ入力用の接続部分画像102bとが、矢印画像106によって互いに接続されている。つまり、センサAによって人が検知された場合、電灯のオン又はオフが制御される。
例えば、ユーザが機器画像102を指定した場合(例えばクリックした場合)、表示制御部26は、機器画像102に紐付く電灯が有する機能の一覧108を表示部に表示させる。例えば、電灯は、点灯機能及び消灯機能を有する。ユーザは、一覧108の中から電灯に実行させる機能を選択することができる。表示制御部26は、ユーザによって選択された機能に応じて機器画像102を変更する。例えば、ユーザが点灯機能を選択した場合、表示制御部26は、点灯を表す機器画像102を表示部に表示させる。一方、ユーザが消灯機能を選択した場合、表示制御部26は、消灯を表す機器画像(機器画像102とは別の画像)を表示部に表示させる。ユーザによって点灯機能が選択されて連携機能が設定された場合、センサAによって人が検知されると電灯が点灯する。一方、ユーザによって消灯機能が選択されて連携機能が設定された場合、センサAによって人が検知されると電灯が消灯する。このように、機器12に設定された機能に応じて機器画像が変更される。ソフトウェアに設定された機能についても同様である。
機能に応じて構成画像を変更し、当該機能が反映された構成画像を表示することで、構成画像に設定されている機能が視覚的にユーザに伝えられる。
また、各機能が反映された構成画像を別々に作成する必要がない。例えば、点灯機能に紐付く機器画像と消灯機能に紐付く機器画像とをそれぞれ別々に作成し、それらをストック画像として表示領域78に表示させずに、点灯機能又は消灯機能の何れかに切り替えることが可能な機器画像(基本画像)をストック画像として表示領域78に表示させることで、表示領域78内に表示されるストック画像の量を減らすことができる。図9に示す例では、電灯に紐付き、点灯機能及び消灯機能の何れも反映されていない機器画像110(電灯に紐付く基本画像)が、ストック画像として表示領域78内に表示されている。つまり、機器画像110は、機能に紐付かない状態の電灯を表す画像であるといえる。矢印112で示すように、機器画像110がユーザの操作によって表示領域78から表示領域76へ移動させられて表示領域76内に表示され、電灯に対して機能(例えば点灯機能)が設定された場合、機器画像110は、その設定された機能が反映された機器画像(例えば機器画像102)に変更される。
なお、各機能が反映された構成画像が別々に作成されて表示領域78に表示されていてもよい。
図10には、ユーザによって消灯機能が選択された場合の機器画像114が示されている。機器画像114は消灯を表す画像である。この機器画像114によって、連携機能に消灯機能が含まれる。この場合、上述したように、センサAによって人が検知された場合、電灯が消灯する。
構成画像の表示が変化した場合、設定部28は、その変化に応じて、設定される連携機能を変更する。例えば、点灯機能が設定されて点灯を表す機器画像102が表示された場合、設定部28は、点灯機能を含む連携機能を設定する。その点灯機能が消灯機能に変更されて、機器画像102が、消灯を表す機器画像114に変更された場合、設定部28は、点灯機能を含む連携機能を、消灯機能を含む連携機能に変更する。このように、構成画像を変更することで、連携機能を変更することができる。
また、ストック画像として表示領域78に表示されていた構成画像(基本画像)が、ユーザの操作によって表示領域76に表示された場合、表示制御部26は、当該構成画像に紐付く構成が有する各機能が反映された構成画像の候補を表示部に表示させてもよい。図11に示すように、例えば、電灯に紐付く機器画像110が、表示領域78から表示領域76に移動させられて表示領域76に表示させられたものとする。電灯は点灯機能及び消灯機能を有するため、表示制御部26は、表示領域76内において、機器画像110の周囲に、点灯機能が反映された機器画像102、及び、消灯機能が反映された機器画像114を、構成画像の候補として表示させる。表示制御部26は、機器画像102,114を半透明の状態で表示部に表示させてもよいし、基本画像としての機器画像110よりも縮小して表示部に表示させてもよい。もちろん、表示制御部26は、別の表示態様として、基本画像としての機器画像110とは別の表示態様に従って機器画像102,114を表示部に表示させてもよい。
ユーザが、機器画像102,114の中から機器画像を選択すると、表示制御部26は、選択された機器画像を表示領域76内に表示させ、選択されなかった機器画像及び機器画像110(基本画像)を非表示にする。また、設定部28は、選択された機器画像に紐付く機能を連携機能に含む機能として設定する。
表示領域76内において、基本画像の周囲に構成画像の候補を表示することで、当該構成画像に紐付く構成が有する機能の候補がユーザに提示される。
また、表示制御部26は、表示領域76内に表示されている構成同士の関係に応じて、構成に設定される機能の候補を示す情報を表示部に表示させてもよい。例えば、人が検知された場合に点灯する機能が、人が検知された場合に消灯する機能よりも優先機能として電灯に設定されているものとする。この場合において、人検知機能に紐付く機能画像100が表示領域76内に表示されている場合、表示制御部26は、点灯が反映された機器画像102を表示部に表示させ、消灯が反映された機器画像114を非表示にする。このように、構成毎に、他の構成との組み合わせによって使用されることが想定される機能が予め定められて構成に紐付けられて、表示制御部26は、その紐付けに従って、他の構成と組み合わせて使用されると想定される機能が反映された構成画像を表示部に表示させてもよい。こうすることで、構成画像の候補が絞られる。なお、その紐付けを示す情報は、例えば、端末装置10又は機器12に記憶されている。
図9から図11に示す例では、設定される機能に応じて構成画像が変更されるが、機能、条件、処理又は役割等を示す文字列が変更されてもよい。図12を参照して、この処理について説明する。図12に示すように、表示領域76には、PC(D)に紐付く機器画像38、タッチ操作に紐付く機能画像116、及び、電子メール機能に紐付く機能画像118が表示されている。なお、タッチ操作に紐付く機能画像116が示す内容は、タッチ操作に関する機能であるともいえるし、タッチ操作に関する条件であるともいえる。
機器画像38上のデータ出力用の接続部分画像38aと、機能画像116上のデータ入力用の接続部分画像116bとが矢印画像120によって互いに接続されている。また、機能画像116上のデータ出力用の接続部分画像116aと、機能画像118上のデータ入力用の接続部分画像118bとが矢印画像122によって互いに接続されている。つまり、タッチ操作に関する条件が満たされた場合に、PC(D)にて電子メールソフトウェアが起動させられる。
例えば、ユーザが機能画像116を指定した場合(例えばクリックした場合)、表示制御部26は、機能画像116に紐付くタッチ操作の一覧124を表示部に表示させる。例えば、タッチ操作の具体的な内容して、「タッチする」及び「タッチを解除する」が一覧124に含まれている。ユーザは、一覧124の中からタッチ操作の具体的な内容を選択することができる。表示制御部26は、ユーザによって選択されたタッチ操作に応じて機能画像116を変更する。例えば、ユーザが「タッチする」を選択した場合、表示制御部26は、機能画像116内に表示されている文字列を文字列「タッチする」に変更する。一方、ユーザが「タッチを解除する」を選択した場合、表示制御部26は、機能画像116内に表示されている文字列を文字列「タッチを解除する」に変更する。ユーザによって「タッチする」がタッチ操作の具体的な内容として選択されて連携機能が設定された場合、PC(D)に対してタッチ操作が行われた場合、PC(D)にて電子メールソフトウェアが起動させられる。一方、ユーザによって「タッチを解除する」がタッチ操作の具体的な内容として選択されて連携機能が設定された場合、PC(D)に対するタッチ操作が解除された場合、PC(D)にて電子メールソフトウェアが起動させられる。
機能、条件、処理又は役割等に応じて機器画像に表示されている文字列を変更することで、機能画像に設定されている機能等が視覚的にユーザに伝えられる。
また、「タッチする」という操作を表す機能画像、及び、「タッチを解除する」という操作を表す機能画像の両方を予め作成し、それらをストック画像として表示領域80内に表示させる必要がない。例えば、文字列「タッチ」が表示された機能画像を表示領域80内に表示させておき、当該機能画像を表示領域76内に表示させて当該機能画像がユーザによって指定された場合、一覧124が表示される。そして、一覧124の中からユーザによって具体的な操作が選択された場合、その選択された操作(例えば「タッチする」)を示す文字列を含む機能画像(例えば機能画像116)が表示される。この場合、表示領域80に表示されている文字列「タッチ」を含む機能画像が、基本画像に相当する。こうすることで、「タッチする」という操作を表す機能画像、及び、「タッチを解除する」という操作を表す機能画像の両方を表示領域80内に表示させる場合と比べて、表示領域80内に表示されるストック画像の量を減らすことができる。
なお、各操作を表す機能画像が別々に作成されて表示領域78に表示されていてもよい。
また、表示制御部26は、他の構成との関係に応じて、タッチ操作に関する具体的な内容を候補として表示部に表示させてもよい。例えば、他の構成との組み合わせによって実行されると想定される操作が予め定められており、表示制御部26は、その設定に従って、実行される操作を表す文字列を含む機能画像を表示部に表示させてもよい。例えば、PC(D)、タッチをする操作、及び、電子メールソフトウェアの起動が優先的な設定として予め定められている場合において、PC(D)に紐付く機器画像38と電子メールソフトウェアに紐付く機能画像118とが表示領域76に表示されている場合、表示制御部26は、文字列「タッチをする」を含む機能画像116を表示領域76内に表示させる。
(変形例4)
以下、図13を参照して、変形例4について説明する。図13は、画面の一例を示す。変形例4では、設定部28は、連携機能に利用される複数の構成に紐付く複数の構成画像が互いに接続されている場合において、構成画像がユーザによって操作されて当該操作量が閾値以上になった場合、当該複数の構成の連携を解除する。この場合、設定部28は、解除された連携機能の設定内容を設定内容管理情報から削除し、各構成に設定されている連携機能を解除する。
操作は、例えば、画面上において構成画像を移動させる操作、矢印画像を捻る操作、矢印画像を切断する操作等である。操作量は、構成画像の移動量、矢印画像の捻れ量等である。
具体例を挙げて説明する。図13に示すように、例えば、複合機Bに紐付く機器画像36、保存機能に紐付く機能画像64、及び、PC(D)に紐付く機器画像38が表示領域76に表示されている。また、機器画像36と機能画像64とが矢印画像によって互いに接続されており、機能画像64と機器画像38とが矢印画像によって互いに接続されているものとする。この状態で、例えば、ユーザが、機能画像64を機器画像36から離れる方向に移動させ、その移動量が閾値以上になった場合、表示制御部26は、機器画像36と機能画像64とを互いに接続していた矢印画像を切断し、符号126で指し示すように、その切断の様子を表す画像を表示部に表示させる。また、設定部28は、複合機Bと保存機能との連携を解除する。もちろん、機器画像36が操作されることで矢印画像が切断されてもよい。なお、閾値は、予め設定されてもよいし、ユーザ等によって変更されてもよい。上記の矢印画像が切断された場合であっても、機能画像64と機器画像38とを互いに接続する矢印画像88は、切断の条件が満たされない限り切断されない。
機器画像36と機能画像64とを互いに接続する矢印画像が切断された後、予め定められた時間が経過した場合、表示制御部26は、切断された矢印画像を非表示にしてもよい。例えば、表示制御部26は、機能画像64に接続されている切断後の矢印画像を非表示にし、機器画像36に接続されている切断後の矢印画像を機器画像36に接続された状態で表示部に表示させてもよい。もちろん、表示制御部26は、機器画像36に接続されている切断後の矢印画像を非表示にしてもよいし、機能画像64に接続されている切断後の矢印画像を機能画像64に接続された状態で表示部に表示させてもよい。また、表示制御部26は、接続部分画像36a,64bを非表示にしてもよい。
別の例として、ユーザが、閾値以上の移動速度又は移動加速度で機能画像64を機器画像36から離れる方向に移動させた場合、表示制御部26は、機器画像36と機能画像64とを互いに接続していた矢印画像を切断し、設定部28は、連携機能を解除してもよい。
また、図14に示すように、ユーザが、構成画像同士を接続している矢印画像128を捻り、その捻れ量が閾値以上になった場合、表示制御部26は、符号130で示すように、矢印画像128を切断してもよい。
また、ユーザが画面上で構成画像を移動させて、閾値以上の移動速度又は移動加速度で当該構成画像を他の構成画像に接触させた場合、設定部28は、当該構成画像に紐付く構成と当該他の構成画像に紐付く他の構成とに設定されている連携機能を解除してもよい。このとき、表示制御部26は、移動させられた構成画像に紐付く構成が破壊された状態を表す画像を表示部に表示させてもよい。例えば、電灯に紐付く機器画像が移動させられて他の構成画像に接触された場合、割れた電球を表す画像が表示される。割れ易い物体に紐付く構成画像が他の構成画像に接触された場合に、上記の解除が行われてもよい。割れ易い物体は予め定められている。例えば、電灯等のようにガラス製品は、割れ易い物体として登録される。
また、表示制御部26は、機器12の重さを機器画像の移動の態様に反映させてもよい。例えば、重い機器12に紐付く機器画像ほど、移動操作に対する移動量が少なくてもよいし、移動し難くてもよい。
(変形例5)
以下、図15を参照して、変形例5について説明する。図15は、画面の一例を示す。変形例5では、表示制御部26は、連携機能が設定されている場合と設定されていない場合とで、各構成の状態の表示内容を異ならせる。
例えば、図15に示すように、機器画像36,38及び機能画像64が表示領域76に表示されており、複合機B、保存機能及びPC(D)に連携機能が設定されているものとする。この場合において、ユーザが画面上で機器画像36を指定した場合(例えばクリックした場合)、表示制御部26は、設定された連携機能に関する複合機Bの状態を示す情報132を表示部に表示させる。連携機能に関する状態を示す情報は、例えば、連携機能の実行状況を示す情報、連携機能の実行履歴を示す情報等である。例えば、設定された連携機能が、複合機Bによるスキャンによって生成された画像データ(ファイル)をPC(D)に転送して、PC(D)に保存するというものであるとする。この場合、情報132として、複合機Bによるスキャンに関する情報(実行状況を示す情報、履歴情報等)が表示される。例えば、5件のファイル(画像データ)が複合機Bによるスキャンによって生成されて、その転送の準備が行われている旨を示す情報132が表示される。この情報132は、スキャンの実行状況を示す情報といえる。また、ユーザが画面上で機器画像38を指定した場合、表示制御部26は、設定された連携機能に関するPC(D)の状態を示す情報134を表示部に表示させる。例えば、情報134として、PC(D)での保存に関する情報が表示される。図15に示す例では、新たに20件のファイルが保存された旨を示す情報134が表示されている。
一方、連携機能が設定されていない構成に紐付く構成画像がユーザによって指定された場合、表示制御部26は、連携機能に関係しない情報を表示部に表示させる。例えば、表示領域78に表示されている複合機Bに紐付く機器画像がユーザによって指定された場合、表示制御部26は、複合機Bの性能等を示す情報136を表示部に表示させる。
なお、表示制御部26は、機器12の状態及び性能等を示す情報を、通信経路を介して当該機器12から取得する。また、ソフトウェアに紐付く構成画像がユーザによって指定された場合、表示制御部26は、当該ソフトウェアがインストールされている端末装置10又は機器12から、当該ソフトウェアの状態及び性能等を示す情報を取得し、当該情報を表示部に表示させる。この場合も、当該ソフトウェアに連携機能が設定されている場合と設定されていない場合とで、表示される情報が変わる。
(変形例6)
以下、図16を参照して、変形例6について説明する。図16は、画面の一例を示す。例えば、画面138がUI部20の表示部に表示され、更に、その画面138の表示領域140内に、連携機能を設定するための画面74が表示されてもよい。画面138は、例えば、デスクトップ画面又はホーム画面等である。
表示領域76には、データ(ファイル)に紐付くファイル画像142、表に転記する機能に紐付く機能画像144、及び、PC(D)に紐付く機器画像38が表示されており、データ、表転記機能及びPC(D)に対して連携機能が設定されている。例えば、指定されたファイルがPC(D)に転送され、PC(D)にて当該ファイルが表に転記されるという連携機能が設定されている。
また、表示領域140には、ファイルに紐付くファイル画像146等が表示されている。
表転記機能(端末装置10又は機器12)がファイルを受けたことがトリガーとなって、上記の連携機能が実行されるものとする。この場合、連携機能の設定が完了した後、例えば表示領域140に表示されているファイル画像146が、ユーザの操作によって、矢印148で示すように、表示領域76内、ファイル画像142の表示位置、構成画像同士を接続するための矢印画像の表示位置、又は、表転記機能に紐付く機能画像144の表示位置まで移動させられた場合、その移動がトリガーとなって、連携機能が実行されてもよい。制御部24は、ファイル画像146の移動に基づくトリガーを検知した場合、連携機能の実行を開始する。例えば、制御部24は、当該連携機能に用いられる機器12及びソフトウェアを制御することで連携機能を実行する。このようなファイル操作によって連携機能が実行される。
(変形例7)
以下、図17を参照して、変形例7について説明する。図17は、画面の一例を示す。図17に示すように、表示領域76には、複合機Bに紐付く機器画像36、PC(D)に紐付く機器画像38、及び、センサAに紐付く機器画像40が表示されている。機器画像36上のデータ出力用の接続部分画像36aと、機器画像38上のデータ入力用の接続部分画像38bとが、矢印画像96によって接続されている。機器画像40上のデータ出力用の接続部分画像40aと、機器画像38上のデータ入力用の接続部分画像38bとが、矢印画像98によって接続されている。このように、1つの接続部分画像に複数の矢印画像が接続されてもよい。
連携機能の実行時には、複合機BからのデータがPC(D)に入力され、かつ、センサAからのデータがPC(D)に入力された場合に、PC(D)は自身に設定されている機能を実行してもよい。別の例として、複合機Bからのデータ及びセンサAからのデータが、同時に又は予め定められた時間範囲内にPC(D)に入力された場合に、PC(D)は自身に設定されている機能を実行してもよい。設定部28は、このような連携機能の設定内容を設定内容管理情報に登録する。
図17に示す例では、1つのデータ入力用の接続部分画像に複数の矢印画像が接続されているが、1つのデータ出力用の接続部分画像に複数の矢印画像が接続されることで、1つのデータ出力用の接続部分画像と複数のデータ入力用の接続部分画像とが互いに接続されてもよい。この場合、データ出力元の機器12、ソフトウェア又は機能から、互いに同一の又は異なるデータが、データ出力先の機器12、ソフトウェア又は機能に出力される。
また、設定部28は、同一の構成画像上に表示されている複数の接続部分画像同士の表示関係に応じて、設定される連携機能を変更してもよい。例えば、設定部28は、当該複数の接続部分画像同士の表示関係に応じて、当該構成画像に紐付く構成による処理の実行タイミング又は処理の内容を変更することで、設定される連携機能を変更する。設定部28は、複数の接続部分画像が別々に表示されている場合と、複数の接続部分画像が合体して表示されている場合とで、設定される連携機能を異ならせてもよい。
以下、図18を参照して、これらの処理について説明する。図18の(a),(b),(c)には、それぞれPC(D)に紐付く機器画像38が示されている。図18の(a)に示すように、機器画像38上には、データ入力用の接続部分画像38b1,38b2が重畳して表示されている。これらの接続部分画像は、ユーザによって操作されてもよい。例えば、ユーザが画面上で接続部分画像38b2を矢印150の方向へ移動させる操作を行った場合、表示制御部26は、機器画像38上で接続部分画像38b2を矢印150の方向へ移動させる。もちろん、接続部分画像38b1が操作されて移動させられてもよい。その移動によって、図18の(b)に示すように、接続部分画像38b1,38b2同士が接触してもよい。また、図18の(c)に示すように、表示制御部26は、互いに接触した接続部分画像38b1,38b2を合体させることで1つの接続部分画像152を生成し、当該接続部分画像152を機器画像38上に重畳して表示してもよい。接続部分画像152の大きさは、合体前の接続部分画像38b1,38b2の大きさよりも大きく又は小さくてもよいし、接続部分画像38b1,38b2のそれぞれの大きさと同じであってもよい。また、接続部分画像152の形状は、接続部分画像38b1,38b2のそれぞれの形状と同じであってもよいし、異なっていてもよい。また、ユーザが接続部分画像152を操作することで、接続部分画像152が複数の接続部分画像に分割されてもよい。
設定部28は、図18の(a),(b),(c)のそれぞれに示されている接続部分画像の表示形態に応じて、設定される連携機能を変更してもよい。
例えば、図18の(a)に示すように、接続部分画像38b1,38b2が互いに離れて別々に表示されて、それぞれにデータ出力用の接続部分画像から延びる矢印画像が接続されているものとする。この場合、連携機能の実行時には、PC(D)は、接続部分画像38b1に接続されている第1構成からPC(D)に入力された第1データと、接続部分画像38b2に接続されている第2構成からPC(D)に入力された第2データとを、それぞれ別々に処理する。例えば、第1データ及び第2データのそれぞれが別々のタイミングでPC(D)に入力された場合、PC(D)は、入力されたタイミングで各データを個別的に処理する。
図18の(b)に示すように、接続部分画像38b1,38b2が互いに接触して表示されて、それぞれにデータ出力用の接続部分画像から延びる矢印画像が接続されているものとする。この場合、連携機能の実行時には、PC(D)は、第1データがPC(D)に入力され、かつ、第2データがPC(D)に入力された場合に、PC(D)自身に設定されている機能を実行する。
図18の(c)に示すように、合体後の接続部分画像152に第1構成及び第2構成のそれぞれから延びる矢印画像が接続されているものとする。この場合、連携機能の実行時には、PC(D)は、第1データ及び第2データが同時に又は予め定められた時間範囲内にPC(D)に入力された場合に、自身に設定されている機能を実行する。
このように、1又は複数の接続部分画像の表示形態を変えることで、設定される連携機能が変更される。
なお、データ出力用の複数の接続部分画像が合体又は分離されてもよい。
以下、図19を参照して、設定内容管理情報の一例としての設定内容管理テーブルについて説明する。図19は、設定内容管理テーブルの一例を示す。設定内容管理テーブルにおいては、一例として、IDと、連携機能に用いられる構成を識別するための構成識別情報と、連携機能の設定内容を示す情報とが互いに対応付けられている。
ID「1」の連携機能は、複合機BとプレゼンテーションアプリケーションPとを用いることで実行可能な連携機能である。ID「2」の連携機能は、複合機Bと宛先管理アプリケーションQとを用いることで実行可能な連携機能である。ID「3」の連携機能は、複合機Bの本体部B1とPC(D)とを用いることで実行可能な連携機能である。ID「4」の連携機能は、文書作成アプリケーションGと帳票作成アプリケーションNとを用いることで実行可能な連携機能である。ID「5」の連携機能は、複合機Bと帳票作成アプリケーションNとを用いることで実行可能な連携機能である。ID「6」の連携機能は、扉開閉センサEと照明装置Fとを用いることで実行可能な連携機能である。
図19に示されている各連携機能は一例に過ぎず、これら以外の連携機能が設定されてもよい。
連携機能の実行時には、例えば、端末装置10又は中継装置が、上記の設定内容管理テーブルを参照することで、連携機能に用いられる複数の構成を特定し、当該連携機能の実行指示を示す制御情報を当該複数の構成に送る。当該制御情報を受けた各構成は、当該制御情報に従って自身に割り当てられた処理を実行する。こうすることで、連携機能が実行される。もちろん、連携機能の設定が完了した後、設定部28は、連携機能の設定内容を各構成に予め設定してもよい。この場合、各構成は、自身に割り当てられた処理の実行タイミングに従って処理を実行する。
上記の端末装置10及び機器12のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置10及び機器12のそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置10及び機器12のそれぞれの各部の機能が実現される。上記プログラムは、CD又はDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置10及び機器12のそれぞれの各部は、例えばプロセッサ、電子回路又はASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置10及び機器12のそれぞれの各部は、DSP(Digital Signal Processor)又はFPGA(Field Programmable Gate Array)等によって実現されてもよい。