JP7248279B2 - コンピュータシステム、プログラム、及び方法 - Google Patents

Description

本開示は、コンピュータユーザがインターフェース画像を通じて複数のモジュールを連携させて実行するコンピュータシステムに関する。

従来より、アプリケーション中心のユーザインターフェースをユーザに提示するコンピュータシステムがある。例えば、特許文献１には、アプリケーション中心のユーザインターフェースがユーザに対して提示されるコンピュータシステムが記載されている。当該ユーザインターフェースにおいてユーザに対して提示されるのは、１個又は複数個のアプリケーションを示す表示であった。当該表示に対して指示入力することによりアプリケーションの起動が行われるものであった。

特許第４７６３８４６号公報

しかし、従来のアプリケーション中心のユーザインターフェースがユーザに提示する表示は、アプリケーションを示すものであり、コンピュータシステムにおける処理を実行する個々のプログラムを示すものではなかった。また、当該ユーザインターフェースにおいてアプリケーションを示す表示に指示入力しても、当該表示が示すアプリケーションが起動されるに止まり（アプリケーションのスタート画面を開くなど）、アプリケーションの個々の処理を行うプログラム（モジュールなど）を直接実行するものではなかった。

そこで、本開示の実施形態により、複数のモジュールが連携して処理を実行することが可能なコンピュータシステム、プログラム及び方法を提供する。

本開示の一実施形態によれば、「複数のモジュールのうちの少なくとも一部を連携して実行するためのコンピュータシステムであって、前記複数のモジュール、前記複数のモジュールのうちの少なくとも一部を連携させて処理するためのプログラム、及び前記複数のモジュールのそれぞれに対応して表示されるインターフェース画像に関する情報を記憶するためのメモリと、前記インターフェース画像を表示するためのディスプレイと、ユーザによる指示入力を受け付けるための入力インターフェースと、前記プログラムの実行により、連携させるモジュールに対応するインターフェース画像に対する前記ユーザの指示入力を前記入力インターフェースが受け付けると、前記指示入力に応じて、当該インターフェース画像と、あらかじめ前記ディスプレイに表示された他のインターフェース画像との間で所定の関係性を形成し、形成された前記関係性に応じて各インターフェース画像に対応する各モジュールを連携させて新たなモジュールを生成し、生成された前記新たなモジュールに対する前記ユーザの指示入力を前記入力インターフェースが受け付けると前記新たなモジュールを実行するための処理を実行するプロセッサと、を含むコンピュータシステム」が提供される。

本開示の一実施形態によれば、「複数のモジュールのうちの少なくとも一部を連携して実行するためのプログラムであって、前記複数のモジュール、及び前記複数のモジュールのそれぞれに対応して表示されるインターフェース画像に関する情報を記憶するためのメモリと、前記インターフェース画像を表示するためのディスプレイと、ユーザによる指示入力を受け付けるための入力インターフェースと、を含むコンピュータを、連携させるモジュールに対応するインターフェース画像に対する前記ユーザの指示入力を前記入力インターフェースが受け付けると、前記指示入力に応じて、当該インターフェース画像と、あらかじめ前記ディスプレイに表示された他のインターフェース画像との間で所定の関係性を形成し、形成された前記関係性に応じて各インターフェース画像に対応する各モジュールを連携させて新たなモジュールを生成し、生成された前記新たなモジュールに対する前記ユーザの指示入力を前記入力インターフェースが受け付けると前記新たなモジュールを実行するための処理を実行するプロセッサ、として機能させるプログラム」が提供される。

本開示の一実施形態によれば、「複数のモジュールのうちの少なくとも一部を連携して実行するための方法であって、前記複数のモジュール、前記複数のモジュールのうちの少なくとも一部を連携させて処理するためのプログラム、及び前記複数のモジュールのそれぞれに対応して表示されるインターフェース画像に関する情報を記憶するためのメモリと、前記インターフェース画像を表示するためのディスプレイと、ユーザによる指示入力を受け付けるための入力インターフェースと、を含むコンピュータにおいて、プロセッサが前記プログラムを処理することによりなされる方法であって、連携させるモジュールに対応するインターフェース画像に対する前記ユーザの指示入力を前記入力インターフェースが受け付けると、前記指示入力に応じて、当該インターフェース画像と、あらかじめ前記ディスプレイに表示された他のインターフェース画像との間で所定の関係性を形成する段階と、形成された前記関係性に応じて各インターフェース画像に対応する各モジュールを連携させて新たなモジュールを生成する段階と、生成された前記新たなモジュールに対する前記ユーザの指示入力を前記入力インターフェースが受け付けると前記新たなモジュールを実行する段階と、を含む方法」が提供される。

本開示の実施形態により、複数のモジュールが連携して処理を実行することが可能なコンピュータシステム、プログラム及び方法を提供する。

図１は、本開示の実施形態に係るコンピュータシステム１００のディスプレイ１１２に表示される画面の例を示す図である。 図２は、本開示の実施形態に係るコンピュータシステム１００の構成を示すブロック図である。 図３は、コンピュータシステム１００のプロセッサ１１０で本開示の実施形態に係るプログラムを実行することで行われる処理の流れを示すフロー図である。 図４Ａは、コンピュータシステム１００のプロセッサ１１０で本開示の実施形態に係るプログラムを実行することで行われる処理の流れを示すフロー図である。 図４Ｂは、コンピュータシステム１００のプロセッサ１１０で本開示の実施形態に係るプログラムを実行することで行われる処理の流れを示すフロー図である。 図５は、コンピュータシステム１００のプロセッサ１１０で本開示の実施形態に係るプログラムを実行することで行われる処理の流れを示すフロー図である。 図６は、本開示の本実施形態に係るインターフェース画像に対応するモジュールの型情報の例を示す図である。 図７Ａは、本開示の実施形態に係るプログラムの実行による画面例を示す模式図である。 図７Ｂは、本開示の実施形態に係るプログラムの実行による画面例を示す模式図である。 図７Ｃは、本開示の実施形態に係るプログラムの実行による画面例を示す模式図である。 図７Ｄは、本開示の実施形態に係るプログラムの実行による画面例を示す模式図である。 図８は、本開示の実施形態に係るプログラムの実行による画面例を示す模式図である。 図９Ａは、インターフェース画像に対応するモジュールに関する設定情報を変更させる際の画面例を示す模式図である。 図９Ｂは、インターフェース画像に対応するモジュールに関する設定情報を変更させる際の画面例を示す模式図である。

添付図面を参照して本発明の実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。

＜本開示に係るシステムの概要＞
以下、本発明の一実施形態に係るコンピュータシステムとして、本実施形態に係るプログラムを実行可能なディスプレイを有するコンピュータシステム１００（携帯電話、スマートフォン、タブレット機、携帯型ゲーム機、携帯情報端末、ＰＤＡ、無線コントローラー端末、デスクトップパソコン、ラップトップパソコン、ゲームセンター等に設置されるようなアーケードゲーム用端末など）を例にとって具体的に説明する。

図１は、本開示の実施形態に係るコンピュータシステム１００のディスプレイ１１２に最大表示される画面の例（ディスプレイ１１２の一部に適当な大きさで表示されてもよい）であって、ユーザがモジュールを連携させた処理を実行する新たなモジュールを作成している状態を示す図である。

コンピュータシステム１００のディスプレイ１１２には、メモリ１１３に格納された各モジュールに対応して表示されるインターフェース画像１３４を１又は複数配置することが可能な実行用表示領域１３２が表示されている。インターフェース画像１３４には、当該インターフェース画像に対応するモジュール又は連携モジュールに関する情報に格納されている、モジュールの名称・説明、設定情報１３７及びその値１３８を表示することが可能である。また、ディスプレイ１１２には、実行用表示領域１３２上のインターフェース画像１３４の１又は複数を、ユーザからの指示入力に応じて、実行用表示領域１３２から配置することが可能な連携用表示領域１３１が表示されている。実行用表示領域１３２と連携用表示領域１３１は、視認性の観点から、一つのウィンドウ内で各領域を分けて表示するのが望ましいが、それに限られない。例えば、一つのウィンドウ内で一つの領域に結合してもよいし、領域ではなく、ウィンドウそのものを分けるようにしてもよい。

実行用表示領域１３２のインターフェース画像１３４に対してユーザが指示入力すること（インターフェース画像１３４に、データファイルをドラッグアンドドロップする又はインターフェース画像内をクリックするなど）によりインターフェース画像１３４に対応するモジュールの処理を実行できる。

実行用表示領域１３２のインターフェース画像１３４は、ドラッグアンドドロップ操作などにより連携用表示領域１３１に配置することが可能である（図１の矢印は当該ドラッグアンドドロップ操作によるインターフェース画像の配置を示す）。図１では、実行用表示領域１３２に表示されたインターフェース画像Ａを連携用表示領域１３１にドラッグアンドドロップ操作して配置させた例であるが、連携用表示領域１３１に配置されるインターフェース画像Ａは、実行用表示領域１３２のインターフェース画像Ａと全く同じ表示となる必要はない。例えば、連携用表示領域１３１に配置されるインターフェース画像Ａは、連携可能なモジュールをわかりやすく表示するために、当該インターフェース画像に対応するモジュールの属性情報を表示したり、属性情報に応じて表示を変更することが可能である。

連携用表示領域１３１に配置されるインターフェース画像１３３は、ドラッグ操作に続いてドロップ操作が行われた際のマウス１１６の座標を取得し、当該インターフェース画像１３３の重心座標に当該座標を設定する形で配置することができる。

連携用表示領域１３１の左上隅を基準座標（座標の横軸及び縦軸の値がいずれも０）とし、ディスプレイ１１２の下方に向かって縦軸のプラス方向、ディスプレイ１１２の右方に向かって横軸のプラス方向とする。このとき、モジュールの連携は、各インターフェース画像の重心座標について縦軸方向が小さいものから順に連携させる。仮に重心座標の縦軸方向が同じ値の場合には、連携順序が一つ前のモジュールから、重心座標の縦軸方向が同じ値の複数のモジュールに対して並列に連携させたり、又は、各インターフェース画像の重心座標について横軸方向が小さいものから、各インターフェース画像に対応する各モジュールを順に連携させ、新たな一つのモジュールを生成する。なお、各インターフェース画像の重心座標について厳密な大小関係によって連携順序を決定するのではなく、その差が一定の閾値内か否かによって決定することも可能である。この場合、複数のインターフェース画像の重心座標が当該閾値内にある場合、当該複数のインターフェース画像の重心座標は同じとみなすことができる。

ユーザにより当該連携モジュールの作成を行うと決定された場合、プロセッサ１１０は、当該連携モジュールの連携順序及び設定情報をメモリ１１３に記憶させる。さらに、プロセッサ１１０は、当該連携モジュールを示すインターフェース画像１３４を実行用表示領域１３２に新たに表示する。

なお、本実施形態において、モジュールとは、プログラムよって実行される１又は複数の機能ごとのまとまりのことを意味する。本実施形態に係るモジュールは、図１に記載するようなモジュール間の連携及び実行を可能とするモジュールであれば、いずれでもよい。端的には、文書作成、ブラウジング、カメラ撮影、動画視聴、メール送信などの各種アプリケーションが例として挙げられるが、当然これらのみには限られない。ユーザが指示入力をするためのＧＵＩや一連の処理を完結するための全てのプログラムがモジュール内に含まれている必要はなく、文字入力、特定のインターフェース画像への操作、情報検索、数値計算、コピーアンドペースト、画面の切り替え、他のアプリケーションやモジュールの起動、カメラの操作、メールの検索、受信メールの表示など、ごく限られた機能ごと、又はこれらを複数組み合わせて一つのモジュールを形成してもよい。

本実施形態に係るモジュールは、あらかじめコンピュータシステム１００のメモリ１１３に記憶されている。また、本実施形態に係るモジュールは、通信インターフェース１１１を介して外部のサーバー装置（図示しない）から受信することにより随時追加・更新され、コンピュータシステム１００のメモリ１１３に記憶される。

本実施形態に係るプログラムは、あらかじめコンピュータシステム１００のメモリ１１３に記憶されている。また、当該プログラムは、いわゆるネイティブアプリと呼ばれるプログラムのように、当該プログラムがサーバー装置に記憶され、コンピュータシステム１００にダウンロードして実行することも可能である。

本実施形態においては、当該プログラムの実行をコンピュータシステム１００のプロセッサ１１０において実行する場合について説明するが、いわゆるＷｅｂアプリと呼ばれるプログラムのように、外部のサーバー装置内に当該プログラムを記憶し、プログラムの進行に応じてコンピュータシステム１００から送信された指示・コマンドに応じてサーバー装置内の当該プログラムにより処理を実行し、その結果をコンピュータシステム１００に送信することで、本実施形態を実現することも可能である。

＜コンピュータシステム１００＞
図２は、本開示の実施形態に係るコンピュータシステム１００の構成を示すブロック図である。なお、本実施形態に係るコンピュータシステム１００は、図２に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能である。

図２を参照すると、コンピュータシステム１００は、プロセッサ１１０、通信インターフェース１１１、ディスプレイ１１２、メモリ１１３、キーボード１１５及びマウス１１６を含む入力インターフェース１１４を含む。これらの各要素が制御ライン及びデータラインを介して互いに電気的に接続されている。

プロセッサ１１０は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、キーボード１１５上のキー押下により入力されるキー情報及びマウス１１６への接触により入力される座標情報に基づいて、メモリ１１３に記憶された各モジュールのインターフェース画像及び関連情報のディスプレイ１１２への表示や、本実施形態に係るプログラムを実行して各モジュールの連携に係る処理を制御する。具体的には、ディスプレイ１１２上で所定の位置関係が形成されたインターフェース画像に対応するモジュール同士を連携させて新たなモジュールを生成する処理を行う。プロセッサ１１０は、メモリ１１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。

プロセッサ１１０は、単一のＣＰＵで構成されてもよいが、複数のＣＰＵで構成してもよい。また、画像処理すなわちディスプレイ１１２に対する表示制御や数値計算に特化したＧＰＵを別途設けてもよい。

通信インターフェース１１１は、無線の場合には接続された無線通信アンテナを介して、また、有線の場合には接続されたＬＡＮなどを介して、メモリ１１３に記憶された情報を遠隔に設置された他の端末に送信するため、又は他の端末から送信されて来た情報を受信するために、変調や復調などの各種処理を行う通信部として機能する。例えば、本実施形態に係るプログラムをサーバー装置から受信するような場合には、通信インターフェース１１１は、本実施形態に係るプログラムを処理の進行に応じて随時、又は実行開始時にまとめてサーバー装置等から受信するのを制御する。また、当該プログラムの実行による各種処理又は結果をサーバー装置に送信するのを制御する。

無線の場合には、この通信インターフェース１１１は、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式に基づいて処理することも可能である。

ディスプレイ１１２は、例えばメモリ１１３に記憶された各インターフェース画像及び関連情報を、プロセッサ１１０の制御により表示するための表示部として機能する。一例としては、液晶ディスプレイから構成される。なお、本実施形態に係る端末装置は単一のディスプレイ１１２を備えるものであるが、２つ以上のディスプレイを備えるものであってもよい。

メモリ１１３は、ＲＯＭ、ＲＡＭ、不揮発性メモリ等から構成される。ＲＯＭは、例えば本実施形態に係るプログラムを記憶するための記憶部として機能する。プロセッサ１１０は、このプログラムをロードすることにより各種処理を実行する。ＲＡＭは、ＲＯＭに記憶されたプログラムを実行することにより生成される各種命令がプロセッサ１１０により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。また、本実施形態に係るプログラムをコンピュータシステム１００で読み取り可能な別の媒体に記憶しておき、プロセッサ１１０は、この媒体からプログラムをロードすることにより各種処理を実行することも可能である。

本実施形態においては、メモリ１１３には、モジュールの連携に係るプログラムが記憶される。これに加えて、メモリ１１３には、各モジュールごとに、各モジュールを実行するためのプログラム、各モジュールに対応するインターフェース画像に関する情報（例えば、アイコンなどの描画情報）、各モジュールの名称・説明、各モジュールが有する属性情報（型情報、分類情報など）、各モジュール実行時の設定情報などが、それぞれ対応付けて記憶されている。メモリ１１３に対応付けて記憶されたこれらの情報は、例えばユーザの指示入力に応じて、随時更新される。

入力インターフェース１１４は、キーボード１１５やマウス１１６等から構成され、ユーザからの各種指示入力を受け付ける操作部として機能する。なお、入力インターフェース１１４は、キーボード１１５やマウス１１６に限らず、タッチパネル、音声認識（マイク）、ジェスチャー認識（カメラや赤外線センサなど）など、他の手段・方法であってもよい。

＜プログラム連携の制御フロー＞
図３は、コンピュータシステム１００のプロセッサ１１０で本実施形態に係るプログラムを実行することで行われる処理の流れを示すフロー図である。メモリ１１３に記憶された本実施形態に係るプログラムをプロセッサ１１０が実行すると当該処理フローは開始される。

まず、プロセッサ１１０は、入力インターフェース１１４がユーザから受け付けた指示入力に基づいて、実行用表示領域１３２において当該指示入力がなされたインターフェース画像１３４を検出する（Ｓ１０１）。次に、プロセッサ１１０は、当該インターフェース画像１３４についてドラッグ操作に続いてドロップ操作が行われたマウス１１６の入力座標位置を検出する（Ｓ１０２）。さらに、プロセッサ１１０は、当該座標位置が連携用表示領域１３１内にあるか否かを判断する（Ｓ１０３）。

Ｓ１０３において、インターフェース画像１３４のドロップ位置が連携用表示領域１３１内にあると決定された場合、当該インターフェース画像１３４に対応するモジュールと、既に連携用表示領域１３１内に配置されている他のインターフェース画像１３３に対応するモジュールとの間で、プログラムの連携が可能か否かを判断する（Ｓ１０４）。

Ｓ１０４において、各インターフェース画像に対応する各モジュール間でモジュールの連携が可能であると決定された場合、連携モジュールの作成を行うか否かのユーザによる指示入力を受け付ける（Ｓ１０５）。

Ｓ１０５において、連携モジュールの作成を行うというユーザの指示入力を受け付けた場合、当該連携モジュールを示すインターフェース画像１３４を実行用表示領域１３２に新たに表示する（Ｓ１０６）。このとき、プロセッサ１１０は、当該連携モジュールの連携順序及び設定情報をメモリ１１３に記憶させる。

Ｓ１０３において座標位置が連携用表示領域内でない場合、Ｓ１０４において各インターフェース画像に対応する各モジュール間で連携が不可能と決定された場合、又はＳ１０５において連携モジュールの作成を行うというユーザの指示入力を受け付けなかった場合、再びＳ１０１に戻り、ドラッグ操作の対象となるインターフェース画像の検出を行う。

図４Ａ及び図４Ｂは、コンピュータシステム１００のプロセッサ１１０で本開示の実施形態に係るプログラムを実行することで行われる処理の流れを示すフロー図である。具体的には、図４Ａ及び図４Ｂは、図３のＳ１０４における各インターフェース画像に対応する各モジュール間で、連携の順序を決定したうえで、当該連携が可能か否かを判断する処理の詳細を示すフロー図である。

図４Ａは、連携順序の決定に係る処理の一例を示す。具体的には、各モジュールに対応するインターフェース画像間の位置関係に基づいて、当該各モジュールの連携順序を決定する例を示す。インターフェース画像１３４に対するドロップ操作が行われた位置が連携用表示領域１３１内にあると決定された場合、インターフェース画像間の位置関係からモジュールの連携順序を決定する（Ｓ１０７）。本実施形態によれば、連携用表示領域１３１の左上隅を基準座標（座標の横軸及び縦軸の値がいずれも０）とし、ディスプレイ１１２の下方に向かって縦軸のプラス方向、ディスプレイ１１２の右方に向かって横軸のプラス方向とする。このとき、各インターフェース画像１３３の重心座標について縦軸方向が小さいものから順に連携させる。仮に重心座標の縦軸方向が同じ値の場合には、連携順序が一つ前のモジュールから、重心座標の縦軸方向が同じ値の複数のモジュールに対して並列に連携させたり、又は、各インターフェース画像の重心座標について横軸方向が小さいものから順に連携させる。これにより、インターフェース画像間の連携順序を決定できる。

なお、インターフェース画像の座標位置を用いた連携順序は単なる一例であり、当然他の基準に基づいて連携順序を決定してもよい。例えば、単純に連携用表示領域１３１に配置された順番に基づいて連携されてもよい。また、基準となる一つのインターフェース画像１３３（例えば、最初に連携用表示領域１３１に配置されたインターフェース画像）を基準として、そこからの距離に応じた順番で各モジュールを連携してもよい。また、ある基準座標とインターフェース画像の重心座標を通る直線と、軸（縦軸又は横軸）のなす角度に応じた順番で各モジュール間の連携順序を決定してもよい。なお、連携順序の基準となる値について厳密な大小関係によって決定するのではなく、一定の閾値内か否かによって決定することも可能である。この場合、複数のインターフェース画像が当該閾値内にある場合、当該複数のインターフェース画像に対応するモジュールの連携順序は同じとみなすことができる。

次に、プロセッサ１１０は、各インターフェース画像に対応する各モジュールの連携の可否を判断する（Ｓ１０８）。当該判断は、上記連携順序の前後にあるインターフェース画像との間で判断する。連携順序が直前又は直後のインターフェース画像が並列に複数存在する場合には、当該複数のインターフェース画像との間で判断する。当該インターフェース画像に対応するモジュールが、前後いずれかのインターフェース画像に対応するモジュールとの間で連携が不可能と決定された場合、再びＳ１０１に戻り、ドラッグ操作の対象となるインターフェース画像１３４の検出を行う。

Ｓ１０８において、当該インターフェース画像に対応するモジュールが前後いずれのインターフェース画像に対応するモジュールとの間でも連携が可能であると決定された場合、プロセッサ１１０は、ドロップ操作が行われた際のマウス１１６の座標位置を取得し、重心座標を当該座標に設定して、当該インターフェース画像１３３を表示するよう制御する（Ｓ１０９）。そして、当該処理フローは終了し、図３に示す処理フローに移行する。具体的には、連携用表示領域１３１内に当該インターフェース画像１３３を表示したら、ユーザによる連携モジュールの作成を行うか否かの指示入力を受け付ける（図３：Ｓ１０５）。

図４Ｂは、連携順序の決定に係る処理の他の例を示す。具体的には、図４Ｂは、各モジュールに対応するインターフェース画像間を繋ぐ有向グラフに基づいて、連携順序を決定する例である。まず、インターフェース画像１３４に対するドロップ操作が行われた位置が連携用表示領域１３１内にあると決定された場合、当該ドロップ操作が行われた際のマウス１１６の座標を取得し、重心座標を当該座標に設定して、当該インターフェース画像１３３を表示する（Ｓ２０１）。

次に、プロセッサ１１０は、入力インターフェース１１４に入力されたユーザの指示入力に基づいて、ユーザが連携を意図する連携用表示領域１３１内の各インターフェース画像１３３を特定する（Ｓ２０２）。例えば、連携用表示領域１３１内において、連携の始点となるモジュールのインターフェース画像１３３上でクリックの押下を行い、これを継続し、連携の終点となるモジュールのインターフェース画像１３３上で当該クリックの押下を止めることにより、連携の始点になるモジュールに対応するインターフェース画像１３３及び連携の終点になるモジュールのインターフェース画像１３３を特定することが可能である。

プロセッサ１１０は、連携を意図された各モジュール間で、モジュールの連携が可能か否かを判断する（Ｓ２０３）。仮に当該モジュール間でモジュールの連携が不可能と決定された場合、再びＳ２０２に戻りさらに別のモジュールに対応するインターフェース画像１３３がユーザにより指示されるのを待つか、又は、Ｓ１０１（図３）に戻りドラッグ操作の対象となるインターフェース画像１３４の検出を行う。

Ｓ２０３において、当該モジュール間でモジュールの連携が可能であると決定された場合、プロセッサ１１０は、当該モジュール間の連携自体及び連携する方向を示す有向辺をディスプレイ１１２に表示するよう制御する（Ｓ２０４）。具体的には、プロセッサ１１０は、連携の始点になるモジュールに対応するインターフェース画像１３３から、連携の終点になるモジュールのインターフェース画像１３３に向けて有向辺を表示する。そして、当該処理フローは終了し、図３に示す処理フローに移行する。具体的には、連携用表示領域１３１内に当該有向辺を表示したら、ユーザによる連携モジュールの作成を行うか否かの指示入力を受け付ける（Ｓ１０５）。

なお、有向辺の表示は一例であってその他の表示であってもよい。例えば、連携の対象となる各モジュールに対応する各インターフェース画像１３３を枠で囲んだり、対応する位置を枠で囲んだり、配置位置を並び替えて表示してもよい。また、図４Ａに示す連携順序の決定方法を組み合わせてもよい。さらに、連携順序の決定は、プログラムによって自動的に決定されてもよいし、ユーザの追加の指示入力によって決定してもよい。

図５は、コンピュータシステム１００のプロセッサ１１０で本開示の実施形態に係るプログラムを実行することで行われる処理の流れを示すフロー図である。具体的には、Ｓ１０４、Ｓ１０８、又はＳ２０３において、モジュール間でモジュールの連携が可能か否かを判断する処理の流れを示すフロー図である。まず、連携の対象となるモジュールが決定された場合、プロセッサ１１０は、当該モジュールの型情報をメモリ１１３から取得する（Ｓ１１２）。

図６は、本開示の本実施形態に係るインターフェース画像に対応するモジュールの型情報の例を示す図である。具体的には、図６は、モジュールの型情報を示したコーディングの例である。一例として、型情報はＪＳＯＮ形式で示されている。型情報の保存形式は、ＸＭＬ形式、ＣＳＶ形式その他の適切なデー夕保存形式であればよい。モジュールの型情報には、当該モジュールが連携の始点となる場合に、連携の終点となるモジュールに渡す出力データの出力型情報が示されている。図６（ａ－１）の型情報を保有するモジュールでは、出力型情報は、モジュールの「ｏｕｔｐｕｔｓ」属性の「ｔｙｐｅ」属性に示されており、「ｔｅｘｔ」という値となる。また、モジュールの型情報には、当該モジュールが連携の終点となる場合に、連携の始点となるモジュールから受領することが可能である入力データの入力型情報が示されている。図６（ａ－２）の型情報を保有する別のモジュールでは、入力型情報は、モジュールの「ｉｎｐｕｔｓ」属性の「ｔｙｐｅ」属性に示されており、「ｔｅｘｔ」という値となる。

再び図５に戻り、図６（ａ－１）の型情報を保有するモジュールを始点とし、図６（ａ－２）の型情報を保有するモジュールを終点とする、モジュール間の連携では、連携の始点となるモジュールの出力型情報と連携の終点となるモジュールの入力型情報が同一と判断できるので（Ｓ１１３）、連携の始点となる前記モジュールに対応するインターフェース画像から連携の終点となる前記モジュールに対応するインターフェース画像に向かって連携が可能であると決定される。

モジュール間で型情報が同一と判断できない場合（Ｓ１１３）、インターフェース画像に対応するモジュールの型情報間で継承可能か否かが判断される（Ｓ１１４）。

図６（ｂ－１）の型情報を保有するモジュールでは、出力型情報は「ｆｉｌｅ：ｐｄｆ」という値となる。この値は、当該モジュールが出力するデータは「ファイル」であり、「ファイル」の中でも「ＰＤＦファイル」であることを示す例である。「：」という記号は、型情報の包含関係について、「ある型情報を包含する概念：当該型情報に包含される概念（の１つ）」という規則で示される。ここでは「ファイル：ＰＤＦファイル」ということを意味している。「ファイル」が「ＰＤＦファイル」を包含する型情報であり、「ＰＤＦファイル」は「ファイル」という型情報の１つである。このような型情報の包含関係が成立する場合、型情報間で継承可能と決定する。なお、継承関係の数に制限はなく、２層以上の継承関係を示すことも可能である。

また、図６（ｂ－２）の型情報を保有するモジュールでは、入力型情報は「ｆｉｌｅ」という値となる。この値は、前記インターフェース画像が受領することができる入力データは「ファイル」であることを意味している。

再び図５に戻り、図６（ｂ－１）の型情報を保有するモジュールを始点とし、図６（ｂ－２）の型情報を保有するモジュールを終点とする、モジュール間の連携では、連携の終点となるモジュールの入力型情報は、「ｆｉｌｅ」であり、連携の始点となるモジュールの出力型情報の「ｆｉｌｅ：ｐｄｆ」を包含するものであるから、型情報間で継承が可能であると決定する（Ｓ１１４）。連携の始点となる当該モジュールに対応するインターフェース画像から連携の終点となる当該モジュールに対応するインターフェース画像に向かって連携が可能であると決定する。

当該モジュール間で型情報が継承できないと決定された場合（Ｓ１１４）、再びＳ１０１に戻り、ドラッグ操作の対象となるインターフェース画像１３４の検出を行う。Ｓ２０３の場合には、再びＳ１０１に戻るか、又は、ユーザの指示入力に応じてユーザが連携を意図する連携用表示領域内の各インターフェース画像が特定されるまで待機する（Ｓ２０２）。

なお、本実施形態においては、図６において属性情報として型情報を利用したが、他の属性情報を利用することも可能である。また、同一か否かの判断、及び承継関係を有するか否かの判断は、各属性ごとに決められた規則をあらかじめメモリ１１３に記憶し、及び／又は、当該規則を記憶した外部のサーバー装置から通信インターフェース１１１を介して当該規則を受信し、当該規則を参照することによって行われる。外部のサーバー装置に記憶された当該規則は随時追加・更新され、当該追加・更新に応じて当該メモリ１１３が追加・更新することも可能である。

＜画面遷移＞
図７Ａ～図７Ｄは、本実施形態に係るプログラムの実行による画面例を示す模式図である。ここでは、インターフェース画像間の所定の関係性を有向グラフで表示する例について説明している。図７Ａは、ユーザによる指示入力が入力インターフェース１１４によって受け付けられ、実行用表示領域１３２のインターフェース画像１３４のうち、インターフェース画像Ａを連携用表示領域１３１へドラッグアンドドロップ操作しているときの画面例を示す模式図である。

図７Ａでは、プロセッサ１１０は、本実施形態に係るプログラムの実行を開始すると、ディスプレイ１１２の所定の位置に連携用表示領域１３１及び実行用表示領域１３２を表示する。実行用表示領域１３２は、メモリ１１３に格納されたプログラムを示すインターフェース画像１３４を３個配置する（インターフェース画像Ａ～Ｃ）。なお、実行用表示領域１３２には、任意の個数のインターフェース画像１３４を配置することが可能である。そして、実行用表示領域１３２のインターフェース画像１３４のうち１つが、ユーザによる指示入力によりドラッグアンドドロップ操作され、連携用表示領域１３１に配置される。

次に、図７Ｂを参照すると、図７Ａに続いて、実行用表示領域１３２の別のインターフェース画像Ｃが、ユーザによる指示入力に応じて、ドラッグアンドドロップ操作され、連携用表示領域１３１に配置される。

さらに、図７Ｃを参照すると、連携の始点となるモジュールのインターフェース画像１３３に対するユーザの指示入力（例えば、当該インターフェース画像上でクリックの押下を行い、これを継続する）を受け付ける。図７Ｃでは、インターフェース画像Ａのモジュールが連携の始点となる。次に、ユーザの指示入力に応じて、連携の終点となるモジュールのインターフェース画像を指示する（例えば、当該インターフェース画像上で当該クリックの押下を止める）。図７Ｃでは、インターフェース画像Ｃのモジュールが連携の終点となる。これによって、インターフェース画像Ａとインターフェース画像Ｃとの間で、ディスプレイ１１２上で所定の関係性が形成される。両インターフェース画像Ａ及びＣ間で有向辺１３５が表示される。

図７Ｃにおいて、ユーザが連携用表示領域１３１に示されたインターフェース画像に対応するモジュールの連携を行うとの決定を行った場合（当該決定は、別途用意される所定のボタンの押下、又はキーボード１１５の「Ｅｎｔｅｒ」の押下を通じて行うなどがある）、プロセッサ１１０は、当該連携モジュールの連携順序及び設定情報をメモリ１１３に記憶させる。さらに、図７Ｄを参照すると、プロセッサ１１０は、新たに生成された当該連携モジュールを示すインターフェース画像Ｄを実行用表示領域１３２に新たに表示する。当該インターフェース画像Ｄが示すモジュールは、図７Ｃにおいて有向辺の始点となるインターフェース画像Ａのモジュールから、有向辺の終点となるインターフェース画像Ｃのモジュールに向かって、モジュールの処理を連携させた連携モジュールである。そして、プロセッサ１１０は、連携用表示領域１３１に示されていた各インターフェース画像１３３及び有向辺１３５を非表示にする。

図７Ｄを参照すると、実行用表示領域１３２には、インターフェース画像Ｄの連携モジュールを含め、全部で４個のモジュール（インターフェース画像Ａ～Ｄ）が使用可能となる。すなわち、実行用表示領域１３２に表示されているインターフェース画像１３４のいずれかに対するユーザの指示入力を入力インターフェース１１４が受け付けると、当該指示入力で選択されたインターフェース画像１３４（例えば、インターフェース画像Ｄ）に対応するモジュール（例えば、インターフェース画像Ｄの連携モジュール）の処理を実行する。

図８は、本開示の実施形態に係るプログラムの実行による画面例を示す模式図である。具体的には、図８は、連携用表示領域１３１において、複数のインターフェース画像１３３（Ｅ～Ｊ）を連携させた画面の例を示す。図８によると、インターフェース画像Ｅに対応するモジュールが連携モジュール全体の始点であり、インターフェース画像Ｊに対応するモジュールが連携モジュール全体の終点である。

図８による連携モジュールは以下のとおりである。最初に、インターフェース画像Ｅが示すモジュールが、連携モジュール全体の入力データを受け取り、当該入力データに基づいて処理を行う。当該処理による出力データがインターフェース画像Ｆ及びインターフェース画像Ｇに対応する各モジュールの入力データとなる。当該入力データに基づいてインターフェース画像Ｆ及びインターフェース画像Ｇが示す各モジュールの処理が行われる。当該各処理による各出力データがインターフェース画像Ｈ及びインターフェース画像Ｉに対応する各モジュールの入力データとなる。

当該入力データに基づいてインターフェース画像Ｈが示すモジュールの処理が行われる。当該処理による出力データがインターフェース画像Ｉに対応するモジュールのもう一つの入力データとなる。２つの入力データに基づいてインターフェース画像Ｉが示すモジュールの処理が行われる。当該処理による出力データがインターフェース画像Ｊに対応するモジュールの入力データとなる。当該入力データに基づいてインターフェース画像Ｊが示すモジュールの処理が行われる。当該処理による出力データが連携モジュール全体の出力データとなる。

図８におけるインターフェース画像１３３には以下のような例が挙げられる。インターフェース画像Ｅが示すモジュールは、インターフェース画像１３４にドラッグアンドドロップ操作されたファイルからテキスト情報を抽出する処理を行う。インターフェース画像Ｆが示すモジュールは、テキスト情報にあらかじめ指定したテキスト情報を付加する処理を行う。インターフェース画像Ｇ及びインターフェース画像Ｈが示すモジュールは、テキスト情報をインターネット上で検索し、その検索結果として得られるＷｅｂページをＰＤＦファイル形式で取得する処理を行う。インターフェース画像Ｉが示すモジュールは、入力データとして受領した複数のＰＤＦファイルを１つのＰＤＦファイルに統合する処理を行う。インターフェース画像Ｊが示すモジュールは、入力データとして受領したファイルをプリンタで印刷する処理を行う。

以上の各インターフェース画像が示すモジュールを連携させた連携モジュールを示すインターフェース画像には、以下の処理を行う連携プログラムが表示されることになる。すなわち、当該インターフェース画像に対してファイルをドラッグアンドドロップ操作すると、当該ファイルのテキスト情報及び当該テキスト情報にあらかじめ指定したテキスト情報を付加したテキスト情報について、インターネット上で検索を行い、その検索結果として得られる複数のＷｅｂページを一つのＰＤＦファイルに統合したファイルをプリンタで印刷するという処理を行う。

図９Ａ及び図９Ｂは、インターフェース画像に対応するモジュールに関する設定情報を変更させる際の画面例を示す模式図である。図９Ａは、テキスト情報にあらかじめ指定したテキスト情報を付加する処理を行うモジュールの例である。図９Ａを参照すると、ユーザによるインターフェース画像に対する指示入力に応じて、当該インターフェース画像に対応するモジュール又は連携モジュールに関する情報に格納された設定情報１３７及びその値１３８が表示される。図９Ａの例では、当該設定情報は「付加するテキスト」であり、その値は「テキスト」（カタカタ表記）である。

当該値は、表示領域１３８に対する指示入力を受け付けることを通じて、当該指示入力により変更することが可能である。図９Ｂを参照すると、当該値が、ユーザがキーボード１１５上のキーを押下することにより、図９Ａの「テキスト」（カタカタ表記）から「てきすと」（ひらがな表記）に変更して表示される。プロセッサ１１０は、設定情報の値を「テキスト」（カタカタ表記）から「てきすと」（ひらがな表記）に変更してメモリ１１３に記憶する。

以上、本実施形態においては、ディスプレイ１１２に表示されたインターフェース画像と、他のインターフェース画像とを、ユーザの指示入力に応じて所定の関係性を形成するように表示する。そして、その関係性に応じて当該インターフェース画像に対応するモジュールと、他のインターフェース画像に対応するモジュールとを連携させて新たなモジュールを生成する。さらに、生成された新たなモジュールに対応するインターフェース画像をディスプレイ１１２に表示させ、当該インターフェース画像に対するユーザの指示入力に応じて、当該インターフェース画像に対応する連携モジュールの処理を実行する。したがって、ユーザの所望に応じて、多様なモジュールを組み合わせて、簡便に新たな連携モジュールを生成し、処理を実行することが可能となる。

＜その他の実施形態＞
上記実施形態においては、連携させるモジュールに対応するインターフェース画像の選択及び配置を、ドラッグアンドドロップ操作によって行った。本実施形態では、ドラッグアンドドロップ操作に代えて、インターフェース画像の選択及び配置を、キーボードを用いて行う。具体的には、マウス１１６によって連携させるモジュールに対応するインターフェース画像が選択されると、キーボード１１５に備えられた特定のキー（例えば、Ｅｎｔｅｒキー）の押下を検出することでそのインターフェース画像を連携用表示領域１３１に配置させる。このとき、他のキー（例えば、Ｓｈｉｆｔキー）を押下しながら連携させるモジュールが複数選択されたことが検出された場合には、その選択された順番を保持し、Ｅｎｔｅｒキーの押下検出によって、その選択された順番で複数のモジュールを連携させることも可能である。

以上、本実施形態においては、ディスプレイ１１２に表示されたインターフェース画像と、他のインターフェース画像とを、ユーザの指示入力に応じて所定の関係性を形成するように表示する。そして、その関係性に応じて当該インターフェース画像に対応するモジュールと、他のインターフェース画像に対応するモジュールとを連携させて新たなモジュールを生成する。さらに、生成された新たなモジュールに対応するインターフェース画像をディスプレイ１１２に表示させ、当該インターフェース画像に対するユーザの指示入力に応じて、当該インターフェース画像に対応する連携モジュールの処理を実行する。したがって、ユーザの所望に応じて、多様なモジュールを組み合わせて、簡便に新たな連携モジュールを生成し、処理を実行することが可能となる。

本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものである。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュール（ここでは、本明細書中で定義した前記モジュールに限らず、モジュール一般を指す）によって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明されるデータ、テーブル又はデータベースが単一のメモリに格納される旨説明されたとしても、そのようなデータ、テーブル又はデータベースは、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。

１００ コンピュータシステム
１１０ プロセッサ
１１１ 通信インターフェース
１１２ ディスプレイ
１１３ メモリ
１１４ 入力インターフェース
１１５ キーボード
１１６ マウス

Claims (11)

1. 複数のモジュールのうちの少なくとも一部を連携して実行するためのコンピュータシステムであって、
   前記複数のモジュール、前記複数のモジュールのうちの少なくとも一部を連携させて処理するためのプログラム、及び前記複数のモジュールのそれぞれに対応して表示されるインターフェース画像に関する情報を記憶するためのメモリと、
   前記インターフェース画像を表示するためのディスプレイと、
   ユーザによる指示入力を受け付けるための入力インターフェースと、
   前記プログラムの実行により、
   連携させるモジュールに対応するインターフェース画像に対する前記ユーザの指示入力を前記入力インターフェースが受け付けると、前記指示入力に応じて、当該インターフェース画像と、あらかじめ前記ディスプレイに表示された他のインターフェース画像との間で所定の関係性を形成し、
   形成された前記関係性に応じて各インターフェース画像に対応する各モジュールを連携させて新たなモジュールを生成し、
   生成された前記新たなモジュールに対する前記ユーザの指示入力を前記入力インターフェースが受け付けると前記新たなモジュールを実行する、
   ための処理を実行するプロセッサと、
   を含み、
   生成された前記新たなモジュールは、前記新たなモジュールに対応して生成された新たなインターフェース画像に対する前記ユーザの指示入力に応じて前記他のインターフェース画像との間で所定の関係性が形成されると、生成された前記新たなモジュールとは異なる他の新たなモジュールを生成するために、前記少なくとも一部のモジュールとして連携が可能である、
   コンピュータシステム。
2. 前記ディスプレイは、前記メモリに記憶された前記複数のモジュールの各々に対応するインターフェース画像を表示する第１表示領域と、前記ユーザの指示入力によって、前記複数のモジュールのうち連携させる少なくとも一部のモジュールに対応するインターフェース画像を表示する第２表示領域と、を含む、請求項１に記載のコンピュータシステム。
3. 前記第１表示領域から前記第２表示領域への配置は、前記入力インターフェースに入力されたドラッグアンドドロップ操作を受け付けることによって行われる、請求項２に記載のコンピュータシステム。
4. 前記第１表示領域から前記第２表示領域への配置は、前記入力インターフェースに備えられた所定のキーの押下の検出によって行われる、請求項２に記載のコンピュータシステム。
5. 前記プロセッサは、生成された前記新たなモジュールに対応するインターフェース画像を生成し、前記第１表示領域に表示するための処理を実行する、請求項２～４のいずれか一項に記載のコンピュータシステム。
6. 前記関係性は、連携させるモジュールに対応するインターフェース画像と前記他のインターフェース画像との前記ディスプレイにおける位置関係に基づいて特定される、請求項１～５のいずれか一項に記載のコンピュータシステム。
7. 前記関係性は、連携させるモジュールに対応するインターフェース画像と、前記他のインターフェース画像とがそれぞれ終点又は始点に位置する有向グラフによって示される、請求項１～５のいずれか一項に記載のコンピュータシステム。
8. 前記メモリは、前記複数のモジュールの各々の属性情報を記憶し、
   前記プロセッサは、前記属性情報に基づいて、各モジュールが連携可能か否かを判断する、請求項１～７のいずれか一項に記載のコンピュータシステム。
9. 前記属性情報は、各モジュールの型情報であり、
   前記プロセッサは、各モジュールの型情報が同一であるか、又は承継関係であるかに基づいて連携可能か否かを判断する、請求項８に記載のコンピュータシステム。
10. 複数のモジュールのうちの少なくとも一部を連携して実行するためのプログラムであって、
    前記複数のモジュール、及び前記複数のモジュールのそれぞれに対応して表示されるインターフェース画像に関する情報を記憶するためのメモリと、前記インターフェース画像を表示するためのディスプレイと、ユーザによる指示入力を受け付けるための入力インターフェースと、を含むコンピュータを、
    連携させるモジュールに対応するインターフェース画像に対する前記ユーザの指示入力を前記入力インターフェースが受け付けると、前記指示入力に応じて、当該インターフェース画像と、あらかじめ前記ディスプレイに表示された他のインターフェース画像との間で所定の関係性を形成し、
    形成された前記関係性に応じて各インターフェース画像に対応する各モジュールを連携させて新たなモジュールを生成し、
    生成された前記新たなモジュールに対する前記ユーザの指示入力を前記入力インターフェースが受け付けると前記新たなモジュールを実行する、
    ための処理を実行するプロセッサ、
    として機能させ、
    前記新たなモジュールは、前記新たなモジュールに対応して生成された新たなインターフェース画像に対する前記ユーザの指示入力に応じて前記他のインターフェース画像との間で所定の関係性が形成されると、生成された前記新たなモジュールとは異なる他の新たなモジュールを生成するために、前記少なくとも一部のモジュールとして連携が可能である、
    プログラム。
11. 複数のモジュールのうちの少なくとも一部を連携して実行するための方法であって、
    前記複数のモジュール、前記複数のモジュールのうちの少なくとも一部を連携させて処理するためのプログラム、及び前記複数のモジュールのそれぞれに対応して表示されるインターフェース画像に関する情報を記憶するためのメモリと、前記インターフェース画像を表示するためのディスプレイと、ユーザによる指示入力を受け付けるための入力インターフェースと、を含むコンピュータにおいて、プロセッサが前記プログラムを処理することによりなされる方法であって、
    連携させるモジュールに対応するインターフェース画像に対する前記ユーザの指示入力を前記入力インターフェースが受け付けると、前記指示入力に応じて、当該インターフェース画像と、あらかじめ前記ディスプレイに表示された他のインターフェース画像との間で所定の関係性を形成する段階と、
    形成された前記関係性に応じて各インターフェース画像に対応する各モジュールを連携させて新たなモジュールを生成する段階と、
    生成された前記新たなモジュールに対する前記ユーザの指示入力を前記入力インターフェースが受け付けると前記新たなモジュールを実行する段階と、
    を含み、
    生成された前記新たなモジュールは、前記新たなモジュールに対応して生成された新たなインターフェース画像に対する前記ユーザの指示入力に応じて前記他のインターフェース画像との間で所定の関係性が形成されると、生成された前記新たなモジュールとは異なる他の新たなモジュールを生成するために、前記少なくとも一部のモジュールとして連携が可能である、
    方法。

Images