JP6094691B2 - ソフトウェア実行操作補助装置及びソフトウェア実行操作補助方法 - Google Patents

Description

本発明は、対象ソフトウェア上での使用者の操作を補助するためのソフトウェア実行操作補助装置及びソフトウェア実行操作補助方法に関する。

ガスクロマトグラフ装置（ＧＣ）や液体クロマトグラフ装置（ＬＣ）等の分析装置において、複数の検出器を併用して測定を行うと、複数のクロマトグラムが同時に得られる。また、検出器としてフォトダイオードアレイ検出器や質量分析計を用いると、時間軸及び強度軸のほかに波長や質量電荷比を第３の軸とする三次元クロマトグラムが得られ、特定の波長や質量数に着目することで複数の二次元クロマトグラム（例えば検出器が質量分析計である場合にはマスクロマトグラム）を切り出すことができる（例えば特許文献１）。

昨今では、分析装置の制御や分析の結果として得られた分析データの解析処理は、一般のコンピュータ上で動作する解析ソフトを用いて行われる。こうした解析ソフトを用いてユーザが分析データを解析する場合、所望の処理を実行させるための特定の操作を繰り返し行うことが多い。そこで、頻繁に実行される処理に関しては、該処理の実行を１回のクリックで命令可能なＧＵＩボタンを設けることで、操作に要する時間を短縮して操作性を向上させた解析ソフトが多数提供されている。このようなボタンの他、右クリックやツールバーの選択項目上でのクリック操作によって展開するメニューも一般的である。これらのＧＵＩは、ユーザによるクリック等の操作を受け付けることで所定の機能を発動するものである。

特開平10-73582号公報

一般的な解析ソフト上で分析データに対し所定の処理を施す場合、ユーザは該処理の実行を命令するために一連の操作を行う必要がある。

具体的な例として、ＬＣ分析データに対して解析ソフトが自動的に検出したクロマトグラムのピーク開始点を、ユーザが手動で変更したい場合を考える（図１５）。図１５は、一般的なＬＣ分析データ用解析ソフトの表示画面の一例であり、解析ソフトによりピークの開始点（上矢印）及び終了点（下矢印）が検出された状態を表す。まず、ユーザはＧＵＩボタンバーのピーク検出点移動ボタンをクリックする。次に、画面上に表示されているクロマトグラム上で、解析ソフトが検出したピーク開始点ｓ１に付されたピーク開始点マークをカーソルでクリックし、続いて変更先の点ｓ２をクリックする。こうした一連の操作によって、ピーク開始点（及び上矢印）の位置の変更がなされる。

このように通常、ピーク開始点を変更するためには、ピーク検出点移動ボタンを予めクリックしておく必要がある。従って、操作対象であるピーク開始点マークの近傍にカーソルがある場合であっても、ユーザは一旦カーソルをその場から移動させて、ピーク検出点移動ボタンをクリックし、再びピーク開始点マーク上までカーソルを移動させてクリックを行うといった操作が必要となる。このような操作はクリック回数が多いことや、ユーザの視点及びカーソルの移動範囲が大きくなることから直感的とは言い難く、何度も繰り返されれば多くの時間を要し非効率的である。同様の問題は、マウスに代えてタッチパネルを用いる場合にも生じる。

ユーザが所望する処理が割り当てられたＧＵＩボタンが解析ソフトに備えられていない場合、操作はさらに煩雑なものとなる。
具体的には、例えば、解析ソフトのツールバー上に表示されている所定の選択項目をクリックしてプルダウンメニューを展開し、該メニューにリストアップされた複数の選択項目うちの１つをクリックすることで所望の処理を実行させるといった操作が必要となる。この一連の操作は上述のボタンの例と比較してさらに視点やカーソルの移動が多く、やはりスループットの低下を招く。

上記のような煩わしさを避けるため、特定の処理についてボタンやメニューの事前操作を不要とした解析ソフトも近年は市販されているが、そうでない既存の解析ソフトにこのような機能を外部的に追加することは、当該解析ソフトのソースコードが既知でない場合は困難である。

本発明は上記の事情に鑑みてなされたものであり、その目的は、対象ソフトウェア上での使用者の直感的な操作を補助するためのソフトウェア実行操作補助装置及びソフトウェア実行操作補助方法を提供することにある。

上記課題を解決するために成された第１発明は、対象ソフトウェア上での使用者の操作を補助するためのソフトウェア実行操作補助装置であって、
a) 登録画像と、所定の処理とが紐付けられて格納されているデータベースと、
b) 表示部の画面上での使用者による所定の操作がなされた位置を操作位置として特定する操作位置特定手段と、
c) 前記操作位置特定手段が特定した前記操作位置の所定の近傍範囲に前記登録画像が含まれているか否かを判定する登録画像検出手段と、
d) 前記登録画像検出手段が前記近傍範囲に含まれていると判定した前記登録画像と紐付けられた所定の処理を前記データベースを参照して特定し、該所定の処理を実行する実行手段と、
を備えることを特徴とする。

上記所定の操作としては、マウスを介したクリックや、指等の指示体によるタッチ操作を挙例することができる。また、カーソル位置の時間的変化の所定パターンも、本発明の上記所定の操作に含まれる。

第１発明に係るソフトウェア実行操作補助装置によれば、使用者が表示部の画面上で所定の操作を行うと、該画面上の操作位置の近傍に含まれる登録画像が検出され、該検出された登録画像と紐付けられた処理が実行される。従って、例えば、対象ソフトウェア上での操作対象となるオブジェクトを少なくとも一部含む、又は該オブジェクトの近傍に付された所定の画像を登録画像とすれば、使用者はオブジェクト近傍での操作によって、該オブジェクトと間接的に紐付けられた処理の実行を命令することができる。これにより使用者は、当該処理を実行させるために従来必要であった操作に伴って視点やカーソル等を移動させる必要がなくなり、オブジェクトの操作にシームレスに移行できる。
ゆえに、対象ソフトウェア上での使用者の直感的な操作を補助することができる。

本発明における「オブジェクト」としては、クロマトグラムやスペクトル等のグラフやその波形線、グラフに付されたマーク、グラフやデータに付随するテキストデータの表示領域等を挙例することができる。また、本発明における「画像」には、画素の組み合わせから成るあらゆる表現（例えば文字やグラフ等）が含まれる。

前記所定の処理は、前記対象ソフトウェアが備える所定のＧＵＩに割り当てられた処理であり、
前記実行手段は、前記登録画像検出手段が検出した前記登録画像と紐付けられた、前記所定のＧＵＩに割り当てられた処理を、前記対象ソフトウェアに対し実行してもよい。
この構成によれば、使用者が登録画像の近傍をクリックすれば、該登録画像と紐付けられたＧＵＩに対する操作が行われた状況に相当する処理が実行されるので、既にある対象ソフトウェアの機能を利用してさらに利便性を高めることができる。

前記ソフトウェア実行操作補助装置はさらに、
e) 使用者の指示に応じて、１又は複数の前記登録画像と前記所定の処理とを紐付けて前記データベースに格納する紐付け手段
を備えることが好ましい。
この構成によれば、登録画像と所定の処理との紐付けを使用者が任意に行うことができるので、例えば、使用者は自身が頻繁に使用する処理について、該処理と登録画像と紐付けることで、該処理に伴う操作をより直感的なものとすることができる。

前記登録画像検出手段は、前記近傍範囲内で所定の色を呈する画素が占める割合が所定値未満である場合には、該近傍範囲内に前記登録画像が含まれていないと判定する構成としてもよい。
この構成によれば、予め定めた所定の色が近傍範囲内を一定の割合以上占めるときにのみ、登録画像に紐付けられた処理が実行される。従って、この所定の色を例えばグラフの背景色に設定しておけば、一般にグラフは背景色が大部分を占めるものであるから、当該グラフ中の登録画像の近傍で操作を行った場合にのみ、該登録画像と紐付けられた処理が実行されることになる。すなわち、グラフ外の領域で登録画像と同一、又は登録画像と判定され得る画像の近傍に対する操作を行った場合に、誤って該登録画像と紐付けられた処理が実行されることを防止することができる。

前記ソフトウェア実行操作補助装置はさらに、前記登録画像及び／又は該登録画像を含む所定の領域内の画像の色を変更する、又は変更を前記使用者に促す構成としてもよい。
この構成によれば、例えば、登録画像及び／又は該登録画像の背景となる領域の色を、表示部の画面上の他の画像と重複しにくい色に設定することで、登録画像と類似した別の画像が登録画像として誤検出されることを防止することができる。

上記課題を解決するために成された第２発明は、対象ソフトウェア上での使用者の操作を補助するソフトウェア実行操作補助方法であって、
a) 紐付け手段が、登録画像と所定の処理とを紐付ける紐付けステップと、
b) 操作位置特定手段が、表示部の画面上での使用者による所定の操作がなされた位置を操作位置として特定する操作位置特定ステップと、
c) 登録画像検出手段が、前記操作位置特定ステップにて特定された前記操作位置の所定の近傍領域に前記登録画像が含まれているか否かを判定する登録画像検出ステップと、
d) 実行手段が、前記登録画像検出ステップにて前記近傍領域に含まれていると判定した前記登録画像に対して前記紐付け手段が紐付けた所定の処理を特定し、該所定の処理を実行する実行ステップと、
を含むことを特徴とする。

本発明によれば、使用者によるオブジェクト近傍での操作によって、該オブジェクトと間接的に紐付けられた処理が実行されるので、対象ソフトウェア上での使用者の直感的な操作を補助することができる。

本発明の第１の実施形態に係るソフトウェア実行操作補助装置を含む試料分析システムの概略構成を示すブロック図。 同実施形態に係るソフトウェア実行操作補助装置によるソフトウェア実行操作補助処理の流れを示すフローチャート。 同実施形態に係るソフトウェア実行操作補助装置において、対象ソフトウェアが検出したピーク開始点上でクリックが行われるときの表示部の画面表示例。 図３に示すクリック位置を中心とする近傍領域を示す概念図。 同実施形態に係るソフトウェア実行操作補助装置が備えるデータベースに格納されている登録画像−標的ＧＵＩ対応テーブルの構造例を示す概念図。 同実施形態に係るソフトウェア実行操作補助装置による紐付け設定処理の流れの一例を示すフローチャート。 本発明の第２の実施形態に係るソフトウェア実行操作補助装置による登録画像検出処理の流れを示すフローチャート。 （ａ）同実施形態に係るソフトウェア実行操作補助装置において、対象ソフトウェア上でクロマトグラム波形線上の点でクリックが行われるときの表示部の画面表示例。（ｂ）（ａ）で示したクリック位置を中心とする近傍領域を示す概念図。 本発明の第３の実施形態に係るソフトウェア実行操作補助装置によるソフトウェア実行操作補助処理の流れを示すフローチャート。 同実施形態に係るソフトウェア実行操作補助装置において、対象ソフトウェアによって拡大されたクロマトグラム上で右クリック操作が行われたときの表示部の画面表示例。 本発明の第４の実施形態に係るソフトウェア実行操作補助装置を含む試料分析システムの概略構成を示すブロック図。 同実施形態に係るソフトウェア実行操作補助装置によるソフトウェア実行操作補助処理の流れを示すフローチャート。 （ａ）同実施形態に係るソフトウェア実行操作補助装置において、対象ソフトウェア上でクロマトグラムの波形線上の点でクリックが行われるときの表示部の画面表示例。（ｂ）抽出された波形線が別のクロマトグラム上に重畳されて表示されている様子を示す画面表示例。 同実施形態に係るソフトウェア実行操作補助装置による、重畳支援処理の流れを示すフローチャート。 一般的なＬＣ分析データ用解析ソフトの表示画面の一例。

以下、本発明を実施するための形態について、図面を参照しつつ詳細に説明する。以下の記載において、先に説明した図面と同一の機能を有する部材には同一の番号を付し、その説明を省略する。

〔第１の実施形態〕
図１に、本発明の第１の実施形態に係る、分析データ処理装置（ソフトウェア実行操作補助装置）１を示す。分析データ処理装置１の実態はコンピュータであり、中央演算処理装置であるＣＰＵ（Central Processing Unit）１０にメモリ１２、ＬＣＤ（Liquid Crystal Display）等から成るモニタ（表示部）１４、キーボードやマウス等から成る入力部１６、ハードディスクやＳＳＤ（Solid State Drive）等の大容量記憶装置から成る記憶部２０が互いに接続されている。記憶部２０には実行操作補助プログラム２１、分析データ解析プログラム２２、分析データ記憶部２３が設けられている。記憶部２０にはまた、ＯＳ（Operating System）２４も記憶されている。記憶部２０にはこの他に、分析装置Ａ１による分析を制御するためのプログラムが設けられていてもよいが、本発明の趣旨からは外れるため図示を省略する。

分析データ処理装置１は、外部装置との直接的な接続や、外部装置等とのＬＡＮ（Local Area Network）などのネットワークを介した接続を司るためのインターフェース（Ｉ／Ｆ）（データ出力手段）１８を備えており、該Ｉ／Ｆ１８よりネットワークケーブルＮＷ（又は無線ＬＡＮ）を介して分析装置Ａ１に接続されている。
なお、分析データ処理装置１と接続される分析装置は複数台であっても構わない。また、分析データ処理装置１と分析装置Ａ１は一体の装置として構成されていても構わない。

分析装置Ａ１は、本実施形態では液体クロマトグラフ質量分析装置（ＬＣ−ＭＳ）とする。ただし、分析装置Ａ１の実態はこれに限定されず、ＧＣやＬＣ、またガスクロマトグラフ質量分析装置（ＧＣ−ＭＳ）であってもよい。分析装置Ａ１による分析結果は分析データ処理装置１に送信され、分析データとして分析データ記憶部２３に蓄積される。

分析データ解析プログラム（対象ソフトウェア）２２は、ＬＣ−ＭＳによる分析データを解析するためのアプリケーションソフトウェアであり、分析データ記憶部２３に蓄積された分析データに基づいてクロマトグラムやスペクトル等のグラフを作成し、これをモニタ１４の画面上に表示させるものである。
分析データ解析プログラム２２はまた、分析データに基づく種々の解析処理を自動で又は入力部１６を介したユーザ操作に基づき実行し、各解析結果を示すテキストデータや所定の画像を、上記作成したグラフ上やその近傍に付加する機能を有する。上記所定の画像の典型的な例としては、例えば図１５に例示したような、ピークの開始点又は終了点を示す矢印型のマークや、開始点と終了点とを結ぶベースライン等が挙げられる。分析データ解析プログラム２２はさらに、同図に示すように、各種波形処理の実行を命令するためのＧＵＩを画面上に表示させ、各ボタンに対するユーザの入力操作を受け付ける。なお、本実施形態における「ボタン」なる文言は、表示部の画面上に表示されるＧＵＩボタンを指す。

実行操作補助プログラム２１は、分析データ解析プログラム２２の機能拡張用プログラムである。実行操作補助プログラム２１は、既に分析データ解析プログラム２２がインストールされているコンピュータに後からインストールされてもよいし、分析データ解析プログラム２２と同時にインストールされてもよい。
図１においては、実行操作補助プログラム２１に係るように、紐付け設定部（紐付け手段）３１、操作位置特定部（操作位置特定手段）３２、登録画像検出部（登録画像検出手段）３３、標的ＧＵＩ検出部３４、実行命令部（実行手段）３５、及び登録画像紐付けデータベース（ＤＢ）３６が示されている。これらはいずれも基本的にはＣＰＵ１０が実行操作補助プログラム２１を実行することによりソフトウェア的に実現される機能手段である。

〔ソフトウェア実行操作補助処理の流れ〕
以下、フローチャートである図２、及び必要に応じて図３〜５を参照しつつ、ソフトウェア実行操作補助処理の流れを具体的に説明する。例として、分析データ解析プログラム２２が自動的に検出したクロマトグラムのピーク開始点を、ユーザが手動で変更する場合を想定する。

まず、操作位置特定部３２がユーザによるクリックを検出し（ステップＳ１）、該クリック位置を特定する（ステップＳ２：操作位置特定ステップ）。具体的には、操作位置特定手段３２は、入力部１６を介してクリックに対応する操作信号を取得すると、該操作信号に含まれている座標情報を読み出し、モニタ１４の画面上でのＸ及びＹの座標値を取得する。

図３は、このときのモニタ１４による画面表示例である。ユーザは、分析データ解析プログラム２２が自動検出したクロマトグラム３００の点３０２に付されたピーク開始点マーク３０１上にカーソルＣを合わせ、クリックを行ったものとする。

次に、操作位置特定部３２が、クリック位置が分析データ解析プログラム２２のアプリケーションウィンドウ内であるか否かを判定する（ステップＳ３）。具体的には、操作位置特定部３２は、ステップＳ２にて読み出した座標情報に基づき、クリック位置の座標値が分析データ解析プログラム２２のアプリケーションウィンドウの表示範囲内であるか否かを判定する。クリック位置が該アプリケーションウィンドウ外である場合（ステップＳ３でＮｏ）、ソフトウェア実行操作補助処理はステップＳ１の手前に戻り、次のクリック操作がなされるまで待機の状態となる。これにより、分析データ解析プログラム２２と無関係な画像が登録画像として検出されることを防止できる。

図３に示す例では、クリック位置は分析データ解析プログラム２２のアプリケーションウィンドウ内の点であるから（ステップＳ３でＹｅｓ）、続いて、登録画像検出部３３が近傍領域Ｒの画像を取得する（ステップＳ４）。具体的には、登録画像検出部３３は、ＯＳ２４に画面全体の表示内容のキャプチャを指示し、ＯＳ２４がクリップボードにコピーした全画面キャプチャ画像から、ステップＳ２にて特定したクリック位置の座標を中心とする矩形領域の画像を抽出（トリミング）する。
図４に、近傍領域（近傍範囲）Ｒの概念図を示す。近傍領域Ｒは、ステップＳ２にて特定されたクリック位置４００を中心とする縦横各数ピクセルの範囲である。近傍領域Ｒの大きさは適宜変更可能であってもよく、形状は矩形に限らず円形であってもよい。

次に、登録画像検出部３３が、近傍領域Ｒ内に登録画像が含まれているか否かを判定する（ステップＳ５：登録画像検出ステップ）。具体的には、まず登録画像検出部３３は、登録画像紐付けデータベース３６に格納されている登録画像−標的ＧＵＩ対応テーブル５００を参照する。図５は、登録画像−標的ＧＵＩ対応テーブル５００の構造例を示す概念図である。登録画像−標的ＧＵＩ対応テーブル５００では、レコードごとに登録画像と標的ＧＵＩが紐付けられている。例えば１番目のレコードでは、登録画像としてピーク開始点マークが、これに対応する標的ＧＵＩとしてピーク検出点移動ボタンが登録されている。登録画像検出部３３は、近傍領域Ｒ内の画像を読み取り、登録画像−標的ＧＵＩ対応テーブル５００の「登録画像」カラムに登録されている画像のいずれかと一致する画像が含まれているか否かを判定する。近傍領域Ｒ内に登録画像が含まれていなければ（ステップＳ５でＮｏ）、ソフトウェア実行操作補助処理はステップＳ１の手前に戻り待機状態となる。

図４に示す例では、登録画像であるピーク開始点マーク３０１が近傍領域Ｒに含まれているので（ステップＳ５でＹｅｓ）、次に、標的ＧＵＩ検出部３４が登録画像と紐付けられた標的ＧＵＩを特定する（ステップＳ６）。具体的には、登録画像検出部３３は、ステップＳ５にて一致すると判定された画像を含む登録画像−標的ＧＵＩ対応テーブル５００のレコードの番号を標的ＧＵＩ検出部３４に通知する。そして、標的ＧＵＩ検出部３４は、該通知された番号のレコードの「標的ＧＵＩ」カラム内のデータ値を参照する。今回の例では、登録画像はピーク開始点マーク３０１であるから、図５に示す登録画像−標的ＧＵＩ対応テーブル５００の１番目のレコードが参照され、該レコードに割り当てられた標的ＧＵＩとして、ピーク検出点移動ボタン３１１が特定される。

次に、標的ＧＵＩ検出部３４は、モニタ１４の画面上に標的ＧＵＩが表示されているか否かを判定する（ステップＳ７）。具体的には、標的ＧＵＩ検出部３４は、モニタ１４の表示画面を探索し、ステップＳ６にて特定した標的ＧＵＩであるピーク検出点移動ボタン３１１の画像が画面上に存在するか否かを判定する。画面上に標的ＧＵＩが検出されなければ（ステップＳ７でＮｏ）、ソフトウェア実行操作補助処理はステップＳ１の手前に戻り待機状態となる。

図３に示す例では、ピーク検出点移動ボタン３１１が表示されているので、標的ＧＵＩ検出部３４はこの標的ＧＵＩを検出し（ステップＳ７でＹｅｓ）、実行命令部３５が標的ＧＵＩをクリックする（ステップＳ８：実行ステップ）。具体的には、実行命令部３５は、ステップＳ７にて標的ＧＵＩ検出部３４が検出したピーク検出点移動ボタン３１１をクリックするマクロを動作させる。

続いて、実行命令部３５は、ユーザによるクリック操作を再実行する（ステップＳ９：実行ステップ）。本ステップで再実行されるクリック操作とは、ステップＳ１にて検出されたクリック操作である。実行命令部３５は、ステップＳ２にて操作位置特定部によって特定された操作位置を参照して、該位置をクリックするマクロを動作させる。又は、該位置がクリックされたことを通知するメッセージを分析データ解析プログラム２２に送信してもよい。

以上説明した処理によれば、ピーク開始点マーク３０１上（又はその極近傍の点）でのクリックが検出されると、分析データ解析プログラム２２は、ピーク検出点移動ボタン３１１がクリックされた後にピーク開始点マーク３０１がクリックされたと判定する。従って、ユーザはピーク開始点を移動させるに当たり、ピーク検出点移動ボタン３１１を予めクリックする必要がなくなる。このように、本実施形態に係る分析データ処理装置１によれば、分析データ解析プログラム２２上でのユーザの直感的な操作が実現される。また、上記の構成によれば分析データ解析プログラム２２のソースコードの情報は不要であるため、あらゆるソフトウェア上でのユーザ操作を補助することができる。

上述では、モニタ１４の画面上に表示されている標的ＧＵＩをマクロ操作によりクリックする構成について説明した。この構成では、標的ＧＵＩが画面上に表示されている必要があるが、ボタンクリックに対応するメッセージを知らない者でも実施可能であるという点で汎用性が高い。また、画面上に表示されていない標的ＧＵＩはクリックされないので、登録画像−標的ＧＵＩ対応テーブル５００に標的ＧＵＩとして登録されているＧＵＩのうち使用しないものは、これを非表示にすることでユーザが所望しない動作を防止することもできる。

別の例として、標的ＧＵＩがクリックされたことを分析データ解析プログラム２２に通知するためのメッセージが既知であれば、こうしたメッセージの送信を、マクロ操作によるボタンのクリックに代えて用いることができる。この構成によれば、標的ＧＵＩをモニタ１４の画面上に表示させておく必要はなくなる。

〔紐付け設定処理の流れ〕
登録画像紐付けデータベース３６に格納されている登録画像−標的ＧＵＩ対応テーブル５００には、予め所定の登録画像と標的ＧＵＩとのペアが登録されていてもよいが、ユーザによって任意のペアを登録可能であることが好ましい。以下、フローチャートである図６を参照しつつ、本実施形態に係る分析データ処理装置１による登録画像と標的ＧＵＩとの紐付け設定処理の流れについて説明する。同図に示す処理は、ユーザが実行操作補助プログラム２１に対し、新たな登録画像−標的ＧＵＩペアの登録を指示する操作を行った時点で開始となる。

まず、実行命令部３５が分析データ解析プログラム２２の色設定を変更させる（ステップＳ６００）。具体的には、実行命令部３５は分析データ解析プログラム２２に対し、クロマトグラムの線色や背景色、及び文字色等の設定を所定の色に変更するメッセージを送信する。上記所定の色は、モニタ１４の画面上において他の画像に使用されにくい色とすることが好ましい。これにより、登録画像に類似した別の画像が登録画像として誤検出されることを防止できる。
分析データ解析プログラム２２に対する送信メッセージが既知でない場合には、実行命令部３５は、分析データ解析プログラム２２上でユーザが色設定の変更を行う手順に沿ったマクロを実行してもよい。あるいは、画像や動画のチュートリアルを画面上に表示させ、ユーザに該マクロの実行を促す構成としてもよい。

次に、紐付け設定部３１が登録画像を決定する（ステップＳ６０１）。具体的には、紐付け設定部３１は、ユーザ入力によって指定された所定の画像を登録画像−標的ＧＵＩ対応テーブル５００の新規レコードにおいて「登録画像」カラム内のデータ値とする。画像の決定は、外部記憶装置に保存されている画像ファイルが指定されることでなされてもよいし、表示画面のキャプチャ画像からユーザ操作により指定された任意の範囲の画像を抽出し、これを登録画像に決定する構成としてもよい。
なお、波形線やピークのベースライン等、定まった形状を持たない画像については、これらの画像を認識するための所定の基準をユーザ入力により取得し、保存してもよい。

次に、紐付け設定部３１が標的ＧＵＩを設定する（ステップＳ６０２）。具体的には、紐付け設定部３１は、ユーザが指定した所定の画像（典型的にはＧＵＩボタン画像）を、ステップＳ６０１にて作成したレコードにおいて「標的ＧＵＩ」カラム内のデータ値とする。ユーザによる画像の指定は登録画像と同様、上述した方法によりなされればよい。また、標的ＧＵＩがクリックされたことを分析データ解析プログラム２２に通知するためのメッセージが既知であれば、画像に代えてこれをユーザ入力等により取得し、保存してもよい。

次に、紐付け設定部３１は、登録画像−標的ＧＵＩ対応テーブル５００を更新する（ステップＳ６０３：紐付けステップ）。具体的には、紐付け設定部３１は、登録画像−標的ＧＵＩ対応テーブル５００を、ステップＳ６０１及びＳ６０２にて決定した登録画像及び標的ＧＵＩをデータ値として含む新規レコードを追加した状態で更新する。

以上説明した処理により、ユーザは登録画像−標的ＧＵＩ対応テーブル５００に対し、任意の登録画像と標的ＧＵＩとを紐付けたペアを追加することができる。これによりユーザは、自身が頻繁に行う操作に関連する登録画像と標的ＧＵＩとを、登録画像−標的ＧＵＩ対応テーブル５００内で紐付けることで、該操作をより直感的なものとすることができる。また、登録画像−標的ＧＵＩ対応テーブル５００内の各レコードは、ユーザによる任意の変更ないし削除が可能であることが好ましい。

なお、本実施形態では、実行操作補助プログラム２１が備える操作位置特定部３２がユーザのクリックの検出及びクリック位置の特定を行う構成を説明したが、操作位置特定部３２は他のプログラムの機能を利用して実現されてもよい。図１にて実行操作補助プログラム２１が備える各要素は分析データ処理装置１内に存在すればよく、その形態は特に問わない。
また、近傍領域Ｒはクリック点４００を中心とする広がりを持つ領域として説明したが、クリック点４００の下側の領域はカーソルＣとの重畳によりユーザにとっての視認性が低いと考えられるため、クリック点４００から上方向に広がる、ユーザにとっての視認性が高いと考えられる領域を近傍領域Ｒとしてもよい。

〔第２の実施形態〕
本実施形態に係る分析データ処理装置１の概略構成は上記第１の実施形態と同様であるため、図示を省略する。
例として、分析データ解析プログラム２２による自動検出では検出されなかったクロマトグラム８００（図８（ａ）参照）のピークを、ユーザが手動で挿入する場合を想定する。通常この処理を行う場合、ユーザはまずピーク挿入ボタン３１２をクリックした上で、挿入するピークの開始点と定める点８０２と、終了点と定める点８０３とを順にクリックするという操作が必要である。
そこで、本実施形態では、クロマトグラム８００の波形線８０１を登録画像とし、且つ、登録画像の検出に際し、近傍領域Ｒに占める背景色の割合を判定条件に含める構成とした。

いま、図８（ａ）に示すように、ユーザがクロマトグラム８００の波形線８０１上の点８０２にカーソルＣを合わせ、クリックを行ったものとする。図８（ｂ）は、このときの近傍領域Ｒの概念図である。本実施形態における近傍領域Ｒの大きさ及び形状については、上記第１の実施形態にて説明したとおりである。同図に示す点８０２を中心とする近傍領域Ｒには、クロマトグラム８００の波形線８０１が含まれている。

本実施形態におけるソフトウェア実行操作補助処理の流れは、上記第１の実施形態にて説明したステップＳ５における処理が異なる。本実施形態における、上記ステップＳ５に係る登録画像検出処理の流れを図７に示す。
まず、登録画像検出部３３が、近傍領域Ｒ内の所定色の線を検出する（ステップＳ７０１）。上記所定色とは、予め記憶されている波形線８０１の線色であり、登録画像検出部３３は該線色と同一の色を呈する画素を抽出し、該抽出した画素が一定の範囲内（例えば１〜２ピクセル）の太さの線を構成している場合に、これを線として検出する。

次に、登録画像検出部３３は、近傍領域Ｒに占める背景色の割合が５０％以上であるか否かを判定する（ステップＳ７０２）。具体的には、登録画像検出部３３は、近傍領域Ｒ内の全画素の値を参照し、予め記憶されているクロマトグラムの背景色と同一の色を呈する画素をカウントする。そして、近傍領域Ｒ内の全画素数Ｎに対する上記のカウント数ｎの比率ｎ／Ｎを求め、０．５≦ｎ／Ｎが成立するか否かを判定する。一般にクロマトグラムは背景色がグラフの大部分を占めるので、上記不等式が成立する場合、クリックされた点８０２はクロマトグラム８００上の点であると考えられ、ステップＳ７０１にて検出した線は波形線８０１の一部である可能性が高い。上記不等式が成立する場合（ステップＳ７０２でＹｅｓ）、登録画像検出部３３は近傍領域Ｒ内に登録画像が含まれていると判定し（ステップＳ７０３）、ソフトウェア実行操作補助処理はステップＳ６〜Ｓ９に移行する。今回の例では、登録画像の波形線８０１と紐付けられた標的ＧＵＩであるピーク挿入ボタン３１２がクリックされ、次いで点８０２上でのクリックが再度実行される。

一方、上記不等式が成立しない、すなわちｎ／Ｎ＜０．５である場合には（ステップＳ７０２でＮｏ）、登録画像検出部３３は近傍領域Ｒ内に登録画像は含まれていないと判定する（ステップＳ７０４）。よってソフトウェア実行操作補助処理はステップＳ１の手前に戻り待機状態となる。

以上説明した処理によれば、ユーザがクロマトグラム８００の波形線８０１上の点８０２でのクリックが検出されると、分析データ解析プログラム２２は、ピーク挿入ボタン３１２がクリックされた後に点８０２がクリックされたと判定する。従って、ユーザは手動でピークを挿入するに当たり、点８０２を直接クリックすればよく、ピーク挿入ボタン３１２を予めクリックする必要がなくなる。
さらに、登録画像の検出に際し、近傍領域Ｒに占める背景色の割合が５０％未満である場合には、ピーク挿入ボタン３１２はクリックされないので、クロマトグラム８００外の線を波形線８０１として誤検出することを防止することができる。なお、５０％との閾値はあくまで一例であり、ステップＳ７０２における判定の閾値は適宜設定されればよい。

〔第３の実施形態〕
本実施形態に係る分析データ処理装置１の概略構成は上記第１の実施形態と同様であるため、図示を省略する。ただし、本実施形態では標的ＧＵＩ検出部３４は必須の要素ではない。また、登録画像紐付けデータベース３６には、登録画像と所定のマクロが紐付けられた登録画像−マクロ対応テーブル（不図示）が格納されている。以下、フローチャートである図９、及び必要に応じて図１０を参照しつつ、本実施形態に係る分析データ処理装置１によるソフトウェア実行操作補助処理の流れを具体的に説明する。
例として、ユーザが分析データ解析プログラム２２上でクロマトグラム１０００を拡大表示させた後で、元の表示サイズに戻す（拡大を取り消す）場合を想定する（図１０参照）。通常この処理を行う場合、ユーザはまずクロマトグラム１０００上（例えば点１００５）で右クリックを行い、メニュー１０１０を表示させた上で、メニュー１０１０内の選択項目１０１１（「拡大を元に戻す」）をクリックするという操作が必要である。

本実施形態では、クロマトグラム１０００の拡大の取り消しに係るソフトウェア実行操作補助処理のトリガとなるユーザ操作を、クロマトグラム１０００上でのダブルクリックとする。これは、他の操作との混同やユーザが所望しない動作を防止するための設計例であり、操作の種類は適宜設定されればよい。ステップＳ９０１〜Ｓ９０４に係る処理は、検出するユーザ操作がダブルクリックである点以外は、上記第１の実施形態にて説明したステップＳ１〜４と同様である。ここではクロマトグラム１０００内の点１００５上でのダブルクリックが検出されたものとする。この時点では右クリック操作が行われていないので、モニタ１４の画面上にメニュー１０１０は表示されていない。

続いて、登録画像検出部３３は、近傍領域Ｒ内に占める背景色の割合が５０％以上であるか否かを判定する（ステップＳ９０５：登録画像検出ステップ）。本ステップにおける処理は、上記第２の実施形態にて説明したステップＳ７０２と同様である。一般にクロマトグラムは背景色がグラフの大部分を占めるので、本ステップでの判定結果がＹｅｓである場合、クリック位置はクロマトグラム１０００上であると考えられる。近傍領域Ｒに占める背景色の割合が５０％未満であると判定された場合には（ステップＳ９０５でＮｏ）、ソフトウェア実行操作補助処理はステップＳ９０１の手前に戻り待機状態となる。

近傍領域Ｒに占める背景色の割合が５０％以上であると判定された場合（ステップＳ９０５でＹｅｓ）、次に、実行命令部３５が登録画像と紐付けられたマクロを実行する（ステップＳ９０６：実行ステップ）。ここで、本実施形態では、ステップＳ９０４にて取得した近傍領域Ｒの画像のうち、背景色の割合が５０％以上であるものを登録画像として認識するよう、登録画像紐付けデータベース３６内の登録画像−マクロ対応テーブルに判定基準が登録されている。また、この登録画像と紐付けられたマクロは「右クリック＋メニュー１０１０内の選択項目１０１１（「拡大を元に戻す」）のクリック」とする。選択項目１０１１のクリックに該当するメッセージが既知であれば、上記マクロの実行に代えて該メッセージを分析データ解析プログラム２２に送信してもよい。

以上説明した処理によれば、ユーザがクロマトグラム１０００上でダブルクリックを行うと、右クリック及び選択項目１０１１のクリックが自動でなされる。すなわち、ユーザは一箇所のダブルクリックで拡大を元に戻すことができる。本実施形態によれば、右クリック及び選択項目１０１１のクリックを手動で行う場合と比較して、操作時間が1/5〜1/10に短縮される（ダブルクリック：200ms、右クリック＋選択項目１０１１をクリック：1〜2秒）。よって、頻繁な拡大・縮小を必要とする波形処理操作においては、本実施形態はスループットの向上に大きく貢献するものである。
また、クリック点１００５を中心とする近傍領域Ｒに占める背景色の割合が５０％未満である場合にはマクロが実行されないので、クロマトグラム１０００外の領域でのユーザが意図しない動作を防止することができる。なお、上記第２の実施形態と同様、背景色の割合の閾値５０％はあくまで一例である。
なお、本実施形態における登録画像−マクロ対応テーブルは、上記第１の実施形態にて説明した登録画像−標的ＧＵＩ対応テーブル５００と同様、登録画像及び該登録画像と紐付ける所定のマクロをユーザが任意に登録可能な構成とすることが好ましい。

〔第４の実施形態〕
分析データ解析プログラム２２が作成した複数のクロマトグラムをユーザが比較検討する場合、或るクロマトグラムの波形線を、画面上で他のクロマトグラムに重畳させることが所望される場合がある。従来、このような重畳を行うためには、比較したい複数のクロマトグラムの画像をそれぞれ画面キャプチャ等によって保存し、これらを画像編集ソフト上で開き、背景色とする色を選択して透明化した上で重畳させるといった操作が必要であった。このような煩雑な操作を比較の都度行うことは実用的でない。
そこで、本実施形態に係る分析データ処理装置１００は、クロマトグラムの波形線を登録画像とし、上記近傍範囲に波形線が含まれる場合に、該波形線全体を抽出し、画面上の最前面に表示させる構成とした。

図１１に、本発明の第４の実施形態に係る、分析データ処理装置（ソフトウェア実行操作補助装置）１００を示す。分析データ処理装置１００は、分析データ処理装置１が備える実行操作補助プログラム２１に代えて、実行操作補助プログラム２１ａを備える構成である。図１１においては、実行操作補助プログラム２１ａに係るように、操作位置特定部３２、登録画像検出部３３、実行命令部３５、登録画像−プログラムデータベース（ＤＢ）３６１が示されている。実行操作補助プログラム２１ａにはこの他に、上記第１の実施形態に係る実行操作補助プログラム２１が備える各要素が含まれていてもよい。これらはいずれも基本的にはＣＰＵ１０が実行操作補助プログラム２１ａを実行することによりソフトウエア的に実現される機能手段である。

登録画像−プログラムデータベース３６１には登録画像と所定のプログラムが紐付けられて格納されており、本実施形態で説明する例として重畳支援プログラム４０が含まれている。重畳支援プログラム４０は、画像抽出部４１、透明化処理部４２、リスト制御部４３、表示制御部４４、画像記憶部４５を含む。これらはいずれも基本的にはＣＰＵ１０が重畳支援プログラム４０を実行することによりソフトウェア的に実現される機能手段である。

以下、フローチャートである図１２、及び必要に応じて図１３及び図１４を参照しつつ、ソフトウェア実行操作補助処理の流れを具体的に説明する。ここでは、図１３（ａ）に示すように、分析データ解析プログラム２２によってモニタ１４の画面上に表示されたクロマトグラム１３００の波形線１３０１上の点（波形線１３０１の極近傍の点であってもよい）がクリックされたものとする。他のソフトウェア実行操作補助処理のトリガとなる操作と区別するため、修飾キー（例えばCtrlキー）との組み合わせをトリガとしてもよい。

ステップＳ１２０１〜Ｓ１２０４に係る処理は、上記第１の実施形態にて説明したステップＳ１〜Ｓ４と同様である。
次に、登録画像検出部３３が近傍領域Ｒ内に波形線があるか否かを判定する（ステップＳ１２０５）。具体的には、例えば、ステップＳ１２０２にて特定したクリック位置を中心とする近傍領域Ｒ内の画像を参照し、予め記憶されている波形線１３０１の線色と同一の色を呈する画素を抽出し、該抽出した画素が一定の範囲内（例えば１〜２ピクセル）の太さの線を構成するか否かを判定する。近傍領域Ｒ内に波形線が含まれていないと判定されれば（ステップＳ１２０５でＮｏ）、ソフトウェア実行操作補助処理はステップＳ１２０１の手前に戻り待機状態となる。

近傍領域Ｒ内に波形線が含まれていると判定されれば（ステップＳ１２０５でＹｅｓ）、実行命令部３５が波形線と紐付けられたプログラムを実行する（ステップＳ１２０６）。具体的には、実行命令部３５は、登録画像−プログラムデータベース３６１に格納されている対応テーブル（不図示）を参照し、登録画像「波形線」と紐付けられたプログラムである重畳支援プログラム４０を実行する。

本ステップにおける重畳支援プログラム４０による重畳支援処理の流れを図１４に示す。
まず、画像抽出部４１が、波形線１３０１全体を含む矩形領域画像を抽出する（ステップＳ１４０１）。具体的には、ＯＳ２４に画面全体の表示内容のキャプチャを指示し、ＯＳ２４がクリップボードにコピーした全画面キャプチャ画像から、波形線１３０１の表示範囲全体を含む矩形領域の画像を抽出（トリミング）し、該抽出した画像を抽出画像として画像記憶部４５に格納する。波形線１３０１の表示範囲は、例えば近傍領域Ｒ内にて検出された線が連続する範囲として認識されればよい。
また、波形線１３０１に加えクロマトグラム１３００の枠線等を抽出してもよい。枠線は、例えば波形線１３０１に接する、画面のＸ軸及びＹ軸にそれぞれ平行な線分として検出することができる。この場合に抽出される範囲は枠線の表示範囲となる。枠線を含めて抽出するか否かの設定はユーザによる変更が可能であってもよい。

次に、透明化処理部４２が抽出画像の背景を透明化する（ステップＳ１４０２）。具体的には、透明化処理部４２は、抽出画像において、予め背景色として記憶されている色を透明化して画像記憶部４５に格納する。又は、クロマトグラムは背景色がグラフの大部分を占めるのが一般的であるから、抽出画像中で最も画素数の多い色を透明化する構成としてもよい。

次に、リスト制御部４３が抽出画像リスト１３２０をモニタ１４の画面上に表示させる（ステップＳ１４０３）。このときのモニタ１４による画面表示例を図１３（ｂ）に示す。抽出画像リスト１３２０は、画面上への貼付が可能な抽出画像をユーザに視認させ、またその選択操作を受け付けるためのＧＵＩであり、ステップＳ１４０２にて透明化処理がなされた抽出画像のサムネイル１３２１をリスト内に含む。同図では、ステップＳ１４０２にて背景が透明化された波形線が示されている。画像記憶部４５に複数の抽出画像が記憶されている場合、リスト制御部４３はこれら複数の抽出画像のサムネイルをストックとして抽出画像リスト１３２０内に表示させてもよい。
表示ボタン１３２２上でのクリック操作が検出されれば、表示制御部４４は、抽出された波形線１３０１ａを画面上の最前面に表示させる。また、非表示ボタン１３２３がクリックされれば、波形線１３０１ａの表示を解除する。波形線１３０１ａは背景が透明なウィンドウとして表示され、ユーザの操作により任意に移動及び拡大／縮小が可能である。これにより、図１３（ｂ）に示すように波形線１３０１ａを別のクロマトグラム１３１０と画面上で重畳させれば、ユーザは２つのクロマトグラム１３００と１３１０とを容易に比較することができ、必要に応じて表示と非表示とを切り替えることができる。

以上説明した処理によれば、ユーザがクロマトグラム１３００上で波形線１３０１の近傍をクリックすると、波形線１３０１のみが自動で抽出され、ユーザは該抽出された波形線１３０１ａを画面上の最前面に任意に表示させることができる。これにより、複数のクロマトグラムを重畳させる際に要する手数を抑えることができ、ユーザは比較検討にかかる時間を短縮することができる。

〔変形例〕
上述した各実施形態においては、ユーザによるクリック等の検出をトリガとしてソフトウェア実行操作補助処理が開始する構成とした。この構成は、登録画像と所定の処理との紐付け関係がユーザにとって既知であることを想定したものであるが、ユーザが紐付け関係を把握していない状況も想定される。そこで、実行操作補助プログラム２１、２１ａは、カーソルＣがモニタ１４の画面上の同じ位置で一定時間以上静止したことをトリガとして、静止位置を中心とする近傍領域Ｒの画像を参照し、該近傍領域Ｒ内に登録画像が含まれる場合に、該登録画像と紐付けられた説明用コメントをツールチップとしてカーソルＣの近傍に表示させてもよい。説明用コメントは、例えば上記第１の実施形態であれば「ピーク開始点の移動」等、現在の位置でクリックを行うことによって実行される処理をユーザに通知するものであってもよい。これにより、登録画像と所定の処理との紐付け関係を十分に把握していないユーザでも、実行操作補助プログラム２１、２１ａを利用して分析データ解析プログラム２２上での操作をスムーズに行うことができる。説明用コメントは、上記第１の実施形態にて説明した紐付け設定処理（図６参照）において、登録画像及び標的ＧＵＩとともにユーザによる登録が可能であってもよい。また、説明用コメントに代えて、登録画像と紐付けられたＧＵＩボタンをカーソルＣの近傍に表示させて、該ボタンに対する操作を受け付ける構成としてもよい。

また、上記第１の実施形態では、図６に示すステップＳ６０２において標的ＧＵＩを決定する構成を説明したが、標的ＧＵＩに代えて所定のマクロをユーザ入力に従って登録してもよい。

なお、上述した各実施形態及び変形例は本発明の例であり、本発明の趣旨の範囲で適宜に変更、修正、追加、組み合わせを行っても本願特許請求の範囲に包含されることは当然である。

１、１００…分析データ処理装置
１０…ＣＰＵ
１２…メモリ
１４…モニタ
１６…入力部
１８…Ｉ／Ｆ
２０…記憶部
２１、２１ａ…実行操作補助プログラム
２２…分析データ解析プログラム
２３…分析データ記憶部
２４…ＯＳ
３１…紐付け設定部
３２…操作位置特定部
３３…登録画像検出部
３４…標的ＧＵＩ検出部
３５…実行命令部
３６…登録画像紐付けデータベース
３６１…登録画像−プログラムデータベース
Ｒ…近傍領域

Claims (6)

1. 対象ソフトウェア上での使用者の操作を補助するためのソフトウェア実行操作補助装置であって、
   a) 登録画像と、所定の処理とが紐付けられて格納されているデータベースと、
   b) 表示部の画面上での使用者による所定の操作がなされた位置を操作位置として特定する操作位置特定手段と、
   c) 前記操作位置特定手段が特定した前記操作位置の所定の近傍範囲に前記登録画像が含まれているか否かを判定する登録画像検出手段と、
   d) 前記登録画像検出手段が前記近傍範囲に含まれていると判定した前記登録画像と紐付けられた所定の処理を前記データベースを参照して特定し、該所定の処理を実行する実行手段と、
   を備えることを特徴とするソフトウェア実行操作補助装置。
2. 前記所定の処理は、前記対象ソフトウェアが備える所定のＧＵＩに割り当てられた処理であり、
   前記実行手段は、前記登録画像検出手段が検出した前記登録画像と紐付けられた、前記所定のＧＵＩに割り当てられた処理を、前記対象ソフトウェアに対し実行することを特徴とする請求項１に記載のソフトウェア実行操作補助装置。
3. e) 使用者の指示に応じて、１又は複数の前記登録画像と前記所定の処理とを紐付けて前記データベースに格納する紐付け手段
   を備えることを特徴とする請求項１又は２に記載のソフトウェア実行操作補助装置
4. 前記登録画像検出手段は、前記近傍範囲内で所定の色を呈する画素が占める割合が所定値未満である場合には、該近傍範囲内に前記登録画像が含まれていないと判定することを特徴とする請求項１〜３のいずれかに記載のソフトウェア実行操作補助装置。
5. 前記登録画像及び／又は該登録画像を含む所定の領域内の画像の色を変更する、又は変更を前記使用者に促すことを特徴とする請求項１〜４のいずれかに記載のソフトウェア実行操作補助装置。
6. 対象ソフトウェア上での使用者の操作を補助するソフトウェア実行操作補助方法であって、
   a) 紐付け手段が、登録画像と所定の処理とを紐付ける紐付けステップと、
   b) 操作位置特定手段が、表示部の画面上での使用者による所定の操作がなされた位置を操作位置として特定する操作位置特定ステップと、
   c) 登録画像検出手段が、前記操作位置特定ステップにて特定された前記操作位置の所定の近傍領域に前記登録画像が含まれているか否かを判定する登録画像検出ステップと、
   d) 実行手段が、前記登録画像検出ステップにて前記近傍領域に含まれていると判定した前記登録画像に対して前記紐付け手段が紐付けた所定の処理を特定し、該所定の処理を実行する実行ステップと、
   を含むことを特徴とするソフトウェア実行操作補助方法。

Images