WO2015107635A1 - 画像比較システム - Google Patents

画像比較システム Download PDF

Info

Publication number
WO2015107635A1
WO2015107635A1 PCT/JP2014/050567 JP2014050567W WO2015107635A1 WO 2015107635 A1 WO2015107635 A1 WO 2015107635A1 JP 2014050567 W JP2014050567 W JP 2014050567W WO 2015107635 A1 WO2015107635 A1 WO 2015107635A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
screen
step
area
Prior art date
Application number
PCT/JP2014/050567
Other languages
English (en)
French (fr)
Inventor
木原 隆幸
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to PCT/JP2014/050567 priority Critical patent/WO2015107635A1/ja
Publication of WO2015107635A1 publication Critical patent/WO2015107635A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N30/00Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
    • G01N30/02Column chromatography
    • G01N30/86Signal analysis
    • G01N30/8624Detection of slopes or peaks; baseline correction
    • G01N30/8631Peaks

Abstract

 表示部14の画面上で表示される複数の画像を重畳させて比較するための画像比較システム1において、使用者の指示に従い、前記画面上の第1の領域及び第2の領域を決定する領域決定手段31と、領域決定手段31により決定された前記第1の領域内のキャプチャ画像を、抽出画像として記憶領域に保存する抽出手段32と、前記抽出画像に対し、該抽出画像に含まれる全ての色のうち所定の一部の色を透明化する透明化処理を実行する透明化処理手段33と、透明化処理手段33による透明化処理がなされた前記抽出画像に含まれる2つの基準点の位置関係が、領域決定手段31により決定された前記第2の領域に含まれる2つの基準点の位置関係と一致するように、前記抽出画像を拡大及び/又は縮小して、前記画面上で最前面に表示させる表示制御手段37とを備えることにより、任意の形式のファイルに含まれる複数の分析結果等の画像の比較を表示部の画面上で容易に行うための画像比較システムを提供する。

Description

画像比較システム

 本発明は、表示部の画面上に表示される複数の画像を比較するための画像比較システムに関する。特に、PDF等に代表される、画像編集を前提としていない形式のファイルに含まれる、クロマトグラムやスペクトル等の画像同士を表示部の画面上で比較する際に好適に用いることができる画像比較システムに関する。

 ガスクロマトグラフ装置(GC)や液体クロマトグラフ装置(LC)等の分析装置において、複数の検出器を併用して測定を行うと、複数のクロマトグラムが同時に得られる。また、検出器としてフォトダイオードアレイ検出器や質量分析計を用いると、時間軸及び強度軸のほかに波長や質量電荷比を第3の軸とする三次元クロマトグラムが得られ、特定の波長や質量数に着目することで複数の二次元クロマトグラム(例えば検出器が質量分析計である場合にはマスクロマトグラム)を切り出すことができる(例えば特許文献1)。

 昨今では、分析装置の制御や分析の結果として得られた分析データの処理は、一般のコンピュータ上で動作する分析制御ソフトを用いて行われる。このような分析制御ソフトの処理によって得られた最終結果は、分析レポートとしてPDF (Portable Document Format)等のファイル形式で出力される。分析レポートでは、ある分析に関連した複数の分析結果を並べて配置されているものが多い。分析者はこの分析レポートを通して、分析データを閲覧及び確認することが一般的である。

特開平10-73582号公報

 分析者が、このようなPDF形式の分析レポートに含まれる分析結果(例えばクロマトグラムやスペクトル等)を他の分析結果と比較したいとき、複数の分析結果の画像の重畳が所望されることがある。しかしながら、PDFファイルは改竄防止の観点から、文書中に画像を挿入したり、文書中の任意の画像を拡大・縮小したりといった編集が容易には行えないようになっている。そこで、分析者は複数の分析結果をそれぞれ紙に印刷したものを重ね合わせて透かしてみたり、元のデータファイルを探して専用の比較ソフトで開いたりといったことを行うが、前者は視認性の低さ、後者は操作の煩雑さ等の理由から、いずれも実用的とは言い難い。

 別の手法として、複数の分析結果の画像を画面キャプチャによりそれぞれ抽出して、画像編集用ソフトの編集領域上に貼付して重畳させることが考えられる。このときに、前面(上)の画像の背景部分を透明化しておけば、該前面の画像の背景部分が背面(下)の画像を覆い隠すことなく両者を視認可能に重畳させることが可能である。
 しかしこの手法では、一旦貼付が確定した後は重畳させた画像を個別に編集することが不可能となる他、拡大・縮小等の調整が難しいといった不都合がある。一部の画像編集用ソフトでは、各画像を個別のレイヤで任意に編集することも可能であるが、一般にそういったソフトは、分析者に煩雑な操作を強いるものである。

 本発明は上記の事情に鑑みてなされたものであり、その目的は、任意の形式のファイルに含まれる複数の分析結果等の画像の比較を表示部の画面上で容易に行うための画像比較システムを提供することにある。

 上記課題を解決するために成された本発明の第1の態様は、表示部の画面上に表示される複数の画像を重畳させて比較するための画像比較システムであって、
 a) 使用者の指示に従い、前記画面上の第1の領域及び第2の領域を決定する領域決定手段と、
 b) 前記領域決定手段により決定された前記第1の領域内のキャプチャ画像を、抽出画像として記憶領域に保存する抽出手段と、
 c) 前記抽出手段が保存した前記抽出画像に対し、該抽出画像に含まれる全ての色のうち所定の一部の色を透明化する透明化処理を実行する透明化処理手段と、
 d) 前記透明化処理手段による透明化処理がなされた前記抽出画像に含まれる2つの基準点の位置関係が、前記領域決定手段により決定された前記第2の領域に含まれる2つの基準点の位置関係と一致するように、前記抽出画像を拡大及び/又は縮小して、前記画面上で最前面に表示させる表示制御手段と、
 を備えることを特徴とする。

 ここで、本発明における「キャプチャ画像」とは、一般的なコンピュータのOS(Operating System)が備えている、画面の表示内容を複写して一時記憶領域に格納する画面キャプチャ機能を用いて得られた画像である。画面上の所定領域内のキャプチャ画像は、例えば全画面キャプチャによって得られた画像から、抽出手段が該所定領域の部分だけを抽出(トリミング)することで得られる。また、本発明における「画像」には、画素の組み合わせから成るあらゆる表現(例えば文字やグラフ等)が含まれる。
 なお、抽出画像の「拡大及び縮小」とは、例えば縦(又は横)方向には拡大し、横(又は縦)方向には縮小するといった動作を指す。
 また、「使用者の指示」には、使用者が手動で領域を指定する場合と、領域決定の基準となる所定の規則を使用者が予め定めておく場合とが含まれる。後者の場合には、領域決定手段は使用者が定めた規則に従って領域を決定する。

 本発明に係る画像比較システムによれば、領域決定手段により決定された表示部の画面上の第1の領域内のキャプチャ画像が、抽出画像として保存される。該抽出画像は、透明化処理によって所定の一部の色が透明化された後、画像内の2つの基準点の位置関係が、画面上の第2の領域に含まれる2つの基準点の位置関係と一致するように拡大及び/又は縮小された上で、画面上の最前面に表示される。
 これにより、画面上の最前面に表示される抽出画像のうち透明化された領域では、該画面上に元々表示されていた画像が表示されるため、使用者は背面の画像を視認することができる。さらに、表示される抽出画像は、2つの基準点が第2の領域と一致するように大きさや形状が調整されているため、抽出画像に含まれる画像の元々の大きさや形状が、第2の領域に含まれる比較対象の画像と異なっていても、使用者は両者の大きさや形状が一致した状態を視認することができる。
 よって、任意の形式のファイルに含まれる複数の分析結果等の画像の比較を表示部の画面上で容易に行うことが可能となる。
 前記基準点としては、例えば、使用者が比較したい複数の画像がクロマトグラムやスペクトル等のグラフである場合には、その縦軸及び横軸の末端部分を用いることができる。また、ユーザがクリック等の入力操作を行った2点(例えば矩形領域の左上と右下の各頂点)を前記基準点としてもよい。
 また、領域決定手段が決定する画面上の第1及び第2の領域は、複数のアプリケーションウィンドウに亘る画面範囲であっても構わない。

 前記表示制御手段は、前記抽出画像と前記第2の領域とにそれぞれ2つ含まれる前記基準点が前記画面上で一致するように、前記抽出画像を前記第2の領域上に表示させることが好ましい。
 この構成によれば、抽出画像は、2つの基準点が画面上で一致するように、第2の領域内の画像と重畳するよう表示される。これにより、使用者は第2の領域に含まれる比較対象となる画像上に抽出画像を移動させる必要がなくなるので、操作を省力化できる。

 前記透明化処理手段は、前記抽出画像中で最も画素数が多い色を透明化してもよい。
 この構成によれば、画面上の第1の領域が決定されると、該第1の領域中で最も広い領域を占める色が自動で透明化される。従って、クロマトグラムやスペクトル等、背景色が大部分を占めるグラフを重畳して比較する場合に、どの色を透明化させるかを使用者が入力する必要がなくなるため、操作を省力化することができる。

 前記領域決定手段はさらに、前記第1の領域に含まれる部分領域を決定し、
 前記透明化処理手段は、前記領域決定手段により決定された前記部分領域に含まれる全ての色を透明化する構成とすることもできる。
 一般的に、グラフの軸や目盛線はそれぞれ単一の色で画面上に表示される。従って、この構成によれば、クロマトグラムやスペクトル等のグラフを複数重畳させて比較する場合に、背景部分に加え軸線や目盛線等を少なくとも一部含むように部分領域を決定することで、これらを全て透明化することができる。これにより、抽出画像が画面上に表示されたときにこれらが背面の画像の視認性を低下させることを防止できる。

 また、上記課題を解決するために成された本発明の第2の態様は、表示部の画面上に表示される複数の画像を重畳させて比較するための画像比較方法であって、
 a) 使用者の指示に従い、前記画面上の所定の領域を第1の領域として決定する第1の領域決定ステップと、
 b) 前記第1の領域決定ステップにて決定された第1の領域内のキャプチャ画像を、抽出画像として記憶領域に保存する抽出ステップと、
 c) 前記抽出ステップにて保存した前記抽出画像に対し、該抽出画像に含まれる全ての色のうち所定の一部の色を透明化する透明化処理を実行する透明化処理ステップと、
 d) 使用者の指示に従い、前記画面上の所定の領域を第2の領域として決定する第2の領域決定ステップと、
 e) 前記透明化処理ステップにて透明化処理がなされた前記抽出画像に含まれる2つの基準点の位置関係が、前記第2の領域決定ステップにて決定された前記第2の領域に含まれる2つの基準点の位置関係と一致するように、前記抽出画像を拡大及び/又は縮小して、前記画面上で最前面に表示させる表示制御ステップと、
 を含むことを特徴とする。

 本発明に係る画像比較システムによれば、任意の形式のファイルに含まれる複数の分析結果等の画像の比較を表示部の画面上で容易に行うことが可能となる。

本発明の一実施形態に係る画像比較システムの概略構成を示すブロック図。 同実施形態に係る画像比較システムが実行する処理の全体の流れを示すフローチャート。 同実施形態に係る画像比較システムによる透明化処理の流れの一例を示すフローチャート。 同実施形態に係る画像比較システムによる透明化処理の流れの別の例を示すフローチャート。 同実施形態に係る画像比較システムによる透明化処理の流れのさらに別の例を示すフローチャート。 同実施形態に係る画像比較システムによる抽出領域決定の際の画面表示例。 同実施形態に係る画像比較システムによる透過領域決定の際の画面表示例。 同実施形態に係る画像比較システムによる貼付領域決定の際の画面表示例。 同実施形態に係る画像比較システムによる透過画像貼付後の画面表示例。 同実施形態に係る画像比較システムにおける、抽出領域及び貼付領域の別の例。

 以下、本発明を実施するための形態について、図面を参照しつつ詳細に説明する。
 本発明の一実施形態に係る画像比較システム1は、ユーザの指示に従って決定された、画面上の所定の領域内の画像を抽出し、該抽出した画像に含まれる色の一部を透明化した上で、該画面上の他の領域において最前面に表示するものである。さらに、画像比較システム1は、上記透明化後の画像を表示する際に、該画像に含まれる2つの基準点と、上記他の領域に含まれる2つの基準点とが上記画面上で全て一致するように、該透明化後の画像を拡大及び/又は縮小するものである。本明細書では、透明化後の画像を画面上で最前面に表示させることを、文脈に応じて「貼付」とも称する。
 以下の記載において、先に説明した図面と同一の機能を有する部材には同一の番号を付し、その説明を省略する。

 図1に、本実施形態に係る画像比較システム1を示す。画像比較システム1の実態はコンピュータであり、中央演算処理装置であるCPU(Central Processing Unit)10にメモリ12、LCD(Liquid Crystal Display)等から成るモニタ(表示装置)14、キーボードやマウス等から成る入力部(測定結果画像指定入力受付手段)16、ハードディスクやSSD(Solid State Drive)等の大容量記憶装置から成る記憶部20が互いに接続されている。記憶部20には画像比較プログラム21、及び分析レポート記憶部22が設けられている。記憶部20にはまた、OS(Operating System)29も記憶されている。
 分析装置A1は、本実施形態では液体クロマトグラフ質量分析装置(LC-MS)とする。ただし、分析装置A1の実態はこれに限定されず、GCやLC、またガスクロマトグラフ質量分析装置(GC-MS)であってもよい。

 画像比較システム1は、LC-MSによる測定データの解析に用いられるコンピュータが通常具備する機能として、分析装置A1から受信し蓄積された測定データの系列に基づいてクロマトグラムやスペクトル等の分析結果画像を作成するとともに、該作成した分析結果画像を複数含む分析レポートを作成し、これをモニタ14上で表示する。この分析レポートは、例えばPDF形式ファイルとして作成され、分析レポート記憶部22に保存される。

 画像比較システム1は、外部装置との直接的な接続や、外部装置等とのLAN(Local Area Network)などのネットワークを介した接続を司るためのインターフェース(I/F)(データ出力手段)18を備えており、該I/F18よりネットワークケーブルNW(又は無線LAN)を介して分析装置A1に接続されている。
 なお、画像比較システム1と接続される分析装置は複数台であっても構わない。また、画像比較システム1と分析装置A1は一体の装置として構成されていても構わない。

 図1においては、画像比較プログラム21に係るように、領域決定部31(領域決定手段)、画像抽出部32(抽出手段)、透明化処理部33(透明化処理手段)、リスト制御部34、マーカ検出部36、画像貼付部37(表示制御手段)、及び画像記憶部38(記憶領域)が示されている。これらはいずれも基本的にはCPU10が画像比較プログラム21を実行することによりソフトウエア的に実現される機能手段である。なお、画像比較プログラム21は必ずしも単体のプログラムである必要はなく、例えば分析装置A1を制御するためのプログラムの一部に組み込まれた機能であってもよく、その形態は特に問わない。

 以下、フローチャートである図2を参照しつつ、画像比較プログラム21が実行する処理の全体の流れを具体的に説明する。本フローチャートは、画像比較システム1のユーザが、モニタ14の画面上の抽出領域の決定処理を指示する操作を行った時点で開始となる。具体的には、例えばモニタ14の画面上に所定のアイコンを表示させ、該アイコンがクリックされた時点で開始とすることができる。
 状況としては、モニタ14の画面上に表示されている複数の分析レポートに含まれるクロマトグラム同士を、ユーザが該画面上で重畳させて比較する場合を想定する。分析データからの分析レポートの作成については本発明の趣旨から外れるため、ここでは、既にユーザ自身(又は他の分析者)が作成した分析レポートが分析レポート記憶部22に複数記憶されているものとする。もちろん、本実施形態は1つの分析レポートに含まれるクロマトグラム同士を比較する場合にも用いることができる。

 まず、領域決定部31が、モニタ14の画面上の抽出領域を決定する(ステップS1)。本ステップにおける抽出領域の決定方法の一例を図6に示す。図6は、抽出領域が決定される際のモニタ14の画面表示例である。
 図6に示す例では、モニタ14の画面上に2つの分析レポート610及び620が個別のアプリケーションウィンドウで表示されており、分析レポート610には試料1のクロマトグラム61が、分析レポート620には試料2のクロマトグラム62が含まれている。試料1は、例えば標準試料であってもよい。分析レポート610及び620にはこの他に、各種分析パラメータや、ピーク面積等の波形解析結果が含まれていてもよいが、本実施形態では図示しない。

 ユーザは、比較したい2つのクロマトグラムのうち一方(図6の例では試料2のクロマトグラム62)を含むように、矩形領域の左上の頂点63と、右下の頂点64とをカーソル66で順にクリックする。領域決定部31は、2頂点63及び64の画面上の座標値に基づき、抽出領域65(第1の領域)を決定する。
 同図に示すとおり、抽出領域65及び後述する貼付領域は同一のアプリケーションウィンドウ内の領域である必要はない。ユーザはこれらの領域をモニタ14の画面上の任意の位置に指定することができ、各領域は複数のアプリケーションウィンドウに亘るものであっても構わない。

 次に、画像抽出部32が抽出領域65内のキャプチャ画像を抽出する(ステップS2)。具体的には、OS29に画面全体の表示内容のキャプチャを指示し、OS29がクリップボードにコピーした全画面キャプチャ画像から、ステップS1にて決定した抽出領域65内の画像を抽出(トリミング)し、該抽出した画像を抽出画像として画像記憶部38に格納する。画面のキャプチャには、一般的なOSの機能として備わっている周知の技術を用いることができる。このとき、抽出画像の名称等の入力をユーザに促す画面を表示させ、該画面上で入力された名称等を、該抽出画像に紐付けて記憶させてもよい。あるいは、該名称等を表す文字列を画像として抽出画像内に埋め込んでもよい。

 次に、透明化処理が実行される(ステップS3)。本ステップに係る透明化処理の複数の態様を図3~図5に示す。

 図3に、ステップS3における透明化処理の第1の態様を示す。まず、透明化処理部33は、抽出画像の各画素の色を参照し(ステップS31)、該抽出画像内で画素数が最も多い色を透過色に設定する(ステップS32)。具体的には、ステップS2にて作成した抽出画像について色ごとに画素数をカウントし、カウント数が最大の色を透過色に設定する。そして、該抽出画像中の透過色に設定された色を透明化した透過画像を作成し(ステップS33)、画像記憶部38に格納する。
 一般に、クロマトグラムは背景色がグラフの大部分を占めるため、本態様によれば背景を自動で透明化することができる。

 上記の処理に加えて、抽出画像の縁部の近傍を透明化する構成としてもよい。または、抽出画像の縁部の近傍に含まれる全ての色を透明化する構成としてもよい。このように構成すれば、クロマトグラムを囲む枠線等がある場合に、該枠線等を縁部の近傍に含めるように抽出領域65を画定すれば、該枠線等を透明化することができる。従って、透過画像が貼付されたときに、該枠線等が背面の画像の視認性を低下させることを防止できる。縁部からどの程度まで離れた領域を透明化の対象とするかは、ユーザによって適宜変更可能であってもよい。
 また、この構成によれば、縁部の近傍にクロマトグラム62の背景色と同一色の画素が含まれる場合には、図3に示す透明化処理を同時に行うこともできる。

 図4に、ステップS3における透明化処理の第2の態様を示す。まず、領域決定部31が、透過領域(部分領域)を決定する(ステップS41)。本ステップにおける透過領域の決定方法の一例を図7に示す。図7は、透過領域が決定される際のモニタ14の画面表示例である。
 図7に示す例では、分析レポート720に含まれる試料2のクロマトグラム72は、波形線に重畳する複数の目盛線79を含んでいる。ユーザは、このクロマトグラム72の背景、目盛線79、軸、及び軸ラベルをそれぞれ一部含み、且つクロマトグラム72の波形線を含まないように、矩形領域の左上の頂点73と、右下の頂点74とをカーソル66で順にクリックする。領域決定部31は、2頂点73及び74の画面上の座標値に基づき、透過領域75を決定する。

 次に、透明化処理部33が、透過領域75内の各画素の色を参照し(ステップS42)、透過領域75に含まれる全ての色を透過色に設定する(ステップS43)。そして、ステップS2で作成された抽出画像を画像記憶部38から読み出し、該抽出画像中の透過色に設定された色を透明化した透過画像を作成し(ステップS44)、画像記憶部38に格納する。
 本態様では、背景色とともに目盛線、軸、及び軸ラベルを透明化することができるので、透過画像が貼付されたときに、これらが背面の画像の視認性を低下させることを防止できる。
 なお、ステップS41とS42との間に、画像抽出部32が透過領域75のキャプチャ画像を抽出するステップを設け、透明化処理部33は該キャプチャ画像を参照する構成としてもよい。

 図5に、ステップS3における透明化処理の第3の態様を示す。まず、透明化処理部33は、非透過色を決定する(ステップS51)。非透過色は、好ましくは試料2のクロマトグラム62の波形線の線色である。この線色が予め特定の色に設定されている場合には、この線色を非透過色として透明化処理部33に記憶させてもよい。別の例として、透明化処理部33は、画像認識によってクロマトグラムの波形線であると判定された曲線の色を非透過色に設定してもよい。この場合の画像認識は、例えば同一色の画素が画面のX軸方向に一定数以上連続する曲線をクロマトグラムの波形線と認識する構成とすることができる。
 次に、透明化処理部33は、非透過色以外の全ての色を透過色に設定する(ステップS52)。そして、ステップS2で作成された抽出画像を画像記憶部38から読み出し、該抽出画像中の透過色に設定された色を透明化した透過画像を作成し(ステップS53)、画像記憶部38に格納する。
 本態様では、クロマトグラム62の波形線以外を全て透明化することができるので、比較対象である試料1のクロマトグラム61に該波形線のみを重畳させることができる。これにより、例えば波形処理の結果としてクロマトグラム62の波形線の近傍に付与された画像等が比較の邪魔になる場合に、これを除外することができる。

 なお、ステップS33、S44、S53にて透過画像を作成する際、透過色以外の色を有する、すなわち透明化されなかった画素を所定の色に変換する構成とすることが好ましい。変換の方法は、例えば「赤色」に変換する場合、各画素のコントラスト指標(R+G+B値)が大きければ大きいほど赤色(R=255, G=B=0)に近く、小さいと白色(R=G=B=0)に近くなるように変換する方法がある。これにより、ユーザは重畳する2つのクロマトグラムの波形を識別しやすくなり、画面を一瞥しただけでこれらを容易に比較することが可能となる。上記所定の色は、比較対象のクロマトグラムと容易に識別可能な色に設定されることが好ましく、予め設定されていてもよいし、ユーザが任意に設定可能であってもよい。
 また、ステップS33、S44、S53では、透明化処理によって作成した画像を透過画像として、抽出画像とは別に保存する構成としているが、これは後述するマーカ検出処理において有用である。

 再び図2のフローチャートを参照して説明を行う。上述した3つの透明化処理のいずれかが実行されると、リスト制御部34が透過画像リストをモニタ14の画面上に表示させる(ステップS4)。このときのモニタ14による画面表示例を図8に示す。透過画像リスト800は、貼付可能な透過画像をユーザに視認させ、またその選択操作を受け付けるためのGUI(Graphical User Interface)であり、ステップS3にて作成された透過画像のサムネイル801をリスト内に含む。同図では、ステップS3にて図5に示す透明化処理が実行され、試料2のクロマトグラム62の波形線以外が全て透明化された場合を例として示している。
 図8に示すように、リスト制御部34は、画像記憶部38に記憶されている複数の透過画像のサムネイルを透過画像リスト800内に表示させてもよい。その場合には、ユーザが貼付を所望する透過画像を透過画像リスト800から任意に選択できる構成とすることが好ましい。例えば、複数のサムネイルのいずれかをカーソル66でクリックすることで選択可能としてもよい。また、各透過画像を識別可能なように、ステップS2にてユーザが入力した名称等をタグ802としてサムネイル801に付してもよい。透過画像リスト800及びサムネイル801の表示サイズはユーザにとっての利便性を考慮して適宜設定・変更されればよい。透過画像リスト800は、サムネイル801を表示せず、ステップS2にてユーザが入力した名称等のみを表示する構成としてもよい。また、透過画像リスト800は、ユーザ操作により表示と非表示を任意に切り替えられる構成とすることが好ましい。

 次に、領域決定部31が貼付領域を決定する(ステップS5)。本ステップにおける貼付領域の決定方法の一例を図8に示す。図8は、貼付領域が決定される際のモニタ14の画面表示例である。
 ユーザは、試料1のクロマトグラム61を含むように、矩形領域の左上の頂点83と、右下の頂点84とをカーソル66で順にクリックする。領域決定部31は、2頂点83及び84の画面上の座標値に基づき、貼付領域85を決定する。

 次に、マーカ検出部36が、透過画像及び貼付領域85のマーカ(基準点)をそれぞれ検出する(ステップS6)。ここでのマーカとは、位置合わせの基準となる点であり、本実施形態では、図6及び図8に示すクロマトグラム62及び61の縦軸の伸張方向の端部67及び87に対応する点を第1マーカ、横軸の伸張方向の端部68及び88に対応する点を第2マーカとする。マーカ検出部36による検出は画像認識によって行われてもよい。具体的には、モニタ14の画面を表す座標系のX軸及びY軸にそれぞれ平行な2本の線分が、一方の端部(典型的にはX方向の始点及びY方向の終点)を共有する場合に、該2本の線分をクロマトグラムの横軸及び縦軸と認識し、他方の2つの端部に対応する点をマーカと定める構成とすることができる。別の例として、抽出領域65及び貼付領域75を指定する際のユーザのクリック位置である、左上の頂点63及び83、右下の頂点64及び84をそれぞれマーカとしてもよい。また別の例として、クロマトグラムの横軸や縦軸が透過画像及び添付領域に全く含まれない場合でも、それらに含まれるクロマトグラムの波形線(例:連続する所定色の線として画像認識できる)を判断し、その波形線の一番上端のY座標(上下方向)をYmax、一番下端のY座標をYmin、一番右端のX座標(左右方向)をXmax、一番左端のX座標をXmin として、左上の頂点座標(Xmin,Ymax)、右下の頂点(Xmax,Ymin)をマーカとしてもよい。
 ここで、透過画像のマーカの検出は、画像記憶部38に格納されている透明化処理前の抽出画像に対して上記のような軸の端部等の検出を行った後、対応する透過画像中の点をマーカとすることで行われてもよい。このように構成することで、画像認識によってマーカ検出を行う場合に、検出の手がかりとなる画像情報(上述の例ではクロマトグラム62の縦軸及び横軸)がステップS3の透明化処理によって失われていても、透過画像に含まれるマーカを検出することができる。

 続いて、画像貼付部37はマーカ間の位置関係が一致するか否かを判定する(ステップS7)、一致する場合には貼付領域85上のマーカが一致する位置に透過画像を貼付する(ステップS9)。具体的には、ステップS7において、画像貼付部37は、ステップS6にて検出した透過画像の第2マーカの相対座標を(Xa,Ya)、貼付領域85の第2マーカの相対座標を(Xb,Yb)としたとき、Xa=XbとYa=Ybの両方が成立するか否かを判定する。ここでの相対座標とは、第1マーカを基点(0,0)とした場合の第2マーカの座標である。両者の第2マーカの相対座標が一致した場合(ステップS7でYes)、画像貼付部37は、第1、第2マーカがそれぞれ一致する位置にて、透過画像を最前面に表示させる。

 このときのモニタ14の画面表示例を図9に示す。図9は、透過画像90が貼付された後のモニタ14の画面表示例である。同図では、試料1のクロマトグラム61に、試料2のクロマトグラム62の波形線以外が透明化された透過画像90が重畳している。なお、透過画像90はステップS53にて色の変換が行われており、同図では便宜上、波形線を点線で示す。貼付された透過画像90は、一般的なアプリケーションウィンドウと同様に、ユーザ操作によってモニタ14の画面上で任意に位置や大きさを変更可能であってもよく、また消去(貼付の取り消し)が可能であることが好ましい。透過画像90の画面上からの消去は、透過画像リスト800上でサムネイル801をユーザが再びクリックすることで行われてもよい。別の例として、透過画像リスト800上でサムネイル801の近傍に貼付(表示)ボタン及び消去(非表示)ボタンを設け、これらに対するユーザ入力に応じて透過画像90の表示と非表示とを切り替える構成としてもよい。
 リスト制御部34は、どの透過画像が貼付されたかをユーザが認識しやすいよう、透過画像リスト800上で、直前に貼付された透過画像のサムネイル801に貼付確定マーク803を付して表示させてもよい。

 一方、第2マーカが一致しなかった場合(ステップS7でNo)、画像貼付部37は、マーカ間の位置関係が一致するように透過画像を補正する(ステップS8)。具体的には、画像貼付部37は、透過画像の第2マーカの相対座標(Xa,Ya)と貼付領域85の第2マーカの相対座標(Xb,Yb)とに基づき、Xb/XaとYb/Yaとをそれぞれ算出する。そして、透過画像に対して、X軸方向にXb/Xa倍、Y軸方向にYb/Ya倍の拡大を行う。
 この拡大率が0以上1未満であれば透過画像は縮小される。また、X軸方向とY軸方向とで拡大率が異なる場合には、透過画像の形状(縦横比)が補正されることになる。すなわち、貼付領域75に含まれる第1マーカと第2マーカとの位置関係によっては、透過画像がX軸方向に拡大され、Y軸方向に縮小されるということも起こり得る。
 透過画像の補正が完了すれば、ステップS9に移行し、第1、第2マーカがそれぞれ一致する位置にて、透過画像を最前面に表示させる(ステップS9)。

 本実施形態は、ステップS7~S8の処理を設けることで、様々な態様で表示された画像同士の比較を容易とすることができる。例として、図10に示すように、比較したい2つのクロマトグラムの表示サイズが異なる場合を考える。この場合も、縦軸の伸張方向の端部167及び187に対応する点を第1マーカ、横軸の伸張方向の端部168及び188に対応する点を第2マーカとし、これらのマーカの相対座標一致させる補正処理により、2つのクロマトグラム161及び162の大きさを揃えて図9に示すような重畳画像を得ることができる。

 上記では、画像貼付部37は透過画像と貼付領域85との第1、第2マーカがモニタ14の画面上でそれぞれ一致するように該透過画像を貼付する構成として説明したが、画面上での各マーカの一致は必須ではない。例えば、画面の最前面に表示された透過画像をユーザがドラッグ等により手動で移動させ、貼付領域85と重畳させる構成としてもよい。

 また、領域決定部31は、ユーザが手動で選択した矩形領域をそれぞれ抽出領域65及び165、透過領域75、並びに貼付領域85及び185等として決定する構成として説明した。しかし、領域決定部31は、ユーザによって予め設定された規則に従って上記の各領域を定めてもよい。
 例えば抽出領域65、165、及び貼付領域85、185の決定に際し、「クロマトグラムを自動的に選択する」という規則を定める場合を想定する。このときの領域決定部31による内部処理としては、ステップS51やステップS6の説明にて例示したような画像認識処理を用いることができる。すなわち、画面上のクロマトグラムの波形線や該クロマトグラムの横軸及び縦軸を検出し、該クロマトグラムを含むように抽出領域65、165、及び貼付領域85、185を決定することができる。
 透過領域75についても、例えば「軸、目盛線及び軸ラベルを透明化する」という規則を定めることができる。具体的には、上記のようにクロマトグラムの軸を検出し、該軸に接する線分や、軸の近傍の波形線以外の曲線を、それぞれ目盛線や軸ラベルの文字列と認識し、軸、目盛線及び軸ラベルを一部含み、且つ波形線を含まない透過領域75を決定することができる。
 また別の方法として、ユーザが画面上クロマトグラムの線部周辺をクリック、またはクリックアンドドラッグ操作によりマウスカーソルの軌跡を画面上クロマトグラムに交差させる操作を行ったときに、そこから連続する所定色の線をクロマトグラム波形線として抽出する画像処理により、クロマトグラム領域を決定することもできる。

 また、抽出領域65、165と、貼付領域85、185とは、必ずしもモニタ14の画面上の異なる領域である必要はない。領域決定部31は、2つの領域の決定時点が時系列上で区分可能であれば、これらを別個の領域として処理することができる。また、透過画像は抽出領域65、165の決定後に自動的に作成されて画像記憶部38に格納されるので、比較される2つのクロマトグラムはモニタ14の画面上に同時に表示されていなくとも構わない。

 本実施形態の応用例として、貼付領域85上に貼付された透過画像90を分析レポートに含める方法について以下に説明する。
 分析データ解析用コンピュータは、作成する分析レポートを所定の編集画面上で編集できる構成となっているものが一般的である。この編集画面上で上述したような貼付によって複数のクロマトグラムを重畳させた状態で、ユーザは、画像の分析レポートへの埋め込みを指示する操作(例えば所定のボタンのクリック)を行う。画像比較プログラム21は、透過画像及び貼付領域の両方を包含する最小領域を算出し、該領域内の画像を画像記憶部38に格納し、編集画面にその画像情報を埋め込む。埋め込みの方法としては、例えばビットマップ画像として保存し、その保存先を編集画面に記述する方法がある。

 上述の実施形態では、説明の簡略化のためにごく限られた状況や構成のみを例示したが、本発明は特許請求の範囲内で様々な修正、変更及び組み合わせが可能である。
 例えば、比較する画像がクロマトグラムである例について説明を行ったが、この他にもスペクトル等、分析データをグラフとして表現した画像であれば本発明は適用可能である。
 また、抽出領域65、165、貼付領域85、185、及び透過領域75の決定に際し、ユーザが各矩形領域の左上と右下の頂点を順にクリックする構成として説明したが、各矩形領域はドラッグアンドドロップ操作によって決定されてもよい。
 また、ステップS9では、透過画像と貼付領域85、185とでマーカを一致させる構成として説明したが、別の例として、貼付領域85、185のマーカから所定方向に予め規定された画素数分離れた位置に、透過画像のマーカを合わせる構成としてもよい。
 また、ステップS33、S44、S53において、透過画像が作成される際に透過色以外の色を変換する構成について説明したが、色の変換は透過画像の作成時でなく、貼付時に変換される構成としてもよい。

1…画像比較システム
21…画像比較プログラム
31…領域決定部
32…画像抽出部
33…透明化処理部
36…マーカ検出部
37…画像貼付部
38…画像記憶部
61、161…貼付領域内のクロマトグラム
62、72、162…抽出領域内のクロマトグラム
65、165…抽出領域
75…透過領域
85、185…貼付領域
90…透過画像

Claims (6)

  1.  表示部の画面上に表示される複数の画像を重畳させて比較するための画像比較システムであって、
     a) 使用者の指示に従い、前記画面上の第1の領域及び第2の領域を決定する領域決定手段と、
     b) 前記領域決定手段により決定された前記第1の領域内のキャプチャ画像を、抽出画像として記憶領域に保存する抽出手段と、
     c) 前記抽出手段が保存した前記抽出画像に対し、該抽出画像に含まれる全ての色のうち所定の一部の色を透明化する透明化処理を実行する透明化処理手段と、
     d) 前記透明化処理手段による透明化処理がなされた前記抽出画像に含まれる2つの基準点の位置関係が、前記領域決定手段により決定された前記第2の領域に含まれる2つの基準点の位置関係と一致するように、前記抽出画像を拡大及び/又は縮小して、前記画面上で最前面に表示させる表示制御手段と、
     を備えることを特徴とする画像比較システム。
  2.  前記表示制御手段は、前記抽出画像と前記第2の領域とにそれぞれ2つ含まれる前記基準点が前記画面上で一致するように、前記抽出画像を前記第2の領域上に表示させることを特徴とする請求項1に記載の画像比較システム。
  3.  前記透明化処理手段は、前記抽出画像中で最も画素数が多い色を透明化することを特徴とする請求項1又は2に記載の画像比較システム。
  4.  前記領域決定手段はさらに、前記第1の領域に含まれる部分領域を決定し、
     前記透明化処理手段は、前記領域決定手段により決定された前記部分領域に含まれる全ての色を透明化することを特徴とする請求項1に記載の画像比較システム。
  5.  前記透明化処理手段はさらに、前記透明化処理において前記抽出画像の周縁部の近傍を透明化することを特徴とする請求項1~4のいずれかに記載の画像比較システム。
  6.  表示部の画面上に表示される複数の画像を重畳させて比較するための画像比較方法であって、
     a) 使用者の指示に従い、前記画面上の所定の領域を第1の領域として決定する第1の領域決定ステップと、
     b) 前記第1の領域決定ステップにて決定された第1の領域内のキャプチャ画像を、抽出画像として記憶領域に保存する抽出ステップと、
     c) 前記抽出ステップにて保存した前記抽出画像に対し、該抽出画像に含まれる全ての色のうち所定の一部の色を透明化する透明化処理を実行する透明化処理ステップと、
     d) 使用者の指示に従い、前記画面上の所定の領域を第2の領域として決定する第2の領域決定ステップと、
     e) 前記透明化処理ステップにて透明化処理がなされた前記抽出画像に含まれる2つの基準点の位置関係が、前記第2の領域決定ステップにて決定された前記第2の領域に含まれる2つの基準点の位置関係と一致するように、前記抽出画像を拡大及び/又は縮小して、前記画面上で最前面に表示させる表示制御ステップと、
     を含むことを特徴とする画像比較方法。
PCT/JP2014/050567 2014-01-15 2014-01-15 画像比較システム WO2015107635A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/050567 WO2015107635A1 (ja) 2014-01-15 2014-01-15 画像比較システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014050567A JPWO2015107635A1 (ja) 2014-01-15 2014-01-15 画像比較システム
PCT/JP2014/050567 WO2015107635A1 (ja) 2014-01-15 2014-01-15 画像比較システム

Publications (1)

Publication Number Publication Date
WO2015107635A1 true WO2015107635A1 (ja) 2015-07-23

Family

ID=53542557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/050567 WO2015107635A1 (ja) 2014-01-15 2014-01-15 画像比較システム

Country Status (2)

Country Link
JP (1) JPWO2015107635A1 (ja)
WO (1) WO2015107635A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525728A (en) * 2014-02-27 2015-11-04 Mckesson Financial Holdings Method and apparatus for comparing portions of a waveform

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04337880A (en) * 1991-05-15 1992-11-25 Hitachi Ltd Graph display support method
JP2008104695A (ja) * 2006-10-26 2008-05-08 Toshiba Corp 超音波診断装置、画像処理装置、及び画像処理プログラム
JP2010054318A (ja) * 2008-08-28 2010-03-11 Shimadzu Corp 分析処理画像表示装置及び分析処理画像表示システム
JP2011118005A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2011233122A (ja) * 2010-04-23 2011-11-17 Breathe Co Ltd 画像比較検証システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04337880A (en) * 1991-05-15 1992-11-25 Hitachi Ltd Graph display support method
JP2008104695A (ja) * 2006-10-26 2008-05-08 Toshiba Corp 超音波診断装置、画像処理装置、及び画像処理プログラム
JP2010054318A (ja) * 2008-08-28 2010-03-11 Shimadzu Corp 分析処理画像表示装置及び分析処理画像表示システム
JP2011118005A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2011233122A (ja) * 2010-04-23 2011-11-17 Breathe Co Ltd 画像比較検証システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525728A (en) * 2014-02-27 2015-11-04 Mckesson Financial Holdings Method and apparatus for comparing portions of a waveform
US9646395B2 (en) 2014-02-27 2017-05-09 Change Healthcare Llc Method and apparatus for comparing portions of a waveform

Also Published As

Publication number Publication date
JPWO2015107635A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP3909554B2 (ja) プレゼンテーション制御システム及びその制御方法
US9274646B2 (en) Method and apparatus for selecting text information
US20040001627A1 (en) Writing guide for a free-form document editor
Rohatgi WebPlotDigitizer
US7036077B2 (en) Method for gestural interpretation in a system for selecting and arranging visible material in document images
US20180024719A1 (en) User interface systems and methods for manipulating and viewing digital documents
EP1510962A1 (en) Metadata extraction from designated document areas
US6683631B2 (en) System and method for selecting and deselecting information in an electronic document
US20020141643A1 (en) Method for creating and operating control systems
US9612670B2 (en) Explicit touch selection and cursor placement
EP2284680A2 (en) User interface systems and methods for manipulating and viewing digital documents
US20140143721A1 (en) Information processing device, information processing method, and computer program product
US8823726B2 (en) Color balance
JP4756876B2 (ja) 画像表示制御装置、画像表示制御方法、プログラム、及び記憶媒体
US9619104B2 (en) Interactive input system having a 3D input space
US7634718B2 (en) Handwritten information input apparatus
US20100295806A1 (en) Display control apparatus, display control method, and computer program
US6600500B1 (en) Multi-window display system and method for displaying and erasing window
JP2015518588A (ja) 複数の画像プロパティを修正するための一体型スライダコントロール
US7770130B1 (en) Non-distracting temporary visual clues for scrolling
AU3402399A (en) Pen based edit correction interface method and apparatus
US20120206475A1 (en) Color waveform
WO2007061057A1 (ja) ジェスチャー入力装置、及び方法
US9275046B2 (en) Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US7373593B2 (en) Apparatus and method for automatically setting constraints within a document layout

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878517

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase in:

Ref document number: 2015557621

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14878517

Country of ref document: EP

Kind code of ref document: A1