JP7209968B2 - 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム - Google Patents

Description

本開示の技術は、画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムに関する。

病理診断において、病理専門医は、例えばヘマトキシリンとエオシンで染色された生体標本を光学顕微鏡で観察し、生体組織の性状に応じた領域の一例として癌領域を判定する。病理専門医は、必要に応じて生体標本の光学顕微鏡画像を撮影し、生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業の一例として、判定した癌領域と非癌領域とを塗り分けるアノテーション作業を光学顕微鏡画像に対して行う。以下、アノテーション作業を光学顕微鏡画像に対して行うことで作成された画像を、アノテーション画像という。

一方で、特許文献１に記載の表面増強ラマン散乱（以下、ＳＥＲＳ（Ｓｕｒｆａｃｅ－Ｅｎｈａｎｃｅｄ Ｒａｍａｎ Ｓｃａｔｔｅｒｉｎｇ）と略す）測定装置に代表されるラマン散乱測定装置が知られている。最近、こうしたラマン散乱測定装置を病理診断に役立てるための研究が進められている。

特開２０１６－１５３７４０号公報

本発明者は、非染色の生体標本をラマン散乱測定装置で測定し、これにより得られたラマンスペクトルデータ群に基づいて、生体組織の性状に応じた領域をコンピュータで判定する仕組みの構築を検討している。ここで、ラマンスペクトルデータ群は、生体標本の少なくとも一部である非染色の測定領域を二次元走査して得られるデータ群であり、測定領域内の複数の測定位置の各々に対応する複数のラマンスペクトルデータの集合である。

上記の生体組織の性状に応じた領域をコンピュータで判定する仕組みの構築に際して、アノテーション画像を、簡単かつ高精度にラマンスペクトルデータ群に関連付けたい、という要望があった。

本開示の技術は、アノテーション画像を、簡単かつ高精度にラマンスペクトルデータ群に関連付けることが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供することを目的とする。

上記目的を達成するために、本開示の画像処理装置は、生体標本の少なくとも一部である非染色の測定領域をラマン散乱測定装置によって二次元走査して得られた、第１座標系で表されるラマンスペクトルデータ群を取得する第１取得部と、ラマン散乱測定装置に備え付けの第１光学顕微鏡によって、少なくとも測定領域が非染色である生体標本を撮影した、第１座標系で表される第１光学顕微鏡画像を取得する第２取得部と、少なくとも測定領域が色素で染色された生体標本を第２光学顕微鏡で撮影した、第１座標系とは異なる第２座標系で表される第２光学顕微鏡画像を取得する第３取得部と、生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業を第２光学顕微鏡画像に対して行うことで作成された、第２座標系で表されるアノテーション画像を取得する第４取得部と、第１光学顕微鏡画像および第２光学顕微鏡画像に基づいて、第１座標系と第２座標系の座標変換行列を導出する導出部と、座標変換行列を用いてアノテーション画像を座標変換し、ラマンスペクトルデータ群に対応する対応アノテーション画像を生成する生成部と、ラマンスペクトルデータ群に対応アノテーション画像を関連付ける関連付け処理部と、を備える。

第１光学顕微鏡画像の画像特徴量である第１特徴量を算出する第１算出部と、第２光学顕微鏡画像の画像特徴量である第２特徴量を算出する第２算出部と、第１特徴量と第２特徴量が設定条件を満たす対応点を、第１光学顕微鏡画像および第２光学顕微鏡画像の各々から抽出する抽出部とを備え、導出部は、対応点に基づいて座標変換行列を導出することが好ましい。

抽出部において抽出した対応点からノイズである外れ点を除外する処理を実施する除外処理部を備え、導出部は、外れ点除外後の対応点に基づいて座標変換行列を導出することが好ましい。

第１光学顕微鏡画像および第２光学顕微鏡画像の各々において、同じ箇所であると推定される３つ以上の点のユーザの指定を受け付ける受付部を備え、導出部は、受付部において受け付けた３つ以上の点に基づいて座標変換行列を導出することが好ましい。

生成部は、座標変換後のアノテーション画像に対して、測定領域に合わせた切り出し処理を実施することで、対応アノテーション画像を生成することが好ましい。

生成部は、座標変換後のアノテーション画像に対して、ラマンスペクトルデータ群の解像度に合わせた解像度変換処理を実施することで、対応アノテーション画像を生成することが好ましい。

ラマンスペクトルデータ群は、表面増強ラマン散乱測定装置で測定されたものであることが好ましい。

本開示の画像処理装置の作動方法は、生体標本の少なくとも一部である非染色の測定領域をラマン散乱測定装置によって二次元走査して得られた、第１座標系で表されるラマンスペクトルデータ群を取得する第１取得ステップと、ラマン散乱測定装置に備え付けの第１光学顕微鏡によって、少なくとも測定領域が非染色である生体標本を撮影した、第１座標系で表される第１光学顕微鏡画像を取得する第２取得ステップと、少なくとも測定領域が色素で染色された生体標本を第２光学顕微鏡で撮影した、第１座標系とは異なる第２座標系で表される第２光学顕微鏡画像を取得する第３取得ステップと、生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業を第２光学顕微鏡画像に対して行うことで作成された、第２座標系で表されるアノテーション画像を取得する第４取得ステップと、第１光学顕微鏡画像および第２光学顕微鏡画像に基づいて、第１座標系と第２座標系の座標変換行列を導出する導出ステップと、座標変換行列を用いてアノテーション画像を座標変換し、ラマンスペクトルデータ群に対応する対応アノテーション画像を生成する生成ステップと、ラマンスペクトルデータ群に対応アノテーション画像を関連付ける関連付け処理ステップと、を備える。

本開示の画像処理装置の作動プログラムは、生体標本の少なくとも一部である非染色の測定領域をラマン散乱測定装置によって二次元走査して得られた、第１座標系で表されるラマンスペクトルデータ群を取得する第１取得部と、ラマン散乱測定装置に備え付けの第１光学顕微鏡によって、少なくとも測定領域が非染色である生体標本を撮影した、第１座標系で表される第１光学顕微鏡画像を取得する第２取得部と、少なくとも測定領域が色素で染色された生体標本を第２光学顕微鏡で撮影した、第１座標系とは異なる第２座標系で表される第２光学顕微鏡画像を取得する第３取得部と、生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業を第２光学顕微鏡画像に対して行うことで作成された、第２座標系で表されるアノテーション画像を取得する第４取得部と、第１光学顕微鏡画像および第２光学顕微鏡画像に基づいて、第１座標系と第２座標系の座標変換行列を導出する導出部と、座標変換行列を用いてアノテーション画像を座標変換し、ラマンスペクトルデータ群に対応する対応アノテーション画像を生成する生成部と、ラマンスペクトルデータ群に対応アノテーション画像を関連付ける関連付け処理部として、コンピュータを機能させる。

本開示の技術によれば、アノテーション画像を、簡単かつ高精度にラマンスペクトルデータ群に関連付けることが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供することができる。

ＳＥＲＳ測定装置、光学顕微鏡装置、および画像処理装置を示す図である。 図１で説明した処理の手順を示すフローチャートである。 第１光学顕微鏡画像を示す図である。 ラマンスペクトルデータを示す図である。 ラマンスペクトルデータ群から特定の波数におけるＳＥＲＳ画像を生成する様子を示す図である。 第２光学顕微鏡画像を示す図である。 アノテーション画像を示す図である。 画像処理装置のＣＰＵのブロック図である。 処理部のブロック図である。 除外処理部により外れ点を除外する様子を示す図である。 座標変換行列を示す図である。 座標変換逆行列を示す図である。 生成部のブロック図である。 切り出し処理部による切り出し処理の様子を示す図である。 解像度変換処理部による解像度変換処理の様子を示すである。 画像処理装置の処理の手順を示すフローチャートである。 第１光学顕微鏡画像および第２光学顕微鏡画像の各々において、同じ箇所であると推定される３つ以上の点のユーザの指定を受け付け、受け付けた３つ以上の点に基づいて座標変換行列を導出する第２実施形態を示す図である。

［第１実施形態］
図１において、本開示の技術に係る「ラマン散乱測定装置」の一例であるＳＥＲＳ測定装置１０は、生体標本ＢＳを試料とし、生体標本ＢＳの生体組織の性状に応じた領域を判定するための病理診断に用いられる。生体標本ＢＳは、例えば、癌が疑われる生体（ヒト、マウス等）の組織の一部を、メス等で切除して得られた組織切片である。ＳＥＲＳ測定装置１０では、ヘマトキシリンとエオシンといった色素で染色される前の生体標本ＢＳが用いられる。以下、この非染色の生体標本ＢＳを、生体標本ＢＳ＿ＮＳと表記する。

ＳＥＲＳ測定装置１０は、光電場増強基板１１と、測定部１２と、第１光学顕微鏡１３とを備えている。光電場増強基板１１上には、生体標本ＢＳ＿ＮＳが配置される。光電場増強基板１１は、局在プラズモン共鳴を誘起する微細な金属凹凸構造を備えている。光電場増強基板１１は、この金属凹凸構造の局在プラズモン共鳴による光電場増強効果を利用して、生体標本ＢＳ＿ＮＳからの微弱なラマン散乱光ＲＳＬを増強する。

金属凹凸構造は、例えば、金、銀、銅、アルミニウム、白金等で形成される。また、金属凹凸構造は、例えば、凸部の頂点から隣接する凹部の底点までの距離の平均が２００ｎｍ以下、隣接する凸部の頂点の間隔の平均が２００ｎｍ以下である。

なお、生体標本ＢＳ＿ＮＳは、光電場増強基板１１上に直接配置される訳ではない。例えば特許文献１に記載されているように、生体標本ＢＳ＿ＮＳは、間に液体を挟んで光電場増強基板１１上に配置される。

測定部１２は、生体標本ＢＳ＿ＮＳの少なくとも一部である非染色の測定領域ＭＡ（図３参照）のラマンスペクトルデータ群ＲＳＤＧを測定する。測定領域ＭＡは、病理専門医ＤＲにより設定される。測定部１２は、励起光源２０、コリメートレンズ２１、スプリッター２２、反射鏡２３、対物レンズ２４、ステージ２５、フィルター２６、集光レンズ２７、および分光器２８を有する。

励起光源２０は例えば半導体レーザー光源であり、励起光ＥＬを発する。コリメートレンズ２１は、励起光ＥＬを平行光化する。スプリッター２２は、コリメートレンズ２１で平行光化された励起光ＥＬを、反射鏡２３に向けて反射する。反射鏡２３は、スプリッター２２からの励起光ＥＬを対物レンズ２４に向けて反射する。対物レンズ２４は、励起光ＥＬを生体標本ＢＳ＿ＮＳに集光する。ステージ２５は、紙面に垂直な方向と横方向とに移動可能である。このステージ２５が２方向に移動されることで、測定領域ＭＡに対して励起光ＥＬが二次元走査される。

また、対物レンズ２４は、励起光ＥＬの照射により生体標本ＢＳ＿ＮＳから発せられたラマン散乱光ＲＳＬを平行光化して反射鏡２３に導く。反射鏡２３は、ラマン散乱光ＲＳＬをスプリッター２２に向けて反射する。スプリッター２２は、ラマン散乱光ＲＳＬを透過してフィルター２６に導く。フィルター２６は、ラマン散乱光ＲＳＬに含まれる励起光ＥＬをカットする。集光レンズ２７は、フィルター２６で励起光ＥＬがカットされたラマン散乱光ＲＳＬを分光器２８に集光する。分光器２８は、ラマン散乱光ＲＳＬを検出してラマンスペクトルデータＲＳＤ（図４参照）を出力する。

ラマンスペクトルデータＲＳＤは、測定領域ＭＡ内の複数の測定位置ＭＰ（図４参照）の各々に対して出力される。ラマンスペクトルデータ群ＲＳＤＧは、この複数の測定位置ＭＰの各々に対応する複数のラマンスペクトルデータＲＳＤの集合である。ラマンスペクトルデータ群ＲＳＤＧは、ＳＥＲＳ測定装置１０から画像処理装置３０に送信される。

第１光学顕微鏡１３は、光電場増強基板１１上の生体標本ＢＳ＿ＮＳを撮影し、第１光学顕微鏡画像ＭＩ＿１を出力する。第１光学顕微鏡画像ＭＩ＿１は、ラマンスペクトルデータ群ＲＳＤＧとともに、ＳＥＲＳ測定装置１０から画像処理装置３０に送信される。この際、第１光学顕微鏡画像ＭＩ＿１とラマンスペクトルデータ群ＲＳＤＧとの位置関係を記録した情報も併せて画像処理装置３０に送信される。

光学顕微鏡装置３１は、ＳＥＲＳ測定装置１０と同様に、生体標本ＢＳを試料とし、病理診断に用いられる。ただし、光学顕微鏡装置３１では、色素で染色された生体標本ＢＳが用いられる。以下、この色素で染色された生体標本ＢＳを、非染色の生体標本ＢＳ＿ＮＳと区別するために、生体標本ＢＳ＿Ｓと表記する。

光学顕微鏡装置３１は、ステージ３２および第２光学顕微鏡３３を有する。ステージ３２には、生体標本ＢＳ＿Ｓが載置される。第２光学顕微鏡３３は、ステージ３２上の生体標本ＢＳ＿Ｓを撮影し、第２光学顕微鏡画像ＭＩ＿２を出力する。第２光学顕微鏡画像ＭＩ＿２は、第２光学顕微鏡３３から画像処理装置３０に送信される。

病理専門医ＤＲは、光学顕微鏡装置３１を用いて生体標本ＢＳ＿Ｓを観察し、生体組織の性状に応じた領域の一例として、癌領域を判定する。そして、生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業の一例として、判定した癌領域と非癌領域とを塗り分けるアノテーション作業を第２光学顕微鏡画像ＭＩ＿２に対して行う。アノテーション作業の履歴はベクトルデータ（ベクターデータともいう）で座標が保存されているが、このベクトルデータから画像を生成したものをアノテーション画像ＡＩとする。アノテーション画像ＡＩは、病理専門医ＤＲの手で画像処理装置３０に送信される。なお、アノテーション作業は、上記のように病理専門医ＤＲ等が手動で生体組織をその性状に応じた複数の領域に塗り分ける作業に加えて、コンピュータにて第２光学顕微鏡画像ＭＩ＿２を画像解析して生体組織の性状に応じた領域を判定し、コンピュータにて生体組織をその性状に応じた複数の領域に塗り分ける場合も含む。

なお、測定領域ＭＡ、生体組織の性状に応じた領域の「領域」とは、生体標本ＢＳ上の領域である。第１光学顕微鏡画像ＭＩ＿１、第２光学顕微鏡画像ＭＩ＿２、アノテーション画像ＡＩ等の画像上の「領域」は、測定領域ＭＡ、生体組織の性状に応じた領域の「領域」と区別するため、以下「区域」と表現する。

図１では、ラマンスペクトルデータ群ＲＳＤＧ、第１光学顕微鏡画像ＭＩ＿１、第２光学顕微鏡画像ＭＩ＿２、およびアノテーション画像ＡＩが、画像処理装置３０に直接送信される例を示したが、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して送信されてもよい。

図２は、図１で説明した処理の手順を示すフローチャートである。まず、非染色の生体標本ＢＳ＿ＮＳが光電場増強基板１１上に配置され、ＳＥＲＳ測定装置１０にセットされる（ステップＳＴ１０）。そして、第１光学顕微鏡１３により生体標本ＢＳ＿ＮＳが撮影され、第１光学顕微鏡画像ＭＩ＿１が出力される。第１光学顕微鏡画像ＭＩ＿１は、画像処理装置３０に送信される（ステップＳＴ２０）。

続いて、測定部１２によりラマンスペクトルデータＲＳＤが測定される（ステップＳＴ３０）。測定部１２によって、測定領域ＭＡ内の全測定位置ＭＰのラマンスペクトルデータＲＳＤの測定が終了した後（ステップＳＴ４０でＹＥＳ）、ラマンスペクトルデータ群ＲＳＤＧが画像処理装置３０に送信される（ステップＳＴ５０）。

その後、生体標本ＢＳ＿ＮＳがＳＥＲＳ測定装置１０から取り出される（ステップＳＴ６０）。生体標本ＢＳ＿ＮＳは、色素で染色されて生体標本ＢＳ＿Ｓとされる（ステップＳＴ７０）。

生体標本ＢＳ＿Ｓは、光学顕微鏡装置３１のステージ３２上に載置され、光学顕微鏡装置３１にセットされる（ステップＳＴ８０）。そして、第２光学顕微鏡３３により生体標本ＢＳ＿Ｓが撮影され、第２光学顕微鏡画像ＭＩ＿２が出力される。第２光学顕微鏡画像ＭＩ＿２は、画像処理装置３０に送信される（ステップＳＴ９０）。

病理専門医ＤＲにより、アノテーション作業が第２光学顕微鏡画像ＭＩ＿２に対して行われる（ステップＳＴ１００）。これにより作成されたアノテーション画像ＡＩは、画像処理装置３０に送信される（ステップＳＴ１１０）。

なお、図２で示した処理の手順はあくまでも一例であり、順番を適宜入れ替えてもよい。例えば、ラマンスペクトルデータＲＳＤを測定した後に、第１光学顕微鏡画像ＭＩ＿１を撮影してもよい。また、同じ生体から採取した一連の複数の組織切片の病理診断を行う場合は、以下の手順で行ってもよい。すなわち、第１の組織切片を色素で染色して光学顕微鏡装置３１で観察し、癌領域が存在していそうな箇所に見当をつける。その後、第１の組織切片と隣接する層の第２の組織切片について、第１の組織切片において見当をつけた、癌領域が存在していそうな箇所に測定領域ＭＡを設定し、ラマンスペクトルデータＲＳＤを測定する。この場合は、ＳＥＲＳ測定装置１０によるラマンスペクトルデータＲＳＤの測定よりも、染色および光学顕微鏡装置３１による観察が先になる。

図３に示すように、第１光学顕微鏡画像ＭＩ＿１は、ＳＥＲＳ測定装置１０に固有の第１座標系Ｘ１、Ｙ１で表される。第１光学顕微鏡画像ＭＩ＿１には、生体標本ＢＳ＿ＮＳが映っている。また、第１光学顕微鏡画像ＭＩ＿１には、二点鎖線で示すように、ラマンスペクトルデータ群ＲＳＤＧの測定領域ＭＡを示す座標情報が含まれている。

図４に示すように、ラマンスペクトルデータＲＳＤも、ＳＥＲＳ測定装置１０に固有の第１座標系Ｘ１、Ｙ１で表される。ひいては、ラマンスペクトルデータ群ＲＳＤＧも、第１座標系Ｘ１、Ｙ１で表される。ラマンスペクトルデータＲＳＤは、第１座標系Ｘ１、Ｙ１の座標（Ｘ１ｉ、Ｙ１ｊ）で表される測定領域ＭＡ内の測定位置ＭＰにおける、各波数に対するラマン散乱光ＲＳＬの強度が登録されたデータである。ｉは１～Ｎの自然数、ｊは１～Ｍの自然数であり、Ｎは測定位置ＭＰのＸ１軸方向の個数、Ｍは測定位置ＭＰのＹ１軸方向の個数である。なお、図４の下部に示すグラフＧは、このラマンスペクトルデータＲＳＤの強度を波数毎にプロットして線で繋いだものである。

図５に示すように、各ラマンスペクトルデータＲＳＤの特定の波数におけるラマン散乱光ＲＳＬの強度に、適当な階調値を割り当てることで、特定の波数におけるラマン散乱光ＲＳＬの強度分布を示すＳＥＲＳ画像ＳＩを生成することが可能である。このＳＥＲＳ画像ＳＩも、第１座標系Ｘ１、Ｙ１で表される。なお、図５では、波数２９８ｃｍ^－１におけるＳＥＲＳ画像ＳＩを例示している。

図６に示すように、第２光学顕微鏡画像ＭＩ＿２は、第２光学顕微鏡３３に固有の第２座標系Ｘ２、Ｙ２で表される。第２座標系Ｘ２、Ｙ２は、ＳＥＲＳ測定装置１０に固有の第１座標系Ｘ１、Ｙ１とは異なる座標系である。第２光学顕微鏡画像ＭＩ＿２には、生体標本ＢＳ＿Ｓが映っている。

図７に示すように、第２光学顕微鏡画像ＭＩ＿２に基づいて作成されたアノテーション画像ＡＩも、当然ながら第２座標系Ｘ２、Ｙ２で表される。アノテーション画像ＡＩでは、病理専門医ＤＲが判定した癌領域と非癌領域とが異なる色（例えば癌領域は赤色、非癌領域は白色）で塗り分けられている。

図８において、画像処理装置３０は、ストレージデバイス４０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１とを備える。ストレージデバイス４０は、例えばハードディスクドライブである。ストレージデバイス４０には、作動プログラム４２が記憶されている。作動プログラム４２は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。作動プログラム４２が起動されると、ＣＰＵ４１は、図示しないメモリ等と協働して、第１取得部４５、第２取得部４６、第３取得部４７、第４取得部４８、処理部４９、生成部５０、および関連付け処理部５１として機能する。

第１取得部４５は、ラマンスペクトルデータ群ＲＳＤＧを取得する。第１取得部４５は、取得したラマンスペクトルデータ群ＲＳＤＧを関連付け処理部５１に出力する。第２取得部４６は、第１光学顕微鏡画像ＭＩ＿１を取得する。第２取得部４６は、取得した第１光学顕微鏡画像ＭＩ＿１を処理部４９に出力する。第３取得部４７は、第２光学顕微鏡画像ＭＩ＿２を取得する。第３取得部４７は、取得した第２光学顕微鏡画像ＭＩ＿２を処理部４９に出力する。第４取得部４８は、アノテーション画像ＡＩを取得する。第４取得部４８は、取得したアノテーション画像ＡＩを生成部５０に出力する。

処理部４９は導出部５５を有する（図９も参照）。導出部５５は、第２取得部４６からの第１光学顕微鏡画像ＭＩ＿１、および第３取得部４７からの第２光学顕微鏡画像ＭＩ＿２に基づいて、第１座標系Ｘ１、Ｙ１と第２座標系Ｘ２、Ｙ２の座標変換行列ＭＴＣを導出する。導出部５５は、導出した座標変換行列ＭＴＣを生成部５０に出力する。

生成部５０は、座標変換行列ＭＴＣを用いて、第４取得部４８からのアノテーション画像ＡＩを座標変換し、ラマンスペクトルデータ群ＲＳＤＧに対応する対応アノテーション画像ＡＩ＿Ｃを生成する。生成部５０は、生成した対応アノテーション画像ＡＩ＿Ｃを関連付け処理部５１に出力する。対応アノテーション画像ＡＩ＿Ｃは、ラマンスペクトルデータ群ＲＳＤＧと同じく、第１座標系Ｘ１、Ｙ１で表される画像である（図１５参照）。

関連付け処理部５１は、第１取得部４５からのラマンスペクトルデータ群ＲＳＤＧに、生成部５０からの対応アノテーション画像ＡＩ＿Ｃを関連付ける。具体的には、関連付け処理部５１は、ラマンスペクトルデータ群ＲＳＤＧと対応アノテーション画像ＡＩ＿Ｃとに共通の識別ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ）を付して、これらを関連付ける。関連付け処理部５１は、関連付けたラマンスペクトルデータ群ＲＳＤＧおよび対応アノテーション画像ＡＩ＿Ｃをストレージデバイス４０に記憶させる。

図９において、処理部４９は、前述の導出部５５に加えて、第１算出部６０、第２算出部６１、抽出部６２、および除外処理部６３を有する。

第１算出部６０は、第１光学顕微鏡画像ＭＩ＿１の画像特徴量である第１特徴量Ｆ１を、第１光学顕微鏡画像ＭＩ＿１の画素毎に算出する。第１算出部６０は、算出した第１特徴量Ｆ１を抽出部６２に出力する。一方、第２算出部６１は、第２光学顕微鏡画像ＭＩ＿２の画像特徴量である第２特徴量Ｆ２を、第２光学顕微鏡画像ＭＩ＿２の画素毎に算出する。第２算出部６１は、算出した第２特徴量Ｆ２を抽出部６２に出力する。なお、第１特徴量Ｆ１および第２特徴量Ｆ２としては、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ（ＫＡＺＥは日本語の「風」の意））特徴量、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量、ＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐｐｅｄ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）特徴量、ＯＲＢ（Ｏｒｉｅｎｔｅｄ－ＢＲＩＥＦ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ））特徴量といった、周知の画像特徴量を用いることができる。

抽出部６２は、第１特徴量Ｆ１と第２特徴量Ｆ２が設定条件を満たす第１対応点ＣＰ１および第２対応点ＣＰ２を、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２の各々から抽出する。設定条件は、例えば、対象の画素およびその周囲の隣接する画素の第１特徴量Ｆ１と第２特徴量Ｆ２の差分の絶対値が全て閾値以下であるという条件である。この場合、抽出部６２は、自身の第１特徴量Ｆ１と第２特徴量Ｆ２の差分の絶対値が閾値以下で、かつ周囲の隣接する画素の第１特徴量Ｆ１と第２特徴量Ｆ２の差分の絶対値も閾値以下である、第１光学顕微鏡画像ＭＩ＿１の画素および第２光学顕微鏡画像ＭＩ＿２の画素を、設定条件を満たす第１対応点ＣＰ１および第２対応点ＣＰ２として抽出する。抽出部６２は、抽出した第１対応点ＣＰ１および第２対応点ＣＰ２を除外処理部６３に出力する。

除外処理部６３は、抽出部６２において抽出した第１対応点ＣＰ１および第２対応点ＣＰ２から、ノイズである第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏを除外する処理を実施する。除外処理部６３は、第１外れ点ＣＰ１＿Ｏ除外後の第１対応点ＣＰ１および第２外れ点ＣＰ２＿Ｏ除外後の第２対応点ＣＰ２を導出部５５に出力する。導出部５５は、除外処理部６３からの、第１外れ点ＣＰ１＿Ｏ除外後の第１対応点ＣＰ１および第２外れ点ＣＰ２＿Ｏ除外後の第２対応点ＣＰ２に基づいて、座標変換行列ＭＴＣを導出する。

図１０は、除外処理部６３により第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏを除外する様子を示す。図１０では、抽出部６２によって、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２から計７組の第１対応点ＣＰ１および第２対応点ＣＰ２が抽出された場合を例示している。そして、計７組のうちの２組が、第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏであった場合を例示している。この場合、除外処理部６３は、破線の枠および矢印で示すように、第１対応点ＣＰ１および第２対応点ＣＰ２から、２組の第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏを除外する。なお、除外処理部６３は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）、Ｌ１制約条件付き最小二乗法といった、周知の外れ点除外アルゴリズムを用いて、上記の除外処理を行う。

図１１に示すように、座標変換行列ＭＴＣは、例えば、第１座標系Ｘ１、Ｙ１を第２座標系Ｘ２、Ｙ２に変換するための行列である。座標変換行列ＭＴＣは、具体的にはアフィン変換行列である。座標変換行列ＭＴＣの係数ａ～ｆの数値は、第１対応点ＣＰ１および第２対応点ＣＰ２の位置関係に基づいて、導出部５５により算出される。

座標変換行列ＭＴＣは、前述のように、第１座標系Ｘ１、Ｙ１を第２座標系Ｘ２、Ｙ２に変換するための行列である。このため、図１２に示すように、座標変換行列ＭＴＣの逆行列である座標変換逆行列ＩＭＴＣは、第２座標系Ｘ２、Ｙ２を第１座標系Ｘ１、Ｙ１に変換するための行列となる。したがって、第２座標系Ｘ２、Ｙ２で表されるアノテーション画像ＡＩから、第１座標系Ｘ１、Ｙ１で表される対応アノテーション画像ＡＩ＿Ｃを生成するためには、アノテーション画像ＡＩに座標変換逆行列ＩＭＴＣを乗算すればよい。なお、座標変換行列ＭＴＣは、例示のアフィン変換行列に限らず、ホモグラフィ変換行列等の他の座標変換行列でもよい。

図１３に示すように、生成部５０は、座標変換部７０、切り出し処理部７１、および解像度変換処理部７２を有する。

座標変換部７０は、導出部５５からの座標変換行列ＭＴＣを用いて、第４取得部４８からのアノテーション画像ＡＩを座標変換する。より詳しくは図１２で示したように、座標変換部７０は、アノテーション画像ＡＩに座標変換逆行列ＩＭＴＣを乗算する。座標変換部７０は、こうして第２座標系Ｘ２、Ｙ２から第１座標系Ｘ１、Ｙ１に座標変換したアノテーション画像ＡＩを、切り出し処理部７１に出力する。以下では、第２座標系Ｘ２、Ｙ２から第１座標系Ｘ１、Ｙ１に座標変換したアノテーション画像ＡＩを、座標変換後のアノテーション画像ＡＩ＿Ａと表記する。

切り出し処理部７１は、図１４にも示すように、座標変換後のアノテーション画像ＡＩ＿Ａに対して、ラマンスペクトルデータ群ＲＳＤＧの測定領域ＭＡに合わせた切り出し処理を実施する。図３で示したように、第１光学顕微鏡画像ＭＩ＿１には、測定領域ＭＡを示す座標情報が含まれている。このため、切り出し処理部７１は、第１光学顕微鏡画像ＭＩ＿１に含まれる測定領域ＭＡを示す座標情報を参照して、測定領域ＭＡに対応する、座標変換後のアノテーション画像ＡＩ＿Ａの区域を切り出す。切り出し処理部７１は、切り出し処理により座標変換後のアノテーション画像ＡＩ＿Ａから切り出した切り出し画像ＡＩ＿Ｕを、解像度変換処理部７２に出力する。なお、測定領域ＭＡが生体標本ＢＳ＿ＮＳの全領域にわたる場合は、切り出し処理は省略される。

座標変換後のアノテーション画像ＡＩ＿Ａ、ひいては切り出し画像ＡＩ＿Ｕは、元のアノテーション画像ＡＩの解像度を踏襲している。このため、切り出し画像ＡＩ＿Ｕを対応アノテーション画像ＡＩ＿Ｃとするためには、ラマンスペクトルデータ群ＲＳＤＧの解像度に合わせた解像度変換処理が必要である。そこで、解像度変換処理部７２は、図１５にも示すように、切り出し処理部７１からの切り出し画像ＡＩ＿Ｕに対して、ラマンスペクトルデータ群ＲＳＤＧの解像度に合わせた解像度変換処理を実施し、解像度変換画像ＡＩ＿Ｒとする。解像度変換処理部７２は、解像度変換画像ＡＩ＿Ｒを、対応アノテーション画像ＡＩ＿Ｃとして関連付け処理部５１に出力する。

図１５では、切り出し画像ＡＩ＿Ｕの解像度を、ラマンスペクトルデータ群ＲＳＤＧの解像度に合わせて下げる、いわゆるダウンサンプリングを解像度変換処理として実施した場合を例示している。なお、解像度変換処理としては、ニアレストネイバー法といった周知の方法を用いることができる。

次に、上記構成による作用について、図１６に示すフローチャートを参照して説明する。図８で示したように、作動プログラム４２が起動されると、画像処理装置３０のＣＰＵ４１には、第１取得部４５、第２取得部４６、第３取得部４７、第４取得部４８、処理部４９、生成部５０、および関連付け処理部５１が構築される。

図１および図２で示したように、画像処理装置３０には、ラマンスペクトルデータ群ＲＳＤＧ、第１光学顕微鏡画像ＭＩ＿１、第２光学顕微鏡画像ＭＩ＿２、およびアノテーション画像ＡＩが送信される。

図１６に示すように、ラマンスペクトルデータ群ＲＳＤＧは、第１取得部４５により取得される（ステップＳＴ２００）。ラマンスペクトルデータ群ＲＳＤＧは、第１取得部４５から関連付け処理部５１に出力される。なお、ステップＳＴ２００は、本開示の技術に係る「第１取得ステップ」の一例である。

第１光学顕微鏡画像ＭＩ＿１は、第２取得部４６により取得される（ステップＳＴ２１０）。第１光学顕微鏡画像ＭＩ＿１は、第２取得部４６から処理部４９に出力される。なお、ステップＳＴ２１０は、本開示の技術に係る「第２取得ステップ」の一例である。

第２光学顕微鏡画像ＭＩ＿２は、第３取得部４７により取得される（ステップＳＴ２２０）。第２光学顕微鏡画像ＭＩ＿２は、第３取得部４７から処理部４９に出力される。なお、ステップＳＴ２２０は、本開示の技術に係る「第３取得ステップ」の一例である。

アノテーション画像ＡＩは、第４取得部４８により取得される（ステップＳＴ２３０）。アノテーション画像ＡＩは、第４取得部４８から生成部５０に出力される。なお、ステップＳＴ２３０は、本開示の技術に係る「第４取得ステップ」の一例である。

処理部４９では、第２取得部４６からの第１光学顕微鏡画像ＭＩ＿１、および第３取得部４７からの第２光学顕微鏡画像ＭＩ＿２に基づいて、導出部５５により座標変換行列ＭＴＣが導出される（ステップＳＴ２４０）。

より詳しくは、図９および図１０で示したように、第１算出部６０によって、第１光学顕微鏡画像ＭＩ＿１の画像特徴量である第１特徴量Ｆ１が算出される。また、第２算出部６１によって、第２光学顕微鏡画像ＭＩ＿２の画像特徴量である第２特徴量Ｆ２が算出される。そして、抽出部６２によって、第１特徴量Ｆ１と第２特徴量Ｆ２が設定条件を満たす第１対応点ＣＰ１および第２対応点ＣＰ２が、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２の各々から抽出される。こうして第１特徴量Ｆ１および第２特徴量Ｆ２を算出し、第１対応点ＣＰ１および第２対応点ＣＰ２を抽出することで、正確な座標変換を行える座標変換行列ＭＴＣを導出することができる。

その後、除外処理部６３によって、抽出部６２において抽出された第１対応点ＣＰ１および第２対応点ＣＰ２から第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏを除外する処理が実施される。座標変換行列ＭＴＣは、第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏ除外後の第１対応点ＣＰ１および第２対応点ＣＰ２に基づいて導出される。座標変換行列ＭＴＣは、導出部５５から生成部５０に出力される。

こうして第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏを除外する処理を実施し、第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏ除外後の第１対応点ＣＰ１および第２対応点ＣＰ２に基づいて座標変換行列ＭＴＣを導出することで、さらに正確な座標変換を行える座標変換行列ＭＴＣを導出することができる。なお、ステップＳＴ２４０は、本開示の技術に係る「導出ステップ」の一例である。

生成部５０では、ラマンスペクトルデータ群ＲＳＤＧに対応する対応アノテーション画像ＡＩ＿Ｃが生成される（ステップＳＴ２５０）。

より詳しくは、図１３～図１５で示したように、座標変換部７０によって、座標変換行列ＭＴＣを用いてアノテーション画像ＡＩが座標変換される。次いで、切り出し処理部７１によって、座標変換後のアノテーション画像ＡＩ＿Ａに対して、測定領域ＭＡに合わせた切り出し処理が実施され、切り出し画像ＡＩ＿Ｕが生成される。これにより、測定領域ＭＡに合った画像を、対応アノテーション画像ＡＩ＿Ｃとすることができる。

さらに、解像度変換処理部７２によって、切り出し画像ＡＩ＿Ｕに対して、ラマンスペクトルデータ群ＲＳＤＧの解像度に合わせた解像度変換処理が実施され、対応アノテーション画像ＡＩ＿Ｃ（解像度変換画像ＡＩ＿Ｒ）が生成される。対応アノテーション画像ＡＩ＿Ｃは、解像度変換処理部７２から関連付け処理部５１に出力される。これにより、ラマンスペクトルデータ群の解像度に合った画像を、対応アノテーション画像ＡＩ＿Ｃとすることができる。なお、ステップＳＴ２５０は、本開示の技術に係る「生成ステップ」の一例である。

関連付け処理部５１では、第１取得部４５からのラマンスペクトルデータ群ＲＳＤＧに、生成部５０からの対応アノテーション画像ＡＩ＿Ｃが関連付けられる（ステップＳＴ２６０）。関連付けられたラマンスペクトルデータ群ＲＳＤＧおよび対応アノテーション画像ＡＩ＿Ｃは、ストレージデバイス４０に記憶される。ラマンスペクトルデータ群ＲＳＤＧおよび対応アノテーション画像ＡＩ＿Ｃは、生体組織の性状に応じた領域をコンピュータで判定する仕組みの構築に利用される。なお、ステップＳＴ２６０は、本開示の技術に係る「関連付け処理ステップ」の一例である。

以上説明したように、導出部５５は、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２に基づいて、第１座標系Ｘ１、Ｙ１と第２座標系Ｘ２、Ｙ２の座標変換行列ＭＴＣを導出する。生成部５０は、座標変換行列ＭＴＣを用いてアノテーション画像ＡＩを座標変換し、ラマンスペクトルデータ群ＲＳＤＧに対応する対応アノテーション画像ＡＩ＿Ｃを生成する。関連付け処理部５１は、ラマンスペクトルデータ群ＲＳＤＧに対応アノテーション画像ＡＩ＿Ｃを関連付ける。このため、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２を、画像編集ソフトウェアを用いて手動で位置合わせするといった、試行錯誤的、かつ正確性に欠ける処理を行わなくても、ラマンスペクトルデータ群ＲＳＤＧに対応アノテーション画像ＡＩ＿Ｃを関連付けることができる。したがって、第２座標系Ｘ２、Ｙ２で表されるアノテーション画像ＡＩを、簡単かつ高精度に第１座標系Ｘ１、Ｙ１で表されるラマンスペクトルデータ群ＲＳＤＧに関連付けることが可能となる。

ラマンスペクトルデータ群ＲＳＤＧは、ＳＥＲＳ測定装置１０で測定されたものである。このため、ラマンスペクトルデータ群ＲＳＤＧは、他のラマン散乱測定装置で測定されたものと比べて、光電場増強基板１１によりラマン散乱光ＲＳＬが増強される分、Ｓ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）比が高い。したがって、生体組織の性状に応じた領域を判定する場合に好適である。なお、ラマンスペクトルデータ群ＲＳＤＧは、ＳＥＲＳ測定装置１０以外の他のラマン散乱測定装置で測定されたものであってもよい。

［第２実施形態］
図１７に示す第２実施形態では、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２の各々において、同じ箇所であると推定される３つ以上の点のユーザの指定を受け付ける。そして、受け付けた３つ以上の点に基づいて座標変換行列ＭＴＣを導出する。

図１７において、第２実施形態では、画像処理装置３０のディスプレイ（図示せず）に、対応点指定画面８０が表示される。対応点指定画面８０には、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２が並べて表示される。また、対応点指定画面８０には、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２の各々において、同じ箇所であると推定される点をユーザに３つ以上指定させる旨のメッセージ８１が表示される。さらに、対応点指定画面８０には、対応点指定ボタン８２、やり直しボタン８３、および決定ボタン８４が設けられている。

対応点指定ボタン８２を選択して、第１光学顕微鏡画像ＭＩ＿１の任意の点を指定すると、第１指定点ＳＰ１が指定される。続けて第２光学顕微鏡画像ＭＩ＿２の任意の点を指定すると、先に指定した第１指定点ＳＰ１に対応する第２指定点ＳＰ２が指定される。第１指定点ＳＰ１および第２指定点ＳＰ２の指定後、再び対応点指定ボタン８２を選択すると、別の第１指定点ＳＰ１および第２指定点ＳＰ２の指定が可能となる。やり直しボタン８３を選択すると、その直前に指定された第１指定点ＳＰ１または第２指定点ＳＰ２の指定が解除され、指定のやり直しが可能となる。

決定ボタン８４を選択すると、そのとき指定されていた３つ以上の第１指定点ＳＰ１および第２指定点ＳＰ２が、受付部９０に出力される。すなわち、受付部９０は、対応点指定画面８０を通じて、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２の各々において、同じ箇所であると推定される３つ以上の点のユーザの指定を受け付ける。受付部９０は、受け付けた第１指定点ＳＰ１および第２指定点ＳＰ２を、導出部９１に出力する。導出部９１は、受付部９０において受け付けた３つ以上の第１指定点ＳＰ１および第２指定点ＳＰ２に基づいて座標変換行列ＭＴＣを導出する。以降の処理は上記第１実施形態と同じであるため、説明を省略する。

このように、第２実施形態では、受付部９０により、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２の各々において、同じ箇所であると推定される３つ以上の点のユーザの指定を受け付ける。そして、導出部９１により、受付部９０において受け付けた３つ以上の点に基づいて座標変換行列ＭＴＣを導出する。このため第２実施形態では、上記第１実施形態のように、第１算出部６０、第２算出部６１、抽出部６２、除外処理部６３を有する必要がなく、これら各処理部６０～６３による各処理も必要ない。したがって、座標変換行列ＭＴＣを導出する場合の処理負担を軽減することができる。また、ユーザに点を指定させるとはいえ、少なくとも３つの点であればよいので、ユーザに掛かる操作負担を最低限に留めることができる。なお、３つの点より多い点から座標変換行列（例えばホモグラフィ変換行列）を求める方法としては、公知のＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法を用いればよい。

なお、ユーザは、例えば病理専門医ＤＲである。あるいは、ユーザは、生体組織の性状に応じた領域をコンピュータで判定する仕組みの構築を目指す企業の作業員であってもよい。

第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２を複数の区域に等分し、複数の区域毎に、第１特徴量Ｆ１および第２特徴量Ｆ２の算出、第１対応点ＣＰ１および第２対応点ＣＰ２の抽出、第１外れ点ＣＰ１＿Ｏおよび第２外れ点ＣＰ２＿Ｏの除外を行ってもよい。同様に、第１光学顕微鏡画像ＭＩ＿１および第２光学顕微鏡画像ＭＩ＿２の複数の区域毎に、第１指定点ＳＰ１および第２指定点ＳＰ２を指定させてもよい。これらの場合、複数の区域毎に座標変換行列ＭＴＣを導出する。そして、アノテーション画像ＡＩも複数の区域に等分し、複数の区域毎に座標変換を行う。こうすれば、アノテーション画像ＡＩを、より高精度にラマンスペクトルデータ群ＲＳＤＧに関連付けることが可能となる。

第１光学顕微鏡画像ＭＩ＿１は、少なくとも測定領域ＭＡが非染色である生体標本ＢＳを撮影したものであればよい。つまり、第１光学顕微鏡画像ＭＩ＿１を撮影する場合に、測定領域ＭＡ以外は染色されていてもよい。また、第２光学顕微鏡画像ＭＩ＿２は、少なくとも測定領域ＭＡが色素で染色された生体標本ＢＳを撮影したものであればよい。つまり、第２光学顕微鏡画像ＭＩ＿２を撮影する場合に、測定領域ＭＡ以外は非染色であってもよい。

生体組織の性状に応じた領域としては、上記例の癌領域および非癌領域に限らない。癌間質領域、繊維質領域等であってもよい。

画像処理装置３０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、画像処理装置３０を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。具体的には、第１取得部４５および関連付け処理部５１の機能と、第２取得部４６、第３取得部４７、および処理部４９（導出部５５）の機能と、第４取得部４８および生成部５０の機能とを、３台のコンピュータに分散して担わせる。この場合は３台のコンピュータで画像処理装置３０を構成する。

このように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４２等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

上記各実施形態において、例えば、第１取得部４５、第２取得部４６、第３取得部４７、第４取得部４８、処理部４９、生成部５０、関連付け処理部５１、導出部５５、９１、第１算出部６０、第２算出部６１、抽出部６２、除外処理部６３、座標変換部７０、切り出し処理部７１、解像度変換処理部７２、および受付部９０といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。

以上の記載から、以下の付記項１に記載の発明を把握することができる。

［付記項１］
生体標本の少なくとも一部である非染色の測定領域をラマン散乱測定装置によって二次元走査して得られた、第１座標系で表されるラマンスペクトルデータ群を取得する第１取得プロセッサと、
前記ラマン散乱測定装置に備え付けの第１光学顕微鏡によって、少なくとも前記測定領域が非染色である前記生体標本を撮影した、前記第１座標系で表される第１光学顕微鏡画像を取得する第２取得プロセッサと、
少なくとも前記測定領域が色素で染色された前記生体標本を第２光学顕微鏡で撮影した、前記第１座標系とは異なる第２座標系で表される第２光学顕微鏡画像を取得する第３取得プロセッサと、
生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業を前記第２光学顕微鏡画像に対して行うことで作成された、前記第２座標系で表されるアノテーション画像を取得する第４取得プロセッサと、
前記第１光学顕微鏡画像および前記第２光学顕微鏡画像に基づいて、前記第１座標系と前記第２座標系の座標変換行列を導出する導出プロセッサと、
前記座標変換行列を用いて前記アノテーション画像を座標変換し、前記ラマンスペクトルデータ群に対応する対応アノテーション画像を生成する生成プロセッサと、
前記ラマンスペクトルデータ群に前記対応アノテーション画像を関連付ける関連付け処理プロセッサと、
を備える画像処理装置。

本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０ 表面増強ラマン散乱測定装置（ＳＥＲＳ測定装置）
１１ 光電場増強基板
１２ 測定部
１３ 第１光学顕微鏡
２０ 励起光源
２１ コリメートレンズ
２２ スプリッター
２３ 反射鏡
２４ 対物レンズ
２５ ステージ
２６ フィルター
２７ 集光レンズ
２８ 分光器
３０ 画像処理装置
３１ 光学顕微鏡装置
３２ ステージ
３３ 第２光学顕微鏡
４０ ストレージデバイス
４１ ＣＰＵ
４５ 第１取得部
４６ 第２取得部
４７ 第３取得部
４８ 第４取得部
４９ 処理部
５０ 生成部
５１ 関連付け処理部
５５ 導出部
６０ 第１算出部
６１ 第２算出部
６２ 抽出部
６３ 除外処理部
７０ 座標変換部
７１ 切り出し処理部
７２ 解像度変換処理部
８０ 対応点指定画面
８１ メッセージ
８２ 対応点指定ボタン
８３ やり直しボタン
８４ 決定ボタン
９０ 受付部
ａ～ｆ 係数
ＡＩ アノテーション画像
ＡＩ＿Ａ 座標変換後のアノテーション画像
ＡＩ＿Ｃ 対応アノテーション画像
ＡＩ＿Ｒ 解像度変換画像
ＡＩ＿Ｕ 切り出し画像
ＢＳ 生体標本
ＢＳ＿ＮＳ 非染色の生体標本
ＢＳ＿Ｓ 染色された生体標本
ＣＰ１、ＣＰ２ 第１対応点、第２対応点
ＣＰ１＿Ｏ、ＣＰ２＿Ｏ 第１外れ点、第２外れ点
ＤＲ 病理専門医
ＥＬ 励起光
Ｆ１、Ｆ２ 第１特徴量、第２特徴量
Ｇ グラフ
ＩＭＴＣ 座標変換逆行列
Ｍ 測定位置のＹ１軸方向の個数
ＭＡ 測定領域
ＭＩ＿１、ＭＩ＿２ 第１光学顕微鏡画像、第２光学顕微鏡画像
ＭＰ 測定位置
ＭＴＣ 座標変換行列
Ｎ 測定位置のＸ１軸方向の個数
ＲＳＤ ラマンスペクトルデータ
ＲＳＤＧ ラマンスペクトルデータ群
ＲＳＬ ラマン散乱光
ＳＩ ＳＥＲＳ画像
ＳＰ１、ＳＰ２ 第１指定点、第２指定点
ＳＴ１０、ＳＴ２０、ＳＴ３０、ＳＴ４０、ＳＴ５０、ＳＴ６０、ＳＴ７０、ＳＴ８０、ＳＴ９０、ＳＴ１００、ＳＴ１１０、ＳＴ２００、ＳＴ２１０、ＳＴ２２０、ＳＴ２３０、ＳＴ２４０、ＳＴ２５０、ＳＴ２６０ ステップ
Ｘ１、Ｙ１ 第１座標系
Ｘ２、Ｙ２ 第２座標系

Claims (9)

1. 生体標本の少なくとも一部である非染色の測定領域をラマン散乱測定装置によって二次元走査して得られた、第１座標系で表されるラマンスペクトルデータ群を取得する第１取得部と、
   前記ラマン散乱測定装置に備え付けの第１光学顕微鏡によって、少なくとも前記測定領域が非染色である前記生体標本を撮影した、前記第１座標系で表される第１光学顕微鏡画像を取得する第２取得部と、
   少なくとも前記測定領域が色素で染色された前記生体標本を第２光学顕微鏡で撮影した、前記第１座標系とは異なる第２座標系で表される第２光学顕微鏡画像を取得する第３取得部と、
   生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業を前記第２光学顕微鏡画像に対して行うことで作成された、前記第２座標系で表されるアノテーション画像を取得する第４取得部と、
   前記第１光学顕微鏡画像および前記第２光学顕微鏡画像に基づいて、前記第１座標系と前記第２座標系の座標変換行列を導出する導出部と、
   前記座標変換行列を用いて前記アノテーション画像を座標変換し、前記ラマンスペクトルデータ群に対応する対応アノテーション画像を生成する生成部と、
   前記ラマンスペクトルデータ群に前記対応アノテーション画像を関連付ける関連付け処理部と、
   を備える画像処理装置。
2. 前記第１光学顕微鏡画像の画像特徴量である第１特徴量を算出する第１算出部と、
   前記第２光学顕微鏡画像の画像特徴量である第２特徴量を算出する第２算出部と、
   前記第１特徴量と前記第２特徴量が設定条件を満たす対応点を、前記第１光学顕微鏡画像および前記第２光学顕微鏡画像の各々から抽出する抽出部とを備え、
   前記導出部は、前記対応点に基づいて前記座標変換行列を導出する請求項１に記載の画像処理装置。
3. 前記抽出部において抽出した前記対応点からノイズである外れ点を除外する処理を実施する除外処理部を備え、
   前記導出部は、前記外れ点除外後の前記対応点に基づいて前記座標変換行列を導出する請求項２に記載の画像処理装置。
4. 前記第１光学顕微鏡画像および前記第２光学顕微鏡画像の各々において、同じ箇所であると推定される３つ以上の点のユーザの指定を受け付ける受付部を備え、
   前記導出部は、前記受付部において受け付けた前記３つ以上の点に基づいて前記座標変換行列を導出する請求項１に記載の画像処理装置。
5. 前記生成部は、前記座標変換後のアノテーション画像に対して、前記測定領域に合わせた切り出し処理を実施することで、前記対応アノテーション画像を生成する請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記生成部は、前記座標変換後のアノテーション画像に対して、前記ラマンスペクトルデータ群の解像度に合わせた解像度変換処理を実施することで、前記対応アノテーション画像を生成する請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記ラマンスペクトルデータ群は、表面増強ラマン散乱測定装置で測定されたものである請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 生体標本の少なくとも一部である非染色の測定領域をラマン散乱測定装置によって二次元走査して得られた、第１座標系で表されるラマンスペクトルデータ群を取得する第１取得ステップと、
   前記ラマン散乱測定装置に備え付けの第１光学顕微鏡よって、少なくとも前記測定領域が非染色である前記生体標本を撮影した、前記第１座標系で表される第１光学顕微鏡画像を取得する第２取得ステップと、
   少なくとも前記測定領域が色素で染色された前記生体標本を第２光学顕微鏡で撮影した、前記第１座標系とは異なる第２座標系で表される第２光学顕微鏡画像を取得する第３取得ステップと、
   生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業を前記第２光学顕微鏡画像に対して行うことで作成された、前記第２座標系で表されるアノテーション画像を取得する第４取得ステップと、
   前記第１光学顕微鏡画像および前記第２光学顕微鏡画像に基づいて、前記第１座標系と前記第２座標系の座標変換行列を導出する導出ステップと、
   前記座標変換行列を用いて前記アノテーション画像を座標変換し、前記ラマンスペクトルデータ群に対応する対応アノテーション画像を生成する生成ステップと、
   前記ラマンスペクトルデータ群に前記対応アノテーション画像を関連付ける関連付け処理ステップと、
   を備える画像処理装置の作動方法。
9. 生体標本の少なくとも一部である非染色の測定領域をラマン散乱測定装置によって二次元走査して得られた、第１座標系で表されるラマンスペクトルデータ群を取得する第１取得部と、
   前記ラマン散乱測定装置に備え付けの第１光学顕微鏡によって、少なくとも前記測定領域が非染色である前記生体標本を撮影した、前記第１座標系で表される第１光学顕微鏡画像を取得する第２取得部と、
   少なくとも前記測定領域が色素で染色された前記生体標本を第２光学顕微鏡で撮影した、前記第１座標系とは異なる第２座標系で表される第２光学顕微鏡画像を取得する第３取得部と、
   生体組織をその性状に応じた複数の領域に塗り分けるアノテーション作業を前記第２光学顕微鏡画像に対して行うことで作成された、前記第２座標系で表されるアノテーション画像を取得する第４取得部と、
   前記第１光学顕微鏡画像および前記第２光学顕微鏡画像に基づいて、前記第１座標系と前記第２座標系の座標変換行列を導出する導出部と、
   前記座標変換行列を用いて前記アノテーション画像を座標変換し、前記ラマンスペクトルデータ群に対応する対応アノテーション画像を生成する生成部と、
   前記ラマンスペクトルデータ群に前記対応アノテーション画像を関連付ける関連付け処理部として、
   コンピュータを機能させる画像処理装置の作動プログラム。

Images