JP6127926B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本技術は、病理画像等の画像処理に供する画像処理装置及び画像処理方法に関する。

従来より、病理診断を行う医師等は、病理組織標本のスライド等を顕微鏡装置により観察することで病理診断を行っている。医師等は、顕微鏡装置による観察に慣れており、スライド標本の操作や診断等を円滑に行うことが可能であった。一方、顕微鏡による観察像を直接撮像した顕微鏡画像は、解像度が低く、類似検体との間の画像認識等の画像処理に供することが難しかった。また、顕微鏡画像は、一般に画像情報しか取得できないため、カルテに含まれる患者の情報を適宜参照する必要がある等、診断効率の点で問題があった。

そこで、近年、病理組織標本等をデジタル画像化したバーチャルスライドが用いられている。バーチャルスライドは、病理組織標本上の病理画像等から得られる情報のみならず、患者の既往歴等の付加情報（アノテーション）と紐付けされて保存されることが可能である。さらに、バーチャルスライドは、顕微鏡装置等で撮像した画像よりも解像度が大きいため、画像処理を容易にすることができる。これにより、バーチャルスライドは、顕微鏡による観察と併せて、病理診断等における有用なツールとして用いられている。

例えば、特許文献１及び特許文献２には、バーチャルスライド上のタッチパネルを用いた操作により、病理組織標本のスライドが載置される顕微鏡のステージを移動させ、このスライドの観察位置を操作する技術が記載されている。

特開２０１３−７２９９４号公報 特開２０１３−７２９９５号公報

しかしながら、顕微鏡による観察に慣れた医師等にとっては、バーチャルスライドの操作がしにくく、所望の領域を表示させる等の操作が円滑に行えないという問題があった。

以上のような事情に鑑み、本技術の目的は、デジタル画像化された標本画像の操作性を高めることが可能な画像処理装置及び画像処理方法を提供することにある。

以上の目的を達成するため、本技術の一形態に係る画像処理装置は、画像取得部と、視野情報生成部と、表示部とを具備する。
上記画像取得部は、ユーザの観察対象の観察像を撮像することにより生成された第１の解像度を有する入力画像を取得する。
上記視野情報生成部は、上記観察対象の画像を含み上記第１の解像度よりも大きい第２の解像度を有する標本画像と、上記入力画像とを照合することで、上記標本画像中の、上記入力画像に対応する視野範囲を特定するための視野情報を生成する。
上記表示部は、上記視野情報に基づいて、上記標本画像中の上記視野範囲に対応する情報を取得し、上記情報を表示するための信号を出力する。

上記画像処理装置によれば、ユーザが観察している観察対象の観察像に対応する、バーチャルスライド中の視野範囲に対応する画像や、アノテーション情報等を出力することができる。これにより、顕微鏡装置側の操作により、バーチャルスライド側の顕微鏡画像に対応する画像や、アノテーション情報を取得することが可能となる。したがって、医師等にとって扱いやすい顕微鏡装置の操作性を利用しつつ、バーチャルスライドの利便性を享受することが可能となる。

上記視野情報生成部は、上記観察像の拡大率の情報を取得し、上記標本画像の拡大率と上記観察像の拡大率との比を利用して、上記標本画像と上記入力画像とを照合してもよい。
顕微鏡装置における観察像の拡大率は、一般に、対物レンズ等に固有の所定の値を採り得る。したがって、観察像の拡大率と、バーチャルスライドの拡大率との比を利用して照合を行うことにより、照合処理の負担を軽減することが可能となる。

上記視野情報生成部は、上記視野情報を生成できなかった場合に、ユーザに対し、上記観察対象の他の観察像を撮像するように指示してもよい。
これにより、画像の照合が失敗した場合であっても、画像として特徴的な部分を有する入力画像を取得することが可能となり、照合を成功させることが可能となる。

上記視野情報生成部は、
上記視野情報を生成できなかった場合に、上記観察像の拡大率が所定の拡大率以下であるか否か判定し、
上記所定の拡大率以下でなかった場合に、上記所定の拡大率以下の拡大率の観察像を撮像するように指示してもよい。
これにより、より特徴的な部分を抽出しやすい拡大率の低い入力画像を取得することが可能となる。

上記視野情報生成部は、
上記視野情報を生成できなかった場合に、上記観察像と上記観察対象上の位置が異なる他の観察像を撮像するように指示してもよい。
これにより、照合が失敗した場合に、観察対象を移動させ、より特徴的な部分を有する入力画像を取得することが可能となる。

上記視野情報生成部は、上記視野情報を生成する際に、上記標本画像の上記視野範囲に対応する領域に付随するアノテーション情報を併せて取得してもよい。
これにより、病理診断時に、標本画像に付随するカルテ情報等のアノテーション情報を利用することが可能となる。したがって、顕微鏡装置側の操作に基づき、標本画像に付随する豊富な情報を利用することができ、病理診断を効率化することが可能となる。

上記画像取得部は、上記観察対象の識別情報を上記入力画像と併せて取得し、
上記視野情報生成部は、上記識別情報に基づいて、上記標本画像のうち上記観察対象に対応する画像領域を特定し、上記画像領域と入力画像とを照合してもよい。
これにより、標本画像の照合範囲を限定することが可能となる。したがって、画像照合時の処理の負担を軽減することが可能となる。

上記視野情報生成部は、上記標本画像から抽出される複数のＳＩＦＴ特徴量と、上記入力画像から抽出される複数のＳＩＦＴ特徴量とに基づいて、上記標本画像と上記入力画像とを照合してもよい。
これにより、標本画像中の対応する視野範囲が、入力画像に対して回転している場合や、スケールの異なる場合であっても、精度の高い画像照合を行うことが可能となる。

本技術の一形態に係る画像処理方法は、観察対象の観察像を撮像することにより生成された第１の解像度を有する入力画像を取得する工程を含む。
上記観察対象の画像を含み上記第１の解像度よりも大きい第２の解像度を有する標本画像と、上記入力画像とが照合される。
照合結果に基づいて、上記標本画像中の、上記入力画像に対応する視野範囲を特定するための視野情報が生成される。
上記視野情報に基づいて、上記標本画像中の上記視野範囲に対応する情報を取得し、上記情報を表示するための信号が出力される。

以上のように、本技術によれば、デジタル画像化された標本画像の操作性を高めることが可能な画像処理装置及び画像処理方法を提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る画像処理装置を含む画像処理システムの模式図である。 上記画像処理システムのブロック図である。 上記画像処理装置の視野情報生成部の動作例を示すフローチャートである。 Ａは、複数の第２の特徴点が抽出された入力画像の模式的な図であり、Ｂは、Ａに示すコードブック番号６番の第２の特徴点のＳＩＦＴ特徴量と、入力画像の基準点及び視野ベクトルとの関係について説明する模式的な図である。 バーチャルスライドの各第１の特徴点に対して投票を行った結果を示す模式的な図である。 第１の実施形態の変形例に係る画像処理装置の作用効果を説明するための図であり、Ａは顕微鏡装置のみを用いることにより得られる情報の例を示し、Ｂは画像処理装置を用いることにより得られる情報の例を示す。 本技術の第２の実施形態に係る画像処理装置を含む画像処理システムのブロック図である。 バーチャルスライドの各第１の特徴点に対して投票を行った結果を示す模式的な図であり、図５に対応する図である。 本技術の第３の実施形態に係る画像処理装置を含む画像処理システムのブロック図である。 上記画像処理装置の視野情報生成部の動作例を示すフローチャートである。 上記画像処理装置の画像取得指示部による指示が表示部に表示された例を示す図である。 上記画像処理装置の画像取得指示部による指示が表示部に表示された例を示す図である。 本技術の第３の実施形態の変形例に係る画像処理装置を含む画像処理システムのブロック図である。 上記変形例に係る画像処理装置の視野情報生成部の動作例を示すフローチャートである。 本技術の第４の実施形態に係る画像処理装置を含む画像処理システムのブロック図である。 本技術の第５の実施形態に係る画像処理装置を含む画像処理システムの模式図である。 上記画像処理システムのブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［画像処理システム］
図１は、本技術の第１の実施形態に係る画像処理システム１の模式図、図２は画像処理システム１のブロック図である。画像処理システム１は、画像処理装置１００と、顕微鏡装置２００と、標本画像（バーチャルスライド）が記憶された病理画像データベース（ＤＢ）３１０を有するサーバ装置３００（図２参照）とを備える。画像処理装置１００と、サーバ装置３００とは、それぞれ、画像処理装置１００に接続されている。

図１に示すように、画像処理システム１は、画像処理装置１００に、顕微鏡装置２００で観察された観察像Ｗと同じ視野範囲のバーチャルスライドの画像（出力画像Ｆ）を表示させることが可能に構成される。画像処理システム１は、例えば、医師等のユーザが、顕微鏡装置２００を用いて病理組織切片を含むスライド標本Ｓを観察し、スライド標本Ｓから得られる情報に基づいて診断を行う、いわゆる病理診断の際に用いるものとすることができる。

（顕微鏡装置）
顕微鏡装置２００は、顕微鏡本体２１０と、撮像部２２０（図２参照）とを有し、観察対象の観察像Ｗを撮像することにより、入力画像を取得する。観察対象としては、例えば、スライド標本Ｓが用いられる。スライド標本Ｓは、ＨＥ（Haematoxylin Eosin）染色等を施された病理組織切片がスライドガラス上に貼り付けられたものとして形成される。

顕微鏡本体２１０は、スライド標本等を所定の拡大率で明視野観察することが可能であれば特に限定されず、例えば正立顕微鏡、偏光顕微鏡、倒立顕微鏡等、種々のものが適用され得る。

顕微鏡本体２１０は、ステージ２１１と、接眼レンズ２１２と、複数の対物レンズ２１３と、対物レンズ保持部２１４とを有する。接眼レンズ２１２は、典型的には右目、左目にそれぞれ対応する２つ（両眼）の接眼レンズを含み、所定の拡大率を有する。ユーザは、接眼レンズ２１２を覗き込むことで、スライド標本Ｓを観察する。

ステージ２１１は、スライド標本等を載置可能に構成され、載置面と平行な平面内及び載置面と垂直な方向に移動可能に構成される。医師等のユーザは、載置面と平行な平面内でステージ２１１を移動させることにより、スライド標本Ｓ中の視野を移動させ、接眼レンズ２１２を介して所望の観察像を取得することができる。また、載置面と垂直な方向にステージ２１１を移動させることで、拡大率に応じて焦点を合わせることができる。

対物レンズ保持部２１４は、複数の対物レンズ２１３を保持し、かつ、光路中に配置される対物レンズ２１３を切り替え可能に構成される。対物レンズ保持部２１４は、具体的には、複数の対物レンズ２１３を取付可能なレボルバ等を適用することができる。また、複数の対物レンズ２１３の切り替え方法としては、対物レンズ保持部２１４を手動で駆動してもよいし、ユーザの操作等に基づいて自動で駆動可能であってもよい。

複数の対物レンズ２１３は、一般に、それぞれ固有の拡大率を有する。対物レンズ２１３の拡大率としては、例えば、１．２５倍、２．５倍、５倍、１０倍、４０倍等が適用される。

撮像部２２０は、顕微鏡本体２１０に接続され、顕微鏡本体２１０により取得された観察像Ｗを撮像し、入力画像を生成することが可能に構成される。撮像部２２０の具体的な構成は特に限定されず、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の撮像素子を有する構成とすることができる。「観察像」とは、ここでは、ユーザが顕微鏡装置２００により観察した、スライド標本Ｓ中の視野を示す。入力画像は、典型的には、観察像Ｗの一部を撮像して生成される。

顕微鏡装置２００は、撮像部２２０により生成された入力画像を、画像処理装置１００に出力可能に構成される。通信方法は特に限定されず、ケーブル等を介した有線通信でもよいし、無線通信であってもよい。

（サーバ装置）
サーバ装置３００は、画像処理装置１００に対し、病理画像ＤＢ３１０を提供することが可能に構成される。すなわち、サーバ装置３００は、病理画像ＤＢ３１０を格納するメモリ、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を有していてもよい。メモリは、例えば、ＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）等の不揮発性メモリで構成されることができる。これらのメモリ、ＣＰＵ、ＲＯＭ、ＲＡＭの図示は省略する。

病理画像ＤＢ３１０は、バーチャルスライドを含む。バーチャルスライドは、観察対象であるスライド標本を含む複数のスライド標本について、各々のスライド標本全体を、専用のバーチャルスライドスキャナ等によってデジタル画像化したものである。例えば、病理画像ＤＢ３１０には、例えば、数千〜数万枚のスライド標本に対応するバーチャルスライドが含まれていてもよい。なお、以下の説明において単に「バーチャルスライド」という場合には、複数のスライド標本のデジタル画像を指すものとする。

バーチャルスライドは、第１の解像度よりも大きい第２の解像度を有し、入力画像よりも高精細な画像である。またバーチャルスライドは、焦点の異なる複数のレイヤー画像を含んでいてもよい。

バーチャルスライドには、複数のスライド標本各々の識別番号や、電子カルテに含まれる患者情報（年齢、性別、既往歴等）等のアノテーション情報（付属情報）が、それぞれ対応する画像領域に紐付けされる。あるいは、アノテーション情報として、図１の出力画像Ｆに示すような、例えば腫瘍と判断された部位のマークＮ等も含まれ得る。このように、バーチャルスライドによれば、ユーザである医師等の判断やメモ等をアノテーション情報として画像とともに記憶することが可能となる。これらのアノテーション情報は、サーバ装置３００のメモリに格納されていてもよいし、サーバ装置３００と接続される他のサーバ装置等に格納されていてもよい。

サーバ装置３００と画像処理装置１００との間の通信方法は特に限定されず、例えばネットワークを経由した通信でもよい。

画像処理装置１００は、顕微鏡装置２００によって撮像された入力画像と、サーバ装置３００中のバーチャルスライドとを照合することで、バーチャルスライド中の、入力画像に対応する画像や、それに付随するアノテーション情報等を表示させることが可能に構成される。以下、画像処理装置１００の構成について説明する。

［画像処理装置］
画像処理装置１００は、画像取得部１１０と、視野情報生成部１２０と、表示制御部１３０と、表示部１３１とを有する。画像処理装置１００は、例えば、ＰＣ（Personal Computer）や、タブレット端末等の情報処理装置として構成されてもよい。

（画像取得部）
画像取得部１１０は、観察対象の観察像を撮像することにより生成された第１の解像度を有する入力画像を取得する。画像取得部１１０は、顕微鏡装置２００と接続され、所定の規格により顕微鏡装置２００と通信するインターフェイスとして構成される。画像取得部１１０は、取得した入力画像を視野情報生成部１２０へ出力する。

（視野情報生成部）
視野情報生成部１２０は、観察対象の画像を含み第１の解像度よりも大きい第２の解像度を有するバーチャルスライドと、入力画像とを照合することで、バーチャルスライド中の、入力画像に対応する視野範囲を特定するための視野情報を生成する。視野情報生成部１２０は、例えば、ＣＰＵで構成される。視野情報生成部１２０は、図示しないメモリ等に格納されたプログラムに従って、処理を実行することが可能である。

視野情報生成部１２０は、画像照合部１２１と、視野情報出力部１２２とを有する。

画像照合部１２１は、バーチャルスライドと入力画像とを照合する。画像照合部１２１は、例えば、サーバ装置３００へ必要な処理の要求を送信し、サーバ装置３００が当該要求に対して応答することで、画像照合処理を進めることができる。

画像照合部１２１は、本実施形態において、バーチャルスライドから抽出される複数のＳＩＦＴ（Scale Invariant Feature Transform）特徴量と、入力画像から抽出される複数のＳＩＦＴ特徴量とに基づいて、バーチャルスライドと入力画像とを照合することができる。ＳＩＦＴ特徴量は、各特徴点周辺の画素の１２８次元の輝度勾配情報を含む特徴量であり、スケール、方向（オリエンテーション）等のパラメータによって表すことができる。ＳＩＦＴ特徴量を用いることで、入力画像とバーチャルスライド中の視野範囲との拡大率や回転角が異なっていた場合であっても、精度よく照合を行うことが可能となる。

なお、画像の照合方法は、他の方法を採用することも可能である。

視野情報出力部１２２は、照合結果に基づいて、入力画像に対応する視野範囲を特定する視野情報を表示制御部１３０へ出力する。

視野情報は、バーチャルスライドから、入力画像に対応する視野範囲を特定することが可能な複数のパラメータが含まれる。このようなパラメータとして、例えば、当該視野範囲が含まれるスライド標本の識別番号（スライドＩＤ）、当該視野範囲の中心点の座標、視野範囲の大きさ、回転角等が挙げられる。また、バーチャルスライドが焦点の異なる複数のレイヤー画像を含む場合には、視野情報のパラメータとして、入力画像に対応する焦点の深さを有するレイヤー番号が追加されてもよい。

（表示制御部）
表示制御部１３０は、上記視野情報に基づいて、バーチャルスライド中の入力画像に対応する視野範囲に対応する情報を取得し、その情報を表示するための信号を出力する。当該情報は、例えば、バーチャルスライドの視野範囲に対応する領域の画像（以下、出力画像とする）でもよいし、バーチャルスライドの視野範囲に対応する領域に付随するアノテーション情報でもよい。あるいは、表示制御部１３０は、上記情報として、出力画像と上記アノテーション情報との双方を表示するように制御してもよい。

（表示部）
表示部１３１は、表示制御部１３０から出力された信号に基づいて、上記情報を表示することが可能に構成される。表示部１３１は、例えばＬＣＤ、ＯＥＬＤ（Organic ElectroLuminescence Display）等を用いた表示デバイスであり、タッチパネルディスプレイとして構成されてもよい。

［視野情報生成部の動作］
図３は、視野情報生成部１２０の動作例を示すフローチャートである。

視野情報生成部１２０は、画像取得部１１０から、標本スライドの観察像を撮像することにより生成された第１の解像度を有する入力画像を取得する（ＳＴ１１）。

次に、視野情報生成部１２０の画像照合部１２１は、バーチャルスライドと入力画像とを照合する（ＳＴ１２）。本実施形態において、視野情報生成部１２０は、バーチャルスライドから抽出される複数のＳＩＦＴ特徴量と、入力画像から抽出される複数のＳＩＦＴ特徴量とに基づいて、バーチャルスライドと入力画像とを照合する。以下、本工程について詳細に説明する。

まず画像照合部１２１は、バーチャルスライドから、それぞれ固有のＳＩＦＴ特徴量を有する複数の第１の特徴点を抽出する（ＳＴ１２１）。具体的には、画像照合部１２１は、バーチャルスライドに対してＳＩＦＴ特徴量の抽出処理を行い、多数のＳＩＦＴ特徴量を取得する。さらに、このＳＩＦＴ特徴量群に対して、k-means処理等のクラスタリング処理を行うことで、各クラスタのセントロイドとしての複数の第１の特徴点を得ることができる。ここで例えば、k-means処理においてｋ＝１００とした場合、１００個の第１の特徴点の集合（コードブック）を得ることができる。

上記処理により、各第１の特徴点に対し、ＩＤ（コードブック番号）を付すことが可能となる。例えばk-means処理においてｋ＝１００とした場合には、１〜１００までのコードブック番号を付すことができる。同一のコードブック番号が付された第１の特徴点は、略同一のＳＩＦＴ特徴量を有する点である。また、バーチャルスライド全体の中に、同一のコードブック番号が付された第１の特徴点が複数個あってもよい。なお、以下の説明において、「略同一のＳＩＦＴ特徴量」という場合には、同一、又は所定のクラスタリング処理により同一のクラスタに分類されることで同一とみなされるＳＩＦＴ特徴量を示すものとする。

次に、画像照合部１２１は、入力画像から、それぞれ固有のＳＩＦＴ特徴量を有する複数の第２の特徴点を抽出する（ＳＴ１２２）。具体的には、画像照合部１２１が入力画像に対してＳＩＦＴ特徴量の抽出処理を行い、多数のＳＩＦＴ特徴量を取得する。さらに、これらのＳＩＦＴ特徴量を有する点に対し、略同一のＳＩＦＴ特徴量を有する第１の特徴点と同一のコードブック番号を割り当てることで、第１の特徴点のいずれかと対応付けられた第２の特徴点を規定する。これにより、例えば１〜１００までのいずれかのコードブック番号が付された複数の第２の特徴点が抽出される。なお、当該処理においても、k-means処理等のクラスタリング処理を適宜行ってもよい。

図４Ａは、複数の第２の特徴点Ｃｍｎが抽出された入力画像Ｍの模式的な図であり、それぞれのＳＩＦＴ特徴量のスケールを円の大きさで、オリエンテーションをベクトルの向きで示す。同図に示すように、各第２の特徴点Ｃｍｎは、円の中心、すなわちベクトルの始点で表され、対応するコードブック番号ｎが付されている。同図に示す入力画像Ｍには、例えば、コードブック番号６，２２，２８，３６，８７番が付された第２の特徴点Ｃｍ６，Ｃｍ２２，Ｃｍ２８，Ｃｍ３６，Ｃｍ８７が抽出されている。これらの各第２の特徴点Ｃｍｎは、同一のコードブック番号ｎを有するバーチャルスライド中の第１の特徴点と略同一のＳＩＦＴ特徴量を有する。

次に画像照合部１２１は、入力画像の基準点・視野ベクトルと複数の第２の特徴点各々のＳＩＦＴ特徴量との相対的な関係を記述する（ＳＴ１２３）。基準点は、入力画像において任意に定められた点であり、視野ベクトルは、任意の向き及び大きさを有するベクトルである。入力画像の基準点・視野ベクトルは、入力画像の視野範囲を既定するパラメータとして機能する。

図４Ｂは、図４Ａに示すコードブック番号６番の第２の特徴点Ｃｍ６のＳＩＦＴ特徴量と、入力画像Ｍの基準点Ｐｍ及び視野ベクトルＶｍとの関係について説明する模式的な図であり、図中のｘ軸及びｙ軸は、それぞれ直交する２軸を示す。基準点Ｐｍは、同図中の星印で示された点であり、例えば入力画像Ｍの中心点とすることができる。また視野ベクトルＶｍは、例えばｘ軸方向に平行で所定の大きさを有するベクトルとすることができる。

同図に示すように、第２の特徴点Ｃｍ６から基準点Ｐｍへ向かう位置ベクトルを（dx,dy）と表す。また、第２の特徴点Ｃｍ６のオリエンテーションＯｍ６は、視野ベクトルＶｍを基準とした回転角がθｍ６と表される。

このように、入力画像の基準点及び視野ベクトルを既定することで、入力画像の視野範囲内での各第２の特徴点の座標、及び各第２の特徴量のＳＩＦＴ特徴量のオリエンテーションの回転角を記述することができる。これにより、複数の第２の特徴点各々のＳＩＦＴ特徴量と入力画像の視野範囲との相対的な関係を記述することが可能となる。

次に、画像照合部１２１は、複数の第２の特徴点各々に対応する複数の第１の特徴点各々に対して、上記関係に基づき、基準点及び視野ベクトルの投票を行う（ＳＴ１２４）。基準点及び視野ベクトルの投票とは、本動作例において、各第１の特徴点Ｃｖｎに対し、基準点候補Ｐｖｎのバーチャルスライド中の座標と、視野ベクトル候補Ｖｖｎのバーチャルスライド中の回転角とを算出する処理を示す。

各第１の特徴点Ｃｖｎに対応する基準点候補Ｐｖｎのバーチャルスライド中の座標は、ＳＴ１２３で算出した、第２の特徴点Ｃｍｎから基準点Ｐｍへ向かう位置ベクトルに基づいて算出される。同様に、視野ベクトル候補Ｖｖｎのバーチャルスライド中の回転角は、ＳＴ１２３で算出した、視野ベクトルＶｍを基準とした第２の特徴点Ｃｍ６のオリエンテーションＯｍ６の回転角に基づいて算出される。

ここで、視野範囲候補Ｆｎを既定するための基準点候補Ｐｖｎ、視野ベクトル候補Ｖｖｎの具体的な算出例について説明する。まず、図４Ｂにおいて説明したように、入力画像Ｍの第２の特徴点Ｃｍｎについて、各パラメータを以下のように定義する。
第２の特徴点Ｃｍｎに係るＳＩＦＴ特徴量のスケールの大きさ：σｍ
第２の特徴点Ｃｍｎに係るＳＩＦＴ特徴量のオリエンテーションの回転角：θｍ
基準点Ｐｍから第２の特徴点Ｃｍｎへ向かう位置ベクトル：（dx,dy）

同様に、バーチャルスライドＶの第１の特徴点Ｃｖｎについて、各パラメータを以下のように定義する。
第１の特徴点ＣｖｎのバーチャルスライドＶ中の座標：（Ｘｖｎ、Ｙｖｎ)
第１の特徴点Ｃｖｎに係るＳＩＦＴ特徴量のスケールの大きさ：σｖ
第２の特徴点Ｃｍｎに係るＳＩＦＴ特徴量のオリエンテーションの、視野ベクトル候補Ｖｖｎを基準とした回転角：θｖ

これにより、視野ベクトル候補Ｖｖｎの大きさｒ、視野ベクトル候補Ｖｖｎの回転角（ｘ軸方向を基準とした回転角）φ、バーチャルスライドＶ中の基準点候補Ｐｖｎの座標（Ｘｎ、Ｙｎ）は、視野ベクトルＶｍｎの大きさをＲとして、以下のように算出できる。
ｒ＝Ｒ×（σｖ／σｍ）…（１）
φ＝θｖ−θｍ…（２）
Ｘｎ＝Ｘｖｎ＋(dx^２＋dy^２)^1/2 ×(σｖ／σｍ)×cos (θ+θｍ−θｖ)…（３）
Ｙｎ＝Ｙｖｎ＋(dx^２＋dy^２)^1/2 ×(σｖ／σｍ)×sin (θ+θｍ−θｖ)…（４）
（ここで、θ＝arctan（dy/dx））

図５は、バーチャルスライドの各第１の特徴点に対して投票を行った結果を示す模式的な図である。画像照合部１２１は、同図に示すように、算出された基準点候補Ｐｖｎ、視野ベクトル候補Ｖｖｎに基づいて視野範囲候補Ｆｎを既定する。同図において、星印が各基準点候補を表すものとし、当該星印の近傍に符号Ｐｖｎを付している。同一のコードブック番号のｉ個の特徴点がある場合には、符号の末尾に「−ｉ」を付けてこれらを区別している。

ここで、視野範囲候補Ｆｋは、重複している複数の視野範囲候補を示し、具体的には、Ｆ６-１，Ｆ２２−１，Ｆ２８−１，Ｆ３６−１，Ｆ８７−１を示す。同様に、基準点候補Ｐｖｋは、重複しているＰｖ６-１，Ｐｖ２２−１，Ｐｖ２８−１，Ｐｖ３６−１，Ｐｖ８７−１を示し、視野ベクトル候補Ｖｖｋは、重複しているＶｖ６-１，Ｖｖ２２−１，Ｖｖ２８−１，Ｖｖ３６−１，Ｖｖ８７−１を示す。

これらの基準点候補Ｐｖｋ及び視野ベクトル候補Ｖｖｋに対応する第１の特徴点Ｃｖ６−１，Ｃｖ２２−１，Ｃｖ２８−１，Ｃｖ３６−１，Ｃｖ８７−１は、それぞれ、入力画像Ｍの第２の特徴点Ｃｍ６，Ｃｍ２２，Ｃｍ２８，Ｃｍ３６，Ｃｍ８７と、類似する位置関係で配置される。このように、第２の特徴点Ｃｍｎに類似する位置関係で配置される第１の特徴点Ｃｖｎに対応する基準点候補Ｐｖｎ及び視野ベクトル候補Ｖｖｎに対しては、多数の投票が得られることとなる。

そこで、複数の第１の特徴点全てに対して投票を行った後、略同一の座標及び回転角を有する基準点候補Ｐｖｎ及び視野ベクトル候補Ｖｖｎの数（投票数）を求めることで、基準点候補Ｐｖｎ及び視野ベクトル候補Ｖｖｎに対応する視野範囲候補Ｆｎと入力画像Ｍとの相関度を求めることが可能となる。

なお、投票された基準点候補Ｐｖｎの位置（Ｘｎ、Ｙｎ）、視野ベクトル候補Ｖｖｎの角度φ等をクラスタリング処理してもよい。これにより、基準点候補Ｐｖｎ、視野ベクトル候補Ｖｖｎに多少のバラつきが見られた場合であっても、近い位置の基準点候補Ｐｖｎ、近い角度の視野ベクトル候補Ｖｖｎに対する投票を同一の基準点、視野ベクトルに対して投票されたものとみなし、妥当な投票数を求めることができる。

そこで、画像照合部１２１は、投票結果に基づいて、各視野範囲候補と入力画像との相関度を算出する（ＳＴ１２５）。当該相関度は、例えば、以下のように定められる。
（相関度）＝（投票数）／（入力画像中の第２の特徴点数）…（５）
図５に示す例では、視野範囲候補Ｆｋの相関度は、５／５＝１、他の視野範囲候補Ｆｎの相関度は、いずれも１／５と算出される。

以上のように、バーチャルスライドの視野範囲候補と入力画像との相関度を参照することで、バーチャルスライドと入力画像とが照合される。

続いて、視野情報出力部１２２は、照合結果に基づいて、相関度が最も大きかった視野範囲候補を入力画像に対応する視野範囲と決定し、当該視野範囲を特定するための視野情報を生成する（ＳＴ１３）。視野情報出力部１２２は、上記相関度が最も大きかった視野範囲に係る視野情報を視野範囲と決定する。図５に示す例では、視野範囲候補Ｆｋが視野範囲と決定されることとなる。

視野情報は、例えば、スライドＩＤ、中心座標、角度、範囲、及び焦点の深さ、の各パラメータを含む情報である。これらの各パラメータは、それぞれ以下の値に対応する値となる。
スライドＩＤ：相関度が最大の視野範囲候補を含むスライド標本のＩＤ
中心座標：相関度が最大の基準点の位置（Ｘｎ、Ｙｎ）
角度：視野ベクトルの角度φ
範囲：視野ベクトル候補Ｖｖｎの大きさｒ
焦点の深さ：入力画像に対応する焦点の深さを有するレイヤー番号

視野情報出力部１２２は、視野情報を表示制御部１３０に出力する（ＳＴ１４）。これにより、表示制御部１３０は、視野情報に基づいて、バーチャルスライド中の視野範囲に対応する出力画像を表示するための信号を表示部１３１に出力する。そして、表示部１３１により、出力画像が表示される。

さらに、ユーザが観察対象とするスライド標本を移動し、新たな観察像を撮像すること等により、画像取得部１１０が、新たな入力画像を取得する。そして、再び、視野情報生成部１２０が入力画像を取得し（ＳＴ１１）、上記処理を繰り返す。これにより、入力画像の視野範囲の移動に追従して、表示部１３１に表示される出力画像の視野範囲も移動することが可能となる。

以上のように、本実施形態によれば、顕微鏡装置２００の観察像に対応するバーチャルスライド中の視野範囲を表示部１３１に表示することができる。これにより、顕微鏡装置２００によってバーチャルスライド中の視野範囲を操作することが可能となる。したがって、顕微鏡装置２００の使い慣れた操作性と両眼視による高い視認性を享受しつつ、バーチャルスライドを制御することが可能となる。

具体的に、本実施形態によれば、従来の顕微鏡装置２００を用いた観察による診断と比較して以下のような利点が得られる。

一点目として、バーチャルスライドの解像度の高い画像を用いて、腫瘍診断等の際の画像認識を行うことも容易になり、またアノテーションの利用等も容易になる。したがって、診断の効率化と精度の向上に寄与することができる。

二点目として、顕微鏡装置２００でのスライド標本等を観察することにより、即座に、それに対応するバーチャルスライドを表示させることが可能となる。従来は、顕微鏡とバーチャルスライドとが別個のシステムとして構成されていたため、顕微鏡で見ている視野範囲をバーチャルスライドで表示し直す作業が必要となった。これにより、顕微鏡を観察しつつバーチャルスライドの画像を利用しようとした場合、効率的とは言えなかった。本実施形態によれば、このような問題を解消し、バーチャルスライドを用いた診断の効率化に貢献することができる。

三点目として、視野情報を取得することで、現在観察しているスライド標本のスライドＩＤを取得することができる。これにより、スライドＩＤを電子カルテ等に入力する手間を省くことが可能となる。さらに、入力スライド標本の取り違いや電子カルテ入力時のＩＤの誤入力等を防止することができ、作業や診断の正確性を高めることができる。

また、バーチャルスライドのみによる診断と比較すると、以下のような利点が得られる。

一点目は、病理診断において、顕微鏡の両眼視による豊富な視覚情報を得ることができる。二点目は、バーチャルスライドに基づいた診断ログのみならず、顕微鏡に基づいた診断ログを作成し、バーチャルスライドの対応する領域に紐付けて管理することが可能となる。これにより、顕微鏡に基づいた診断ログを用いた情報解析や、医学生等向けの学習教材の作成が可能となり、これらの品質の向上が期待できる。

さらに、顕微鏡の観察像を顕微鏡装置２００により撮像した画像と比較した場合には、以下のような利点が得られる。
すなわち、腫瘍認識や類似画像検索等の画像認識処理に、低解像度の顕微鏡撮像画像ではなく、バーチャルスライドの高解像度の画像を利用することができる。これにより、画像認識の処理効率が向上し、画像認識の精度も高めることができる。

以下、本実施形態に係る変形例１−１〜１−４について説明する。

［変形例１−１］
視野情報生成部１２は、視野情報を生成する際に、バーチャルスライドの視野範囲に対応する領域に付随するアノテーション情報を併せて取得してもよい。上述のように、バーチャルスライドには、スライドＩＤや、電子カルテに含まれる患者情報等のアノテーション情報が、それぞれ対応する領域に紐付けられて記憶される。視野情報を取得することにより、視野情報により特定される視野範囲に紐付けられたアノテーション情報を容易に取得することができる。

図６は、本変形例に係る画像処理装置１００の作用効果を説明するための図であり、Ａは顕微鏡装置２００のみを用いることにより得られる情報の例を示し、Ｂは画像処理装置１００を用いることにより得られる情報の例を示す。

図６Ａに示すように、顕微鏡装置２００のみを用いた場合には、ユーザが観察している視野範囲の画像Ｍ１に表示された情報しか得ることができない。また、顕微鏡装置２００により撮像された画像Ｍ１は、バーチャルスライドＶと比較して解像度が低い。このため、画像Ｍ１を拡大して細胞の核等の微細な構成を確認しようとした場合に、画像が粗くなり、十分に観察することができない。

一方で、図６Ｂに示すように、画像処理装置１００を用いることで、例えば、画像Ｍ１に対応する視野範囲Ｆ１を含むスライド標本Ｓ１１に紐付けられた電子カルテ４００の情報を取得することができる。これにより、画像情報と併せて患者の年齢、性別、既往歴等を取得できる。したがって、診断に必要な情報を効率よく取得でき、診断の効率化と迅速化に貢献することができる。

具体的には、アノテーション情報は、視野範囲Ｆ１として表示される出力画像とともに、表示部１３１に表示されてもよい。これにより、病理画像情報とともに、アノテーション情報を確認することができる。あるいは、アノテーション情報のみが、表示部１３１に表示されてもよい。これにより、顕微鏡装置２００側の操作によって、バーチャルスライドＶに付随する豊富な情報を容易に利用することができる。

また、バーチャルスライドの視野範囲外の画像情報の取得が容易になる。例えば、スライド標本Ｓ１１の視野範囲Ｆ１外の領域Ｒ１，Ｒ２等の画像情報や、同一患者の他のスライド標本Ｓ１２内の領域Ｒ３の画像情報を容易に取得できる。これにより、視野範囲Ｆ１が含まれるスライド標本Ｓ１１の画像と、スライド標本Ｓ１１よりも前に作製されたスライド標本Ｓ１２の画像とを比較することが容易になり、病態の変化や進行をより的確に把握することが可能となる。

さらに、バーチャルスライドＶは顕微鏡装置２００により撮像された画像Ｍ１よりも高い解像度を有する。これにより、仮に視野範囲Ｆ１の一部を拡大して確認しようとした場合であっても、精細な画像Ｆ１１を得ることができる。したがって、腫瘍の病理検査で特に重要な細胞の詳細な状態等を容易に把握することができ、診断の効率化及び診断精度の向上に寄与することができる。

［変形例１−２］
視野情報生成部１２０は、病理画像ＤＢ３１０に格納されたバーチャルスライドのうち、一部の領域と入力画像とを照合することができる。これにより、バーチャルスライド全体を対象として画像照合する場合と比較して、画像照合処理のコストを大幅に削減し、処理時間を短縮することが可能となる。以下に構成例１〜３を挙げて説明するが、照合対象を限定する例としてはこれに限定されず、種々の構成を採り得る。

（構成例１）
視野情報生成部１２０は、バーチャルスライドのうち、既に生成された視野情報から特定される観察対象の画像に対応する領域と、入力画像とを照合することができる。すなわち、ある入力画像から第１の視野情報を生成した後、他の入力画像から第２の視野情報を生成する場合に、第１の視野情報によって得られたスライドＩＤに対応するバーチャルスライド中の領域と、入力画像とを照合することができる。これにより、連続して画像照合処理を行う際に、同一のスライド標本に対応するバーチャルスライド中の領域のみを照合の対象とすることができる。

例えば、画像取得部１１０が連続的に入力画像を取得する場合には、観察対象であるスライド標本は、原則として入れ替わらないと考えられる。このような場合に、本構成例を適用することで、画像照合処理のコストを大幅に削減し、処理時間を短縮することが可能となる。

また、本構成例に係る処理を行うに際し、適宜条件を設定することができる。例えば第１の視野情報を生成する際に、式（５）で算出される相関度が所定の閾値以上であった場合に、本構成例を適用することとしてもよい。

（構成例２）
視野情報生成部１２０は、バーチャルスライドの照合対象として、所定の期間内に作成された領域のみを対象とすることができる。具体的には、照合の対象領域を、上記画像処理を行う日を基準として過去一週間以内に作成した領域、あるいは過去一年以内に作成した領域等と制限することができる。これにより、照合対象の領域を、大幅に制限することが可能となる。

（構成例３）
視野情報生成部１２０は、バーチャルスライドの照合対象として、所定のカルテ番号に係るスライド標本に対応する領域のみを対象とすることができる。この場合には、例えば、医師等のユーザが、予め画像処理装置１００に患者のカルテ番号等を入力するようにしてもよい。これにより、現に診断すべき患者のバーチャルスライドの出力画像等を、迅速に表示させることができる。

［変形例１−４］
表示制御部１３０は、バーチャルスライドに係る出力画像やアノテーション情報の他、顕微鏡装置２００によって撮像された入力画像を併せて表示する信号を出力してもよい。これにより、表示部１３１に、同一の視野範囲に係る顕微鏡画像（入力画像）とバーチャルスライドの画像等とが表示され、これらの画像を同時に参照することが可能となる。

［変形例１−５］
視野情報生成部１２０は、画像照合処理を行う第１のモードと、画像照合処理を行わない第２のモードとを切り替え可能に構成されてもよい。これにより、バーチャルスライドとして表示させるべき観察像をユーザ自身が選択することが可能となる。したがって、ユーザが顕微鏡装置２００のみを用いて観察を行いたい場合にまで、この顕微鏡画像を追従したバーチャルスライドの画像が表示されることを防止し、煩わしさを解消することができる。

＜第２の実施形態＞
図７は、本技術の第２の実施形態に係る画像処理システムのブロック図である。本実施形態に係る画像処理システム２は、第１の実施形態と同様に、画像処理装置１０２と、顕微鏡装置２０２と、サーバ装置３００とを備える。一方、画像処理装置１０２が顕微鏡装置２０２から拡大率に関する情報を取得可能に構成される点、及び、画像処理装置１０２が、視野情報の生成に際し、顕微鏡装置２０２から入力された観察像の拡大率の情報を利用する点で、第１の実施形態と異なる。以下の説明において、第１の実施形態と同様の構成については、その説明を省略又は簡略化し、異なる部分を中心に説明する。

［顕微鏡装置の構成］
顕微鏡装置２０２は、顕微鏡本体２１０と、撮像部２２０と、拡大率情報出力部２３０とを有する。顕微鏡本体２１０は、第１の実施形態と同様に、ステージ２１１と、接眼レンズ２１２と、複数の対物レンズ２１３と、対物レンズ保持部２１４とを有する。

拡大率情報出力部２３０は、画像処理装置１０２に対し、観察像の拡大率に関する情報を出力することが可能に構成される。拡大率情報出力部２３０の具体的な構成については特に限定されない。例えば、拡大率情報出力部２３０は、観察像の光路中に配置されている対物レンズ２１３の拡大率を検出するためのセンサを有していてもよい。あるいは、対物レンズ保持部２１４が駆動に関する情報を出力可能な電動レボルバ等で構成される場合には、対物レンズ保持部２１４が拡大率情報出力部２３０として機能してもよい。

［画像処理装置の構成］
画像処理装置１０２は、画像取得部１１０と、視野情報生成部１４０と、表示制御部１３０と、表示部１３１とを有する。

視野情報生成部１４０は、第１の実施形態と同様に、第１の解像度を有する入力画像と、観察対象の画像を含み第１の解像度よりも大きい第２の解像度を有するバーチャルスライドとを照合することで、バーチャルスライド中の、入力画像に対応する視野範囲を特定するための視野情報を生成する。視野情報生成部１４０は、この視野情報生成時に、上記拡大率に関する情報を利用する。すなわち、視野情報生成部１４０は、観察像の拡大率の情報を取得し、バーチャルスライドの拡大率と観察像の拡大率との比を利用して、バーチャルスライドと入力画像とを照合する。

具体的には、視野情報生成部１４０は、画像照合部１４１と、視野情報出力部１４２と、拡大率情報取得部１４３とを有する。

拡大率情報取得部１４３は、顕微鏡装置２０２から出力された観察像の拡大率の情報を取得する。当該拡大率は、本実施形態において、画像照合部１４１がバーチャルスライドと入力画像とを照合する処理に用いられる。以下の説明において、「観察像の拡大率」とは、対物レンズの拡大率をいうものとするが、接眼レンズ及び対物レンズを含む顕微鏡装置２０２の光学系全体における拡大率としてもよい。

画像照合部１４１は、第１の実施形態に係る画像照合部１２１と同様に、バーチャルスライドと入力画像とを照合する。この際、バーチャルスライドの拡大率と観察像の拡大率との比を利用する。また、本実施形態においても、ＳＩＦＴ特徴量を用いた投票を行うことで、入力画像とバーチャルスライドとを照合することができる。

［視野情報生成部の動作］
以下、図３のフローチャートを参照し、視野情報生成部１４０の動作例について説明する。

視野情報生成部１４０は、画像取得部１１０から入力画像を取得する（ＳＴ１１）。

次に、視野情報生成部１４０の画像照合部１４１は、バーチャルスライドと入力画像とを照合する（ＳＴ１２）。まず、画像照合部１４１は、バーチャルスライドから、それぞれ固有のＳＩＦＴ特徴量を有する複数の第１の特徴点を抽出する（ＳＴ１２１）。続いて、画像照合部１４１は、入力画像から、それぞれ固有のＳＩＦＴ特徴量を有する複数の第２の特徴点を抽出する（ＳＴ１２２）。ここでは、図４Ａに示す、コードブック番号６，２２，２８，３６，８７番が付された第２の特徴点Ｃｍ６，Ｃｍ２２，Ｃｍ２８，Ｃｍ３６，Ｃｍ８７が抽出されたものとして説明する。さらに、画像照合部１４１は、入力画像の視野範囲と複数の第２の特徴点各々のＳＩＦＴ特徴量との相対的な関係を記述する（ＳＴ１２３）。

次に、画像照合部１４１は、複数の第２の特徴点各々に対応する複数の第１の特徴点各々に対して、ＳＴ１２３で得られた結果に基づき、基準点及び視野ベクトルの投票を行う（ＳＴ１２４）。本工程において、画像照合部１４１は、投票に際し、第１の特徴点Ｃｖｎに係るＳＩＦＴ特徴量のスケールの大きさσｖと、第２の特徴点Ｃｍｎに係るＳＩＦＴ特徴量のスケールの大きさσｍとの比（σｖ／σｍ）が、バーチャルスライドの拡大率Σｖと入力画像の拡大率（観察像の拡大率）Σｍとの比（Σｖ／Σｍ）に等しくなるような、スケールσｖを有する第１の特徴点Ｃｖｎのみを抽出し、当該第１の特徴点Ｃｖｎを対象として、投票する。

図８は、本実施形態において、バーチャルスライドの各第１の特徴点に対して投票を行った結果を示す模式的な図であり、図５に対応する図である。同図に示すように、投票に用いた第１の特徴点Ｃｖｎが図５と比較して大幅に減少している。これにより、本工程における投票の処理のコストを低減することができる。

なお、実際の観察像の拡大率は、同一の拡大率の対物レンズを用いていた場合であっても、顕微鏡装置２０２の光学系の焦点等の条件により、若干の変動することがある。そこで、この変動を考慮し、投票対象とすべき第１の特徴点Ｃｖｎのスケールσｖに若干の幅を持たせることも可能である。

そして、画像照合部１４１は、投票結果に基づいて、各視野範囲候補と入力画像との相関度を算出し（ＳＴ１２５）、相関度が最も大きかった視野範囲候補を、入力画像に対応する視野範囲と決定する（ＳＴ１２６）。最後に、視野情報出力部１４２は、照合結果に基づいて、入力画像に対応する視野範囲を特定するための視野情報を生成し（ＳＴ１３）、表示制御部１３０に出力する（ＳＴ１４）。

以上のように、本実施形態によれば、投票の処理のコストのみならず、投票後のクラスタリング処理等のコストを低減することができ、結果として、照合処理全体の処理コストを大幅に低減することができる。したがって、入力画像に対するバーチャルスライドの追従性を高め、より操作性の高い構成とすることができる。

［変形例２−１］
本実施形態の変形例として、顕微鏡装置２０２が拡大率情報出力部２３０を有さず、画像処理装置１０２が、ユーザにより観察像の拡大率の情報を入力されることが可能に構成されてもよい。この場合、ユーザは、顕微鏡装置２０２の観察像の光路中に配置されている対物レンズ２１３の拡大率を確認し、画像処理装置１０２にその情報を入力することができる。これによっても、視野情報出力部１４２の処理コストを低減することが可能となる。

＜第３の実施形態＞
図９は、本技術の第３の実施形態に係る画像処理システムのブロック図である。本実施形態に係る画像処理システム３は、第１の実施形態と同様に、画像処理装置１０３と、顕微鏡装置２０２と、サーバ装置３００とを備える。一方、画像処理装置１０３が顕微鏡装置２０２から観察像の拡大率に関する情報を取得可能に構成される点、及び、画像の照合に失敗した際に、拡大率に関する情報を用いて処理を行うことが可能な点で、第１の実施形態と異なる。以下の説明において、第１の実施形態と同様の構成については、その説明を省略又は簡略化し、異なる部分を中心に説明する。

［顕微鏡装置の構成］
顕微鏡装置２０２は、第２の実施形態と同様に、顕微鏡本体２１０と、撮像部２２０と、拡大率情報出力部２３０とを有する。顕微鏡本体２１０は、第１の実施形態と同様に、ステージ２１１と、接眼レンズ２１２と、複数の対物レンズ２１３と、対物レンズ保持部２１４とを有する。

拡大率情報出力部２３０は、画像処理装置１０３に対し、観察像の拡大率に関する情報を出力することが可能に構成される。拡大率情報出力部２３０の具体的な構成については特に限定されない。例えば、拡大率情報出力部２３０は、観察像の光路中に配置されている対物レンズ２１３の拡大率を検出するためのセンサを有していてもよい。あるいは、対物レンズ保持部２１４が駆動に関する情報を出力可能な電動レボルバ等で構成される場合には、対物レンズ保持部２１４が拡大率情報出力部２３０として機能してもよい。

［画像処理装置の構成］
画像処理装置１０３は、画像取得部１１０と、視野情報生成部１５０と、表示制御部１３０と、表示部１３１とを有する。

視野情報生成部１５０は、第１の実施形態と同様に、第１の解像度を有する入力画像と、観察対象の画像を含み第１の解像度よりも大きい第２の解像度を有するバーチャルスライドとを照合することで、バーチャルスライド中の、入力画像に対応する視野範囲を特定するための視野情報を生成する。これに加え、視野情報生成部１５０は、視野情報を生成できなかった場合に、ユーザに対し、観察しているスライド標本の他の観察像を撮像するように指示することが可能に構成される。

具体的には、視野情報生成部１５０は、画像照合部１５１と、視野情報出力部１５２と、拡大率情報取得部１５３と、画像取得指示部１５４とを有する。

画像照合部１５１は、バーチャルスライドと入力画像とを照合する。視野情報出力部１５２は、照合結果に基づいて、バーチャルスライド中の入力画像に対応する視野範囲を求め、当該視野範囲を特定する視野情報を表示制御部１３０へ出力する。

拡大率情報取得部１５３は、顕微鏡装置２０２から出力された観察像の拡大率の情報を取得する。当該拡大率情報は、画像取得指示部１５４により、視野情報を生成できなかった場合の処理に用いられる。以下の説明において、「拡大率」とは、対物レンズの拡大率をいうものとするが、接眼レンズ及び対物レンズを含む顕微鏡装置２０２の光学系全体における拡大率を用いてもよい。

画像取得指示部１５４は、視野情報を生成できなかった場合に、ユーザに対し、スライド標本の他の観察像を撮像するように指示する。当該指示の例としては、拡大率が小さい、いわゆる弱拡の入力画像を取得する旨の指示や、顕微鏡装置２０２のステージ２１１に載置されたスライド標本を移動させる旨の指示等が挙げられる。

［視野情報生成部の動作］
図１０は、視野情報生成部１５０の動作例を示すフローチャートである。

視野情報生成部１５０は、画像取得部１１０から入力画像を取得する（ＳＴ２１）。

次に、視野情報生成部１５０の画像照合部１５１は、バーチャルスライドと入力画像とを照合する（ＳＴ２２）。本実施形態においても、視野情報生成部１５０は、バーチャルスライドから抽出される複数のＳＩＦＴ特徴量と、入力画像から抽出される複数のＳＩＦＴ特徴量とに基づいて、バーチャルスライドと入力画像とを照合する。本工程（ＳＴ２２）の具体的な処理は、第１の実施形態に係る図３のＳＴ１２に含まれるＳＴ１２１〜ＳＴ１２５と同様に行われるため、図３を参照しつつ、説明する。

すなわち、画像照合部１５１は、バーチャルスライドから、それぞれ固有のＳＩＦＴ特徴量を有する複数の第１の特徴点を抽出する（ＳＴ１２１に対応）。次に、画像照合部１５１は、入力画像から、それぞれ固有のＳＩＦＴ特徴量を有する複数の第２の特徴点を抽出する（ＳＴ１２２に対応）。続いて画像照合部１５１は、複数の第２の特徴点各々と入力画像の視野範囲との関係を求める（ＳＴ１２３に対応）。さらに画像照合部１５１は、複数の第２の特徴点各々に対応する複数の第１の特徴点各々に対して、上記関係に基づき、基準点及び視野ベクトルの投票を行う（ＳＴ１２４に対応）。そして、画像照合部１５１は、投票結果に基づいて、各視野範囲候補の入力画像との相関度を求める（ＳＴ１２５に対応）。相関度は、上記（５）式により求めることができる。

次に、画像照合部１５１は、第１の閾値以上の相関度の視野範囲候補が存在するか否か判定する（ＳＴ２３）。「第１の閾値」は、バーチャルスライドから抽出した第１の特徴点のコードブック数等を参照し、適宜設定することが可能である。このような視野範囲候補が存在しない場合は、相関度が最大の視野範囲候補であったとしても、入力画像に対応する視野範囲でなく、画像照合が失敗した可能性が高い。したがって、画像取得指示部１５４により、以下の照合失敗処理（ＳＴ２６〜ＳＴ２８）が行われる。

すなわち、第１の閾値以上の相関度の視野範囲候補が存在しないと判定した場合に（ＳＴ２３でＮｏ）、画像取得指示部１５４は、拡大率情報取得部１５３が取得した観察像の拡大率が所定の拡大率以下であるか否か判定する（ＳＴ２６）。例えば、画像取得指示部１５４は、対物レンズの拡大率が１．２５倍以下であるか否か判定することができる。

「所定の拡大率以下か否か」の判定に当たっては、「所定の拡大率以下の特定の拡大率を有する対物レンズを使用しているか否か」について判定してもよい。上述のように、拡大率は、各対物レンズ２１３に固有の数値であり、各対物レンズ２１３は、１．２５倍、２．５倍、５倍、１０倍、４０倍等の予め定められた数値を有する。したがって、例えば、２．５倍以下の拡大率であるか否か判定しようとする場合には、２．５倍の対物レンズ及び１．２５倍のいずれかの対物レンズを使用しているか否かについて判定すればよい。あるいは、例えば１．２５倍未満の対物レンズ２１３が顕微鏡装置２０２に取り付けられていないことが明らかな場合には、１．２５倍の対物レンズであるか否か判定してもよい。

現在見ている観察像の拡大率が所定の拡大率以下でないと判定した場合に（ＳＴ２６でＮｏ）、画像取得指示部１５４は、ユーザに対し、所定の拡大率以下の観察像を撮像するように指示する（ＳＴ２７）。指示の具体的な内容については、「所定の拡大率以下の観察像を撮像する」ことを促す内容であれば、特に限定されない。

図１１は、画像取得指示部１５４による指示が表示部１３１に表示された例を示す図である。同図に示すように、画像取得指示部１５４は、対物レンズ２１３の拡大率を１．２５倍にするようにユーザに指示してもよい。また、指示の方法としては、同図に示すような表示部１３１を介した方法に限定されず、画像処理装置１０３が図示しないスピーカ等を有する場合には、当該スピーカ等を介して指示を行ってもよい。

対物レンズの拡大率を小さくする（弱拡にする）ことで、画像取得部１１０は、より広い視野範囲の入力画像を取得することができる。広い視野範囲の入力画像は、狭い視野範囲の入力画像と比較して、特徴的な部分を多く有する可能性が高く、多数のＳＩＦＴ特徴量を抽出しやすいという利点がある。したがって、ユーザに対し、拡大率を弱拡にして観察像を撮像するように指示し、再度画像の照合を行うことで、画像の照合が成功する可能性を高めることができる。

上記指示をした後、視野情報生成部１５０は、再び画像取得部１１０から入力画像を取得し（ＳＴ２１）、画像照合部１５１が、画像照合処理を行う（ＳＴ２２）。

一方、拡大率が所定の拡大率以下であると判定した場合に（ＳＴ２６でＹｅｓ）、画像取得指示部１５４は、ユーザに対し、現在見ている観察像とスライド標本上の位置が異なる他の観察像を撮像するように指示する（ＳＴ２８）。指示の具体的な内容については、「現在見ている観察像とスライド標本上の位置が異なる他の観察像を撮像する」ことを促す内容であれば、特に限定されない。

図１２は、画像取得指示部１５４による指示が表示部１３１に表示された例を示す図である。同図に示すように、画像取得指示部１５４は、具体的に、顕微鏡装置２０２のステージ２１１に載置されたスライド標本を移動するようにユーザに指示してもよい。また、指示の方法としては、同図に示すような表示部１３１を介した方法に限定されず、画像処理装置１０３が図示しないスピーカ等を有する場合には、当該スピーカ等を介して指示を行ってもよい。

スライド標本上の観察像の位置を移動させることにより、特徴的な部分を多く有する画像が取得できる可能性がある。したがって、上記指示をした後、再度画像の照合を行うことで、画像の照合が成功する可能性を高めることができる。

上記指示をした後、視野情報生成部１５０は、再び画像取得部１１０から入力画像を取得し（ＳＴ２１）、画像照合部１５１が、画像照合処理を行う（ＳＴ２２）。

画像照合処理に戻り、相関度が第１の閾値以上の視野範囲候補が存在すると判定された場合（ＳＴ２３でＹｅｓ）、画像照合部１５１は、相関度が最も高い視野範囲候補と相関度が２番目に高い視野範囲候補との相関度の差が第２の閾値以上であるか判定する（ＳＴ２４）。「第２の閾値」も、特に限定されず、適宜設定することが可能である。

入力画像に対応する視野範囲は、一般に、バーチャルスライド中に一箇所であると考えられる。このため、入力画像に対応する視野範囲とそれ以外の領域との相関度の差は大きいものと考えられる。そこで、相関度の差が第２の閾値以上であると判定された場合には（ＳＴ２４でＹｅｓ）、視野情報出力部１５２は、相関度が最も大きかった視野範囲に対応する視野情報を生成し、表示制御部１３０に出力する（ＳＴ２５）。

一方、相関度の差が第２の閾値未満であると判定された場合には（ＳＴ２４でＮｏ）、画像照合が失敗した可能性が高いとして、照合失敗処理が行われる（ＳＴ２６〜ＳＴ２８）。

以上のように、本実施形態によれば、画像照合に失敗した場合であっても、ユーザに対して指示を行うことで、再度画像照合を行うことが可能となる。これにより、画像照合失敗に伴うストレスをユーザに過度に与えることなく、円滑に画像照合処理を進めることができる。また、ユーザに対し的確な指示を提示することで、画像照合処理を効率的に成功させることが可能となる。したがって、顕微鏡装置２００によるバーチャルスライドの操作性をより高めることが可能となる。

以下、本実施形態に係る変形例３−１〜３−３について説明する。

[変形例３−１]
図１３は本変形例に係る画像処理システム３ａのブロック図である。本変形例は、画像処理装置１０３ａが、画像取得部１１０と、視野情報生成部１５０と、表示制御部１３０と、表示部１３１とに加え、さらに入力部１６０を有する点で上記画像処理装置１０３と異なる。これにより、仮に、確実な視野範囲が見つからなかった場合でも、視野範囲候補が数個に絞れる場合には、ユーザが入力部１６０を用いて妥当な視野範囲を選ぶことが可能となる。

入力部１６０は、ユーザが、表示部１３１に表示された複数の視野範囲候補の中から視野範囲を選択することが可能に構成される。入力部１６０の具体的な構成は特に限定されないが、例えば、タッチパネル、マウス等のポインティングデバイスや、キーボード装置等であってもよい。

図１４は、本変形例に係る視野情報生成部１５０の動作例を示すフローチャートである。図１０で説明したフローチャートと異なる処理は、相関度が最も高い視野範囲候補と相関度が２番目に高い視野範囲候補との相関度の差が第２の閾値以上であるか判定する工程（ＳＴ２４）後の処理である。したがって、この部分を中心に説明する。

相関度の差が第２の閾値以上であると判定された場合には（ＳＴ２４でＹｅｓ）、図１０に係る処理と同様に、視野情報出力部１５２は、相関度が最も大きかった視野範囲に対応する視野情報を生成し、表示制御部１３０に出力する（ＳＴ２５）。

一方で、相関度の差が第２の閾値未満であると判定された場合には（ＳＴ２４でＮｏ）、画像照合部１５１は、相関度が最も大きい視野範囲候補との相関度の差が第２の閾値未満の視野範囲候補の数が、所定の数以下であるか否か判定する（ＳＴ２９）。ここで、「所定の数」とは、ユーザがその視野範囲候補の中から妥当な視野範囲を選択可能な数であればよく、例えば、２〜２０程度の数をいう。視野範囲候補の数が所定の数よりも大きかった場合には（ＳＴ２９でＮｏ）、ユーザに妥当な視野範囲を選択させることが難しいため、照合失敗処理を行う（ＳＴ２６〜ＳＴ２８）。

一方、視野範囲候補の数が所定の数以下であった場合は（ＳＴ２９でＹｅｓ）、視野情報出力部１５２は、相関度の差が第２の閾値未満の複数の視野範囲候補に対応する視野情報を表示制御部１３０に出力する（ＳＴ３０）。

これにより、表示部１３１には、複数の視野範囲候補についての情報が表示される。例えば、表示部１３１には、視野範囲候補のサムネイル画像等が表示されてもよい。また、視野情報に含まれるスライドＩＤや、患者名等が表示されてもよい。ユーザは、これらの視野範囲候補のうちから、入力画像に対応する視野範囲として妥当なものを選択し、入力部１６０により当該妥当な視野範囲を選択する。この場合の入力操作の例としては、入力部１６０がタッチパネルで構成される場合には、選択すべき視野範囲の画像等の上をタッチする操作であってもよい。

視野情報出力部１５２は、ユーザにより選択された視野範囲の情報を、入力部１６０から取得したか否か判定する（ＳＴ３１）。当該情報を取得していないと判定した場合には（ＳＴ３１でＮｏ）、再度当該情報を取得したか否か判定する（ＳＴ３１）。

一方、当該情報を取得したと判定した場合には（ＳＴ３１でＹｅｓ）、選択された視野範囲に対応する視野情報を生成し、表示制御部１３０に出力する（ＳＴ２５）。

このように、本変形例によれば、視野範囲候補を絞り込める場合には、ユーザに妥当な視野範囲を選択させることが可能となる。したがって、照合失敗処理を行った場合よりも、迅速な処理が可能となる。また、ユーザが自ら妥当な視野範囲候補を判断するため、紛らわしい複数の視野範囲候補がある場合であっても、視野情報生成部１５０の誤処理を防止することができる。さらに、画像照合処理を行う場合と比較して、視野情報生成部１５０の処理コストを低減することが可能となる。

[変形例３−２]
視野情報生成部１５０は、バーチャルスライドと入力画像との照合により、第１の閾値以上の相関度の視野範囲候補が存在しないと判定した場合（図１０のＳＴ２３でＮｏ）、所定の拡大率以下か判定せず、ユーザに対し、スライド標本の他の観察像を撮像するように指示してもよい。これにより、拡大率情報が取得できない場合であっても、画像照合に失敗した際に、再度画像照合を行うことが可能となる。

指示の具体的な内容については、「スライド標本の他の観察像を撮像する」ことを促す内容であれば、特に限定されない。例えば、表示部１３１に、「画像照合をやりなおして下さい」と表示してもよい。

これによっても、ユーザが他の観察像を撮像し、画像照合を成功させる可能性を高めることが可能となる。したがって、視野情報生成部１５０の処理コストを低減することが可能となる。

[変形例３−３]
変形例１−２の構成例１と同様に、視野情報生成部１５０は、ある入力画像から第１の視野情報を生成した後、他の入力画像から第２の視野情報を生成する場合に、第１の視野情報によって得られたスライドＩＤに対応するバーチャルスライド中の領域と、入力画像とを照合することができる。

さらに本変形例においては、同一のスライドＩＤに対応するバーチャルスライド中の領域内で繰り返し照合を行った場合、相関度が第１の閾値以上の視野範囲候補が存在しないという判定（図１０のＳＴ２３参照）が、所定の数以上の複数の入力画像に対して行われた場合には、バーチャルスライド全体と入力画像とを照合することができる。すなわち、同一のスライドＩＤに対応するバーチャルスライド内で照合処理を行った場合、所定の回数以上照合失敗処理を繰り返した場合には、スライド標本が入れ替わったとみなして、バーチャルスライド全体を照合の対象とする。

これにより、画像の照合処理のコストを大幅に削減できる。これに加えて、スライド標本の差し替えも自動的に判定可能な構成とすることができ、利便性を高めることができる。

＜第４の実施形態＞
図１５は、本技術の第４の実施形態に係る画像処理システムのブロック図である。本実施形態に係る画像処理システム４は、第１の実施形態と同様に、画像処理装置１０４と、顕微鏡装置２００と、病理画像ＤＢ３１０を有するサーバ装置３００とを備える。第１の実施形態と異なる点は、画像処理装置１０４が記憶部１７０をさらに有する点である。以下の説明において、第１の実施形態と同様の構成については、その説明を省略又は簡略化し、異なる部分を中心に説明する。

画像処理装置１０４は、画像取得部１１０と、視野情報生成部１２０ａと、表示制御部１３０と、表示部１３１と、記憶部１７０とを有する。

記憶部１７０は、病理画像ＤＢ３１０に格納されたバーチャルスライドの全部又は一部を記憶することが可能に構成される。すなわち、画像処理装置１０４は、サーバ装置３００から、バーチャルスライドを適宜ダウンロードし、記憶部１７０に格納することが可能である。記憶部１７０は、具体的には、ＨＤＤや、ＳＳＤ等の不揮発性メモリで構成することができる。

視野情報生成部１２０ａは、第１の実施形態と同様に構成され、画像照合部１２１ａと、視野情報出力部１２２ａとを有する。視野情報出力部１２２ａは、第１の実施形態に係る視野情報出力部１２２ａと同様に、照合結果に基づいて、バーチャルスライド中の入力画像に対応する視野範囲を求め、当該視野範囲を特定する視野情報を表示制御部１３０へ出力する。

画像照合部１２１ａは、上述のように、バーチャルスライドと入力画像とを照合する。画像照合部１２１ａは、第１の実施形態とは異なり、記憶部１７０に格納されたバーチャルスライドを用いて、画像照合処理を進めることができる。

画像照合部１２１ａは、さらに、記憶部１７０に保持されたバーチャルスライドに対し、予め画像照合処理の一部を実行することが可能である。例えば画像照合部１２１ａは、画像照合処理に先立ち、バーチャルスライドから、それぞれ固有のＳＩＦＴ特徴量を有する複数の第１の特徴点を抽出しておくことができる。

このように、本実施形態によれば、入力画像を取得してから視野情報を生成するまでの処理時間を短縮することが可能となる。これにより、ユーザの待ち時間を短縮し、診断効率の効率化を図ることができる。また、患者との問診時等に画像処理装置１０４を用いる場合には、診察時間を短縮することも可能となる。

また、記憶部１７０は、病理画像ＤＢ３１０に格納されたバーチャルスライドの一部を記憶する場合には、種々の内容のバーチャルスライドを記憶することが可能である。以下にその例を示す。

（記憶部に格納されるバーチャルスライドの内容について）
記憶部１７０は、例えば、ある入力画像から第１の視野情報を生成した後、当該第１の視野情報によって得られたスライドＩＤに対応する領域のバーチャルスライドを記憶することができる。これにより、変形例１−２の構成例１で説明したように、視野情報生成部１２０が、ある入力画像から第１の視野情報を生成した後、他の入力画像から第２の視野情報を生成する場合に、記憶部１７０に格納したバーチャルスライド中の領域と、入力画像とを照合することができる。したがって、画像照合処理のコストを大幅に削減し、処理時間を短縮することが可能となる。

記憶部１７０は、例えば、同一の患者のスライド標本に対応する領域のバーチャルスライドを記憶することができる。これにより、同一の患者における病態の変化や進行をより的確に把握することが容易になる。

また、記憶部１７０は、変形例１−１を参照し、記憶されたバーチャルスライドに紐付けられたアノテーション情報も併せて記憶することができる。これにより、診断をより効率よく進めることができる。

＜第５の実施形態＞
図１６は本技術の第５の実施形態に係る画像処理システム５の模式図、図１７は、画像処理システム５のブロック図である。本実施形態に係る画像処理システム５は、画像処理装置１０５と、顕微鏡装置２００と、病理画像ＤＢ３１０を有するサーバ装置３００とに加えて、さらに表示装置４００とを備える。以下の説明において、第１の実施形態と同様の構成については、その説明を省略又は簡略化し、異なる部分を中心に説明する。

画像処理システム５は、図１６に示すように、医師Ｄ１と医師Ｄ２とによる遠隔診断時に用いることができる。画像処理装置１０５は、顕微鏡装置２００とともに、医師Ｄ１のもとに配置される。一方、表示装置４００は、医師Ｄ２のもとに配置される。画像処理装置１０５と表示装置４００との通信方法は特に限定されず、例えばネットワークを経由した通信でもよい。

画像処理装置１０５は、画像取得部１１０と、視野情報生成部１２０ｂと、表示制御部１３０ｂとを有する。画像処理装置１０５は、第１の実施形態等と異なり、表示部を有しない構成であってもよい。画像処理装置１０５は、ＰＣや、タブレット端末等の情報処理装置として構成されてもよい。

視野情報生成部１２０ｂは、画像照合部１２１ｂと、視野情報出力部１２２ｂとを有する。画像照合部１２１ｂは、第１の実施形態に係る画像照合部１２１と同様に構成され、バーチャルスライドと入力画像とを照合する。

視野情報出力部１２２ｂは、照合結果に基づいて、バーチャルスライド中の入力画像に対応する視野範囲を求め、当該視野範囲を特定する視野情報を表示制御部１３０ｂへ出力する。

表示制御部１３０ｂは、視野情報に基づいて、バーチャルスライド中の入力画像の視野範囲に対応する情報を取得し、その情報を表示するための信号を表示装置４００へ出力する。当該情報は、上記出力画像とすることができる。

表示装置４００は、表示部４１０と、記憶部４２０とを有し、画像処理装置１０５と有線又は無線により接続される。表示装置４００は、ＰＣや、タブレット端末等の情報処理装置として構成されてもよい。

表示部４１０は、表示制御部１３０ｂから出力された信号に基づいて、上記情報を表示する。表示部１３１は、例えばＬＣＤ、ＯＥＬＤ等を用いた表示デバイスであり、タッチパネルディスプレイとして構成されてもよい。

記憶部４２０は、バーチャルスライドを全部又は一部を記憶することが可能に構成される。すなわち、表示装置４００は、バーチャルスライドを適宜ダウンロードし、記憶部４２０に格納することが可能である。表示装置４００のバーチャルスライドのダウンロード方法は特に限定されず、サーバ装置３００から直接ダウンロードしてもよいし、あるいは画像処理装置１０５を経由してダウンロードしてもよい。記憶部４２０は、具体的には、ＨＤＤや、ＳＳＤ等の不揮発性メモリで構成することができる。

画像処理システム５は、上述のように、遠隔診断時に用いることができる。例えば、図１６に示す医師Ｄ１は、病理診断の依頼元の医師であり、同図に示す医師Ｄ２は、病理診断の専門医等であり、病理診断の依頼先の医師とする。医師Ｄ１は、手元にある患者のスライド標本に基づいて、医師Ｄ２に診断を依頼したいと考えている。以下、このような前提のもと、画像処理装置１０５及び表示装置４００の動作例について説明する。

（画像処理装置及び表示装置の動作例）
まず、画像処理装置１０５の画像取得部１１０は、顕微鏡装置２００から、医師Ｄ１により撮像された入力画像を取得し、当該入力画像を視野情報生成部１２０ｂに出力する。

画像照合部１２１ｂは、バーチャルスライドと入力画像とを照合する。ここでのバーチャルスライドは、上述の実施形態と同様に、サーバ装置３００の病理画像ＤＢ３１０に格納されたもの等を用いることができる。視野情報出力部１２２ｂは、照合結果に基づいて、入力画像に対応する視野範囲を特定するための視野情報を表示制御部１３０ｂに出力する。表示制御部１３０ｂは、視野情報に基づいて、バーチャルスライド中の入力画像の視野範囲に対応する出力画像を表示するための信号を表示装置４００へ出力する。

一方、医師Ｄ２のもとにある表示装置４００には、予め、バーチャルスライドが送信されている。当該バーチャルスライドは、サーバ装置３００から直接送信されてもよいし、サーバ装置３００から画像処理装置１０５を経由して送信されてもよい。なお、送信されるバーチャルスライドは、サーバ装置３００に格納されたバーチャルスライドを複製したものとすることができる。表示装置４００に送信されたバーチャルスライドは、記憶部４２０に格納される。

表示制御部１３０ｂからの上記信号を受信した表示装置４００の表示部４１０は、記憶部４２０に記憶されたバーチャルスライドを用いて、視野情報に対応する当該バーチャルスライドの視野範囲を出力画像として表示する。これにより、医師Ｄ２は、医師Ｄ１により観察された入力画像に対応する、バーチャルスライドの出力画像を確認することが可能となる。

このように、本実施形態によれば、画像処理装置１０５から表示装置４００へ入力画像そのものを送信する必要はなく、視野情報を送信するだけでよい。したがって、一枚（一フレーム）の出力画像の出力に際して送信されるデータ量を低減することが可能となる。

一方、従来は、医師Ｄ１が撮像した入力画像（顕微鏡画像）を医師Ｄ２の表示装置４００へ直接送信していた。これにより、医師Ｄ１がスライド標本を移動させつつ連続的に顕微鏡画像を撮像するような場合には、一枚の顕微鏡画像のデータ送信量が大きいため、フレームレートが低くなるという問題があった。結果として、医師Ｄ１のスライド標本の移動に対する医師Ｄ２への出力画像の追従性が悪く、円滑な遠隔診断が難しかった。

そこで、本実施形態によれば、従来の遠隔診断と比較して、通信時のデータ量を大幅に低減することができることとなる。これにより、病理診断におけるデータ送信時のコストを抑制することが可能となる。さらに、医師Ｄ１のスライド標本の移動に対する医師Ｄ２への出力画像の追従性を高めることが可能となる。これにより、医師Ｄ１が観察する顕微鏡画像を、低レイテンシかつ高フレームレートで、医師Ｄ２に提示することが可能となる。したがって、遠隔診断をより円滑に行うことが可能となる。

以上、本技術の各実施形態を説明したが、本技術は上述の実施形態にのみ限定され
るものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿
論である。以下、その他の変形例６−１〜６−３について説明する。

［変形例６−１］
視野情報生成部は、ある入力画像から第１の視野情報を生成した後、顕微鏡装置から得られるスライド標本の変位についての情報に基づいて、第２の視野情報を生成してもよい。

具体的には、顕微鏡装置は、ステージの平面内での変位についての情報を取得する変位検出部を有する構成とすることができる。変位検出部の具体的な構成は特に限定されず、例えば、ステージの平面内での変位そのものを検出可能であってもよい。あるいは、ステージの平面内での速度を検出可能な構成であってもよい。

画像処理装置の視野情報生成部は、顕微鏡装置の変位検出部から出力されたステージの変位についての情報に基づいて、バーチャルスライドの変位量を算出可能に構成される。さらに、視野情報生成部は、第１の視野情報に、当該算出されたバーチャルスライドの変位量を加えることで、第２の視野情報を生成可能に構成される。

本変形例により、画像処理装置は、画像照合の処理コストを大幅に低減することが可能となる。

［変形例６−２］
以上の各実施形態では、画像処理装置が、例えば、ＰＣや、タブレット端末等の情報処理装置として構成されると説明したが、これに限定されない。例えば、画像取得部、表示制御部等が、ＰＣ、タブレット端末等の第１の装置本体に格納され、画像処理装置の視野情報生成部が、第１の装置本体と接続されたＰＣ、サーバ等の第２の装置本体に格納されていてもよい。すなわちこの場合、画像処理装置は、第１の装置本体及び第２の装置本体を備える。これにより、画像照合に係るデータ処理量が大きい場合であっても、各装置本体に対する負荷を軽減することができる。また、第２の装置本体は、病理画像ＤＢが格納されたサーバ装置であってもよい。

［変形例６−３］
以上の各実施形態では、画像処理装置を含む画像処理システムが、病理画像診断時に用いられると説明したが、これに限定されない。例えば、生理学、薬理学等の分野の研究において、組織切片を観察する際に本技術を適用することも可能である。

なお、本技術は以下のような構成もとることができる。
（１）ユーザの観察対象の観察像を撮像することにより生成された第１の解像度を有する入力画像を取得する画像取得部と、
上記観察対象の画像を含み上記第１の解像度よりも大きい第２の解像度を有する標本画像と、上記入力画像とを照合することで、上記標本画像中の、上記入力画像に対応する視野範囲を特定するための視野情報を生成する視野情報生成部と、
上記視野情報に基づいて、上記標本画像中の上記視野範囲に対応する情報を取得し、上記情報を表示するための信号を出力する表示制御部と
を具備する画像処理装置
（２）上記（１）に記載の画像処理装置であって、
上記視野情報生成部は、上記観察像の拡大率の情報を取得し、上記標本画像の拡大率と上記観察像の拡大率との比を利用して、上記標本画像と上記入力画像とを照合する
画像処理装置。
（３）上記（１）又は（２）に記載の画像処理装置であって、
上記視野情報生成部は、上記視野情報を生成できなかった場合に、ユーザに対し、上記観察対象の他の観察像を撮像するように指示する
画像処理装置。
（４）上記（３）に記載の画像処理装置であって、
上記視野情報生成部は、
上記視野情報を生成できなかった場合に、上記観察像の拡大率が所定の拡大率以下であるか否か判定し、
上記所定の拡大率以下でなかった場合に、上記所定の拡大率以下の拡大率の観察像を撮像するように指示する
画像処理装置。
（５）上記（３）に記載の画像処理装置であって、
上記視野情報生成部は、
上記視野情報を生成できなかった場合に、上記観察像と上記観察対象上の位置が異なる他の観察像を撮像するように指示する
画像処理装置。
（６）上記（１）から（５）のうちいずれか１つに記載の画像処理装置であって、
上記視野情報生成部は、上記視野情報を生成する際に、上記標本画像の上記視野範囲に対応する領域に付随するアノテーション情報を併せて取得する
画像処理装置。
（７）上記（１）から（６）のうちいずれか１つに記載の画像処理装置であって、
上記画像取得部は、上記観察対象の識別情報を上記入力画像と併せて取得し、
上記視野情報生成部は、上記識別情報に基づいて、上記標本画像のうち上記観察対象に対応する画像領域を特定し、上記画像領域と入力画像とを照合する
画像処理装置。
（８）上記（１）から（７）のうちいずれか１つに記載の画像処理装置であって、
視野情報生成部は、上記標本画像から抽出される複数のＳＩＦＴ特徴量と、上記入力画像から抽出される複数のＳＩＦＴ特徴量とに基づいて、上記標本画像と上記入力画像とを照合する
画像処理装置。
（９）観察対象の観察像を撮像することにより生成された第１の解像度を有する入力画像を取得し、
上記観察対象の画像を含み上記第１の解像度よりも大きい第２の解像度を有する標本画像と、上記入力画像とを照合し、
照合結果に基づいて、上記標本画像中の、上記入力画像に対応する視野範囲を特定するための視野情報を生成し、
上記視野情報に基づいて、上記標本画像中の上記視野範囲に対応する情報を取得し、上情報を表示するための信号を出力する
画像処理方法。

１００，１０２，１０３，１０３ａ，１０４，１０５…画像処理装置
１１０…画像取得部
１２０，１２０ａ，１２０ｂ，１４０，１５０…視野情報生成部
１３０，１３０ｂ…表示制御部
Ｗ…観察像
Ｖ…バーチャルスライド（標本画像）
Ｍ…入力画像
Ｆ…出力画像

Claims (11)

1. ユーザによる観察対象の移動に伴って顕微鏡装置で観察された異なる観察像各々を前記顕微鏡装置によって撮像することにより生成された第１の解像度を有する入力画像と、前記観察対象の画像を含み前記第１の解像度よりも大きい第２の解像度を有する標本画像とを照合することで、前記標本画像中の、前記入力画像に対応する視野範囲を特定するための視野情報を生成する視野情報生成部と、
   前記視野情報に基づいて、前記ユーザによる前記観察像の移動に伴って移動する前記標本画像中の前記視野範囲に対応する情報を取得し、前記視野範囲の移動に追従して前記情報を表示するための信号を出力する表示制御部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記視野情報生成部は、前記観察像の拡大率の情報を取得し、前記標本画像の拡大率と前記観察像の拡大率との比を利用して、前記標本画像と前記入力画像とを照合する
   画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記視野情報生成部は、前記視野情報を生成できなかった場合に、ユーザに対し、前記観察対象の他の観察像を撮像するように指示する
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記視野情報生成部は、
   前記視野情報を生成できなかった場合に、前記観察像の拡大率が所定の拡大率以下であるか否か判定し、
   前記所定の拡大率以下でなかった場合に、前記所定の拡大率以下の拡大率の観察像を撮像するように指示する
   画像処理装置。
5. 請求項３に記載の画像処理装置であって、
   前記視野情報生成部は、
   前記視野情報を生成できなかった場合に、前記観察像と前記観察対象上の位置が異なる他の観察像を撮像するように指示する
   画像処理装置。
6. 請求項１から５のうちいずれか１項に記載の画像処理装置であって、
   前記視野情報生成部は、前記視野情報を生成する際に、前記標本画像の前記視野範囲に対応する領域に付随するアノテーション情報を併せて取得する
   画像処理装置。
7. 請求項１から６のうちいずれか１項に記載の画像処理装置であって、
   前記視野情報生成部は、標本画像のうち、既に生成された視野情報から特定される観察対象の画像に対応する領域と、前記入力画像とを照合する
   画像処理装置。
8. 請求項１から７のうちいずれか１項に記載の画像処理装置であって、
   視野情報生成部は、前記標本画像から抽出される複数のＳＩＦＴ特徴量と、前記入力画像から抽出される複数のＳＩＦＴ特徴量とに基づいて、前記標本画像と前記入力画像とを照合する
   画像処理装置。
9. 請求項１から８のうちいずれか１項に記載の画像処理装置であって、
   前記標本画像は、病理画像である
   画像処理装置。
10. 請求項９に記載の画像処理装置であって、
    前記病理画像は、焦点の異なる複数のレイヤー画像を含む
    画像処理装置。
11. ユーザによる観察対象の移動に伴って顕微鏡装置で観察された異なる観察像各々を前記顕微鏡装置によって撮像することにより生成された第１の解像度を有する入力画像を取得し、
    前記観察対象の画像を含み前記第１の解像度よりも大きい第２の解像度を有する標本画像と、前記入力画像とを照合し、
    照合結果に基づいて、前記標本画像中の、前記入力画像に対応する視野範囲を特定するための視野情報を生成し、
    前記視野情報に基づいて、前記ユーザによる前記観察像の移動に伴って移動する前記標本画像中の前記視野範囲に対応する情報を取得し、前記視野範囲の移動に追従して前記情報を表示するための信号を出力する
    画像処理方法。

Images