JP6624369B2 - 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム - Google Patents

Description

本開示は、画像の倍率を変更する処理に関する。

従来、病理診断は病理医によって顕微鏡を利用して行われてきた。しかし、診断数の増加や病理医の不足に伴い、病理医が現地で直接顕微鏡を用いて観察することが困難である場合が多い。そのため、病理検体情報をデジタル化し、取得した画像の情報を遠隔地へと送る、遠隔病理診断が必要とされている。しかし、病理画像は高解像で撮影する必要があるため、画像サイズが必然的に大きくなる。そのため、画像全体を一括で伝送することは困難である。

例えば、特許文献１は、病理医がいない病院の検査技師と病理医とが、互いに画像中の観察したい検体領域の位置や倍率を指定しつつ伝送する顕微鏡静止画伝送システムを提案している。

特開平６−３６０１号公報

特許文献１では、検査技師と病理医とが連携しつつ、手動での観察位置と倍率の指定が必要となる。そのため、病理医が観察している間、検査技師が立ち会う必要がある。

本開示の非限定的で例示的な一態様は、病理医が所望する観察位置と倍率を自動的に推定し、その領域を病理医に自動的に提示する画像処理技術を提供する。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

本開示の一態様に係る画像処理装置は、画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理装置であって、前記画像上の複数の位置の各々について、操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択されたガウス関数を用いて条件付き確率を計算し、最も大きい条件付き確率が得られた 位置を、前記次位置候補として推定する次観察推定部と、少なくとも前記次位置候補を視認可能に表示するための画像を生成する表示画像生成部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示によれば、病理医が所望する観察位置を用いて自動的に推定することで、病理医の動きを推定し、その領域を病理医へ提示することができる。すなわち、検査技師が立ち会わずとも、病理医が所望する観察位置を先読みして、その領域を病理医が観察することができる。

図１は、実施の形態１に係る画像表示装置１００の構成を示すブロック図である。 図２は、画像処理装置１１０の処理の手順を示すフローチャートである。 図３Ａは、推定結果保持部１０５に保持されている、更新前の推定結果２００を示す図である。 図３Ｂは、推定結果保持部１０５に保持される、更新後の推定結果２０１を示す図である。 図４は、観察特徴量保持部１０６の保持内容を説明する図である。 図５は、画素観察必要度の算出方法を示すフローチャートである。 図６Ａは、小領域観察必要度を算出するために重複を許さずに分割された画像を模式的に示す図である。 図６Ｂは、小領域観察必要度を算出するために重複を許して分割された画像を模式的に示す図である。 図７は、Ｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓの処理の流れを示す図である。 図８は、次観察推定部１０１の処理内容を示すフローチャートである。 図９は、次位置推定の結果、画像上において非線形な推定を行うことを説明する図である。 図１０Ａは、画像ピラミッド保持部１０８のデータ構造を示す模式図である。 図１０Ｂは、画像ピラミッド保持部１０８における画像ピラミッドの概念を示す模式図である。 図１１Ａは、ある一定の動きで先読みを説明する図である。 図１１Ｂは、ある一定の動きで先読みを説明する図である。 図１１Ｃは、ある一定の動きで先読みを説明する図である。 図１２は、実施の形態２に係る画像表示装置１２０の構成を示すブロック図である。 図１３は、超解像処理部９０１の処理内容を示すフローチャートである。 図１４は、実施の形態３に係る画像表示装置１４０の構成を示すブロック図である。 図１５Ａは、結果表示制御部１１０１の表示例を示す模式図である。 図１５Ｂは、超解像処理が実施されなかった領域に対して入力部１０４の入力情報に従って超解像処理を実施したときの結果表示制御部１１０１の表示例を示す模式図である。 図１６は、観察特徴量保持部を有しない画像処理装置１１０ａを有する画像表示装置１００ａの構成を示すブロック図である。 図１７は、位置の情報のみを利用して条件付き確率を求める処理の手順を示すフローチャートである。 図１８は、実施の形態１〜３にかかる画像表示装置のハードウェア構成を示すブロック図である。 図１９は、画像表示装置をデータサーバ１４０１および複数台のコンピュータ１４０２、１４０３を用いて実現した構成例を示す図である。 図２０は、画像処理方法を説明するための図である。

（本発明の基礎となった知見）
医療における診断業務の目的は病名と病状の把握である。把握された病名または病状に応じて治療方針が決定される。病名または病状を確定するために、病変部から検体を摘出して細胞レベルで状態観察を行う病理診断が行われる。病理診断では、摘出した検体を顕微鏡で観察できる厚さにスライスすることにより標本が作製される。近年では、標本は顕微鏡越しにデジタルカメラまたはスキャナで撮影され、デジタル画像として保存および参照される。

一方、近年診断数の増加や病理医の不足に伴い、病理医が現地で直接顕微鏡を用いて観察することが困難である場合が多い。その場合、病理医ではない者が撮影を行って病理検体の画像の情報を病理医がいる場所へと送り、遠隔地で病理医が診断を行う、遠隔病理診断が必要となる。しかし、病理画像を高解像（高画素数）で撮影する必要があるため、画像サイズが必然的に大きくなる。全ての画像の情報を一括で病理医へと伝送することは困難である。従って、検体画像を部分ごとに分割して得られた、部分検体画像の情報を伝送する必要がある。

前述の特許文献１では、検査技師と病理医とが連携しつつ、手動での観察位置と倍率の指定を行う。そのため、病理医が観察している間、検査技師が立ち会う必要がある。検査技師の立ち会いの必要性は、病理診断における制限事項であった。

通常、病理医は検体の全てを詳細に観察するのではなく、まず検体全体を俯瞰的に観察し、詳細に観察すべき部位に見当をつけ、その部位を拡大表示して観察する。そして、表示位置を変更しつつ、気になる部位が表示された場合、拡大もしくは縮小して観察する。

本願発明者らは、病理診断を行うために利用される機器を上述の病理医の動作パターンを踏まえて動作させると、検査技師の立会いを不要とすることが可能になるのではないかという視点で研究を重ねた。その結果、病理医が観察したい検体の位置等を機器が先読みして、病理医が所望すると推定される部分領域を病理医に提示する技術を開発するに至った。

本発明の一態様の概要は以下のとおりである。

本発明の一態様に係る画像処理装置は、画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理装置であって、操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定する次観察推定部と、少なくとも前記次位置候補を視認可能に表示するための画像を生成する表示画像生成部とを備える。

ある実施の形態において、前記所定の確率分布はガウス分布であり、前記次観察推定部は、前記画像上の複数の位置の各々について、前記ガウス分布を用いて得られる条件付き確率の確率値を計算し、最も大きい確率値が得られた位置を、前記次位置候補として推定する。

ある実施の形態において、前記操作履歴を示すパラメータは、少なくとも、観察した画像の位置を示す情報を含み、前記次観察推定部は、前記複数の位置の各々を、次に観察するであろう画像上の位置の候補として、前記複数の位置の各々について前記確率値を計算する。

ある実施の形態において、前記操作履歴を示すパラメータは、さらに倍率を示す情報を含み、前記次観察推定部は、前記複数の位置の各々について、次に観察するであろう画像上の位置および倍率に関する前記確率値を計算する。

ある実施の形態においては、前記次観察推定部は、前記画像の画素ごとに予め用意された、各画素を観察する必要性の大きさを表す画素観察必要度の情報を利用して、前記複数の位置の各々を含む小領域の画像観察必要度を計算し、前記所定の確率分布と、前記複数の位置の各々に対応して計算された前記画像観察必要度とを利用して、前記確率値を計算する。

ある実施の形態において、前記次観察推定部は、前記画像上の複数の位置の各々について、予め算出された画像特徴量の情報をさらに利用して、前記確率値を計算する。

ある実施の形態において、前記表示画像生成部は、順次求められた複数の推定結果を表示するための画像を生成する。

ある実施の形態において、前記画像処理装置は、前記次観察推定部によって推定された前記次位置候補を含む部分領域に超解像処理を行うか否かを判定し、前記超解像処理を行うと判定した場合には、照明光の照射方向を変えて撮影された、所与の病理検体の複数の画像のデータに基づいてより画素数が多い拡大画像を構築し、前記拡大画像中の、前記部分領域に対応する小領域にデコンボリューション演算による超解像処理を行う超解像処理部をさらに備える。

本発明の一態様に係る画像表示装置は、上述のいずれかの画像処理装置と、前記表示画像生成部によって生成された前記画像を表示する画像表示部とを備える。

本発明の他の一態様に係る画像表示装置は、上述の倍率に関する前記確率値を計算する画像処理装置と、前記表示画像生成部によって生成された前記画像を表示する画像表示部と、前記次観察推定部で推定された位置および倍率の情報を表示するよう制御する結果表示制御部とを備える。

ある実施の形態において、前記画像表示装置の画像処理装置は、前記次観察推定部によって推定された前記次位置候補を含む部分領域に超解像処理を行うか否かを判定し、前記超解像処理を行うと判定した場合には、照明光の照射方向を変えて撮影された、所与の病理検体の複数の画像のデータに基づいてより画素数が多い拡大画像を構築し、前記拡大画像中の、前記部分領域に対応する小領域にデコンボリューション演算による超解像処理を行う超解像処理部をさらに備える。

ある実施の形態において、前記画像表示部は、前記超解像処理部にて超解像処理を実施した領域を視認可能に表示する。

ある実施の形態において、前記画像表示装置は、操作者から前記画像中の部位の選択を受け付ける入力部をさらに備え、前記入力部が前記画像中の部位の選択を受け付けた場合において、前記結果表示制御部は、前記次観察推定部に、選択された前記部位から新たに前記次位置候補を推定させる。

ある実施の形態において、前記入力部が前記画像中の部位の選択を受け付けた場合であって、かつ前記超解像処理が選択された前記部位に実施されていない場合には、前記結果表示制御部は、前記超解像処理部に、選択された前記部位への前記超解像処理を実施させる。

ある実施の形態において、前記画像表示装置は、前記操作者が前記画像表示部に表示された前記画像の部位に所定の回数以上連続で拡大操作を行ったことを判定する拡大操作判定部をさらに備え、前記拡大操作を行ったと判定した場合、前記拡大操作判定部は、前記超解像処理部に、前記部位への前記超解像処理を実施させる。

本発明の一態様に係る方法は、画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する方法であって、操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定し、少なくとも前記次位置候補を視認可能に表示するための画像を生成する。

本発明の一態様に係るコンピュータプログラムは、画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに、操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定させ、少なくとも前記次位置候補を視認可能に表示するための画像を生成させる。

本発明の一態様に係る画像処理方法は、
（ａ）第１領域に含まれる第１の位置に対する複数の候補位置を選択し、
前記複数の候補位置は前記第１領域と異なる第２領域に含まれ、
前記第１領域と前記第２領域は第１画像に含まれ、
前記複数の候補位置は第１の候補位置を含み、
前記第１の候補位置は、第１の複数の画素値に対応し、
（ｂ）前記第１の複数の画素値が含まれる領域の画像特徴情報を決定し、
（ｃ）前記第１画像と異なる画像に対する観察位置の変更履歴を示す履歴情報を取得し、
（ｄ）前記画像特徴情報と前記履歴情報に基づいて前記複数の候補位置に含まれる一つを決定し、
前記第２領域は第３領域を含み、
前記第１の複数の画素値は、前記第３領域に含まれる複数の位置に一対一対応し、
前記第１画像の種類に対応する分類方法を用いて、前記第１の複数の画素値は分類され、
前記分類結果に基づいて、前記第１の複数の画素値の画像特徴情報が決定される。

ある実施の形態において、前記第１の複数の画素値の個数が（６×ｒ）×（６×ｓ）（ｒ、ｓは自然数）であり、前記第１画像の種類に対応する分類方法を用いて、前記第１の複数の画素値が分類されるとき、前記分類はｒ×ｓ個の画素値のグループごとに前記分類がなされて、３６個の分類結果が取得され、前記取得された３６個の分類結果が、前記第１の複数の画素値の各々の画像特徴情報とされる。

（用語の定義）
本明細書では、以下のように用語を定義する。

解像度：撮影された画像を構成する画素の数に応じた画像の精細さ。画像が矩形状である場合には、画像の横の画素数Ｐおよび縦の画素数Ｑを用いて、「解像度Ｐ×Ｑの画像」と呼ぶこともある。赤、緑および青の３種類のサブ画素（サブ画素群）によって１つの画素の色を表示するカラー画像にあっては、サブ画素の総数ではなく、サブ画素群によって表される当該１つの画素の総数が解像度を表す。なお、表示装置に関しても、たとえばＤＰＩ（Ｄｏｔｓ Ｐｅｒ Ｉｎｃｈ）などを用いて「解像度」が定義され得る。しかしながら、混乱を防止するため、本願明細書では「解像度」は画像の画素数に関連して定義されるとする。

倍率：撮影された画像を表示装置（ディスプレイ）に表示する際の拡大率または縮小率。本明細書では、画像を構成する各画素を、表示装置の各画素に対応させて表示するとき（いわゆるドット・バイ・ドットで表示するとき）の倍率を１倍（１００％）とする。倍率は画像を表示する大きさを調整するためのパラメータである。画像の縦方向および横方向それぞれについて倍率を設定し得る。ただし、倍率を増減させたとしても、表示される画像の解像度は変更されない。

上述の定義に関連して、解像度と倍率との関係を説明する。

いま、画像のある領域をＲ倍で拡大表示する場合を考える。もとの画像を単にＲ倍に拡大すると、画像の精細度はたとえば１／Ｒ倍に低下したと感じられる。これは、空間周波数が変化しないにもかかわらず、もとの画像をより大きく表示したからである。このような場合、以下に説明する実施の形態では、同じ被写体をＲ倍の解像度で撮影した画像を利用してその領域を表示することとする。ちょうどＲ倍された解像度の画像が存在しない場合には、たとえばＲ倍よりも大きい、Ｓ倍の解像度を有する画像を選択し、その画像をＲ/Ｓ倍、すなわち縮小する。または、たとえばＲ倍の次に小さいＳ倍の解像度を有する画像を選択し、その画像をＳ/Ｒ倍、すなわち拡大する。これにより、結果としてＲ倍された解像度の画像を得ることができる。画像の縮小処理は公知の任意のアルゴリズムを用いることができる。上述の処理は、以下の実施の形態では再度説明しない。倍率が求められると、その倍率に対応する解像度の画像が選択され、必要に応じて拡大処理または縮小処理が行われるとする。

（実施の形態１）
本実施の形態では、少なくとも画像特徴を内包する特徴量に基づいて病理医が次に観察する画像上の位置と画像の倍率とを推定して、画像の当該位置を当該倍率で表示する画像表示装置を説明する。

図１は、実施の形態１に係る画像表示装置１００の構成を示すブロック図である。

画像表示装置１００は、画像処理装置１１０と、画像表示部１０３と、入力部１０４とを有している。そして画像処理装置１１０は、次観察推定部１０１と、表示画像生成部１０２と、推定結果保持部１０５と、観察特徴量保持部１０６と、パラメータ保持部１０７と、画像ピラミッド保持部１０８と、生成画像保持部１０９とを有する。

以下では、画像表示装置１００の、特に画像処理装置１１０の動作を概略的に説明する。この動作の説明に関連して、画像処理装置１１０の各構成要素の機能や、保持（記憶）している情報の内容も説明する。

図２は、画像処理装置１１０の処理の手順を示すフローチャートである。

ステップＳ１１において、次観察推定部１０１は、パラメータ保持部１０７から、操作履歴を示すパラメータ（ｖ^, Σ）を読み込む。操作履歴を示すパラメータとは、事前に集計された、操作者の操作の履歴を示すパラメータである。この操作者は、種々の病理医であってもよいし、現在操作している病理医であってもよい。以下では種々の病理医の操作履歴を例に挙げて説明する。

本明細書では、パラメータ「ｖ^」（「ｖハット」と読む。後述の数式では「＾」は「ｖ」の上に表記される。以下同様である）は、種々の病理医が観察した際の操作「ｖ」の平均値である。操作「ｖ」は、各病理医または同一の病理医が指定した画像の観察位置を特定する情報およびその観察時に指定した倍率の情報を含む。画像の観察位置の情報および倍率の情報を並べて記述することにより、操作「ｖ」をベクトルとして捉えることが可能である。すなわち「ｖ」を「操作ベクトル」と呼ぶことができる。

例を挙げて説明する。いま、観察を行う画像上の位置を（ａ,ｂ）と表し、観察時の倍率をｚと表すとする。位置（ａ,ｂ）は、病理医が、たとえばマウスを用いて指定した、ディスプレイに表示されている画像中の画素の位置である。倍率ｚは、同じくマウスまたはキーボードを用いて指定した表示倍率である。操作ベクトル「ｖ」は、ｖ＝（ａ，ｂ，ｚ）と表現される。ｎ（ｎ：自然数）回の操作を表す操作ベクトルの各々をｖ₁、ｖ₂、・・・、ｖ_k、・・・ｖ_nとする。そして、ｖ_kについて、観察を行う画像上の位置を（ａ_k,ｂ_k）と表し、観察時の倍率をｚ_kと表すとすると、ｖ_k＝（ａ_k,ｂ_k,ｚ_k）と表現できる。これらを用いると、操作ベクトルｖの平均であるベクトルｖ^は以下の数１のように表現できる。
（数１）
ｖ^＝（ａ＾,ｂ＾,ｚ＾）
ただし、ａ＾＝１／ｎ・ｓｕｍ（ａ_k）（ｋ：１〜ｎ）
ｂ＾＝１／ｎ・ｓｕｍ（ｂ_k）（ｋ：１〜ｎ）
ｚ＾＝１／ｎ・ｓｕｍ（ｚ_k）（ｋ：１〜ｎ）
「ｓｕｍ（ａ_k）」は、ｋを１〜ｎで変化させて得られた数列ａ_kの加算演算を意味する。

なお、本実施の形態では倍率の情報を含めているが、この情報は含まれていなくてもよい。病理医が指定した観察位置の情報のみであってもよい。

パラメータ「Σ」は、上述の「ｖ」の共分散行列であり、以下の数２のように定義され得る。

数２の共分散行列の各要素を一般化してＳｐｑと表すと、Ｓｐｑは以下のとおり定義される。

ｐハット（ｐ＾）およびｑハット（ｑ＾）は、ｐおよびｑの平均である。Ｔは転置を表す。

数２における行列ΣのＳ_xy成分を例にとると、操作ベクトルｖ₁、ｖ₂、・・・ｖ_nに含まれるａ₁、ａ₂、・・・ａ_nの各々が、数３におけるｐ₁、ｐ₂、・・・、ｐ_nに対応する。また、操作ベクトルｖ₁、ｖ₂、・・・ｖ_nに含まれるｂ₁、ｂ₂、・・・ｂ_nの各々が、数３におけるｑ₁、ｑ₂、・・・、ｑ_nに対応する。また、数２における行列ΣのＳ_ya成分を例にとると、操作ベクトルｖ₁、ｖ₂、・・・ｖ_nに含まれるｂ₁、ｂ₂、・・・ｂ_nの各々が、数３におけるｐ₁、ｐ₂、・・・、ｐ_nに対応する。また、操作ベクトルｖ₁、ｖ₂、・・・ｖ_nに含まれるｚ₁、ｚ₂、・・・ｚ_nの各々が、数３におけるｑ₁、ｑ₂、・・・、ｑ_nに対応する。

パラメータ保持部１０７は、操作履歴を示すパラメータ（ｖ^, Σ）を予め保持している。

ステップＳ１２において、次観察推定部１０１は、複数の位置を次位置候補（x^t+1）₁、・・・、（x^t+1）_i、・・・を選択する。ここでは、現在の位置をｘ^tと表している。これは、病理医がｔ回目の選択を行ったことを示す。次に選択される位置はｘ^t+1と表される。上付きの（ｔ＋１）は、ｔ＋１番目に選択される次位置候補であることを意味する。なお、添え字のｉは、次位置候補の各々を区別するために理解の便宜のために付した。図２では、位置ｘ^t+1には添え字のｉは示されていないが、これは記載の便宜のためである。続く図２の各ステップについても、同様に記載の便宜のため添え字のｉは省略される。後述の倍率（ｚ^t+1）_iについても同様である。このようにして、次位置候補の各々がそれぞれ選択される。後述のように、ステップＳ１３〜Ｓ１６の処理を経て、次観察推定部１０１は、複数の位置候補の中から一つを選択する。その位置が、病理医が次に観察する位置の最終候補とされる。

なお、位置ｘ^tが含まれる領域と、次位置候補ｘ^t+1の各々とが存在する領域は異なっている。ただし、いずれの領域も同じ病理検体を撮影した画像に含まれている。また、位置ｘ^tおよび次位置候補ｘ^t+1の各々は、固有の画素値を有している。つまり、位置および位置候補が定まると、その各々に一対一対応する画素値を特定できる。

ステップＳ１３において、次観察推定部１０１は、次位置候補（x^t+1）_iごとに、観察特徴量保持部１０６から画素観察必要度(w(I(a,b)|（x^t+1）_i))を読み込む。画素観察必要度は、図２に示す処理の開始に先立って求められており、画素の位置が特定されるとその画素に対応する画素観察必要度が求められる。つまり、次位置候補（x^t+1）_iごとに画素観察必要度(w(I(a,b)|（x^t+1）_i))が一意に特定される。

画素観察必要度とは、画素「Ｉ（ａ，ｂ）」ごとに対応付けられた数値であり、その数値が大きいほどその画素を観察する必要性が高いことを表す（後述の図４）。なお、上述の「I(a,b)」は、画像上の座標位置(a,b)における画素を表す。

ステップＳ１４において、次観察推定部１０１は、読み込んだ画素観察必要度を利用して、次位置候補ごとの画像観察必要度( w(I^t+1|（x^t+1）_i, （ｚ^t+1）_i) )を算出する。画像観察必要度( w((I^t+1)_i|(x^t+1)_i,(z^t+1)_i) )は、位置（x^t+1) _iを倍率（z^t+1) _iで観察した際に表示される画像（I^t+1) _iを観察する必要性の高さを表す。画像（I^t+1) _iは、上述の位置(x^t+1)_iを含み、かつ倍率（z^t+1) _iで表示されている部分画像である。一例として、画像観察必要度は、上述の位置（x^t+1）_iを含み、かつ倍率（ｚ^t+1）_iで表示される画像の範囲に属するすべての位置の画素観察必要度を加算した値として求めることができる。

ステップＳ１５において、次観察推定部１０１は、パラメータと画像観察必要度とを利用して、次位置候補ごとの条件付き確率( P(（I^t+1) _i, （x^t+1）_i| x^t) )を算出する。条件付き確率は後述の数４により求められる。なお数４は添え字ｉを省略して記載している。

ステップＳ１６において、次観察推定部１０１は、条件付き確率が最も大きい次位置候補を選択し、その結果を新たな推定結果として推定結果保持部１０５を更新する。尚、選択方法は他にも確率値に従ってランダムに選択する方法などがある。確率的に選択する場合、確率値が大きいものは選択されやすく、確率値が小さいものは選択されにくい。つまり、確率値が最大のもの以外も選択されうる。この選択方法は、病理医の操作履歴の収集数が少ない場合、つまり操作履歴を表すパラメータの計算が不十分な場合に利用されうる。以下では、確率値が最も大きいものを選択する場合を例として説明する。

図３Ａは、推定結果保持部１０５に保持される推定結果２００を示す。図３Ｂは、推定結果保持部１０５によって更新された推定結果２０１を示す。

次観察推定部１０１は、少なくとも観察時刻欄２０２と各時刻と対応した座標欄２０３と倍率欄２０４を含む推定結果２００を生成する。観察時刻欄２０２は現在時刻から「Ｔ」時刻分推定結果を保持しており、「Ｔ」は最小で１時刻前のみ、最大で開始時刻から保持される。なお、「１時刻」は「回数」を意図しているが、固定値または可変値の時間長であってもよい。

次観察推定部１０１が新たな推定結果を算出すると、推定結果保持部１０５は、時刻を更新して保持し、最も古い時刻の結果を削除する。その結果、図３Ｂに示されるような推定結果２０１に変更される。

座標欄２０３には病理医が観察するであろうと推定された表示部位の中心座標が保持さており、倍率欄２０４には推定された表示倍率が保持されている。座標欄２０３に保持されている座標は画像ピラミッド保持部１０８に保持されている基準画像内における座標である。また、倍率欄２０４は基準画像の画素等倍表示を１．０として、２倍に拡大して観察した場合は２．０、０．５倍の場合は０．５として記述されている。

再び図２を参照する。

ステップＳ１７において、表示画像生成部１０２は、選択された次位置候補にしたがって、画像ピラミッド保持部１０８に保持された、解像度が異なる種々の画像群から所定の解像度の画像を選択する。選択される画像の解像度は、上述の画像観察必要度を算出した際の倍率「ｚ^t+1」に基づいて特定される解像度である。倍率から解像度を求める方法は
、「用語の定義」欄において説明した通りである。

表示画像生成部１０２は、ステップＳ１８において、選択された画像から表示用画像を生成し、ステップＳ１９において、表示用画像を生成画像保持部１０９に蓄積する。

以上の処理により、画像処理装置１１０は、事前に取得した種々の病理医の操作の情報に基づいて、現在操作中の病理医が次に観察すると思われる位置および倍率を推定することが可能になる。

以下、本実施の形態にかかる画像表示装置１００の構成要素を説明する。

再び図１を参照する。各構成要素の説明に関連して、適宜図３Ａ以降の図面を参照する。

次観察推定部１０１は、推定結果保持部１０５に保持されている現在の位置と倍率と、パラメータ保持部１０７に保持されているパラメータと、観察特徴量保持部１０６に保持されている特徴量を入力として数４のように条件付き確率「ｐ（Ｉ^t+1，ｘ^t+1｜ｘ^t）」を計算する。

数４に含まれる記号の意味は以下のとおりである。「ｘ^t」は推定結果保持部１０５（図３）に保持されている時刻ｔにおける画像上の推定位置（ａ^t，ｂ^t）を表す。「ｘ^t+1」は次時刻における推定位置ベクトル（ａ^t+1，ｂ^t+1）である。「Ｚ」は正規化係数を表す。「ｕ」はｕ＝ｖ^t+1―ｖ^tとして得られる、ｔ回目の位置と（ｔ＋１）回目の推定位置との差分、およびｔ回目の倍率と（ｔ＋１）回目の推定倍率ｚとの差分を含むベクトルである。「ｖ^t」は時刻ｔにおける画像上の推定位置（ａ^t，ｂ^t）と推定倍率「ｚ^t」（Ｚは小文字）を並べたベクトル（ａ^t，ｂ^t，ｚ^t）を表し、「ｖ^t+1」は次時刻における推定位置と倍率を並べたベクトル（ａ^t+1，ｂ^t+1，ｚ^t+1）を表す。すると、ｕ＝（ａ^t+1―ａ^t，ｂ^t+1―ｂ^t，ｚ^t+1―ｚ^t）である。「ｕ＾」および「Σ」は、各時刻ｔ＝１、２、・・・、ｎにおける「ｕ」から求められる平均および共分散行列である。ｕ＾は、数１におけるｖ^と同様、各時刻におけるｕの同じ成分の値の平均を計算することによって求められる。またΣは、数２および数３の定義に従い、各時刻におけるｕの成分を利用して求められる。

上述のように、「ｖ＾」および「Σ」は、事前に集計された病理医の操作を利用して処理の開始前に取得され、パラメータ保持部１０７に保持されており、操作に関する履歴を表すパラメータであると言える。これらの値は、図２のステップＳ１１において読み込まれる。また、「ｗ（Ｉ^t+1｜ｘ^t+1，ｚ^t+1）」は「ｘ^t+1」の位置を倍率「ｚ^t+1」で観察した際に表示される画像「Ｉ^t+1」における画像観察必要度を表している。

数４の演算によって、条件付き確率「ｐ（Ｉ^t+1，ｘ^t+1｜ｘ^t）」が得られる。数４に含まれる画像観察必要度を求めるために、次画像特徴量Ｉ^t+1、次位置候補ｘ^t+1および次倍率ｚ^t+1が必要である。得られた条件付き確率は、それらの組み合わせが次に発生する確率を表していると言える。次観察推定部１０１は、得られた条件付き確率値と、その確率値を与えた次位置候補ｘ^t+1、次倍率ｚ^t+1および次画像特徴量Ｉ^t+1を出力する。

次観察推定部１０１は、図２のステップＳ１２〜Ｓ１５に示すように、複数の次位置候補の各々について、上述の数４によって求められる条件付き確率を算出する。そして、次観察推定部１０１は、その中で最も大きい確率値を与えた次位置候補ｘ^t+1（本実施の形態では倍率値を含む）を、推定結果として選択する。

次に、画素観察必要度ｗ（Ｉ（ａ，ｂ）｜ｘ^t+1）と、画素観察必要度を用いて求められる画像観察必要度ｗ（Ｉ^t+1｜ｘ^t+1，ｚ^t+1）を求めるために必要な、画素観察必要度を説明する。なお、これまでは、複数の候補位置ごとに各必要度を求めることを明確にするため、添え字ｉを用いて（ｘ^t+1）_iなどと記載していたが、以下では一般化して添え字ｉの記載を省略する。図面も同様である。

図４は、観察特徴量保持部１０６に保持されている、座標ごとの画素観察必要度３０２を示す。画素観察必要度３０２は図２のステップＳ１３において、次観察推定部１０１によって観察特徴量保持部１０６から読み込まれる情報である。

観察特徴量保持部１０６は、画像サイズ（Ｗ画素）×（Ｈ画素）の画像の座標３０１毎に、後述する方法で算出した画素観察必要度３０２を保持する。本実施形態においては、次観察推定部１０１は、観察特徴量保持部１０６に予め保持されている画素観察必要度３０２を用いて数５のように画像観察必要度「ｗ（Ｉ^t+1｜ｘ^t+1，ｚ^t+1）」を算出する。

但し、「ｗ（Ｉ（ａ，ｂ）｜ｘ^t+1）」は画素「Ｉ（ａ，ｂ）」における画素観察必要度
を表しており、「Ｄ」は倍率「ｚ^t+1」で観察したときに画面上に表示される領域を表す。

図５は、画素観察必要度の算出方法を示すフローチャートである。なお、説明の便宜上、以下では、次観察推定部１０１が画素観察必要度を算出するとして説明するが、これは一例である。画素観察必要度は、画像表示装置１００とは別の装置によって生成されてもよい。

次観察推定部１０１は、以下の手順で画素観察必要度「ｗ（Ｉ（ａ，ｂ）｜ｘ^t+1）」を求める。ここでは、元々の画像が、Ｗ画素×Ｈ画素の集合であるとする。

まず、ステップＳ１０１において、次観察推定部１０１は、画像を（ｗ画素）×（ｈ画素）サイズのＭ個の小領域「Ｒⁱ」に分割する。

図６Ａは、（ｗ画素）×（ｈ画素）サイズのＭ個の小領域に分割された画像を示す。この画像は撮影された病理検体５０１を含む。図６Ａでは小領域は重複なく設けられている。一方、図６Ｂは、他の例による、（ｗ画素）×（ｈ画素）サイズのＭ個の小領域に分割された画像を示す。隣接する小領域間で一部の画素は重複している。図６Ａおよび図６Ｂのいずれの分割方法でもよい。

次に、次観察推定部１０１は、ステップＳ１０２において、ｉ（ｉ＝１、２、・・・、Ｍ）番目の小領域を選択し、ステップＳ１０３において、選択した小領域内での画像特徴量を求める。本実施形態においては、画像特徴量として、各部位の色合いと局所的な形状を特徴量として組み込むために、バグ・オブ・フィーチャーズ（ｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓ；以下アルファベットで表記する。）を利用する。ｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓに基づく処理は図７を参照しながら後述する。

ステップＳ１０４において、次観察推定部１０１は、ステップＳ１０３において求めた画像特徴量から小領域観察必要度「ｗ（Ｒⁱ｜ｘ^t+1）」を算出する。小領域観察必要度の算出には、本実施形態においてはＳＶＲ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ）を利用する。「ｗ（Ｒⁱ｜ｘ^t+1）」の値が高いほど、病理医が観察すべき部位であることを示す。ＲⁱはＭ個に分割された小領域を示し、ｘ^t+1は複数の次位置候補各々の位置である。

その後、ステップＳ１０５において、次観察推定部１０１は、全部位で小領域観察必要度が算出されたかどうかを判定する。未算出の小領域が存在する場合（ＹＥＳ）には処理はｉ＝ｉ＋１としてステップＳ１０２に戻る。全小領域にて算出が完了していた場合（ＮＯ）は、処理はステップＳ１０６に遷移する。処理がステップＳ１０６に進んだ時点で、全ての小領域について小領域観察必要度が算出されていることになる。

ステップＳ１０６では、次観察推定部１０１は、小領域観察必要度「ｗ（Ｒⁱ｜ｘ^t+1）」から画素観察必要度「ｗ（Ｉ（ａ，ｂ）｜ｘ^t+1）」を算出するための画素を選択する。画素観察必要度を選択するための画素として次位置候補ｘ^t+1が選択される。ここでのＩ（ａ，ｂ）は、次位置候補ｘ^t+1である画素を示している。

その後、ステップＳ１０７において、次観察推定部１０１は、画素観察必要度「ｗ（Ｉ（ａ，ｂ）｜ｘ^t+1）」を算出する。図６Ａのように重複させずに分割した場合、ｊ番目の座標（ａ，ｂ）における画素観察必要度は数６のようになる。一方、図６Ｂのように重複させた場合は例えば数７のようになる。

ここで、ｍｅａｎ_i（．）は座標（ａ，ｂ）を利用する小領域間での平均を表す。尚、重複領域においては、他にも最大値や最小値をとることもできる。

次に、ステップＳ１０８において、次観察推定部１０１は、全ての画素にて画素観察必要度の算出が完了したかどうかを判定する。全ての画素にて算出が完了していた場合（ＮＯ）は処理はステップＳ１０９へ遷移し、次観察推定部１０１は、画素観察必要度を観察特徴量保持部１０６に保持させて終了する。

一方、全画素にて画素観察必要度の算出が完了していなかった場合（ＹＥＳ）はｊ＝ｊ＋１として処理はステップＳ１０６へと遷移し、全ての画素について画素観察必要度の算出が完了するまでステップＳ１０６およびＳ１０７が繰り返される。

ここで、図７を参照しながら、上述のＢａｇ−ｏｆ−ｆｅａｔｕｒｅｓの一例を説明する。Ｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓは、まず初めにｉ番目の小領域１５０１内の局所特徴量を算出する。局所特徴量としては、ｉ番目の小領域１５０１内から切り出された（ｗ画素）×（ｈ画素）よりも小さい画像サイズ（ｒ画素）×（ｓ画素）の局所画像を１列に並べた（ｒ×ｓ）次元のベクトル１５０２を利用する。上述の処理をｉ番目の小領域内から切り出した複数の局所画像に対して実施することで、ｉ番目の小領域内から複数のベクトルが算出される。このとき、画像は一般的にＲＧＢの３色で表現されているため、上述した局所特徴量の算出を各色で実施し、それらを全て並べて（３×ｒ×ｓ）次元のベクトルを生成することで、各部位の色合いも踏まえた局所特徴量が算出される。また、この方法は局所画像そのものを特徴量としているため、小領域内の局所的な形状も特徴として保持される。これら各局所特徴量のそれぞれを、事前に学習用の画像の情報から算出しておいた代表的な局所特徴量と比較して、各局所特徴量と最も近しい代表的な局所特徴量を算出する。代表的な局所特徴量の算出方法としては、病気の種類毎に各病気画像を収集し、それらから算出される局所特徴量の平均を利用したり、全学習用画像（想定される複数種類の病理検体の画像）の情報から生成された全ての局所特徴量を利用してｋ−ｍｅａｎｓクラスタリングを行い、各クラスタの中心を表すベクトルを代表的な局所特徴量として利用しても良い。最後に、代表的な局所特徴量のどれが何度ｉ番目の小領域内から算出された各局所特徴量Ａ〜Ｈと最も近しいと判定されたかをカウントし、全代表的な局所特徴量のカウント数を一列に並べてベクトルとしたものをｉ番目の小領域を表す画像特徴量とする。図７の場合においては、代表的な局所特徴量として「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」、「Ｈ」の８種類が算出されたとする。そして、ベクトル１５０２が「Ｆ」と最も近かったとする。このとき、「Ｆ」に対応する頻度を１増加させる。全ての局所画像に対して実施した後、ｉ番目の小領域１５０１の頻度が頻度１５０３のようになったとする。このとき、ｉ番目の小領域１５０１の画像特徴量は、頻度１５０３の値を並べたベクトル１５０４のようになる。この方法は、画像サイズ（ｒ画素）×（ｓ画素）の局所画像を１列に並べた（ｒ×ｓ）次元のベクトルをそのまま利用しないため、小領域画像内のノイズに頑健な特徴量が算出される。なお、局所特徴量の算出は、上記に限定されるものではなく、例えば物体の大きさに対して不変な特徴量を算出するＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などを利用することもできる。

上述の図５におけるステップＳ１０３の画像特徴算出、およびステップＳ１０４の観察必要度合い算出は、上記以外の方法を利用しても良い。例えば、ｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓの代わりにｄｅｅｐ−ｌｅａｒｎｉｎｇを用いて、大量の画像のデータから有効な特徴量そのものを学習しても良いし、ＳＶＲの代わりにｒａｎｄｏｍ ｆｏｒｅｓｔを利用しても良い。

次に、図８のフローチャートを参照しながら数４の計算方法を説明する。図８は、次観察推定部１０１の処理内容を示すフローチャートである。この処理は図２のステップＳ１１〜Ｓ１６までの処理に対応しており、次観察推定部１０１によって行われる。

まず、ステップＳ２０１にて、次観察推定部１０１は、パラメータ保持部１０７からパラメータ「ｖ＾」と「Σ」を読み込む。次に、ステップＳ２０２にて、次観察推定部１０１は、数４の「ｅｘｐ（．）」の値に従って次位置候補をＮ点サンプリングする。サンプリングにはＢｏｘ−Ｍｕｌｌｅｒ法を利用する。Ｂｏｘ−Ｍｕｌｌｅｒ法とはガウス分布に従ってサンプリングを行う方法である。はじめに、−１から＋１の間からランダムに２つの値「ａ₁」，「ａ₂」を生成し、ａ₁ ²＋ａ₂ ²の値が１以下か否かを判定する。そして、ａ₁ ²＋ａ₂ ²の値が１以下の場合、以下の数式を用いて「ａ’」を計算する。得られた「ａ’」は、平均０、分散１のガウス分布に従う。

但し、「ａ_i」は「ａ₁」もしくは「ａ₂」のいずれかを表しており、どちらを利用して計算しても良い。また、「ｒ²」はｒ²＝ａ₁ ²＋ａ₂ ²である。

次に、上式によって生成した平均０、分散１のガウス分布に従う乱数を利用して乱数ベクトルα＝（ａ’，ｂ’，ｚ’）を生成する。尚、「ｂ’」、「ｚ’」も数１７を利用して生成した値である。

次に、数４の「ｅｘｐ（．）」内の逆行列「Σ^-1」に対応する共分散行列「Σ」を分解し、Σ＝ＬＬ^Tとなる行列「Ｌ」を取得する。これを用いてｙ＝ｖ＾＋Ｌαとして得られるベクトルを計算する。得られたｙ＝（ａ’,ｂ’，ｚ’）が平均ベクトル「ｖ＾」、共分散行列「Σ」に従うガウス分布となる。このベクトル内の（ａ’,ｂ’）を次位置候補点とし、Ｎ点得られるまで上記計算を実施することで次位置候補点をＮ点サンプリングする。

他の方法として、現在位置を中心にしてＮ個の方位および所定の距離に位置する画素を、次位置候補として採用してもよい。または、画像の病理検体の広がりを考慮して、Ｎ個の次位置候補点を定めてもよい。

次に、ステップＳ２０３にて、次観察推定部１０１は、ｉ番目の次位置候補の画素観察必要度を観察特徴量保持部１０６から読み込む。

その後、ステップＳ２０４にて次観察推定部１０１は、全次位置候補で画素観察必要度が読み込まれたかどうか判定する。読み込まれていない次位置候補がある場合（ＹＥＳ）はｉ＝ｉ＋１として処理はステップＳ２０３に戻る。全次位置候補にて読み込みが完了していた場合（ＮＯ）は、ステップＳ２０５に遷移する。ステップＳ２０５において、次観察推定部１０１は、次位置候補ごとに、画素観察必要度の値に基づいて数４の条件付き確率を求め、その中から、最終的な次位置候補を選択する。

本実施形態においては、次観察推定部１０１は、数４の演算によって得られた条件付き確率が最大である位置を最終的な次位置候補として選択する。たとえば図９は、順次求められた、次位置の推定結果７０１、７０２、７０３を示す。次位置の推定結果７０１、７０２、７０３を線７０４で結ぶと、画像全体では推定される次位置は、非線形で推移していることが理解される。

さらに、図９中の四角枠７０５、７０６、７０７は各時刻での表示画面領域を表している。表示画面領域は倍率に対応して変化し、倍率が高いほど画像のより狭い領域が表示されることになる。実際に四角枠７０５、７０６、７０７が表示される場合には、その倍率に対応した解像度の画像が画像ピラミッド保持部１０８から選択される。

表示画像生成部１０２は、病理医が観察を開始した直後、すなわち初期情報として画像ピラミッド保持部１０８から画像全体を含む、低解像度画像のデータを読み込み、生成画像保持部１０９に保持する。その後、表示画像生成部１０２は、次観察推定部１０１が出力した次推定位置と次推定倍率に従って画像ピラミッド保持部１０８から該当位置・該当倍率に対応する解像度の画像を読み込む。

前述したように、表示画面領域と倍率とは関連しており、画像を詳細に観察しようとするほど、倍率は高くなり、表示される病理検体の領域は狭くなる。本実施形態においては、表示画像生成部１０２は高倍率の際には画像ピラミッド保持部１０８に保持されている高解像度画像のデータを読み込み、低倍率の際には低解像度画像のデータを読み込む。そして、推定位置に基づいて表示に必要な領域を読み込んだ画像から切り出し、表示画像として生成画像保持部１０９へと出力する。

図１０Ａは、画像ピラミッド保持部１０８における、画像のデータファイルの格納構造の例を示す。画像ピラミッド保持部１０８においては、まずルートフォルダ（”ＲＯＯＴ”）に画像フォルダ（”ＩＭＡＧＥＳ”）が設けられ、その直下にさらにサブフォルダ（”ＩＭＧ１００１”、”ＩＭＧ１００２”）が設けられている。サブフォルダは、たとえば被験者単位に設けられてもよいし、病理検体単位に設けられてもよい。

各サブフォルダに、画像のデータファイル（画像ファイル）が格納される。たとえばサブフォルダ８０１には５つの画像ファイル８０１−１〜８０１−５が格納されている。これらは、たとえば共通の病理検体を異なる解像度で撮影した画像である。

本実施の形態では、解像度が順に大きくなる、または小さくなる複数の画像が、あたかもピラミッドのように設けられているため、「画像ピラミッド」と表現することがある。

図１０Ｂは、画像ピラミッドの概念を示す。各画像には共通の病理検体５０１が含まれている。画像サイズ（解像度）に関しては、最上部の画像８０２が最も小さく、最下部の画像８０３が最も大きい。複数の解像度の画像ファイルを保持することによって、画像処理による逐次拡大・縮小を行う必要がなくなる。よって後述する、表示のための画像を生成する速度が向上する。

画像表示部１０３は、いわゆるディスプレイである。画像表示部１０３は、生成画像保持部１０９に保持されている画像を病理医に提示する。この画像は、後述する入力部１０４を介して病理医が入力した情報に従って、表示画像生成部１０２によって生成された画像である。

入力部１０４は、ユーザ（病理医）から画像表示装置１００を操作するための命令を受け付ける。入力部１０４は、病理医が位置と倍率を入力するための機構を備えており、入力情報を画像表示部１０３へと出力する。加えて入力部１０４は、次観察推定部１０１によって推定された結果（位置および倍率）とは異なる位置および倍率が入力された場合は、推定を一旦停止する命令を次観察推定部１０１へと出力する。その命令を受けた後、次観察推定部１０１は現在の位置と倍率を病理医が入力した値へと変更し、次観察推定を新たに開始する。そして次観察推定部１０１は、推定結果保持部１０５に入力値および出力値を保存する。

本実施形態によると、病理医の次に観察する位置と倍率を画像特徴量に従って自動推定して提示することができる。そのため、病理医が観察している間、検査技師の立会いは不要になる。加えて、入力部１０４の入力情報に従って、次位置推定を逐次修正することができる。

次観察推定部１０１や観察特徴量保持部１０６における動作は本実施形態に限定されるものではない。例えば、数４のｅｘｐ（．）の部分は、混合ガウス分布やｔ分布、ベータ分布などを利用する演算であっても良い。このとき、図２のステップＳ１２においては、条件付き確率に基づいて選択するのではなく、初めに候補位置と倍率を複数個サンプリングして、それら複数の候補から算出される確率値に基づいて次位置候補を選択する。他にも、観察特徴量保持部１０６は現在の位置が検体上か否かのみを判定しても良い。加えて、次観察推定部１０１は入力部１０４を用いて病理医に進行方向を入力してもらい、倍率を固定して一定の速度で所望の方向へ先読みしていっても良い。また、病理医が拡大もしくは縮小操作を行った際に、位置を固定して倍率を所望の方向へ変更しても良い。

図１１Ａ〜図１１Ｃは、ある一定の動きに従い先読みを説明する図である。図１１Ａ〜図１１Ｃのように病理医が指定した位置１６０１から、所定の動きで先読みしても良い。例えば、図１１Ａに示すように、病理医が指定した位置１６０１かららせん状１６０２に先読みしてもよい。または図１１Ｂに示すように、直線１６０３に沿ってに先読みしてもよいし、図１１Ｃに示すように、Ｎ（Ｎ＝２、３、・・・）次関数曲線１６０４を描いて先読みしてもよい。さらに、これら内容を組み合わせて実施しても良い。例えば、観察特徴量保持部１０６が検体上と判定した場合のみ上述した次観察推定部１０１の処理を実行しても良い。

（実施の形態２）
本実施形態による画像表示装置が、実施形態１による画像表示装置と相違する点は、超解像処理部を有する点である。これにより、画像ピラミッド保持部１０８に保持されている解像度以上の画像を病理医に提示することができる。

図１２は、本実施形態による画像表示装置１２０のブロック図を示す。画像表示装置１２０は、画像処理装置１３０と、画像表示部１０３と、入力部１０４とを有している。画像処理装置１３０は、超解像処理部９０１を有している点を除いては、画像処理装置１１０（図１）と同じである。以下では、図１２を利用して本実施形態を説明する。なお、図１２において、図１と同様の構成要素には同じ符号を付し、詳細な説明を省略する。

前述した実施形態１においては、同様に次観察推定部１０１の推定結果に従って、表示画像生成部１０２にて病理医に提示する画像を生成する。この際、推定倍率が最高解像度の画像８０３（図１０Ｂ）を拡大処理しなければ得られない倍率であった場合、線形補間やｓｐｌｉｎｅ補間などの画像補間処理で拡大処理を実施すると、倍率は上がるが解像度は上がらない。従って、倍率を上げて観察しても病理検体の詳細な形状を把握できない。このような事態に対応するため、本実施形態では超解像処理部９０１にて超解像処理を実施する。

超解像処理とは、解像度を向上させるための画像処理手法を指す。超解像処理の一例を説明する。照明光の照射方向を変えて、病理検体の画像を複数枚撮影する。それらの画像を機械的に組み合わせて、複数枚の画像の総数の画素数を有する拡大画像（いわゆるパッチワーク画像）を構築する。この拡大画像は、複数枚の画像を単に組み合わせただけであるから、まだ高精細な画像とは言えない。その後、拡大画像中の、所定の部分領域に対応する小領域にデコンボリューション演算を行い、高精細の画像を得る。これが、超解像処理である。

本実施形態においては、撮影時に利用するレンズや病理検体の厚さや封入剤の量等のばらつきに基づくＰＳＦ（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）の影響を除去するためのデコンボリューション処理を実施する。

デコンボリューション処理とは、数８のような逆変換処理のことを指す。

但し、「＊」は畳み込み演算を表し、「Ｉ＾」が求めたい高解像画像、「Ｉ」が画像ピラミッド保持部１０８に保持されている最高解像度の画像８０３を表し、「Ｄ」がデコンボリューション時に利用するＰＳＦに対応するフィルタを表す。本実施形態においては、フィルタ「Ｄ」の値は数９に示すガウシアンフィルタを用いて設定する。なお、フィルタ「Ｄ」は数１０のように任意の値に設定することが可能である。

但し、「σ²」は分散を表すパラメータであり、「Ｄ（ａ，ｂ）」はａ行ｂ列目のフィルタ値を示す。また、「Ｄ_g」は数９と同じくガウシアンフィルタを表し、「Ｗ」は撮像素子の開口率と解像度の上昇率に基づいて決定され、「Δ」は実際の値と設定値とのずれを表す。例えば、開口率２５％の撮像素子を利用して解像度を３倍に向上させたいとき、「Ｗ」は数１１のように設定すれば良い。なお、「Δ」の各値は乱数や白色雑音等で設定する。

本実施形態においては、数８の「Ｉ＾」を求めるために、数１２のようにウィーナフィルタを用いた周波数領域での演算を実施する。

但し、「Ｈ（．）」は周波数領域への変換を表し、「Ｈ（Ｄ）^-1」は、数１３のように求める。

但し、「Γ」はＳＮ比を表すパラメータである。本実施の形態では、デコンボリューション処理として、ウィーナフィルタを用いた周波数領域での演算を利用している。しかしながら、この処理は一例である。デコンボリューション処理はこれに限定されるものではなく、任意の処理方法を用いることができる。例えば、数１４の更新式を利用してデコンボリューション処理を行ってもよい。

但し、「Ｉ_a,b ^r+1」は、ｒ回目の繰り返し演算の際の座標（ａ，ｂ）の画素値を表し、「ρ」は更新時のパラメータを表す。また、「Ｅ」は下式の誤差関数を表しており、数１４は数１５を「Ｉ_a,b」で微分することで得られる。また、画像中のノイズを考慮して、数１５にＬ２ノルムやＬ１ノルムを加えた式を微分して得られる更新式を利用することもできる。

図１３は、超解像処理部９０１の処理内容を示すフローチャートである。

まず、ステップＳ３０１において、超解像処理部９０１は、次観察推定部１０１の出力情報である、次推定倍率を読み込む。次に、ステップＳ３０２において、超解像処理部９０１は、表示画像生成部１０２が出力した表示画像のデータを読み込む。次に、ステップＳ３０３において、超解像処理部９０１は、読み込んだ画像が最高倍率の画像８０３であるかどうか判定する。最高倍率の画像８０３である場合（ＹＥＳ）、処理はステップＳ３０４へと遷移する。

異なる場合（ＮＯ）は処理はステップＳ３０６へと遷移する。超解像処理部９０１は、最高倍率の画像８０３を表示画像として画像表示部１０３へと出力する。

次に、ステップＳ３０４において、超解像処理部９０１は、超解像処理が必要か否かを判定する。次推定倍率が最高倍率の画像８０３よりも高ければ（ＹＥＳ）、ステップＳ３０５へと遷移して、超解像処理部９０１は上述の超解像処理を実施する。次推定倍率が最高倍率の画像８０３よりも低ければ（ＮＯ）ステップＳ３０６へと遷移して、超解像処理部９０１は超解像処理結果を表示画像として画像表示部１０３へと出力する。

本実施形態によると、画像ピラミッド保持部１０８に保持されている解像度以上の画像を病理医に提示することができる。そのため、高解像度の画像を取得するために、画像の取得を再度実施する必要がなくなる。

（実施の形態３）
本実施形態による画像表示装置が、実施形態１および実施形態２による画像表示装置と相違する点は、画像全体において次観察推定部で推定された位置および倍率および超解像処理を実施したか否かの表示を制御する結果表示制御部を備えている点と、入力部において所定の回数以上連続で拡大操作が行われたか否かを判定する拡大操作判定部を備え、連続で拡大操作が行われた場合にはその領域に超解像処理を実施する機能を有する点である。この構成によると、画像のどの領域がどの倍率で表示できるかおよびどの部位で超解像処理を実施したかを視認することができる。また、結果表示制御部を介して、次位置推定で推定されていない領域が選択された場合、その領域から新たに次位置推定を実施することができる。加えて、拡大操作判定部を有しているため、超解像処理部にて超解像処理は不要と判断された場合に対しても超解像処理を実施することができる。

図１４は、本実施形態による画像表示装置１４０のブロック図を示す。画像表示装置１４０は、画像処理装置１５０と、画像表示部１０３と、入力部１０４と、結果表示制御部１１０１とを有している。画像処理装置１５０は、拡大操作判定部１１０２を有している点を除いては、画像処理装置１３０（図１２）と同じである。以下では、図１４を利用して本実施形態を説明する。なお、図１４において、図１と同様の構成要素には同じ符号を付し、詳細な説明を省略する。

結果表示制御部１１０１は、超解像処理部９０１と次観察推定部１０１の出力情報を受け取り、画像全体を表示する俯瞰画像上に、どの部位を次観察推定部１０１が次位置として推定し、どの部位に超解像処理が実施されたかを表示するよう制御する。

加えて、画像表示部１０３上に表示されたある部位が、入力部１０４を介して病理医によって特定されたとき、結果表示制御部１１０１は、表示倍率を入力するための入力タブを表示させる。そして、結果表示制御部１１０１は入力部１０４を介して病理医に表示倍率を入力させる。また、結果表示制御部１１０１は、入力部１０４を介して病理医によって特定された部位（領域）の情報を表示画像生成部１０２に送る。

入力部１０４を介して倍率および／または領域が指定されると、入力部１０４は、推定を一旦停止する命令を次観察推定部１０１へ出力する。その命令を受けて、次観察推定部１０１は推定を一旦停止する。その後、次観察推定部１０１は現在の位置と倍率を病理医が入力した値へと変更し、次観察推定を新たに開始する。そして、推定結果保持部１０５に入力値と出力値を保存する。

図１５Ａは結果表示制御部１１０１によって制御された表示例１２０１を示す。この図は位置１２０２および表示領域１２０３から推定が開始され、Ｕ字の形状に沿って推定が複数回行われ、最終的には位置１２０４および表示領域１２０５にて推定が終了する。

点線で示されている表示領域１２０６は超解像処理が実施された部位を示している。このとき、入力部１０４を利用して病理医が表示領域１２０７を選択したとする。結果表示制御部１１０１は、表示倍率を入力するタブ１２０８を表示させる。病理医は入力部１０４を利用して表示領域１２０７をどの倍率で観察したいかを入力する。その後、タブ１２０８に入力された情報を利用して、超解像処理部９０１は超解像処理が必要か否かを判定し、必要である場合には超解像処理を実施する。必要でない場合には、表示画像生成部１０２によって解像度の異なる画像が選択されて表示される。

拡大操作判定部１１０２は画像表示部１０３上で入力部１０４から所定の回数以上連続して拡大表示操作が行われ、かつ超解像処理が実施されていない場合、表示画像に超解像処理を実施する命令を超解像処理部９０１へと出力する。

なお、入力部１０４と画像表示部１０３とは一体化されて、タッチスクリーンパネルディスプレイとして実現され得る。病理医が、当該ディスプレイに表示されている病理検体の箇所に２本以上の指をタッチし、いわゆるピンチアウト動作を予め定められた時間内に所定回数以上連続して行った場合、拡大操作判定部１１０２はその箇所の画像に超解像処理を実施する命令を超解像処理部９０１へと出力する。

次に、図１５Ａと図１５Ｂを用いた結果表示制御部１１０１における表示制御動作例を示す。超解像処理が実施されていない表示領域１２０９を観察している際に、病理医が所定の回数以上連続して拡大表示操作を実施したとする。このとき、表示領域１２０９において超解像処理が実施される。図１５Ｂは、さらに超解像処理が実施された画像上の箇所１２０９ａを示す。

本実施形態によると、画像中のどの部位がどの倍率で表示できるかおよびどの部位で超解像処理を実施したかを視認することができる。また、結果表示制御部１１０１上において、次観察推定部１０１で推定されていない領域を選択することで、その領域から新たに次位置推定を実施することができる。加えて、領域選択後に病理医に倍率を入力させる機能もしくは拡大操作判定部１１０２によって、超解像処理部９０１にて超解像処理は不要と判断された場合に対しても超解像処理を実施することができる。

以上、本開示にかかる実施の形態に係る画像取得装置を説明したが、本開示はこれら実施の形態に限定されるものではない。以下、変形例を説明する。

（変形例）
上述の実施の形態１では、数４の「ｕ」に含まれる「ｖ^t」は、時刻ｔにおける画像上の推定位置と推定倍率を並べたベクトルであると説明した。しかしながらベクトルの要素は一例である。

たとえば、「ｖ^t」はさらに画像特徴量を含んでもよい。数１６は、時刻ｔにおける画像上の推定位置、画像特徴量、および推定倍率を並べたベクトル「ｖ^t」を利用して定義される「ｕ」を用いる場合の確率分布である。

ｖ^t＝[座標 画像特徴量 倍率]^Tである。たとえば、ｖ^t＝[ａ^t，ｂ^t，ｆ^t，ｚ^t]^T のように表現できる。ｖ^tの上付き文字「ｔ」はｔ回目に選択された位置であることを示す。このときの画素の座標を（ａ^t，ｂ^t）とし、画像特徴量をｆ^tとし、倍率をｚ^tとして記載している。

画像特徴量ｆ^tをｖ^tに含めているため、観察位置ごとに、倍率だけではなく画像特徴量を抽出しておくことが必要となる。たとえば病理検体である画像を、画素ごとに、または複数の画素を含む領域（病理検体の部位）ごとに、操作者が観察を必要とするか否かを表す観察レベルを割り当てておき、その観察レベルを画像特徴量として用いることができる。観察レベルは、たとえば要観察とされる状態から観察不要とされる状態までを、複数に分類することによって定義される。要観察レベルから観察不要レベルまでを、徐々に色によって変化させ、その色の変化を含む画像の情報を、画像特徴量を示す情報として保持しておいてもよい。観察レベルを、要観察とされる状態から観察不要とされる状態までの５段階に分けたとする。病理検体の画像が採り得る色の彩度を、彩度が低い順にＣ１〜Ｃ５の５段階に分ける。そして、彩度が最も高いＣ５に属する画像が含まれていれば、その画像に現れている組織は要観察レベルであるとする。一方、彩度が最も低いＣ１に属する画像が含まれていれば、その画像に現れている組織は観察不要レベルであるとする。画像特徴量ｆ^tとして彩度を採用して、上述のｖ^tを較正する要素として利用することができる。

座標および倍率に加え、画像特徴量をさらにベクトルｖの要素とすることにより、共分散行列は４×４行列になる。当業者には明らかであるから、具体的な記載は省略する。

数１６を用いる場合には、「ｕ」および「ｕ＾」の定義に用いられる「ｖ^t」に画像特徴量の要素が含まれているため、数４における画像観察必要度「ｗ（Ｉ^t+1｜ｘ^t+1，ｚ^t+1）」は必要ではなくなる。つまり、条件付き確率は、数１６右辺に示すガウシアン（ガウス関数）を用いて求めることが可能である。尚、数１６は混合ガウス分布やｔ分布、ベータ分布などのガウス関数以外を利用することも可能である。この場合、数１６から求められる条件付き確率に基づいて次候補位置を選択するのではなく、初めに複数の候補をサンプリングして、それら複数の候補位置の確率値を算出し、その値に従って選択する。

次観察推定部１０１は、推定結果保持部１０５に保持されている現在の推定位置、倍率と、パラメータ保持部１０７に保持されているパラメータとを入力として数１６の条件付き確率「ｐ（Ｉ^t+1，ｘ^t+1｜ｘ^t）」を計算し、計算結果に従って次位置と次倍率と次画像特徴量を出力する。

さらなる変形例として、数４および数１６において、倍率および画像特徴量の情報を考慮せず、座標だけの情報を含むｖ^tを用いることも可能である。つまり、ｖ^t＝[座標]である。なお、ｖ^tは２次元ベクトルとなり得るが、位置以外の倍率等の不要な要素を０としたベクトルｖ^tを使えば、数１６をそのまま利用可能である。

位置の情報のみを含むｖ^tを利用して条件付き確率を求める場合には、図２の処理を簡略化することができる。

図１６は、位置の情報のみを含むｖ^tを利用して条件付き確率を求める画像表示装置１００ａおよび画像処理装置１１０ａの構成例を示す。画像処理装置１１０ａが、図１の画像処理装置１１０と相違する点は、画像処理装置１１０ａは観察特徴量保持部１０６を有しないことである。

図１７は、位置の情報のみを含むｖ^tを利用して条件付き確率を求める処理の手順を示す。図１７と図２との相違点は、図１７では、図２のステップＳ１３およびＳ１４が削除されている点、および図２のステップＳ１５がステップＳ１５ａに変更されている点である。以下では、ステップＳ１５ａについてのみ説明し、その他の処理の説明は図２の説明を援用する。

ステップＳ１５ａでは、倍率の情報は利用されない。次観察推定部１０１は、パラメータｕ＾およびΣを利用して次位置候補ごとの条件付き確率を求めることになる。

なお、倍率を推定する処理が含まれないため、ステップＳ１７における画像の選択処理では、解像度の異なる画像を選択する必要はない。そのため、画像ピラミッド保持部１０８は、必ずしも解像度の異なる画像群を保持していなくてもよく、少なくとも１枚の画像を保持していればよい。表示画像生成部１０２は、たとえば図９に示す四角枠７０５〜７０７のような、次候補位置を視認可能な補助画像などを、表示画像として生成してもよい。

ただし、解像度の異なる画像群を保持しており、かつ次位置候補が現在の推定位置から所定の範囲内に入っていれば、次観察推定部１０１は、より高い解像度を選択してもよい。次位置候補が現在の推定位置から所定の範囲内に入っているということは、病理医が病変部をつぶさに観察しようとしていると推測される。よって、その次位置候補を含む、より解像度の高い画像を表示することが適切であると考えられる。

上述の実施の形態および変形例の説明では、主として図１、１２および１４のブロック図を利用して画像表示装置および画像処理装置を説明した。これらは、実際にはコンピュータを用いて実現され得る。以下、図１の画像表示装置１００および画像処理装置１１０を例示して説明するが、図１２および図１４の画像表示装置および画像処理装置であっても同様に適用され得る。

図１８は、画像処理装置１１０（図１）を実現するためのコンピュータの構成図である。そのようなコンピュータにディスプレイを含むことにより、画像表示装置１００を得ることができる。すなわち、画像表示装置１００は、画像処理装置１１０であるコンピュータ１３０１と、操作者がコンピュータ１３０１に指示を与えるためのキーボード１３０２およびマウス１３０３と、コンピュータ１３０１の演算結果等の情報を提示するためのディスプレイ１３０４と、コンピュータ１３０１で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）装置１３０５および通信モデム１３０６とを含む。

キーボード１３０２およびマウス１３０３は、入力部１０４に対応する。ディスプレイ１３０４は画像表示部１０３（図１等）に対応する。

画像処理装置１１０が実行するプログラムは、コンピュータで読み取り可能な記憶媒体であるＣＤ−ＲＯＭ１３０７に記憶され、ＣＤ−ＲＯＭ装置１３０５で読み取られる。または、コンピュータネットワークを通じて通信モデム１３０６で読み取られる。

このプログラムは、本願に含まれるフローチャートに示す動作をＣＰＵ１３０８に実行させるための処理が記述されている。つまり、ＣＰＵ１３０８は、次観察推定部１０１および表示画像生成部１０２として機能し得る。実行する処理の内容および時刻に応じて、ＣＰＵ１３０８は、次観察推定部１０１として動作し、表示画像生成部１０２として動作し得る。なお、ＣＰＵ１３０８は、超解像処理部９０１（図１２）、結果表示制御部１１０１（図１４）および／または拡大操作判定部１１０２（図１４）としても機能し得る。各構成要素にそれぞれ対応するＣＰＵが設けられてもよい。

コンピュータ１３０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３０８と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０９と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３１０と、ハードディスク１３１１と、通信モデム１３０６とバス１３１２とを含む。

ＣＰＵ１３０８は、ＣＤ−ＲＯＭ装置１３０５または通信モデム１３０６を介して読み取られたプログラムを実行する。ＲＯＭ１３０９は、コンピュータ１３０１の動作に必要なプログラムやデータを記憶する。ＲＡＭ１３１０は、プログラム実行時のパラメータなどのデータを記憶する。

ハードディスク１３１１は、プログラムやデータなどを記憶する。ハードディスク１３１１は、観察特徴量保持部１０６、パラメータ保持部１０７、画像ピラミッド保持部１０８および／または生成画像保持部１０９として機能し得る。

通信モデム１３０６は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス１３１２は、ＣＰＵ１３０８、ＲＯＭ１３０９、ＲＡＭ１３１０、ハードディスク１３１１、通信モデム１３０６、ディスプレイ１３０４、キーボード１３０２、マウス１３０３およびＣＤ−ＲＯＭ装置１３０５を相互に接続する。

なお、コンピュータ１３０１に接続されているキーボード１３０２、マウス１３０３およびＣＤ−ＲＯＭ装置１３０５は、例えばディスプレイがタッチパネルになっている場合や通信モデムを利用する場合には、取り外しても良い。

また、本開示は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムを含んでも良いし、コンピュータプログラムからなるデジタル信号を含んでも良い。

さらに、本開示は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記憶媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記憶したものを含んでも良い。また、これら非一時的な記憶媒体に記録されている上記デジタル信号を含んでも良い。

また、本開示は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回路、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、上記プログラムまたは上記デジタル信号を上記非一時的な記憶媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号は上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

また、画像表示装置１００は、図１９に示すように、複数のコンピュータとデータサーバを利用して実現しても良い。本開示は、別途データサーバ１４０１を構築し、そのサーバ上に推定結果保持部１０５や観察特徴量保持部１０６やパラメータ保持部１０７や画像ピラミッド保持部１０８等の保存すべきデータを置き、ネットワーク等を経由してその情報をコンピュータＡ１４０２が読み出しても良い。また、コンピュータＡ１４０２上には、上述の画像処理装置に相当する構成要素（たとえば次観察推定部１０１、表示画像生成部１０２、超解像処理部９０１）を実装し、コンピュータＢ１４０３上には画像表示部１０３や生成画像保持部１０９や結果表示制御部１１０１、拡大操作判定部１１０２や入力部１０４を実装するというように画像表示装置１００の各ブロックを分割して実装しても良い。また、データサーバ１４０１から情報を読み出すコンピュータＡ１４０２は１台である必要はなく、複数であっても良い。同様に、コンピュータＢ１４０３も複数であっても良い。

さらに、本開示は、以下に示すような処理を含む画像処理方法であってもよい。

まず、第１領域に含まれる「現在の位置ｘ^t」を「第１の位置」とする。画像処理方法は、「第１の位置」に対する「次位置候補（x^t+1）₁、・・・、（x^t+1）_i、・・・」である複数の候補位置を選択する（図２のＳ１２）。

図２０は、画像処理方法を説明するための図である。図２０は図７と共通する部分を多く含んでいる。以下、図７の説明に記載されていない事項を主として以下に述べる。例えば、図２０では、第１領域２０００は番号「７」と記載された矩形領域であり、第１領域２０００は病理医が現在観察している位置である第１の位置２０１０を含む。複数の候補位置は、第１の候補位置２０２０、第２の候補位置２０３０、第３の候補位置２０４０を含む。なお、第２領域は、この例では３つの矩形領域（番号８が記載された矩形領域、番号９が記載された矩形領域、番号１０が記載された矩形領域）を含む領域である。第２領域は第１領域２０００に隣接する領域で、かつ、例えば病理医が既に観察した領域（ここでは、番号０〜６が記載された領域とする）を含まない領域である。複数の候補位置は第１領域２０００と異なる第２領域に含まれる。第１領域２０００と前記第２領域は同一の画像である第１画像（１０ｈ×１０ｗの画素値を含む画像）に含まれる。

複数の候補位置は第１の候補位置２０２０を含む。第１の候補位置２０２０は、例えば、次位置候補（x^t+1）_iである。

第１の複数の画素値は第１の候補位置に対応する。すなわち、第１の候補位置２０２０が含まれる領域である番号９が記載された領域は、複数の画素（（６×ｒ）×（６×ｓ個）の画素値である第１の複数の画素値を含む。画像を１０ｗ×１０ｈの四角領域に分類した場合、複数の候補位置の各々である候補位置はユーザが次に選択すると予測される矩形領域（ｗ×ｈ個の画素）に含まれる任意の位置であり、例えば、四角領域の左上の位置の点である。候補位置に対応する複数の画素値とは、候補位置が含まれる矩形領域が含むｗ×ｈ（＝（６×ｒ）×（６×ｓ））個の画素の画素値である。

画像処理方法では、第１の複数の画素値が含まれる領域の画像特徴情報が決定される。すなわち、第１の候補位置２０２０が含まれる番号９が付された領域の「画像特徴量」である「画像特徴情報」が決定される（図２のＳ１３、図５のＳ１０３など）。

第１画像と異なる画像に対する観察位置の変更履歴を示す情報を含む情報、すなわち、操作履歴を示すパラメータ（ｖ^, Σ）が取得される（図２のＳ１１）。

画像特徴情報と履歴情報に基づいて複数の候補位置に含まれる一つが決定される（図２のＳ１６）。

第１の複数の画素値は、第３領域に含まれる複数の位置に一対一対応する。すなわち、番号９が記載された領域が第３領域であり、第３領域に含まれる６ｒ×６ｓ個の画素値が第１の複数の画素値である。

第２領域は第３領域を含む。つまり、図２０で第２領域は番号８が記載された領域、番号９が記載された領域、番号１０が記載された領域を含む領域であり、また、番号９が記載された領域が第３領域である。

第１画像の種類に対応する分類方法を用いて、第１の複数の画素値は分類される。

すなわち、画像の種類に応じて、どのような局所特徴量を使用するか決定して（図７の例では「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」、「Ｈ」の合計８つの局所特徴量を使用すると決定する）、ｒ×ｓ個の画素の画素値がこの８つ局所特徴量のうち、どの局所特徴量に近似するかを評価する。この評価を３６グループの「ｒ×ｓ個の画素」毎に行い、画像特徴量１５０４を得る。

例えば、第１画像がある種類の臓器、例えば、肺の画像とする。肺の画像は、図７に示す局所特徴量「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」、「Ｈ」を用いるが、肺の画像でない場合、例えば心臓の画像の場合は、局所特徴量「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」、「Ｈ」と異なる局所特徴量「Ｉ」、「Ｊ」、「Ｋ」、「Ｌ」、「Ｍ」、「Ｎ」、「Ｏ」、「Ｐ」を用いて、画素値を分類してもよい。

分類結果に基づいて、第１の複数の画素値の画像特徴情報が決定される。

図７に示す局所特徴量「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」、「Ｈ」を用いて、図７に示すように局所特徴量Ａの頻度＝７、局所特徴量Ｂの頻度４、・・・という分類結果を得て、画像特徴量１５０４を得る。

第３領域には（６×ｒ）×（６×ｓ）個の画素値である第１の複数の画素値が含まれるが、これをａ₁₁、・・・、ａ_ij、・・・、ａ_mnとし（ｉ、ｊ、ｎ、ｍはそれぞれ自然数、１≦ｉ≦ｍ＝６×ｒ、１≦ｊ≦ｎ＝６×ｓ）、第３領域に含まれる複数の位置をｂ₁₁、・・・、ｂ_ij、・・・、ｂ_mnとする。また、画素値ａ₁₁に対応する画素の位置をｂ₁₁、・・・、画素値ａ_ijに対応する画素の位置をｂ_ij、・・・、画素値ａ_mnに対応する画素の位置を前記ｂ_mnとする（図２０、図７参照）。

第１画像の種類に対応する分類方法を用いて、つまり局所特徴量「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」、「Ｈ」を用いて、第１の複数の画素値ａ₁₁、・・・、ａ_ij、・・・、ａ_mnが分類されるとき、分類はｒ×ｓ個の画素値グループごとに行われて、６×６＝３６個の分類結果が取得される。そして、この取得された３６個の分類結果が、第１の複数の画素値の各々の画像特徴情報とされる（図７参照）。

さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしても良い。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本明細書の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明した。本開示の範囲は上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

本開示にかかる技術は、病理検査標本から陽性率を算出する画像計測装置等に利用可能である。

１００ 画像表示装置
１０１ 次観察推定部
１０２ 表示画像生成部
１０３ 画像表示部
１０４ 入力部
１０５ 推定結果保持部
１０６ 観察特徴量保持部
１０７ パラメータ保持部
１０８ 画像ピラミッド保持部
１０９ 生成画像保持部
９０１ 超解像処理部
１１０１ 結果表示制御部
１１０２ 拡大操作判定部

Claims (19)

1. 画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理装置であって、
   操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定する次観察推定部と、
   少なくとも前記次位置候補を視認可能に表示するための画像を生成する表示画像生成部と
   を備えた画像処理装置。
2. 前記所定の確率分布はガウス分布であり、
   前記次観察推定部は、前記画像上の複数の位置の各々について、前記ガウス分布を用いて得られる条件付き確率の確率値を計算し、最も大きい確率値が得られた位置を、前記次位置候補として推定する、請求項１に記載の画像処理装置。
3. 前記操作履歴を示すパラメータは、少なくとも、観察した画像の位置を示す情報を含み、
   前記次観察推定部は、前記複数の位置の各々を、次に観察するであろう画像上の位置の候補として、前記複数の位置の各々について前記確率値を計算する、請求項１または２に記載の画像処理装置。
4. 前記操作履歴を示すパラメータは、さらに倍率を示す情報を含み、
   前記次観察推定部は、前記複数の位置の各々について、次に観察するであろう画像上の位置および倍率に関する前記確率値を計算する、請求項３に記載の画像処理装置。
5. 前記次観察推定部は、
   前記画像の画素ごとに予め用意された、各画素を観察する必要性の大きさを表す画素観察必要度の情報を利用して、前記複数の位置の各々を含む小領域の画像観察必要度を計算し、
   前記所定の確率分布と、前記複数の位置の各々に対応して計算された前記画像観察必要度とを利用して、前記確率値を計算する、
   請求項１から４のいずれかに記載の画像処理装置。
6. 前記次観察推定部は、前記画像上の複数の位置の各々について、予め算出された画像特徴量の情報をさらに利用して、前記確率値を計算する、請求項１から５のいずれかに記載の画像処理装置。
7. 前記表示画像生成部は、順次求められた複数の推定結果を表示するための画像を生成する、請求項１から６のいずれかに記載の画像処理装置。
8. 前記次観察推定部によって推定された前記次位置候補を含む部分領域に超解像処理を行うか否かを判定し、前記超解像処理を行うと判定した場合には、照明光の照射方向を変えて撮影された、所与の病理検体の複数の画像のデータに基づいてより画素数が多い拡大画像を構築し、前記拡大画像中の、前記部分領域に対応する小領域にデコンボリューション演算による超解像処理を行う超解像処理部をさらに備えた、請求項１から７のいずれかに記載の画像処理装置。
9. 請求項１から８のいずれかに記載の画像処理装置と、
   前記表示画像生成部によって生成された前記画像を表示する画像表示部と
   を備える画像表示装置。
10. 請求項４に記載の画像処理装置と、
    前記表示画像生成部によって生成された前記画像を表示する画像表示部と、
    前記次観察推定部で推定された位置および倍率の情報を表示するよう制御する結果表示制御部と
    を備える画像表示装置。
11. 前記画像処理装置は、前記次観察推定部によって推定された前記次位置候補を含む部分領域に超解像処理を行うか否かを判定し、前記超解像処理を行うと判定した場合には、照明光の照射方向を変えて撮影された、所与の病理検体の複数の画像のデータに基づいてより画素数が多い拡大画像を構築し、前記拡大画像中の、前記部分領域に対応する小領域にデコンボリューション演算による超解像処理を行う超解像処理部をさらに備える、請求項９に記載の画像表示装置。
12. 前記画像表示部は、前記超解像処理部にて超解像処理を実施した領域を視認可能に表示する、請求項１１に記載の画像表示装置。
13. 操作者から前記画像中の部位の選択を受け付ける入力部をさらに備え、
    前記入力部が前記画像中の部位の選択を受け付けた場合において、前記結果表示制御部は、前記次観察推定部に、選択された前記部位から新たに前記次位置候補を推定させる、請求項１０に記載の画像表示装置。
14. 前記画像処理装置は、前記次観察推定部によって推定された前記次位置候補を含む部分領域に超解像処理を行うか否かを判定し、前記超解像処理を行うと判定した場合には、照明光の照射方向を変えて撮影された、所与の病理検体の複数の画像のデータに基づいてより画素数が多い拡大画像を構築し、前記拡大画像中の、前記部分領域に対応する小領域にデコンボリューション演算による超解像処理を行う超解像処理部をさらに備え、
    前記入力部が前記画像中の部位の選択を受け付けた場合であって、かつ前記超解像処理が選択された前記部位に実施されていない場合には、前記結果表示制御部は、前記超解像処理部に、選択された前記部位への前記超解像処理を実施させる、請求項１３に記載の画像表示装置。
15. 前記操作者が前記画像表示部に表示された前記画像の部位に所定の回数以上連続で拡大操作を行ったことを判定する拡大操作判定部をさらに備え、
    前記拡大操作を行ったと判定した場合、前記拡大操作判定部は、前記超解像処理部に、前記部位への前記超解像処理を実施させる、請求項１４に記載の画像表示装置。
16. 画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理方法であって、
    操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定し、
    少なくとも前記次位置候補を視認可能に表示するための画像を生成する
    画像処理方法。
17. 画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに、
    操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定させ、
    少なくとも前記次位置候補を視認可能に表示するための画像を生成させる
    コンピュータプログラム。
18. （ａ）第１領域に含まれる第１の位置に対する複数の候補位置を選択し、
    前記複数の候補位置は前記第１領域と異なる第２領域に含まれ、
    前記第１領域と前記第２領域は第１画像に含まれ、
    前記複数の候補位置は第１の候補位置を含み、
    前記第１の候補位置は、第１の複数の画素値に対応し、
    （ｂ）前記第１の複数の画素値が含まれる領域の画像特徴情報を決定し、
    （ｃ）前記第１画像と異なる画像に対する観察位置の変更履歴を示す履歴情報を取得し、（ｄ）前記画像特徴情報と前記履歴情報に基づいて前記複数の候補位置に含まれる一つを決定し、
    前記第２領域は第３領域を含み、
    前記第１の複数の画素値は、前記第３領域に含まれる複数の位置に一対一対応し、
    前記第１画像の種類に対応する分類方法を用いて、前記第１の複数の画素値は分類され、
    前記分類結果に基づいて、前記第１の複数の画素値の画像特徴情報が決定される
    画像処理方法。
19. 前記第１の複数の画素値の個数が（６×ｒ）×（６×ｓ）（ｒ、ｓは自然数）であり、前記第１画像の種類に対応する分類方法を用いて、前記第１の複数の画素値が分類されるとき、
    前記分類はｒ×ｓ個の画素値のグループごとに前記分類がなされて、３６個の分類結果が取得され、
    前記取得された３６個の分類結果が、前記第１の複数の画素値の各々の画像特徴情報とされる
    請求項１８の画像処理方法。

Images