JP6514892B2 - デジタル病理画像の焦点面を自動調節する方法 - Google Patents

Description

本発明は、デジタル病理画像の焦点面を自動調節する方法、画像表示及びデジタル病理画像の焦点面の自動調節を行う装置、プログラム要素、並びにコンピュータ可読媒体に関する。

病理学では、組織試料又は塗抹標本の画像は、顕微鏡の下で分析される。組織病理学では、病理学者は、診断につなげるために組織を研究する。組織試料は2つのガラススライド間に設けられた薄い組織のスライスである。この組織は、完全に平坦ではなく、一般的には撮像系の焦点面とも完全に位置合わせされていない。それに加えて、組織の細胞は、組織層内において様々な高さに位置している。その結果、2次元組織画像中の細胞のかなりの部分が焦点から外れる恐れがある。同じことは、病理学者が複数の細胞核を有する取り出された細胞を分析する組織病理学画像にも当てはまる。これらの細胞は、2つのガラススライド間に設けられた流体からなる薄い層中に存在する。一般的には、これらの細胞は完全に平坦な層内には設けられず、その層は、撮像系の焦点面に対して完全に位置合わせされない。

サン(Y.Sun)他は、非特許文献1において、どのようにして関心対象物に所望の焦点を与えるのかが計算可能であることについて述べている。

すべての細胞を完全に焦点合わせするのに、細胞を大雑把に解釈することは必要とされない。しかし細胞の詳細が調査される必要のある分析点では、細胞の適切な焦点合わせが手動で行われる必要がある。病理学者は、アナログ顕微鏡の微細焦点ノブを用いて焦点を正しい面に誘導する。最近の傾向は、病理学が将来デジタル化されうることを示唆している。このことは、画像データがデジタルスキャナによって取得されてサーバ上に格納されうることを意味する。一部の用途では、単一焦点面の画像データが得られる。このようにして得られた情報は、微細焦点ノブが取り外された通常の顕微鏡を用いた現在のやり方と比較されると考えることができる。そのような状況では、焦点の状態を調節することはもやは不可能である。これらの技術的課題のため、デジタル病理データはモニタから又はコンピュータによって解析される。焦点調節の重要性は変わらないのに、焦点を変更する手段は実質的に異なってしまうと考えられる。

Autofocusing Algorithm Selection in Computer Microscopy、Intelligent Robots and Systems誌、IEEE、pp.70-76、2005年

本発明の目的は、デジタル病理撮像の自動焦点合わせを改善することである。

本発明によって解決されるデジタル病理画像用の優れた自動焦点合わせを供する必要があると考えられる。

本発明の目的は、独立請求項の対象によって解決される。他の実施例及び他の利点は従属請求項に記載されている。

以降に記載される本発明の実施例も同様に、方法、装置、プログラム要素、及びコンピュータ可読媒体に関することに留意して欲しい。換言すると、本発明の方法に関する実施例について説明される特徴は、本発明の対応する装置、プログラム要素、及びコンピュータ可読媒体にも含まれうるし、又は、実装されうることに留意して欲しい。逆も同様である。さらに当業者は、上記記載及び以降の記載から、たとえ明示されていなくても、一の種類の対象に属する特徴の組み合わせに加えて、異なる対象に関する複数の特徴の組み合わせ−具体的には装置クレームの特徴と方法クレームの特徴との組み合わせ−も、本願に開示されていると考える。さらにすべての特徴が組み合わせられることで、その特徴の単純な総和を超えるシナジー効果が与えられる。

本発明の典型的実施例によると、複数の各独立する生体対象物−たとえば細胞又は細胞核のようなその一部−を含むデジタル病理画像の焦点面を自動調節する方法が与えられる。当該方法は、複数の焦点面を含む3次元デジタル病理画像データを供する段階、及び、前記デジタル病理画像データを画像として表示する段階を有する。前記の表示された画像は、前記複数の焦点面のうちの一の焦点面を有する。さらに当該方法は、ユーザーが有する前記画像内の関心位置を決定する段階、及び、前記複数のの各独立する生体対象物うちのどの生体対象物が関心対象物であるのかを計算する段階を有する。しかも当該方法は、前記の表示された画像の焦点面を、前記の計算された関心対象物に基づいて調節された焦点面に自動調節する段階を有する。

本発明において、「ユーザーが有する前記画像内の関心位置を決定する」という語句は、前記ユーザーが現在関心を持っている前記画像中の位置を決定することを解される。これはたとえば、視線追跡装置又はマウスポインタの座標を追跡する装置によって実現されて良い。換言すると、当該方法は、前記ユーザーが関心を持っている前記の表示された病理画像内での座標を選択する。

本発明において、「各独立する生体関心対象物」とは、細胞や、細胞の一部−たとえば細胞核、細胞膜、及び/又は細胞質−のような生物学的実体と考えることができる。前記細胞はそれぞれ異なった性質のもの−たとえば脂肪細胞、筋肉細胞、血液細胞、腫瘍細胞、組織細胞、臓器細胞、皮膚細胞、又は他の任意の細胞−であって良い。「対象物」という語句が本発明において用いられるときには、上述の「各独立する生体対象物」という意味である。さらにたとえば胸部癌の画像の場合では、「各独立する生体対象物」という語句は、複数の細胞からなる環を備える細管と解される。つまり細胞の特殊な集まりという意味である。

前記関心対象物は、前記関心位置に対して最も近くて良い。しかし他の基準−たとえば前記対象物のサイズ−が、前記関心対象の決定の際に考慮されても良い。2つ以上の関心対象物が前記関心位置に対して略同一の距離を有し、前記関心対象物のうちの一が焦点の合った状態で、かつ、前記関心対象物のうちの他が焦点の合っていない状態である場合、本発明は、焦点の合っていない前記対象物を焦点合わせするように前記焦点面を調節することができる。それに加えて必要な場合には、逸脱閾値が当該方法又はユーザーによって決定されて良い。前記逸脱閾値未満では、基本的に等距離の対象物が本発明では等距離と取り扱われうる。

従来技術と本発明の第1の顕著な差異は、本発明は、前記病理画像を前記ユーザーに表示する焦点面を、前記画像データの全体の内容ではなく計算された各独立する関心生体対象物に基づいて調節することである。前記関心対象物は、計算によって画定又は決定され、かつ、上述及び後述するように各独立する生体対象物である。

従来技術は平均化パラメータを用いる。そのため微調節について妥協することになる。その結果、前記画像に含まれるどの対象物も、完全な明確さ又は最大の明確さで表示されなくなる。

従来技術とは対照的に、本発明は上記の欠点を克服する。先に決定された関心位置に基づいて各独立する関心生体対象物を決定するので、本発明による方法は、一の独立する生体対象物−たとえば各独立する細胞又は細胞核−のみの微調節の決定に基づく。本発明による方法はさらに、先に決定された各独立する関心生体対象物に基づいて前記表示を調節するように設計される。たとえば前記焦点面が、前記表示を調節するために選ばれて良い。その結果前記焦点面は前記の計算された関心対象物の明確さを最大にする。従って当該方法は、少なくとも1つの各独立する生体対象物が、前記ユーザーの考える明確さを最適に実現するように表示されることを保証する。

換言すると、当該方法は、前記の計算された各独立する生体関心対象物の最善の焦点面を計算する。前記最善の焦点面は、前記関心対象物を光学的表現を明確にする。よってデジタル病理画像内に表示された各独立する生体対象物の明確さに関する妥協は、本発明によって回避される。

前記複数の対象物のうちのどの生体対象物が前記関心対象物であるのかを計算する段階は、以降で説明するように様々な方法で実行されて良い。たとえば前記画像中に含まれる少なくとも2つの各独立する生体対象物−たとえば2つの細胞又は細胞核−については、既に決定された関心位置までの前記各独立する生体対象物それぞれの距離が計算されて良い。よって前記少なくとも2つの各独立する生体対象物のうちどれが前記関心対象物であるのかは、前記関心位置までの最短距離に基づいて決定されて良い。続く焦点調節は、画定又は計算された関心対象物に基づく。

本発明の他の典型的実施例によると、前記関心対象物を計算する段階は、前記少なくとも2つの対象物のどれが前記の決定された関心位置に対する最短距離を有するのかを計算する段階を有する。前記最短距離を有する対象物が前記関心対象物である。

換言すると、複数の対象物を含むデジタル病理画像の焦点面を自動調節することを目的とする方法が与えられる。当該方法は、複数の焦点面を含む3次元デジタル病理画像データを供する段階、及び、さらには前記デジタル病理画像データを画像として表示する段階を有する。そのため前記の表示された画像は、前記複数の焦点面からはずれた焦点面を有する。当該方法は、前記画像中の関心位置を決定する段階、及び、前記の決定された関心位置までの最短距離を有する対象物を計算する段階をさらに有する。ここで前記最短距離を有する対象物は前記関心対象物である。この実施例は、前記の表示された画像の焦点面を調節された焦点面に自動調節する段階をさらに有する。これは、前記各独立する関心生体対象物を焦点合わせする段階と考えることができる。

必要な場合には、調査領域若しくは計算領域を一定サイズの領域又は焦点範囲が広がる領域に限定する段階が存在しても良い。たとえ供された画像データが前記関心位置に近い対象物を1しか含まない又は示さない場合でも、この対象物は、本発明によって前記関心対象物であると認識される。換言すると、この対象物を、前記関心位置の局所的周辺を走査するときに見つけた最初の対象物であると認識すれば十分である。

従って当該方法は、前記関心位置の局所的周辺を走査する段階を有して良い。これで十分である。

換言すると、当該方法は、1つの対象物を有するデータによって実行されて良いし、かつ、複数の対象物を有するデータによって実行されても良い。これは以降で詳述する。

「調節された焦点面」という語句は、本発明においては、前記の計算された各独立する関心生体対象物に関して前記焦点状態を調節する間、当該装置によって前記複数の焦点面から選ばれる最適焦点面と解される。

「関心位置」という語句は、前記画像を見るときのユーザーが、実際に関心を持つ前記画像内の位置と解される。「前記画像を見るときのユーザー」という語句は、本発明においては、適切な焦点面で前記データを操作するコンピュータプログラム又はコンピュータアルゴリズムとも解される。

しかも「最短距離」という語句は、本発明においては、2次元面又は3次元面−現在の焦点面までの距離に関する情報を含む−において測定される関心位置からそれぞれの対象物までの距離と解される。そのような距離の測定値はたとえば以降の図2から得られて良い。前記測定は、前記対象物の関心位置の距離−つまり第3の距離で図2には示されていない−をも考慮して良い。前記現在の焦点面までの距離に関する情報が用いられても良い。

さらに前記画像に含まれる前記複数の対象物のうちの各対象物について、それぞれの距離を計算する必要はないことに留意して欲しい。対象物の群に含まれる各対象物の前記関心位置からの各距離のうちのどの距離が前記群中で最小になるのかが部分的にしか計算されないモードにも、本発明が適用される。前記群は分離及び選択段階によって先に選択されて良い。これについては以降で詳述する。

さらに「調節された焦点面」は、前記最適焦点面を発見、選択、及び/又は画定するために計算されて良い。それにより前記関心対象物の明確さが最大となるので、前記ユーザーの関心に対する前記の表示された画像の焦点が改善される。よって本発明において、「明確さ」という語句は、「光学的明確さ」と解されて良い。

さらに前記複数の対象物の各々は、前記の供されたデジタル病理画像のデータ集合の複数の焦点面のうちの一の焦点面に関連づけられて良い。さらに前記対象物と前記焦点面との間での関連づけが行われることで、前記の関連づけられた/対応する対象物を表示するための焦点面を選ぶときに、この対象物が明確かつ適切に表示される。換言すると、前記対象物は、それぞれの対象物に関連する焦点面内に存在する。

さらに前記画像が前記対象物のそれぞれの画像を含むが、本発明においては「前記画像が複数の対象物を含む」という語句が用いられることに留意して欲しい。このことは当業者には明らかである。

特に3Dデータである組織病理画像データの場合では、本発明はその利点を実現する。その理由は、たとえば取り出された細胞の前記3次元描画によって自動焦点合わせが改善されるからである。前記利点は以降の説明から明らかとなる。

当該方法を実行することによって、前記焦点は、前記ユーザーによって示される位置についての最適焦点を得るように自動調節される。前記ユーザーはたとえば、表示されたデジタル病理画像を迅速かつ容易にスクロールしようとする病理学者であって良い。この関心位置の表示器として、たとえば前記マウスポインタが用いられて良い。前記の場合では、前記病理学者は、前記マウスポインタを用いて前記関心位置を示す。複数の細胞を含む画像の場合では、前記マウスポインタに対して最も近い（複数の）細胞が焦点合わせされるように、前記焦点は調節される。前記細胞は、前記デジタル病理画像中に含まれる対象物と解される。前記マウスポインタの代わりに、前記関心位置の表示器として、たとえばスクリーン上で見られる位置が用いられても良い。前記ユーザーによって見られる位置は、たとえば自動視線追跡段階又はシステムによって決定されて良い。よって自動焦点合わせ又はデジタル病理画像と組み合わせられた正確な自動視線追跡が与えられる。たとえば複数の細胞を含む画像を解析する病理学者は、前記画像の焦点の適切かつ厳密な調節に強く依拠すると思われる。そのようなデジタル病理画像の自動調節と自動視線追跡とのフィードバック又は組み合わせは、標準的な顕微鏡での分析では不可能だった。しかしこのような従来技術の課題は、上述のように本発明によって解決される。

当該方法の利点は、前記最適焦点面の値が、前記病理学者が関心を持つ位置に限定して得られることである。よって必要とされる計算労力が少なくなり、迅速な焦点合わせが実現される。

換言すると、当該方法は、前記病理学者が関心を持つ前記画像中の位置を決定し、対応する細胞又は前記関心対象物を特定し、前記細胞又は対象物の焦点を最適化する焦点面を計算し、かつ、前記の計算された焦点面で前記画像を視覚化するものとして表されて良い。

本発明においては、前記3次元デジタル病理画像データが、たとえばスクリーン上の2次元形式で表示されて良い。

当該方法は、デジタル病理画像の焦点を自動調節する優れた方法と考えることができる。その理由は、前記ユーザーの実際の所望の関心位置を考慮するフィードバックが実装されるからである。前記調節は、前記ユーザーが一の所望の位置から他の所望の位置へ変化させる間にリアルタイムで行われて良い。前記フィードバックについては以降で詳述する。

前記各独立する生体対象物が、前記関心位置までの最小距離を有するものと画定される場合、当該方法は、前記画像データから得られる前記複数の焦点面からどの焦点面が選ばれなければならないのかを明確に決定する。前記決定は、中間の焦点面が選ばれないことを保証することができる。よって本発明は、焦点が前記3次元データ内の高さに調節されることで、どの対象物も適切に表示されないという事態を回避する。前記の選ばれた焦点面は、前記表示中に前記の画定された関心対象物の明確さを最大にする。換言すると、前記の選ばれた焦点面は、先に画定された関心対象物に対応するか、又は、前記の画定された関心対象物に関連づけられる。

それに加えて又はその代わりに、ユーザーによって焦点面を手動で変更する段階が、本発明の一部であって良い。前記焦点面は、先に表示された焦点面に対して上下に移動して良い。ここで「上」及び「下」は、3次元データにわたる方向を表し、前記対象物内すなわち前記3次元データ内の高さを表す。よってたとえばユーザーによって実行される微調節段階は、当該方法のさらなる可能性と考えることができる。

前記3次元デジタル病理画像データは一般的には病理データであり、又は特別な場合には、細胞病理画像データ及び/若しくは分子病理画像データであって良い。前記の場合には、前記焦点面を自動調節する優れた方法は特に価値があると考えられる。

他の実施例では、必要な場合には、前記複数の対象物のうちのどの対象物が、前記の決定された関心位置に対応するのかを決定する代替段階がさらに含まれて良い。

しかも前記複数の焦点面のうちのどの焦点面が、前記関心対象物の明確さを表示のために最適化するのかを計算する段階が、他の典型的実施例として本発明に含まれても良い。前記計算段階の結果、所望の関心対象物を表示する焦点面を最適化される。

本発明の他の典型的実施例によると、当該方法は、前記の供された画像データの複数の対象物のうちの少なくとも2つの対象物のどれが、前記の決定された関心位置までの最小距離を有する又は示すのかを計算する段階をさらに有する。

換言すると、前記の供された3次元デジタル病理画像データが少なくとも2つの対象物を含み又は示す。前記少なくとも2つの対象物のそれぞれの前記の決定された関心位置までの距離が計算される。両方の結果に基づいて、前記2つの結果同士の比較が行われて良い。前記2つの対象物のうちのどちらが前記関心対象物なのかを自動的に判定されて良い。前記対象物での自動焦点合わせが実行されて良い。当然のこととして、3つ以上の対象物についてこれが実行されても良い。

本発明の他の典型的実施例によると、当該方法は、少なくとも2つの対象物の空間的広がりを計算する段階をさらに有する。前記最小距離を計算する段階は、前記対象物のそれぞれの空間的広がりと前記関心位置との間のそれぞれの距離を決定する段階を含む。

よって前記対象物のそれぞれの空間的広がりと前記関心位置との間の距離という語句は、最初距離と考えることができる。

前記少なくとも2つの対象物の空間的広がり又は空間的境界の座標を計算することによって、前記の決定された関心位置までの最小距離の計算する段階が迅速かつ効率的に実行される。たとえば前記画像の複数の画素が、対象物の空間的境界を表すのに用いられて良い。前記複数の画素は、前記関心位置までの距離の計算中に用いられて良い。

他の典型的実施例によると、当該方法は、前記の表示された画像の画素位置に、前記画素位置に最も近い対象物を割り当てる段階、及び、前記画素位置に、前記最も近い対象物の明確さを最適化する焦点面を割り当てる段階をさらに有する。

他の典型的実施例では、先述した実施例は、以下の段階のうちの1つ以上をさらに有して良い。前記以下の段階とは、割り当てるデータ集合を生成する段階、前記割り当てるデータ集合を格納する段階、前記の決定された関心位置から画素の関心位置を画定する段階、前記画素の関心位置についての割り当てるデータ集合から前記の割り当てられた焦点面を取得する段階、及び、前記自動調節段階中に前記の取得された焦点面を調節された焦点面として用いる段階である。前記段階の任意の組み合わせは、必要に応じて当業者によって用いられ得る。換言すると、この実施例は、すべて又は複数の画素位置に、前記画像位置での焦点を最適化する焦点面を割り当て、かつ、この情報をたとえばルックアップテーブルに格納する。一般的には、これは割り当てデータ集合と考えることができる。さらにこの実施例は、前記病理学者が関心を持っている前記画像中の位置を決定する。これは、前記関心位置の決定に対応する。さらにこの実施例は、前記割り当てデータ集合−たとえば前記ルックアップテーブル−から前記最適焦点面を取得し、かつ、前記の取得された焦点面で前記画像を視覚化する。この実施例の利点は、それらの計算がオフラインで実行できることだと考えることができる。前記データのオフライン前処理は、実行時間/視覚化中でのアルゴリズムの計算負荷を軽減することができる。

たとえば図4からわかるように、前記の表示された画像の画素、各画素に対して最も近い対象物、及び前記最も近い対象物の最適焦点面との間での明確な関係が、割り当てデータ集合内に生成される。換言すると、前記画像の一画素を選び、かつ、先に決定した割り当てデータ集合を参照することによって、ユーザー又はコンピュータシステムは、どの対象物が前記関心対象物−たとえば最も近い対象物−であるのか、及び、どの焦点面が、前記関心対象を適切かつ明確にユーザー−たとえば病理学者−に表示するのに用いられるべきなのかを知ることができる。

さらに本発明は、取り出された細胞の分析方法に関して良い。前記の表示されたデジタル病理画像データは複数の細胞又は細胞核のような細胞の一部を対象物として含む。

さらに本発明の上述及び後述する実施例では、前記関心対象物の光学的明確さが前記表示段階中に最大となるように実行される自動焦点調節が与えられる。換言すると、前記画像を表示する際に与えられるフィードバックラインが存在する。前記フィードバックラインには、前記最適焦点面に関する情報が供される。前記情報は実際の関心位置に基づいて計算される。前記関心位置はたとえば視線追跡の手段によって決定される。これは、前記ユーザーが見ている前記画像中の位置の追跡と考えることができる。さらにあるいはその代わりに、この決定は、スクリーン上の前記画像にわたって移動するマウスポインタの特性の解析に基づいても良い。

本発明の他の典型的実施例によると、画像表示用及びデジタル病理画像の自動焦点調節用の装置が与えられる。当該装置は、3次元デジタル病理画像データを受け取るように構成された受け取り装置を有する。前記画像データは複数の焦点面を含む。当該装置は、前記デジタル病理画像データを画像としてユーザー−たとえば病理学者−に表示するように構成された表示装置をさらに有する。前記の表示された画像は、前記複数の焦点面のうちの一の焦点面を有する。当該装置は、前記画像中の関心位置を決定するように構成された決定装置をさらに有する。例として、前記決定装置は、視線追跡装置又は運動追跡装置として実施されて良い。これは前述したし、後述もする。当該装置は、前記画像中の含まれる又は示される各独立する生体対象物のうちのどの生体対象物が前記関心対象物であるのかを計算するように構成された計算装置をさらに有する。たとえばどの対象物が前記の決定された関心位置に対する最小距離を有するのかが考慮されて良い。さらに当該装置は、前記の表示された画像の焦点面を、前記の計算された関心対象に基づく調節された焦点面に自動調節する調節装置を有する。よって前記調節装置は、前記関心対象物の計算結果に基づいて前記関心対象の焦点合わせを行うように構成されて良い。

当該装置は、たとえば上述の装置を含むディスプレイ又はスクリーンとして実施されて良い。

本発明の他の典型的実施例によると、プロセッサによって実行されるときに、以下の段階を実行するように構成される、複数の対象物を含むデジタル病理画像の焦点を自動調節するプログラム要素が与えられる。前記段階は、前記画像中の関心位置を決定する段階と、さらに前記複数の対象物のうちどの独立する生体対象物が前記関心対象物であるのかを計算する段階と、前記の表示された画像の焦点面を、前記の計算された関心対象に基づく調節された焦点面に自動調節する段階である。前記段階を実行する際、前記関心対象物の焦点合わせが実行される。

「プログラム要素」という語句は、完全なコンピュータプログラム全体と考えても良いし、又は、コンピュータプログラムの一部と考えても良い。そのようなコンピュータプログラムの一部は、本発明を実行可能なアップデートとして、ダウンロードされてから既存のコンピュータプログラムに組み込まれて良い。

本発明の他の典型的実施例によると、複数の各独立する生体対象物を含むデジタル病理画像の焦点面を自動調節するプログラム要素が格納されるコンピュータ可読媒体が与えられる。当該プログラム要素は、プロセッサによって実行されるときに、前記画像中の関心位置を決定する段階、前記複数の対象物のうちどの独立する生体対象物が前記関心対象であるのかを計算する段階、及び、前記の表示された画像の焦点面を、前記の計算された関心対象物に基づく調節された焦点面に自動調節する段階を実行するように構成される。前記段階を実行する際、前記関心対象物の焦点合わせが行われる。

コンピュータ可読媒体は、たとえばUSBスティック、CD、DVD、データ記憶装置、ハードディスク、又は上述のプログラム要素が格納可能な他の任意の媒体記憶媒体と考えることができる。

本発明の要旨は、前記ユーザーからのフィードバック−たとえば視線追跡−を画像の実際の集束表現に結合すること、及び、前記焦点面に関して前記撮像設定を調節することの可能な優れた自動焦点合わせ方法及び装置を供することである。前記調節は、前記焦点が先に決定された実際の関心対象物を最適化して明確にするように行われる。

本発明の上記及び他の態様は、以降で説明する実施例を参照することで明らかとなる。

本発明の典型的実施例による方法の流れ図を概略的に示している。 本発明の典型的実施例によるデジタル病理画像を概略的に示している。図中、関心位置から前記画像の複数の各独立する生体対象物までのそれぞれの距離が計算される 本発明の典型的実施例による2つの独立する生体対象物の空間的広がりの計算を概略的に示している。 本発明の典型的実施例による割り当て処理を概略的に示している。 本発明の典型的実施例による方法の流れ図を概略的に示している。 AとBは、本発明による方法の2つの異なる実施例の2つの流れ図を概略的に示している。 本発明の典型的実施例による装置をを概略的に示している。 本発明と併用されうるデジタル病理画像を概略的に示している。

本発明の典型的実施例が図面において説明される。

図1は、本発明の典型的実施例によるデジタル病理画像の焦点面を自動調節する方法をの流れ図を示している。当該方法で用いられる画像は複数の各独立する生体対象物を含む。示された方法は、複数の焦点面を含む3次元デジタル病理画像データを供する段階S1と、第2段階としての前記デジタル病理画像データを画像として表示する段階S2を有する。前記の表示された画像は、前記複数の焦点面から得られる一の焦点面を有する。さらなる段階として、ユーザーが有する前記画像中の関心位置を決定する段階がS3として示されている。段階S4は、複数の対象物のうちのどの生体対象物が関心対象物であるのかを計算する段階を表す。この計算は、複数の対象物のうちのどの対象物が決定された関心位置に最も近いのかを決定する段階として実施されても良い。たとえば最小距離を有する対象物は関心対象物として画定されて良い。また他の基準が用いられても良い。さらに表示された画像の焦点面を、計算された関心対象物に基づいて調節された焦点面に自動調節する段階が含まれる。換言すると、焦点面の調節中、関心対象物の焦点合わせ段階が実行される。前記段階を実行する際、前記関心対象物の焦点合わせが実行される。

3次元デジタル病理画像データは3次元デジタル対象物を表す。このデータは、たとえば医療撮像装置すなわち病理学又は細胞病理学において用いられる撮像装置を介して生成される撮像データと考えることができる。

図1の方法は従来技術の複数の欠点を克服する。決定された関心位置に基づいて各独立する関心生体対象物を決定するので、本発明による方法は、一の独立する生体対象物−たとえば各独立する細胞又は細胞核−のみの微調節の決定に基づく。本発明による方法はさらに、決定された各独立する関心生体対象物に基づいて表示を調節するように設計される。たとえば焦点面が、表示を調節するために選ばれて良い。その結果焦点面は計算された関心対象物の明確さを最大にする。従って当該方法は、少なくとも1つの各独立する生体対象物が、前記ユーザーの考える明確さを最適に実現するように表示されることを保証する。換言すると、当該方法は、計算された関心対象物の最善の焦点面の計算を可能にする。前記最善の焦点面は、関心対象物の光学的表現を明確にする。よってデジタル病理画像中に表示された各独立する生体対象物の明確さに関して、当該方法によって妥協する必要がなくなる。

示されていないがさらなる段階として、図1の方法は、複数の対象物から取り出された少なくとも2つの対象物のうちの最小距離を有する対象物を関心対象物と画定する段階を有して良い。

さらに自動調節する段階S5は、複数の焦点面のうちの一の焦点面を選んで、たとえばスクリーン上に表示された表現内での関心対象物の明確さを最大にするものと解されて良い。換言すると、デジタル病理画像データ中に記憶される焦点面のうちのどの焦点面が、関心対象物を最も明確に表すのかが自動的に決定される決定段階が与えられる。最適焦点面であるこの焦点面は自動的に選ばれて良い。その結果、データの表示は図1に示された方法によって調節されて良い。

従って図1に示された方法は、デジタル病理画像の焦点を自動調節する優れた方法と考えることができる。その理由は、前記ユーザーの実際の所望の関心位置を考慮するフィードバックが実装されるからである。関心対象に関する決定が自動的に行われるため、当該方法は、画像データから得られる前記複数の焦点面からどの焦点面が選ばれなければならないのかを明確に決定する。前記決定は、中間の焦点面が選ばれないことを保証することができる。よって本発明は、焦点が前記3次元データ内の高さに調節されることで、どの対象物も適切に表示されないという事態を回避する。従来技術のこの欠点とは対照的に、本発明は、対応する焦点面を選ぶことによって、関心対象を明確に決定して、前記関心対象の焦点合わせを行う。前記の選ばれた焦点面は、前記表示中に前記の画定された関心対象物の明確さを最大にする。換言すると、前記の選ばれた焦点面は、先に画定された関心対象物に対応するか、又は、前記の画定された関心対象物に関連づけられる。

複数の対象物の各々について、それぞれの距離を計算する必要はない。本発明は、最適面の計算又は選択が、データ中に含まれる複数の対象物からのほんのわずかな対象物からなる群の計算された距離に基づくモードにおいても適用可能である。

換言すると、図1の方法によって、表示された画像を観察するユーザーは、関心位置を変更することによって一の焦点深度から他の焦点深度へ誘導されうる。この誘導は、ユーザーが関心位置を変更する間に自動的かつリアルタイムで前記ユーザーに供されて良い。さらにこれは、たとえばユーザーが視線を他の関心対象へ向けることで、結果として焦点調節を修正するによって実行されて良い。方法を実行する装置はこの場合、視線追跡装置を供する。どの方法が関心位置を決定するのに用いられるのかとは独立して、本発明は、関心対象物である実際に必要とされる各独立した生物学的実体に基づいて画像を表示する。

図1に示された方法は以下の態様によって拡張されて良い。複数の対象物から得られた少数の対象物からなる群を選択する段階がさらに実行されて良い。この段階は、新たな段階S10によって図2で表されている。この段階はコンピュータによって自動的に実行されて良い。またユーザーによる手動選択も可能である。

第1の拡張可能性として、対象物の群を選択する段階S10は、群に含まれる対象物の最大数Xを画定する段階、関心位置に最も近い周囲を検討する段階、及び、前記周囲でのX個の対象物を決定する段階を有して良い。

第2の拡張可能性として、対象物の群を選択する段階S10は、関心位置周辺の環状領域を複数の扇形に分割する段階、各扇形での最も近い対象物を決定する段階、及び、すべての扇形中での最も近い対象物について段階S4又はS6を実行する段階を有して良い。

第3の拡張可能性として、対象物の群を選択する段階S10は、関心位置周辺の所定の第1サイズの環状領域、長方形領域、又は角領域を画定する段階を有して良い。

従って各可能性では、前述したように段階S4又はS6がそれぞれ実行される。

前記第1領域内に対象物が存在しない場合、サイズを第2の所定サイズへ自動的に増大させる段階が実行されて良い。この場合、十分な対象物が前記領域に存在するまで、関心領域周辺の領域が第3サイズ、第4サイズ、及びさらなるサイズにまで段階的に増大される。その後段階S4又はS6が実行されて良い。しかしサイズ画定の早い段階で十分な対象物が領域内に存在する場合、段階S4又はS6が実行されて良い。

換言すると、図1で与えられた方法が、ユーザー−たとえば病理学者−の関心を引く画像中での位置を決定する。コンピュータマウスの移動が解析されても良い。位置の情報は、マウスポインタの(x,y)座標の単純かつ直接的な解釈であって良い。より優れた解釈が、マウス移動の解析、運動パターン、又はマウス/キーボードボタンの考慮に基づいて良い。

病理学者が見ているモニタ上の位置は、視線追跡方法によって自動的に特定されて良い。マウスポインタ同様に、視線追跡データの読み取りが、より直接的又はより賢明に解釈されて良い。

どのようにして位置が決定されるのかとは独立して、最適焦点は、病理学者が見ている対象物に依存しうる。決定された位置は測定の不正確さに悩まされる恐れがある。たとえば細胞核の染色質パターンが分析される必要があるとき、その核領域に焦点を合わせようとするだろう。マウスポインタ又は視線を核のすぐ隣に設定することは、表現の光学集束−つまり表示−に関して核を自動追跡するのに十分である。病理学者が細管構造を見る場合、細管に沿って並ぶ核から、又はその細管構造がゆがめられている場合には細管内部の核から適切な焦点を得るだけで良い。

最も近い関心構造に対して決定された位置を精緻化することで、視覚化の有用性と確かさが増大する。ほとんどの用途にとって、最も近い核に焦点合わせさせれば十分である。しかし用途が異なれば異なる動作モード実装することもできる。

関心対象物の最適焦点を供する焦点面は、複数の焦点面で得られた関心領域内の画像データから自動的に計算されて良い。

計算された焦点面での画像領域の視覚化は、新たに得られた焦点面の値を閲覧用プログラムへ渡すことによって実行されて良い。これらの態様は、図1に示された本発明の実施例に組み込まれて良い。

図2は、複数の対象物201a、201b、201c、及び202を含むデジタル病理画像109を概略的に示している。関心位置203が十字で示されている。前記十字はたとえば、スクリーン上で画像109を見ているユーザーによって用いられるコンピュータマウスのマウスポインタであって良い。矢印204は、3つの対象物201a〜201cについて、関心位置203までのそれぞれの距離が本発明の実施例によって計算されることを示している。図2に示された例では、関心領域に対する距離が最短の対象物が結果として最も近い対象物−この場合では対象物201b−と定義される。対象物はたとえば細胞核であって良い。

対象物201a〜201cからなる群の周りの破線205は、計算処理が排他的に実行される対象物の群を示している。関心位置203からより離れた対象物202は、計算段階S4から排除される。段階S4は前述の図1で説明した。従って最適面を計算する段階及び使用された焦点面を調節する段階の結果としての病理画像109の表示が改善される。計算に必要な時間が少なくなるからである。複数の各独立する生体対象物−たとえば細胞核−から得られた少数の対象物からなる群をこのように選択することは、段階S10で説明されている。この段階はコンピュータによって自動的に実行されて良い。しかしユーザーによって手動選択することも可能である。

図3は、距離の計算に用いられない対象物202を有するデジタル病理画像109を概略的に示している。従って焦点面の選択の決定は、対象物300aと300bの分析にのみ基づく。前記対象物は、関心位置203までのそれぞれの距離を計算するために用いられる。矢印204はそれぞれの距離を示している。さらに、対象物300aと300bの空間的広がりが、関心位置までの距離を計算する段階を実行するために計算される。その変化型として、対象物300aと300bの空間的境界が、たとえばそれぞれの対象物の外側表面を画定する線301と302に画素を割り当てることによって計算されて良い。各対象物の中心を用いて、関心位置までのそれぞれの距離を計算することも可能である。

上述の対象物201a、201b、201c、300a、及び300bは、本発明の特許請求の範囲並びに上述及び後述の実施例において定義されている複数の対象物のうちの少なくとも2つの対象物と解される。

図4は、3つの対象物400、401、及び402が含まれるデジタル病理画像109を概略的に示している。たとえばこれらの対象物は取り出された細胞又は細胞核であって良い。さらに画像109の画素404〜406が例示的に示されている。一般的には、画素はデータの光学的表現の一部である。さらに関心位置203は記号としての十字で示されている。関心位置又は領域は先に、視線追跡又はマウスポインタの解析又は他の方法によって決定されて良い。

さらに図4は本発明の典型的実施例を概略的に示している。この典型的実施例では、方法は、表示された画像109の画素位置に対象物を割り当てる段階を有する。前記対象物は、それぞれの画素又は画素位置に対して最も近い対象物として計算される。この場合、関心位置は、画素407にてユーザーが設置した十字203である。例として、関心位置が決定される前、後述する割り当て処理が行われて良い。図からわかるように、対象物401が画素407に対して最も近い。従って割り当てデータ集合408内の入力が当該方法によって実行される。当該方法では、画素407が対象物401と焦点面1に関連づけられる。対象物401が、焦点面1を用いることによって最大に焦点合わせされた状態で表示されるため、焦点面1は、画素407の最適焦点面であることがわかる。割り当てデータ集合408は、焦点面の略記号FPを含む。

これは、複数の画素若しくは画素位置について行われて良く、又は、画像のすべての画素若しくは画素位置について行われても良い。割り当てデータ集合408は、後述するように、装置で用いられるデータベース内にさらに格納されて良い。画像がユーザーに表示されるとき、関心位置−ここでは参照番号203で例示的に示されている−が決定されて良い。対応する画素407による関心位置203の特定は、説明してきた典型的実施例の方法によって実行されて良い。その後取得段階が実行される。前記取得段階では、関心画素位置407の割り当てデータ集合から得られた割り当て焦点面が、ユーザーの選んだ関心位置である入力に対するフィードバックとして取得される。従って、取得された焦点面FP1は、図1を参照しながら詳細に説明したように、自動調節段階S5の間での焦点面を調節するのに用いられる。

図5は、本発明の他の典型的実施例を概略的に示している。図には、複数の各独立する生体対象物を有するデジタル病理画像の焦点面を自動調節する方法が実行される流れ図が示されている。第1段階S1では、3次元デジタル病理画像データが供される。続いて関心対象物の計算又は決定が行われる。この段階は、図5の段階S4において実行される。段階S15は、それぞれの画素位置に最も近い対象物を、表示された画像の画素位置に割り当て、かつ、最も近い対象物を最適化又は明確にするそれぞれの焦点面を、前記画素位置に割り当てるものとして表される。そのようにすることによって、割り当てデータ集合が段階S20の間に生成されうる。あるいはその代わりに前記割り当てデータ集合は、必要に応じて段階S21において格納されても良い。しかし必要に応じて、段階S4の前又は段階S2の後に、段階S15、S20、及びS21が実行されても良い。

段階S2においてデジタル病理画像データを画像としてユーザーに表示するとき、画像中の関心位置が段階S3において決定されて良い。段階S3は複数の技術的実施例を含んで良い。前記複数の技術的実施例とはたとえば、視線追跡、デジタル病理画像の表示された画像上でのマウスポインタのx,y座標の解釈、デジタル病理画像の表示された画像上でのマウスポインタの運動パターンの解析、及び/又はこれらの組み合わせであって良い。

関心位置を知るとき、関心画素位置が段階S16において定義されて良い。その後関心画素位置の既存割り当てデータ集合からの割り当て焦点面の取得が、段階S17において実行されて良い。当該方法が、表示された画像の焦点面を調節された焦点面に自動調節する段階S5を実行することで関心対象物の焦点合わせを行うとき、段階S18が実行される。段階S18では、取得された焦点面が、焦点に関して関心対象物の表示を最適化するため、調節された焦点面として用いられる。この実施例の利点は、それらの計算がオフラインで実行できることである。

図5に示された方法の要旨は、ユーザーからのフィードバック−たとえば視線追跡−を画像の実際の集束表現に結合すること、及び、焦点面に関して撮像又は表示設定を調節することの可能な優れた自動焦点合わせ方法及び装置を供することである。前記調節は、前記焦点が先に決定された実際の関心対象物を最適化して明確にするように行われる。

図6Aと図6Bはそれぞれ別個に、本発明による方法の典型的実施例を示している。最初の3つの段階S1〜S3は、図6Aに記載の方法と図6Bに記載の方法の両方で共通して実行される。これらの段階S1〜S3は、図1で詳細に説明しており、図1の記載から理解可能である。図6Aに記載されたデジタル病理画像の焦点面を自動調節する方法の典型的実施例は、段階S8においてユーザーの視線を自動追跡する段階を供する。その後複数の生体対象物のうちのどの生体対象物が関心対象物であるのかを計算する段階S4が実行される。さらに図1で説明した段階S5が実行される。

図6Aとは対照的に、図6Bに示された方法の典型的実施例が実行される。図6Bに示された方法の典型的実施例では、コンピュータマウスのポインタの運動を解析する段階が実行される。段階S9は、デジタル病理画像データの表示された画像上でのマウスポインタのx,y座標を解釈する段階をさらに有して良い。あるいはその代わりに又はそれに加えて、S9は、デジタル病理画像データの表示された画像上でのマウスポインタの運動パターンを解析する段階を有して良い。その後図1で説明した段階S4とS5が実行される。

図7は、画像表示用及びデジタル病理画像109の自動焦点面調節用装置100を概略的に示している。この装置は、ユーザーの実際の所望の関心位置を考慮するフィードバックを有する。よって当該装置は、デジタル病理画像の焦点を自動調節する優れた方法を実行することを可能にする。図示された装置は、3次元デジタル病理画像データ102を受け取るように構成された受信装置101を有する。前記受信装置はたとえば、装置100のバス、ポート、又はコネクタとして実施されて良い。たとえばUSBポートは、受信装置101として装置100に含まれて良い。受信装置101は装置100のインターフェースと考えることができる。前記インターフェースは、3次元デジタル病理画像データ102を受け取る。画像データは複数の焦点面を有する。データが、受信装置101に接続されたコンピュータ可読媒体108上に示される。さらに表示装置103が示されている。表示装置103はたとえば、スクリーン、ディスプレイ、液晶ディスプレイ装置、発光ダイオード(LED)装置、又はたとえば投影装置として実施されて良い。決定装置104が示されている。決定装置104はたとえば、ユーザーの視線を自動的に追跡するように構成された視線追跡装置として、又は、マウスのポインタを自動的に追跡するように構成された運動追跡装置として構成されて良い。決定装置104は、線を介して、表示装置103及び画像109に接続されることがわかる。この線は、決定装置104が入力信号を受けることを象徴的に表している。決定装置104は、その入力信号に基づいて実際の所望の関心位置を決定する。換言すると、決定装置104は、表示装置103と通信するように構成される。係る入力は、追跡された視線信号として、マウスポインタの座標として、又は、マウスポインタの運動パターン若しくは運動経路として与えられて良い。決定装置104はまた、調節装置106及び/又は計算装置105と直接通信するように構成されても良い。

計算装置105−プロセッサすなわちCPUとして実施されて良い−は、複数の対象物のうちの少なくとも2つの対象物について、前記少なくとも2つの対象物のどちらが決定された関心位置に対する最小距離を有するのかを計算するように構成される。それにより最小距離を有する対象物は、関心対象と定義されて良い。さらに図示された調節装置106は、表示された画像の焦点面を調節された焦点面に自動調節する用に構成される。それにより関心対象は焦点合わせされる。調節装置106は、計算装置105の一部であって良いので、プロセッサすなわちCPUとして実施されて良い。たとえば計算装置105及び調節装置106は、複数の対象物のうちの少なくとも2つの対象物について、前記少なくとも2つの対象物のどちらが決定された関心位置に対する最小距離を有するのかを計算するプロセッサとして実施されて良い。その後係るプロセッサは、計算された関心対象物の明確さを最大にするそれぞれの焦点面を決定し、かつ、表示装置103を調節して、決定された焦点面によって画像を表示して良い。しかし調節装置106及び計算装置105はまた、図7に図示されているように別個の構成要素であっても良い。換言すると、装置101は、画像の焦点面を調節する優れたフィードバックループを供する。前記フィードバックループは決定装置104によって供給されて良い。決定装置104は、視線追跡又は表示された画像上でのマウスポインタの運動パターンの解析による実際の所望の関心位置の実際の測定に基づいて、焦点に関する表示された画像の更新を規則的又は不規則的に実行して良い。

図8は、組織試料内で焦点が変化する例と考えることのできるデジタル病理画像109を示している。右側には、倍率20倍で観察される拡大窓が示されている。図示された細胞核700は適切な焦点を有する。換言すると、焦点面は対象物700に対して正しく調節されている。しかし拡大窓からわかるように、右側では細胞核701だけが焦点合わせされていて、隣の細胞核702は極端に焦点から外れている。細胞核702を見ることによって、又は、マウスによって細胞核702を指し示すことによって、本発明による方法及び装置は自動焦点面調節を実行する。前記自動焦点面調節が実行されることによって、細胞核702が自動的かつ迅速に明確かつ適切に焦点合わせされて表示される。

Claims (14)

1. 複数の各独立する生体対象物を含むデジタル病理画像の最適な焦点面を選択する装置の作動方法であって：
   前記装置の取得手段が、複数の焦点面を含む３次元デジタル病理画像データを取得する段階；
   前記装置の表示手段が、前記デジタル病理画像データを画像として表示する段階であって、前記の表示された画像は、前記複数の焦点面のうちの一の焦点面を有する段階；
   前記装置の決定手段が、前記画像内のユーザーの関心位置を決定する段階；
   前記装置の計算手段が、決定された前記関心位置に基づいて、前記複数の各独立する生体対象物のうちのどの生体対象物が関心対象物であるのかを計算する段階；及び、
   前記装置の選択手段が、前記の計算された関心対象物に基づいて、前記複数の焦点面のうち最適な焦点面を選択する段階；
   前記表示手段が、前記最適な焦点面を表示する段階
   を有する作動方法。
2. どの生体対象物が関心対象物であるのかを計算する段階が、前記少なくとも２つの対象物のどれが前記の決定された関心位置に対する最短距離を有するのかを計算する段階を有し、
   前記最短距離を有する対象物が前記関心対象物である、
   請求項１に記載の作動方法。
3. 前記画像中の関心位置を決定する段階が、前記ユーザーの視線を追跡する段階を含む、請求項１乃至２のうちいずれか一項に記載の作動方法。
4. 前記画像中の関心位置を決定する段階が、コンピュータマウスのポインタの運動を解析する段階を含む、請求項１乃至２のうちいずれか一項に記載の作動方法。
5. 前記装置の群選択手段が、前記複数の対象物のうちから少数の対象物からなる群を選択する段階をさらに有し、
   前記少なくとも２つの対象物のどれが前記の決定された関心位置に対する最短距離を有するのかを計算する段階が、前記の選択された群についてのみ実行される、
   請求項２に記載の作動方法。
6. 前記装置の空間的広がり計算手段が、少なくとも２つの対象物の空間的広がりを計算する段階をさらに有し、
   前記少なくとも２つの対象物のどれが前記の決定された関心位置に対する最短距離を有するのかを計算する段階は、前記対象物のそれぞれの空間的広がりと前記関心位置との間のそれぞれの距離を決定する段階を含む、
   請求項２に記載の作動方法。
7. 少なくとも２つの対象物のどれが前記の決定された関心位置に対する最短距離を有するのかを計算する段階は、
   前記装置の画定手段が、前記少なくとも２つの対象物の空間的境界を画定する段階；及び、
   前記装置の距離決定手段が、前記空間的境界のそれぞれから前記関心位置までのそれぞれの距離を決定する段階；
   をさらに有する、請求項２に記載の作動方法。
8. 複数の各独立する生体対象物を含むデジタル病理画像の焦点面を取得する装置の作動方法であって：
   前記装置の取得手段が、複数の焦点面を含む３次元デジタル病理画像データを取得する段階；
   前記装置の対象物割り当て手段が、前記デジタル病理画像の画素位置に、前記画素位置に最も近い対象物を割り当てる段階；
   前記装置の焦点面割り当て手段が、前記画素位置に、前記最も近い対象物の明確さを最適化する焦点面を割り当てる段階；
   前記装置の表示手段が、前記デジタル病理画像データを画像として表示する段階であって、前記の表示された画像は、前記複数の焦点面のうちの一の焦点面を有する段階；
   前記装置の決定手段が、前記画像内のユーザーの関心画素位置を決定する段階；
   前記装置の焦点面取得手段が、前記画素位置に前記対象物及び前記焦点面が割り当てられたデータ集合から、前記関心画素位置について前記の割り当てられた焦点面を取得する段階；及び、
   前記表示手段が、前記取得する段階中に前記の取得された焦点面を最適な焦点面として表示する段階；
   を有する、作動方法。
9. 取り出された細胞の解析に用いられ、かつ、前記生体対象物が細胞の一部である、請求項１乃至７のうちいずれか一項に記載の作動方法。
10. 画像表示用及びデジタル病理画像の最適な焦点面を選択する装置であって：
    複数の焦点面を含む３次元デジタル病理画像データを受け取るように構成された受け取り装置；
    前記デジタル病理画像データを画像としてユーザーに表示するように構成された表示装置であって、前記の表示された画像は、前記複数の焦点面のうちの一の焦点面を有する装置；
    前記画像中のユーザーの関心位置を決定するように構成された決定装置；
    決定された前記関心位置に基づいて前記画像中の含まれる又は示される各独立する生体対象物のうちのどの生体対象物が関心対象物であるのかを計算するように構成された計算装置；
    前記の計算された関心対象に基づき、前記の複数の画像の焦点面のうち最適な焦点面を選択する選択装置；
    を有し、
    前記表示装置が前記最適な焦点面を表示する、
    装置。
11. 前記ユーザーの視線を追跡するように構成された視線追跡装置をさらに有する、請求項１０に記載の装置。
12. マウスのポインタの運動を追跡するように構成された運動追跡装置をさらに有する、請求項１０に記載の装置。
13. 複数の対象物を含むデジタル病理画像の最適な焦点面を選択するコンピュータプログラムであって、プロセッサに：
    複数の焦点面を含む３次元デジタル病理画像データを取得する段階；
    前記デジタル病理画像データを画像として表示する段階であって、前記の表示された画像は、前記複数の焦点面のうちの一の焦点面を有する段階；
    前記デジタル病理画像中のユーザーの関心位置を決定する段階；
    決定された前記関心位置に基づいて、前記複数の対象物のうちどの独立する生体対象物が関心対象物であるのかを計算する段階；
    前記の計算された関心対象に基づき、前記の複数の画像の焦点面のうち最適な焦点面を選択する段階；及び
    前記最適な焦点面を表示する段階
    を実行させる、コンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを格納したコンピュータ可読媒体。

Images