WO2013100026A9 - 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム - Google Patents

Abstract

　バーチャルスライド画像を観察する観察者の負担を低減する。　バーチャルスライド画像を処理する画像処理装置であって、観察領域表示用画像データ、観察領域外表示用画像データの少なくとも一方に画像処理を施すことで、画像データ全体に一律の画像処理を施した場合とは異なる画像を表示装置に表示させる表示用画像データを生成する表示用画像データ生成ユニットを、有することを特徴とする。

Description

画像処理装置、画像処理システム、画像処理方法および画像処理プログラム

　本発明は、画像処理装置、画像処理方法、画像処理システム、およびプログラムに関する。

　近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（検体）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。

　光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。

　これまで、顕微鏡で標本像と情報画像とを同時に観察する場合に、情報画像の表示する光量を制御することにより、見やすい情報画像が得られる顕微鏡が提案されている（特許文献１）。

特開平８－１２２６４７号公報

　バーチャルスライドの画像は、観察対象を撮像した画像データを画像処理してディスプレイ上に表示させるため、顕微鏡で観察した画像とは見えが異なる。バーチャルスライドの画像表示は、顕微鏡で観察される観察視野より広い領域を表示することが多い。したがって、バーチャルスライドの画像データをもとにしたディスプレイ上での表示画像（以下、「表示用画像」ともいう。）は多くの情報を含んでおり、観察者は大きな領域を注視しなければならず、観察者の負担になる場合があるという問題を有していた。

　そこで、本発明では、観察者の負担を低減するバーチャルスライド表示画像を生成できる画像処理装置を提案することを目的とする。

　その目的を達成するために、本発明の一側面は、
　バーチャルスライド画像を処理する画像処理装置であって、
　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ユニットと、
　前記画像データから、あらかじめ定められた手法に基づいて決定されたあるいはユーザーが指定した観察領域を表示装置に表示させるための観察領域表示用画像データと、該観察領域以外の領域を表示装置に表示させるための観察領域外表示用画像データとから構成される表示用画像データを生成する表示用画像データ生成ユニットと、を有し、
　前記表示用画像データ生成ユニットは、前記観察領域表示用画像データ、前記観察領域外表示用画像データの少なくとも一方に画像処理を施すことで、前記画像データ全体に一律の画像処理を施した場合とは異なる画像を表示装置に表示させる表示用画像データを生成することを特徴とする。

　また、本発明の他の側面は、
　バーチャルスライド画像を処理する画像処理方法であって、
　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ステップと、
　前記画像データ取得ステップで取得した画像データから、あらかじめ定められた手法に基づいて決定されたあるいはユーザーが指定した観察領域を表示装置に表示させるための観察領域表示用画像データと該観察領域以外の領域を表示装置に表示させるための観察領域外表示用画像データとから構成される表示用画像データを生成する表示用画像データ生成ステップと、を有し、
　前記表示用画像データ生成ステップは、前記観察領域表示用画像データ、前記観察領域外表示用画像データの少なくとも一方に画像処理を施すことで、前記画像データ全体に一律の画像処理を施した場合とは異なる画像を表示装置に表示させる表示用画像データを生成するステップであることを特徴とする。

　また、本発明の他の側面は、
　バーチャルスライド画像を処理する画像処理方法であって、
　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ステップと、
　前記画像データ取得ステップで取得した画像データから、あらかじめ定められた手法に基づいて決定されたあるいはユーザーが指定した観察領域を表示装置に表示させるための観察領域表示用画像データと該観察領域以外の領域を表示装置に表示させるための観察領域外表示用画像データとから構成される表示用画像データを生成する表示用画像データ生成ステップと、を有し、
　前記表示用画像データ生成ステップは、前記観察領域表示用画像データ、前記観察領域外表示用画像データの少なくとも一方に画像処理を施すことで、前記画像データ全体に一律の画像処理を施した場合とは異なる画像を表示装置に表示させる第１の表示用画像データと、前記画像データに画像処理を施さない、あるいは画像データ全体に一律の画像処理を施した第２の表示用画像データと、を生成するステップであり、
　前記表示装置に表示させる画像の位置又は表示倍率が変化している時には、前記第１の表示用画像データを、前記表示装置に表示させる画像の位置又は表示倍率が変化していない時には、前記第２の表示用画像データを、前記表示装置に送信する表示用画像データ送信ステップと、を有することを特徴とする。

　本発明の他の側面は、
　前記画像処理装置と、前記画像処理装置で処理されたバーチャルスライド画像を顕微鏡の視野を再現した観察領域を有する態様で表示する表示装置と、を備える画像処理システムである。

　また、本発明の他の側面は、
　上記画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

　本発明のその他の側面は、発明を実施するための形態において、添付の図面等を適宜用いて、明らかにする。

　本発明の好適な実施形態によれば、観察領域と観察領域外とを区別して表示することにより、観察者の負担を低減することができる。

本発明の画像処理装置を用いた画像処理システムの装置構成の一例を示す模式的な全体図である。 本発明の画像処理装置を用いた画像処理システムにおける撮像装置の機能構成の一例を示す機能ブロック図である。 本発明の画像処理装置の機能構成の一例を示す機能ブロック図である。 本発明の画像処理装置のハードウェア構成の一例を示すブロック図である。 顕微鏡視野表示（円形表示）の概念を説明するための模式図である。 本発明の画像処理装置の顕微鏡視野表示処理の流れの一例を示すフローチャートである。 本発明の画像処理装置の顕微鏡視野（観察領域）表示用画像データ生成処理の詳細な流れの一例を示すフローチャートである。 本発明の画像処理システムの表示画面の一例を示す模式図である。 第２の実施形態の画像処理装置を用いた画像処理システムの装置構成の一例を示す模式的な全体図である。 第２実施形態の画像処理装置の顕微鏡視野表示用画像データ生成処理の詳細な流れの一例を示すフローチャートである。

　以下、図面を参照しながら本発明の実施の形態を説明する。

　本発明の画像処理装置は、バーチャルスライド画像を処理装置であって、画像データ取得ユニットと、表示用画像データ生成ユニットを有する。

　表示用画像データ生成ユニットは、画像データ取得ユニットで取得した画像データから、観察領域表示用画像データと観察領域外表示用画像データとから構成される表示装置に表示させる表示用画像データを生成する。いかなる範囲を観察領域とするかは、あらかじめ定められた手法に基づいて、たとえば画像処理装置または外部記憶装置にあらかじめ保存されている情報に基づいて、及び／又はユーザーの指示に基づいて決定される。観察領域は、好ましくは、顕微鏡の視野（一般的には円形である）を再現したものとなる。いかなる顕微鏡の視野を再現するか、は、上記情報としてあらかじめ保存されていることが望ましい。あらかじめ保存されている情報は、初期視野情報（ユーザーの指示がない場合に観察領域として選択される情報。以下、単に「初期情報」ともいう。）、及び／又は、具体的な実在する複数の顕微鏡の視野情報（ユーザーが選択可能な複数の顕微鏡視野情報）を含むことが望ましい。なお、初期視野情報は、上記複数の顕微鏡の視野情報のうちの一つの顕微鏡視野情報を選択する、という形式で保存されていてもよい。また、ユーザーの指示に基づいて決定される新たな観察領域を追加の視野情報として保存し、視野情報の選択肢の一つとして選択できるようにしてもよい。さらには、ユーザー指示に基づいて決定される新たな観察領域を、使用するユーザー毎に管理するようにしてもよい。

　表示用画像データ生成ユニットは、観察領域表示用画像データ、観察領域外表示用画像データの少なくとも一方に画像処理を施すことで、画像データ全体に一律の画像処理を施した場合とは異なる画像を表示装置に表示させる表示用画像データを生成する。

　表示用画像データ生成ユニットは、顕微鏡の視野を再現した観察領域を表示させるための表示用画像データを生成することが好ましい。表示用画像データ生成ユニットは、実在する顕微鏡の視野に関する情報に基づいて表示用画像データを生成できることが好ましい。この場合、表示用画像データ生成ユニットは、実在する顕微鏡の視野に関する情報及び画像として表示すべき倍率の情報に基づいて表示用画像データを生成できることが好ましい。表示用画像データ生成ユニットは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、表示用画像データを生成できることが好ましい。表示用画像データ生成ユニットは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示用画像データを生成できることが好ましい。表示用画像データ生成ユニットは、観察領域外の輝度が観察領域の輝度よりも低くなるように、表示用画像データを生成できることが好ましい。

　表示用画像データの生成は、多値のマスク情報と画像データの画素単位での乗算を用いて行うことができる。また、２つの処理形態を示すマスク情報をもとにした画像データの演算処理によって表示用画像データを生成することができる。この２つの処理形態を示すマスク情報は、画像データを採用する位置と、画像データをビットシフト演算する位置とが表現されているものを用いることができる。ここでいう「位置」とは、画像が表示される場合の表示装置上の表示位置である。位置の表現は、座標情報をマスク情報中に含ませることで実現することができる。ビットシフト演算のシフト量は、外部から入力された指示によって変更される形態を用いることができる。画像データとしてＲＧＢの色情報を持つカラー画像データを用いる場合、表示用画像データ生成ユニットは、前記画像データを輝度色差データへ変換した後に、該変換で得られた輝度値に前記演算処理をすることができる。

　表示用画像データ生成ユニットで、顕微鏡の視野を模した円形の観察領域を表示させる表示用画像データを生成する場合、ビットシフト演算のシフト量は、円形の観察領域の中心からの距離に応じて変更することが好ましい。

　表示用画像データ生成ユニットは、表示装置に表示させる画像の位置又は表示倍率が変化している間には、観察領域と観察領域以外とを区別しない表示用画像データを生成することができる。

　観察領域以外の表示用画像データは、撮像対象の情報を含むものであっても良い。

　本発明の好適な画像処理システムは、画像処理装置と画像表示装置を有する。なお、以下の記述及び添付の図面中において、「画像表示装置」を「表示装置」と省略して表記する場合がある。画像処理システム中の画像処理装置としては、上記の画像処理装置を用いることができる。本発明の画像表示システムは、後述する撮像装置及び／または画像サーバーを有していても良い。

　本発明の好適な画像処理方法は、バーチャルスライド画像を処理する画像処理方法であって、少なくとも、画像データ取得ステップと、表示用画像データ生成ステップを有する。また、本発明の画像処理方法は、表示用画像データ生成ステップの後に、表示用画像データ送信ステップを有していても良い。画像データ取得ステップでは、撮像対象を撮像することにより得られた画像データを取得する。表示用画像データ生成ステップでは、観察領域と観察領域以外とから構成される表示用画像データを生成する。この表示用画像データは、表示装置に画像を表示させるためのデータである。本発明の画像処理方法には、画像処理装置に関して前述したあるいは後述する態様を反映させることができる。

　本発明の好適な実施形態にかかる表示用画像データ生成ステップでは、観察領域表示用画像データと観察領域外表示用画像データとから構成される第１の表示用画像データ及び／又は前記観察領域表示用画像データと前記観察領域外表示用画像データとを区別しない第２の表示用画像データを生成する。第２の表示用画像データは、画像データに画像処理を施さない、あるいは画像データ全体に一律の画像処理を施したものとすることができる。

　そして、本発明の好適な実施形態にかかる表示用画像データ送信ステップは、表示装置に表示させる画像の位置又は表示倍率が変化している時には、第１の表示用画像データを、表示装置に送信する。また、本発明の好適な実施形態にかかる表示用画像データ送信ステップは、表示させる画像の位置又は表示倍率が変化していない時には、第２の表示用画像データを、表示装置に送信する。

　本発明のプログラムは、上記の画像処理方法の各ステップをコンピュータに実行させるプログラムである。

　以下に、実施形態を示して、本発明を説明する。

　［第１の実施形態］
　本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムについて、図１を用いて説明する。

　（画像処理システムの装置構成）
　図１は、本発明の画像処理装置を用いた画像処理システムの一例を示す模式的な全体図であり、撮像装置（顕微鏡装置、またはバーチャルスライドスキャナ）１０１、画像処理装置１０２、画像表示装置１０３から構成され、撮像対象となる検体（被検試料）の二次元画像を取得し表示する機能を有するシステムである。本例では、撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と画像表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続されている。

　撮像装置１０１としては、一枚の二次元画像あるいは二次元の平面方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を好適に用いることができる。二次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が好適に用いられる。撮像装置１０１として、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置を用いることもできる。なお、デジタルカメラを用いて撮像した場合であっても、高倍率表示を選択した場合や、撮像領域を変更して複数回撮像することによって得た原画像データを合成して表示用の画像データを形成した場合などには、得られた画像を、観察領域と観察領域外とに区分することが可能である。

　画像処理装置１０２としては、撮像装置１０１から取得した一枚もしくは複数枚の原画像データから、表示装置１０３に表示するデータを、原画像データをもとにユーザーからの要求に応じて生成する機能等を持つ装置を好適に用いることができる。画像処理装置１０２としては、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される装置を用いることができる。記憶装置としては、ハードディスクドライブなどの大容量情報記憶装置を好適に用いることができる。記憶装置には、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されていることが好ましい。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部１０６は、例えばキーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。操作部１０６は、画像処理装置１０２の一構成要素であってもよい。

　本例の画像表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。

[規則91に基づく訂正 25.02.2014]　
　図１の例では、撮像装置１０１と画像処理装置１０２と画像表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、画像表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、画像表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

　（撮像装置の機能構成）
　図２は、撮像装置１０１の機能構成の一例を示す機能ブロック図である。

　本例の撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部（Ｉ／Ｆ）２２２から構成される。

　本例の照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、好適には、光源、照明光学系、および光源駆動の制御系から構成される。本例のステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。本例のプレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、この組織の切片や塗抹した細胞を封入剤とともにカバーグラスの下に固定した部材である。

　本例のステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。本例において、駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、本例では、プレ計測ユニット２２０によって計測した検体の位置情報および厚み情報（距離情報）と、必要に応じて入力されるユーザーからの指示とに基づいて決定される。本例のステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

　本例の結像光学系２０７は、プレパラート２０６の検体の光学像を撮像センサ２０８へ結像するためのレンズ群である。

　本例の撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。本例の撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサである。撮像センサ２０８としては、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサを用いた場合、一次元センサを走査方向へスキャンすることで二次元画像を得ることができる。本例の撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が望まれる場合には、撮像センサとして、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いることができる。本例の撮像ユニット２１０は、ステージ２０２をＸＹ軸方向に移動させて撮像することにより、検体の分割画像を撮像することができる。

　本例のＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　ｄｏｕｂｌｅ　ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成されることが好ましい。本例のＨ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。本例のＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。本例のアンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。本例のＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力することが好ましい。ここで、変換されたセンサ出力データをＲＡＷデータと呼ぶ。本例では、ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。本例のタイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。

　撮像センサ２０８としてＣＣＤを用いる場合、通常上記ＡＦＥ２０９が用いられる。一方、撮像センサ２０８としてデジタル出力可能なＣＭＯＳイメージセンサを用いる場合は、通常、上記ＡＦＥ２０９の機能がセンサに内包されている。また、不図示ではあるが、本例では、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）など動作タイミングや制御を合わせて行う。

　本例の現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。本例の黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。本例のホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じてＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。本例の現像処理ユニット２１９は、撮像ユニット２１０で撮像された検体の分割画像データから後述する階層画像データを生成する。

　本例のデモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。本例のデモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、本例のデモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

　本例の画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲よりも検体の存在範囲が広いため、一枚の二次元画像データを分割された画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でプレパラート２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその二乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万の１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、一枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得された画像を表示用画像データの生成時につなぎ合わせる構成をとってもよい。

　本例の解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、表示倍率に応じた倍率画像を予め解像度変換によって生成する処理を行う。低倍から高倍まで複数の段階の画像データを生成し、ひとまとめにした階層構造を持つ画像データとして構成する。撮像装置１０１で取得した画像データは診断の目的から高解像、高分解能の撮像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の要求に合わせて都度解像度変換を行っていたのでは処理が遅くなってしまう場合がある。そのため、予め倍率の異なる何段階かの階層画像を用意しておき、用意された階層画像から表示側の要求に応じて表示倍率と近接する倍率の画像データを選択し、表示倍率に合わせて倍率の調整を行うことが望ましい。画質を考慮すると、より高倍率の画像データから表示用画像データを生成することがより好ましい。撮像を高解像で行った場合、表示用の階層画像データは、一番解像力の高い画像データをもとに、解像度変換手法によって縮小することで生成される。解像度変換の手法として二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどを用いることができる。

　本例のフィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。本例のγ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得を行うため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。

　本例の圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理である。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ　ＸＲ等の規格化された符号化方式を用いることができる。

　本例のプレ計測ユニット２２０は、プレパラート２０６上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサを用いることができる。本例のプレ計測ユニット２２０は、取得した画像から検体のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いることができる。

　本例のメイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う。メイン制御系２２１および現像処理ユニット２１９の制御は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現することができる。例えば、あらかじめＲＯＭ内にプログラムおよびデータを格納しておき、ＣＰＵがＲＡＭをワークメモリとして用いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭとしては、例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスを用いることができ、ＲＡＭとしては、例えばＤＤＲ３などのＤＲＡＭデバイスを用いることができる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。

　本例のデータ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。本例の撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続されている。このケーブルに代えて、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースを用いてもよい。

　（画像処理装置の機能構成）
　図３は、本発明の画像処理装置１０２の機能構成の一例を示す機能ブロック図である。

　本例の画像処理装置１０２は、概略、画像データ取得部３０１、記憶保持部（メモリ）３０２、ユーザー入力情報取得部３０３、表示装置情報取得部３０４、表示データ生成制御部３０５、マスク情報３０６、表示用画像データ取得部３０７、表示用画像データ生成部３０８、および表示データ出力部３０９から構成される。なお、以下の記述及び添付の図面中において、「表示用画像データ」を「表示データ」と、「表示用画像」を「表示画像」と、それぞれ省略して表記する場合がある。

　本例の画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。本例で言う画像データは、検体を分割して撮像することにより得られたＲＧＢのカラーの分割画像データ、分割画像データを合成した一枚の二次元画像データ、および二次元画像データをもとに表示倍率毎に階層化された画像データの少なくとも何れかである。なお、分割画像データはモノクロの画像データでもよい。

　本例の記憶保持部３０２は、画像データ取得部３０１を介して外部装置から取得した画像データを取り込み、記憶、保持する。また、記憶保持部３０２は、前述した具体的な実在する複数の顕微鏡の視野情報及びそのうちいずれの視野情報を初期に使用するかの情報を、保持していることが望ましい。

　本例のユーザー入力情報取得部３０３は、マウスやキーボード等の操作部を介して、表示位置変更や拡大・縮小表示などの表示用画像データの更新指示や、表示モード選択、観察領域の指定（たとえば、記憶保持部が保持している複数の顕微鏡視野情報のうちのいずれかを選択すること）等のユーザーによる入力情報を取得する。本例でいう表示モードとは、顕微鏡観察視野を模した表示形態を再現するモードと再現しないモードとを含む。後述するビットシフト量もユーザーが指定、変更することができる。また、顕微鏡観察視野の形状としては、本例では円形を想定しているが、これに限定されるものではない。

　本例の表示装置情報取得部３０４は、表示装置１０３が保有するディスプレイの表示エリア情報（画面解像度）の他、現在表示されている画像の表示倍率の情報を取得する。

　本例の表示データ生成制御部３０５は、ユーザー入力情報取得部３０３で取得したユーザーからの指示に従い表示用画像データの生成を制御する。また、本例の表示データ生成制御部は後述するマスク情報を生成、更新する。

　本例のマスク情報３０６は、顕微鏡視野を表示画面上で再現する際に必要となる、表示用画像データを生成するための制御情報である。本例のマスク情報３０６は、表示装置１０３が有する表示エリアを構成する表示画素分の情報を持ち、対応する画像データをそのままの輝度値で表示させるか、それとも輝度値を変更させるかを画素毎に判断できるようにする。本例では、各５ビットの値を持ち、マスク情報が０のときは画像データの値をそのまま表示用画像データとして使用し、任意の値のときはその値に応じて下位方向に輝度値をビットシフトすることにする。例えば８ビット２５６階調の輝度データを保有している場合、マスク情報の値が１のときは１ビット左シフトすることで輝度データは半分の値になる。８ビットシフトすれば画像データの値は０となるため、完全に表示画素をマスクする（対象となる表示画素の輝度値を０にする）ことになる。本実施の形態では、観察領域外の輝度値を０にしてもよいし、輝度値を０以外の本来の輝度値より小さな値にして輝度を低下させてもよい。本実施の形態では、マスク情報との演算先として各画素の輝度データを想定しているが、ＲＧＢのカラー画像データが対象となる場合、いったんＹＵＶやＹＣＣ等の輝度／色差信号へ変換し、変換後の輝度情報を演算処理の対象とすることができる。また、ＲＧＢ各色に対してビットシフトを適用する構成をとってもよい。ビットシフトは、表示エリア内の表示画素に対して任意に設定することができるが、ここでは顕微鏡における観察視野を再現するため、円形の視野内のマスク値を０、それ以外の領域のマスク値を２として以後の説明を行う。マスク値として２が設定された表示エリア内は、取得した画像データの輝度値を１／４に低下させることになる。さらには、特定のビットに意味を持たせる構成をとることで、逆に輝度を上げる処理を適用させることもできる。

　さらに、本例のマスク情報３０６は、前述した初期視野情報、ユーザーが指定した観察領域情報のいずれかを反映されたものになっている。ここで、ユーザーが指定した観察領域情報としては、具体的な実在する顕微鏡の視野情報のうちユーザーが選択したもの、そのような実在する顕微鏡の視野情報を一部改編するなどしてユーザーが指定した情報、顕微鏡の視野情報とは無関係にユーザーが指定した観察領域の情報、等を挙げることができる。初期視野情報はあらかじめマスク情報３０６の一部として含まれていてもよいし、記憶保持部３０２が保持している初期視野情報を表示データ生成制御部等３０５が記憶保持部３０２から読み出してもよい。ユーザーが指定した観察領域情報はユーザー入力情報取得部３０３から表示データ生成制御部３０５を経由してマスク情報に反映させることができる。

　本例の表示用画像データ取得部３０７は、表示データ生成制御部３０５の制御に従い、表示に必要な画像データを記憶保持部３０２から取得する。

　本例の表示用画像データ生成部３０８は、表示用画像データ取得部３０７によって取得された画像データとマスク情報３０６を用いて、表示装置１０３で表示するための表示データを生成する。表示データ生成の詳細については図６および図７のフローチャートを用いて後述する。

[規則91に基づく訂正 25.02.2014]　
　本例の表示データ出力部３０９は、表示用画像データ生成部３０８で生成された表示データを外部装置である表示装置１０３へ出力する。

[規則91に基づく訂正 25.02.2014]　
　（画像処理装置のハードウェア構成）
　図４は、本発明の画像処理装置のハードウェア構成の一例を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）が用いられる。

　本例のＰＣは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４０１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。

　本例のＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本発明の特徴である顕微鏡観察視野を模した表示用データの生成など処理の対象となる各種データ（複数の顕微鏡の視野情報等を含む）等を一時的に保持する。本例の記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。本例のＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｉｓｋ）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。本例の記憶装置４０３は、ＯＳ、実行中の各種プログラム、本発明の特徴である顕微鏡観察視野を模した表示用データの生成など処理の対象となる各種データ（複数の顕微鏡の視野情報等を含む）等のうちの一部又は全部を記憶している。

　本例のデータ入出力Ｉ／Ｆ４０５には、ＬＡＮ　Ｉ／Ｆ４０６を介して画像サーバーが、グラフィクスボードを介して表示装置１０３が、外部装置Ｉ／Ｆを介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、また、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１が、それぞれ接続されている。

　本例の表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等を用いた表示デバイスである。当該表示装置１０３としては、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

　本例の操作Ｉ／Ｆ４０９との接続デバイスとしては、キーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネル等表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

　（顕微鏡視野表示（円形表示）の概念）
　図５は、顕微鏡視野ならびにその再現された表示形態を概念的に説明するための模式図である。

　図５（ａ）は、顕微鏡をのぞいた場合に観察される視野を示している。顕微鏡視野は、顕微鏡の対物レンズの倍率と視野数によって一意に定められる。具体的には、顕微鏡の実視野Ｆ．Ｏ．Ｖ．＝（接眼レンズの視野数）÷（対物レンズの倍率）となる。ただし、実視野顕微鏡の場合は、Ｆ．Ｏ．Ｖ．＝（接眼レンズの視野数）÷（（対物レンズの倍率）×（ズーム倍率））となる。顕微鏡をのぞいた場合、図に示されるように円形の領域内に対象物である検体の拡大画像を観察することができる。円形の観察領域外は光が届かないため、像の確認をすることができない。バーチャルスライド装置が存在する以前は、こうした観察像をユーザーである病理医が見て診断を行っていた。なお、光学顕微鏡の接眼部にデジタルカメラを配置することで、デジタルの観察画像を取得することができるが、取得された画像データは図５（ａ）同様円形の観察領域外の情報が失われた状態となっている。

　図５（ｂ）は、バーチャルスライド装置で取得された画像データを、表示装置１０３の表示画面に提示した例を示している。バーチャルスライド装置で取得された画像データは、検体の一部領域を分割して撮像した画像データの繋ぎ合わせの画像として用意される。このように、表示装置１０３全面に顕微鏡視野よりも広い範囲で情報を提示することが可能であり、のぞき込む動作がなくなること、ある程度の視距離を確保できること、より多くの画像データや検体に関連する情報を合わせて表示することができるなど、種々の利便性を提供することができる。

　図５（ｃ）は、バーチャルスライド装置で取得された画像データを、表示装置１０３に表示する際に、顕微鏡視野を模した表示を行う処理を適用した例である。広い表示エリアに検体画像は表示されているものの、注視すべき顕微鏡観察視野以外の領域の輝度を低下させることによって、病理にとって使い慣れた顕微鏡の観察視野を再現するとともに、その周辺領域にもバーチャルスライド装置の利点であるよい多くの画像情報を提示することを両立している。顕微鏡観察視野以外の情報量削減の手法としては、輝度を低下させる以外に、色情報を削減しモノクロのデータとして表示する方法がある。

　図５（ｄ）は、図５（ｃ）と同様に、顕微鏡観察の視野を模した表示画像の提示例である。ここでは、注視すべき顕微鏡観察視野における画像の提示はそのままに、注視点である円形の中心からの距離に応じて、顕微鏡観察視野以外の領域の輝度を低下させている。図５（ｄ）では、図５（ｃ）で示した顕微鏡視野以外の領域に対する一律な情報削減と比べて、注視すべき領域及びその近傍の情報量を相対的に増やすことで関心領域が見つけやすくなるなど利便性を増している。

　（顕微鏡視野表示処理）
　本発明の画像処理装置における顕微鏡視野表示処理の流れの一例を図６のフローチャートを用いて説明する。

　ステップＳ６０１では、表示装置１０３であるディスプレイの表示エリアのサイズ情報（画面解像度）を表示装置１０３から表示装置情報取得部３０４より取得する。表示エリアのサイズ情報は、生成する表示データのサイズを決める際に用いる。

　ステップＳ６０２では、表示装置１０３に現在表示されている画像の表示倍率の情報を表示装置情報取得部３０４より取得する。初期の段階では規定の倍率を設定する。表示倍率は、階層画像から何れかの画像データを選択する際に用いる。

　ステップＳ６０３では、ステップＳ６０１で取得した表示エリアのサイズ情報およびステップＳ６０２で取得した表示倍率情報に基づき、表示装置１０３に表示するための画像データを記憶保持部３０２から取得する。

　ステップＳ６０４では、表示された画像を複数人で共有し、使用するか否かの判断をする。複数人による表示用画像の共有が行われない、すなわち一人のユーザーによる単独使用である場合はステップＳ６０５へ、複数人で共有し使用する場合はステップＳ６０８へそれぞれ進む。複数人で表示用画像を共有し、使用する例として、病理医の他複数の臨床医などの関係者を交えた病院内のカンファレンスや、学生・研修医に対する教育用途でのプレゼンテーションが挙げられる。こうした複数人よる表示用画像の共有では、提示された表示用画像に対する注視領域がユーザーによって異なることがあるため、それを妨げる可能性のある顕微鏡観察視野モードではなく、通常視野の観察モードを選択することが望ましい。

　ステップＳ６０５では、ユーザーが顕微鏡観察視野モードを選択したか否かを判断する。顕微鏡観察視野モードが選択された場合はステップＳ６０６へ、通常視野の観察モードが選択された場合はステップＳ６０８へそれぞれ進む。

　ステップＳ６０６では、ステップＳ６０１で取得した表示装置１０３の表示エリア情報（画面解像度）が予め設定された値以上か否かを判断する。設定された値以上の場合はステップＳ６０７へ、設定された値未満の場合はステップＳ６０８へそれぞれ進む。表示装置１０３の表示エリア情報である画面解像度が高い場合、表示可能な情報量が増えるため、ユーザーが注視する領域もそれに合わせて増えることになる。ユーザーの負担を減らすためにも顕微鏡観察視野モードを選択することが望ましい。逆に、ステップＳ６０５で、ユーザーが顕微鏡観察視野モードを選択した場合でも、表示装置１０３の画面解像度が低い場合は、表示可能な情報をそのまま提示する通常観察モードを選択することが望ましい。判断の基準となる設定値はユーザーによる指定が可能である。なお、ステップＳ６０５とステップＳ６０６の判断処理は、その順番を入れ替えてもよい。

　ステップＳ６０７では、顕微鏡観察視野モードの選択を受けて、顕微鏡視野表示用の画像データを生成する。この顕微鏡視野表示用の画像データは、前述した観察領域表示用画像データと観察領域外表示用画像データとからなり、それらのうちの少なくとも一方に画像処理が施されることによって、画像データ全体に一律の画像処理が施された場合とは異なる画像を表示装置に表示させることができる画像データである。詳細については図７を用いて後述する。

　ステップＳ６０８では、通常観察モードの選択を受けて、通常観察用の表示用画像データの生成を行う。ステップＳ６０３で取得した階層画像中の近接する表示倍率の画像データを、所望の解像度となるよう解像度変換処理を適用する。必要に応じて表示装置１０３の特性に合わせた補正処理を行う。

　ステップＳ６０９では、ステップＳ６０７またはステップＳ６０８で生成した表示データを表示装置１０３に対して出力する。

　ステップＳ６１０では、表示装置１０３が入力された表示用画像データを画面に表示する。

　ステップＳ６１１では、画像表示が終了したか否かを判断する。ユーザーによって別の検体画像が選択された場合、表示用アプリケーションが閉じられた場合は処理を終了する。表示画面の更新が引き続き行われる場合には、ステップＳ６０２に戻り以降の処理を繰り返す。

[規則91に基づく訂正 25.02.2014]　
　（顕微鏡視野表示用画像データ生成処理）
　図７は、図６のステップＳ６０７で示した顕微鏡視野を再現する表示用の画像データ生成処理の詳細な流れの一例を示すフローチャートである。ここでいう顕微鏡視野は前述した観察領域にあたる。一方、ここでは顕微鏡視野外は観察領域外にあたる。

　ステップＳ７０１では、マスク情報３０６を取得する。マスク情報３０６は、表示装置１０３が有する表示エリアを構成する表示画素分の情報を持ち、対応する画像データをそのままの輝度値で表示させるか、それとも輝度値を変更させるかを画素毎に判断できるようにしたものである。

　ステップＳ７０２では、表示画面の変更があるか否かを判断する。表示画面の変更がなく、現在表示されている画面の状態を維持する場合はステップＳ７０４へ、画面スクロールや拡大・縮小操作が行われ、表示画面の更新が行われている場合にはステップＳ７０３へそれぞれ進む。

　ステップＳ７０３では、現在の表示モードが高速表示モードであるか、それとも通常の観察視野表示モードであるかを判断する。高速表示モードは、顕微鏡観察視野再現を行うモードの一つであり、表示画面の更新が行われない静止した状態では円形の顕微鏡観察視野の再現を、画面スクロールなど表示画面の更新が行われている場合は、処理を高速に行うため、円形表示を停止し、矩形の表示エリアを用いて注視可能な通常輝度の表示画像と注視を妨げないよう輝度を低下させて表示画像を切り分けて表示するためのモードである。高速表示モードを選択している場合はステップＳ７０７へ、表示画面更新に関わらず顕微鏡視野の再現を行う場合はステップＳ７０４へそれぞれ進む。

　ステップＳ７０４では、顕微鏡視野を再現することを受けて、ステップＳ７０１で取得、把握したマスク情報の値を各対応画素間で参照する。参照した対応する表示画素のマスク情報の値が０であるか、すなわち注視領域として提示される通常輝度となる画素か、それとも顕微鏡観察視野外の輝度を低下させる対象となる画素かを判断する。マスク値が０の場合はステップＳ７０５へ、マスク値が０以外の場合、すなわちビットシフトにより画素の輝度値を低下させる場合はステップＳ７０６へそれぞれ進む。

　ステップＳ７０５では、マスク値が０であることを受けて、取得した画像データの画素の輝度値をそのまま表示用の画素値として採用する。なお、表示装置１０３の特性に合わせた補正処理を行う場合は、輝度値が変化する場合もある。

　ステップＳ７０６では、マスク値が０以外の値であることを受けて、取得した画像データの画素の輝度値を、ステップＳ７０１で取得したマスク情報の値に応じて下位方向にビットシフト演算を行う。この結果、マスク値に応じた輝度の低下を実現することができる。

[規則91に基づく訂正 25.02.2014]　
　ステップＳ７０７では、高速表示モードであることを受けて、高速表示する際のマスク形状（観察視野形状）を表示領域より小さい矩形のサイズとするか否かを判断する。画面の表示領域より小さい矩形の観察視野表示を行う場合はステップＳ７０８へ、表示領域をそのまま観察視野の変更を行わない場合はステップＳ６０８へそれぞれ進む。なお、ステップＳ６０８の通常観察用の表示用画像データ生成の処理内容は図６のフローチャートで説明した内容と同じため、省略する。

　ステップＳ７０８では、表示領域のサイズより小さい観察視野のサイズを設定する。サイズの設定やユーザーによって選択される構成をとっても良いし、予め規定された値を選択する構成にしてもよい。

　ステップＳ７０９では、ステップＳ７０１で取得、把握したマスク情報の値を各対応画素間で参照する。参照した対応する表示画素のマスク情報の値が０であるか、すなわち注視領域として提示される通常輝度となる画素か、それとも顕微鏡観察視野外の輝度を低下させる対象となる画素かを判断する。処理内容はステップＳ７０４と同じため詳細な説明は省略する。

[規則91に基づく訂正 25.02.2014]　
　ステップＳ７１０およびステップＳ７１１の処理は、それぞれステップＳ７０５およびステップＳ７０６と同じため、説明は省略する。異なる点は顕微鏡観察視野の形状が円形か矩形かである。

　（表示画面レイアウト）
　図８は、本発明の画像処理装置１０２で生成した表示データを表示装置１０３に表示した場合の表示画面の一例を示す模式図である。図８では、顕微鏡観察視野を再現した表示モードおよび高速表示モード、および顕微鏡視野再現時の情報提示について説明する。

　図８（ａ）は、表示装置１０３の画面レイアウトの基本構成例を示す模式図である。本例の表示画面は、全体ウィンドウ８０１内に、表示や操作のステータスと各種画像の情報を示す情報エリア８０２、観察対象の検体サムネイル画像８０３、サムネイル画像中に詳細観察のエリアを示す詳細表示領域８０４、詳細観察用の検体画像データの表示領域８０５、表示領域８０５の表示倍率８０６、からそれぞれ構成されている。各領域、画像はシングルドキュメントインターフェースによって全体ウィンドウ８０１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインターフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。本例のサムネイル画像８０３は、検体の全体像における検体画像データの表示領域８０５の位置や大きさを表示する。位置や大きさは、詳細表示領域８０４の枠によって把握することができる。詳細表示領域８０４の設定は、例えば、タッチパネルまたはマウス４１１等の外部接続された入力装置からのユーザー指示による直接の設定でも、表示されている画像に対する表示領域の移動や拡大・縮小操作によっても設定、更新することができる。検体画像データの表示領域８０５には、詳細観察用の検体画像データが表示される。ここでは、ユーザーからの操作指示によって、表示領域の移動（検体全体画像の中から観察の対象となる部分領域の選択、移動）や表示倍率の変更による画像の拡大・縮小像が表示される。

　図８（ｂ）は、顕微鏡視野を再現し、顕微鏡視野外は均一な輝度低下を行った表示画面の例である。８０６は表示倍率を示している。ここでは高倍率である倍率４０倍で表示されているものとする。８０８は顕微鏡の視野を再現した観察領域で、円形の視野内は通常の輝度で画像が表示されている。これに対し、８０７の顕微鏡視野外の領域は一定の割合で輝度を低下させている。

　図８（ｃ）は、顕微鏡視野を再現し、顕微鏡視野外は顕微鏡視野中心からの距離に応じて輝度低下を行った表示画面の例である。８０９の顕微鏡視野外の領域は、顕微鏡視野を再現した円形の領域の中心からの距離に応じて徐々に輝度が低下している。こうした表示画像の生成については第２の実施形態で説明する。

　図８（ｄ）は、表示画面の更新（スクロール）が行われた際の顕微鏡視野変化の例である。ここでは顕微鏡視野と同サイズの矩形を観察視野として、それ以外の領域の輝度を低下させている。８１０は静止状態の顕微鏡観察視野である。８１１は画面更新に伴って変更された観察視野を示している。ここでは顕微鏡観察視野８１０を内包するサイズとなっている。８１２は観察視野外の領域を示し、一定の割合で輝度を低下させている。なお、図８（ｃ）で説明した顕微鏡観察視野の中心からの距離に応じて輝度を徐々に低下させる構成をとることもできる。

　図８（ｅ）は、顕微鏡視野外に各種情報を提示した表示画面の例である。注視領域が顕微鏡観察領域であるため、その外側の領域には輝度を低下させた観察画像の他、診断に必要な検体情報、患者の情報など他、メニュー画面等を配置させることもできる。８１３は検体の全体像を示すサムネイル画像８０３を提示するエリアであり、８１４は情報エリア８０２である。このようにディスプレイのアスペクト比が正方ではないことを利用し、顕微鏡視野である円形の領域外に種々の情報を表示することで、多くの情報を効果的に提示するとともに操作性を向上させることができる。

　（本実施形態の効果）
　バーチャルライド画像の中に観察領域を設けることにより、観察者の負担を低減する画像処理装置を提供することができる。本実施の形態では特に、高速な表示が求められる画面スクロール時には観察視野を矩形に変更することで、処理の効率を上げることができる。また、顕微鏡と異なり注視される観察視野の領域（円形領域）外にも画像の他、各種情報を提示することで、病変部を見つけやすくしたり、操作性を向上させたりすることができる。

　［第２の実施形態］
　本発明の第２実施形態に係る画像処理システムについて図を用いて説明する。

　第１の実施形態では、顕微鏡観察視野の再現を多値のマスク情報による選択的な処理、すなわち、画像データの採用とビットシフトによる輝度低下処理に分けて行った。第２の実施形態では、同じく多値のマスク情報を用いるものの、マスク情報と画像データが保有する輝度との乗算処理によって、領域によって処理を分けることなく同等の視野再現を行うことができるようにする。第２実施形態では、第１実施形態と異なる構成以外は第１実施形態で説明した構成を用いることができる。

　（画像処理システムの装置構成）
　図９は、本発明の第２の実施形態に係る画像処理システムを構成する装置の一例を示す模式的な全体図である。

　図９で例示されている画像処理装置を用いた画像処理システムは、画像サーバー９０１、画像処理装置１０２、表示装置１０３から構成される。本例の画像処理装置１０２は検体を撮像した画像データを画像サーバー９０１から取得し、表示装置１０３へ表示するための画像データを生成することができる。本例では、画像サーバー９０１と画像処理装置１０２との間は、ネットワーク９０２を介して、汎用Ｉ／ＦのＬＡＮケーブル９０３で接続される。本例の画像サーバー９０１は、バーチャルスライド装置である撮像装置１０１によって撮像された画像データを保存する大容量の記憶装置を備えたコンピュータである。本例の画像サーバー９０１は、階層化された異なる表示倍率の画像データを一つのまとまりとして画像サーバー９０１に接続されたローカルストレージに保存していても良いし、それぞれを分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）に対して各分割画像データの実体とリンク情報を分けて持つ構成でもよい。階層画像データ自体、一つのサーバーに保存しておく必要もない。なお、画像処理装置１０２および表示装置１０３は第１の実施態様の画像処理システムと同様である。

　図９の例では、画像サーバー９０１と画像処理装置１０２および表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置１０３が一体化した画像処理装置１０２を用いてもよいし、画像処理装置１０２の持つ機能の一部を画像サーバー９０１に組み込んでもよい。また逆に、画像サーバー９０１や画像処理装置１０２の機能を分割して複数の装置によって実現してもよい。

　（顕微鏡視野表示用画像データ生成処理）
　図１０は、第１の実施形態の図７で説明した顕微鏡視野表示用画像データ生成の処理に対して、本実施例の特徴である、マスク情報と画像データが保有する輝度との乗算処理によって、領域によって処理を分けることなく視野再現を行う処理の流れの一例を示すフローチャートである。マスク情報に基づく表示用画像データ生成のプロセス以外は図７と同様のため、同じ処理の説明については省略する。

　ステップＳ７０１からステップＳ７０３までのマスク情報取得および各種分岐処理の内容は第１の実施形態の図７で説明した内容と同様である。

[規則91に基づく訂正 25.02.2014]　
　ステップＳ１００１では、画像データの各画素に対応するマスク情報を把握する。マスク情報は例えば８ビットの情報であり、０から２５５までの値をとる。

[規則91に基づく訂正 25.02.2014]　
　ステップＳ１００２では、対応する画素の輝度値とマスク情報の値を乗算し、新たな輝度値として算出する。実際には、乗算された結果をマスク情報の最大値である２５５で割った値で正規化することによって、マスク情報が２５５の場合には除算前と同じ輝度値が算出されることになる。このように画素単位で同一処理を適用することでも第１の実施形態と同様に顕微鏡視野を再現することができる。第１の実施形態ではビットシフトによって輝度低下を行っていたのに対して、第２の実施形態ではマスク情報との乗算によって算出できることになり、より輝度の設定の自由度が増えることになる。マスク情報は予め用意しておいた規定の値を用いても、ユーザー指示によって変更または新たに設定することも可能である。その結果、顕微鏡視野を模した円形の観察視野形状以外の形状にも柔軟に対応することができる。形状変更に関しては第１の実施の形態でも同様に対応が可能である。

　ステップＳ７０７の高速表示モードにおける矩形マスク表示の判断以降のステップＳ７１１までの処理は第１の実施の形態と同じため、説明は省略する。

　（本実施形態の効果）
　バーチャルライド画像の中に観察領域を設けることにより、観察者の負担を低減する画像処理装置を提供することができる。特に観察視野の内外で同一の処理を用いて表示画像を生成することで、判断分岐をなくし、ソフト処理ではその負荷を減らすことができる。また、輝度低下の階調表現をより滑らかにすることでユーザーの負担をさらに軽減することができる。

　［その他の実施形態］
　本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

　また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

　さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

　本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

　また、第１と第２の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。本発明の技術的範囲は特許請求の範囲中の各請求項によって定められるものであり、上記各実施形態によって限定解釈されるべきものではない。

　本願は、2011年12月27日提出の日本国特許出願特願2011-286784、および2012年12月26日提出の日本国特許出願特願2012-282783を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

[規則91に基づく訂正 25.02.2014]　
　１０１　撮像装置
　１０２　画像処理装置
　１０３　表示装置
　３０１　画像データ取得部
　３０２　記憶保持部
　３０３　ユーザー入力情報取得部
　３０４　表示装置情報取得部
　３０５　表示データ生成制御部
　３０６　マスク情報
　３０７　表示用画像データ取得部
　３０８　表示用画像データ生成部
　３０９　表示データ出力部
　９０１　画像サーバー
 

Claims (28)

1. 　バーチャルスライド画像を処理する画像処理装置であって、
   　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ユニットと、
   　前記画像データから、あらかじめ定められた手法に基づいて決定されたあるいはユーザーが指定した観察領域を表示装置に表示させるための観察領域表示用画像データと、該観察領域以外の領域を表示装置に表示させるための観察領域外表示用画像データとから構成される表示用画像データを生成する表示用画像データ生成ユニットと、を有し、
   　前記表示用画像データ生成ユニットは、前記観察領域表示用画像データ、前記観察領域外表示用画像データの少なくとも一方に画像処理を施すことで、前記画像データ全体に一律の画像処理を施した場合とは異なる画像を表示装置に表示させる表示用画像データを生成することを特徴とする画像処理装置。
2. 　前記表示用画像データ生成ユニットは、顕微鏡の視野を再現した観察領域を表示させるための前記表示用画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 　前記表示用画像データ生成ユニットは、実在する顕微鏡の視野に関する情報に基づいて前記表示用画像データを生成することを特徴とする請求項２に記載の画像処理装置。
4. 　前記表示用画像データ生成ユニットは、実在する顕微鏡の視野に関する情報及び画像として表示すべき倍率の情報に基づいて前記表示用画像データを生成することを特徴とする請求項３に記載の画像処理装置。
5. 　前記表示用画像データ生成ユニットは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示用画像データを生成することを特徴とする請求項３又は４に記載の画像処理装置。
6. 　前記表示用画像データ生成ユニットは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示用画像データを生成することを特徴とする請求項３～５のいずれかに記載の画像処理装置。
7. 　前記表示用画像データ生成ユニットは、前記観察領域外の輝度が前記観察領域の輝度よりも低くなるように、表示用画像データを生成することを特徴とする請求項１～６のいずれかに記載の画像処理装置。
8. 　前記表示用画像データ生成ユニットは、多値のマスク情報と前記画像データの画素単位での乗算を行うことによって、前記表示用画像データを生成することを特徴とする請求項１～７のいずれかに記載の画像処理装置。
9. 　前記表示用画像データ生成ユニットは、２つの処理形態を示すマスク情報をもとにした前記画像データの演算処理によって前記表示用画像データを生成することを特徴とする請求項１～７のいずれかに記載の画像処理装置。
10. 　前記画像データはＲＧＢの色情報を持つカラー画像データであり、
    　前記表示用画像データ生成ユニットは、前記画像データを輝度色差データへ変換した後に、該変換で得られた輝度値に前記演算処理をすることを特徴とする請求項９に記載の画像処理装置。
11. 　前記２つの処理形態を示すマスク情報は、前記画像データを採用する位置と、前記画像データをビットシフト演算する位置とが表現されていることを特徴とする請求項９又は１０に記載の画像処理装置。
12. 　前記ビットシフト演算のシフト量は、外部から入力された指示によって変更されることを特徴とする請求項１１に記載の画像処理装置。
13. 　前記表示用画像データ生成ユニットは、顕微鏡の視野を模した円形の前記観察領域を表示させる前記表示用画像データを生成し、
    　前記ビットシフト演算のシフト量は、前記円形の前記観察領域の中心からの距離に応じてシフト量を変更したことを特徴とする請求項１１に記載の画像処理装置。
14. 　前記表示用画像データ生成ユニットは、前記表示装置に表示させる画像の位置又は表示倍率が変化している間には、前記観察領域と前記観察領域以外とを区別しない表示用画像データを生成することを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 　前記観察領域以外の表示用画像データは、前記撮像対象の情報を含んでいることを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 　バーチャルスライド画像を処理する画像処理方法であって、
    　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ステップと、
    　前記画像データ取得ステップで取得した画像データから、あらかじめ定められた手法に基づいて決定されたあるいはユーザーが指定した観察領域を表示装置に表示させるための観察領域表示用画像データと該観察領域以外の領域を表示装置に表示させるための観察領域外表示用画像データとから構成される表示用画像データを生成する表示用画像データ生成ステップと、を有し、
    　前記表示用画像データ生成ステップは、前記観察領域表示用画像データ、前記観察領域外表示用画像データの少なくとも一方に画像処理を施すことで、前記画像データ全体に一律の画像処理を施した場合とは異なる画像を表示装置に表示させる表示用画像データを生成するステップであることを特徴とする画像処理方法。
17. 　前記表示用画像データを前記表示装置に送信する表示用画像データ送信ステップ、をさらに有することを特徴とする請求項１６に記載の画像処理方法。
18. 　前記表示用画像データ生成ステップは、顕微鏡の視野を再現した観察領域を表示させるための前記表示用画像データを生成するするステップであることを特徴とする請求項１６又は１７に記載の画像処理方法。
19. 　前記表示用画像データ生成ステップは、実在する顕微鏡の視野に関する情報に基づいて前記表示用画像データを生成するステップであることを特徴とする請求項１８に記載の画像処理方法。
20. 　前記表示用画像データ生成ステップは、実在する顕微鏡の視野に関する情報及び表示すべき倍率の情報に基づいて前記表示用画像データを生成するステップであることを特徴とする請求項１９に記載の画像処理方法。
21. 　前記表示用画像データ生成ステップは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示用画像データを生成するステップであることを特徴とする請求項１８又は１９に記載の画像処理方法。
22. [規則91に基づく訂正 25.02.2014]　
    　前記表示用画像データ生成ステップは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示用画像データを生成するステップであることを特徴とする請求項１９～２１のいずれかに記載の画像処理方法。
23. [規則91に基づく訂正 25.02.2014]　
    　前記表示用画像データ生成ステップは、前記観察領域外の輝度が前記観察領域の輝度よりも低くなるように、表示用画像データを生成するステップであることを特徴とする請求項１６～２２のいずれかに記載の画像処理方法。
24. 　前記表示用画像データ生成ステップは、画像データを採用する位置と前記画像データをビットシフト演算する位置とが表現されている２つの処理形態を示すマスク情報に基づき、前記画像データを演算処理して前記表示用画像データを生成することを特徴とする請求項１６～２３のいずれかに記載の画像処理方法。
25. 　前記画像データ取得ステップで取得する前記画像データは、ＲＧＢの色情報を持つカラー画像データであり、
    　前記表示用画像データ生成ステップは、前記画像データを輝度色差データへ変換した後に、該変換で得られた輝度値に前記演算処理をすることを特徴とする請求項１６～２４のいずれか一項に記載の画像処理方法。
26. 　バーチャルスライド画像を処理する画像処理方法であって、
    　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ステップと、
    　前記画像データ取得ステップで取得した画像データから、あらかじめ定められた手法に基づいて決定されたあるいはユーザーが指定した観察領域を表示装置に表示させるための観察領域表示用画像データと該観察領域以外の領域を表示装置に表示させるための観察領域外表示用画像データとから構成される表示用画像データを生成する表示用画像データ生成ステップと、を有し、
    　前記表示用画像データ生成ステップは、前記観察領域表示用画像データ、前記観察領域外表示用画像データの少なくとも一方に画像処理を施すことで、前記画像データ全体に一律の画像処理を施した場合とは異なる画像を表示装置に表示させる第１の表示用画像データと、前記画像データに画像処理を施さない、あるいは画像データ全体に一律の画像処理を施した第２の表示用画像データと、を生成するステップであり、
    　前記表示装置に表示させる画像の位置又は表示倍率が変化している時には、前記第１の表示用画像データを、前記表示装置に表示させる画像の位置又は表示倍率が変化していない時には、前記第２の表示用画像データを、前記表示装置に送信する表示用画像データ送信ステップと、を有することを特徴とする画像処理方法。
27. 　請求項１～１５のいずれかに記載の画像処理装置と、前記画像処理装置で処理されたバーチャルスライド画像を顕微鏡の視野を再現した観察領域を有する態様で表示する表示装置と、を備える画像処理システム。
28. 　請求項１６～２６のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
     

Images