JP6455829B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、スライド上の標本の一部の領域を拡大表示し、その表示領域を移動することにより標本の全体の観察を行う操作、を支援するための技術に関する。

スライド（プレパラート）上の標本をデジタル顕微鏡で撮像することでバーチャル・スライド画像を取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている（特許文献１）。
また、大容量の画像データであっても、縮小画像および拡大画像を効率良く表示する画像表示技術が知られている（特許文献２）。
また、画像サーバ内の細胞画像を端末装置に表示する際に、表示に必要な領域の分割画像のみを画像サーバからダウンロードすることで、端末装置に表示するまでの時間を短縮する技術が知られている（特許文献３）。

特開２０１１−１１８１０７号公報 特開２０１１−１７０４８０号公報 特開２００５−１１７６４０号公報

病理診断では、スライドの低倍像を観察しながら関心領域をマーキングする標本観察（スクリーニング）と呼ばれる作業をまず行い、その後、高倍像を用いて各関心領域の詳細な観察を行うことが一般的である。標本観察（スクリーニング）においては、病変部等の見落としを無くすため、スライド上の標本全域をくまなく網羅的に観察することが観察者に要求される。

ところで、胃、肝臓、前立腺、胆のうなどの生検（生体組織診断）では、図６に示すように複数の標本が１つのスライドに載置されることがある（以下、個々の標本を「個別標本」と称する）。標本及びスライドは手作業で作製されるものであるため、それぞれの個別標本の形や向きは不均一であるし、配置も不規則となる。このようなスライドの場合、不規則に配された複数の個別標本を順番に且つ漏れなくスクリーニングする必要があるため、観察者への負担が大きいという課題がある。

特許文献２で示された表示技術は、個別標本の見落としリスクを軽減できるが、個別標本における標本観察（スクリーニング）の負担を軽減するものではない。特許文献３で示された分割画像の生成方法、表示方法では、通信に関わるデータ量を削減できるが、複数の個別標本の標本観察（スクリーニング）の負担を軽減する分割画像の生成方法、表示方法については言及がない。

そこで、本発明は、スライド上に観察対象（例えば、個別標本）が複数ある場合に、標本観察（スクリーニング）の負担を軽減できる技術を提供することを目的とする。

本発明の一つは、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成する調整手段と、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行う表示制御手段と、
を有し、それぞれの観察対象に対して、表示順序が定められた複数の拡大画像が対応付けられており、前記調整手段は、第１の観察対象と第２の観察対象を隣り合わせに配置する場合に、前記第１の観察対象の複数の拡大画像のうち表示順序が最後の拡大画像と、前記第２の観察対象の複数の拡大画像のうち表示順序が最初の拡大画像とが繋がるように、前記再構成スライド画像上での前記第１の観察対象と前記第２の観察対象の配置を決定することを特徴とする画像処理装置である。
本発明の一つは、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成する調整手段と、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行う表示制御手段と、を有し、前記調整手段は、各観察対象の画像の領域を平行移動し、または、平行移動と回転をすることにより、前記再構成スライド画像上での各観察対象の配置を調整することを特徴とする画像処理装置である。
本発明の一つは、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成する調整手段と、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行う表示制御手段と、を有し、前記調整手段が、前記複数の観察対象を行方向、列方向またはその両方向に整列させた観察対象並び替え画像を生成し、前記表示制御手段が、前記拡大画像とともに、前記観察対象並び替え画像を前記表示装置に表示することを特徴とする画像処理装置である。

本発明の一つは、表示領域の移動指示を取得する取得手段と、前記移動指示に応じて表
示領域の位置と表示装置に表示する拡大画像の変更を行う表示制御手段と、を備えており、スライドに複数の観察対象が含まれ、それぞれの観察対象に対して複数の拡大画像が対応付けられており、前記表示制御手段は、移動指示を受ける毎に、１つの観察対象のなかで拡大画像が所定の表示順序で切り替わるように表示領域を移動させていき、当該観察対象の最後の拡大画像が表示されているときに移動指示を受けた場合は、当該観察対象の次の観察対象の最初の拡大画像に切り替わるように表示領域を移動させることを特徴とする画像処理装置である。

本発明の一つは、複数の観察対象を含むスライドの一部の領域を拡大表示し、その拡大表示する表示領域を移動することにより前記複数の観察対象を順に観察する操作、を支援するための画像処理装置であって、表示領域の移動指示を取得する取得手段と、前記移動指示に応じて表示領域の位置と表示装置に表示する拡大画像の変更を行う表示制御手段と、を備えており、それぞれの観察対象に対して、最初に観察を開始すべき観察開始位置が定められており、前記表示制御手段は、前記複数の観察対象のなかから１つの観察対象を選択する指示を受けた場合に、前記選択された観察対象の観察開始位置を中心とする領域が拡大表示されるように表示領域を移動させることを特徴とする画像処理装置である。

本発明の一つは、コンピュータが、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成するステップと、コンピュータが、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行うステップと、を有し、それぞれの観察対象に対して、表示順序が定められた複数の拡大画像が対応付けられており、前記再構成スライド画像のデータを生成するステップでは、第１の観察対象と第２の観察対象を隣り合わせに配置する場合に、前記第１の観察対象の複数の拡大画像のうち表示順序が最後の拡大画像と、前記第２の観察対象の複数の拡大画像のうち表示順序が最初の拡大画像とが繋がるように、前記再構成スライド画像上での前記第１の観察対象と前記第２の観察対象の配置が決定されることを特徴とする画像処理方法である。
本発明の一つは、コンピュータが、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成するステップと、コンピュータが、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行うステップと、を有し、前記再構成スライド画像のデータを生成するステップでは、各観察対象の画像の領域を平行移動し、または、平行移動と回転をすることにより、前記再構成スライド画像上での各観察対象の配置が調整されることを特徴とする画像処理方法である。
本発明の一つは、コンピュータが、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成するステップと、コンピュータが、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行うステップと、コンピュータが、前記複数の観察対象を行方向、列方向またはその両方向に整列させた観察対象並び替え画像を生成するステップと、コンピュータが、前記拡大画像とともに、前記観察対象並び替え画像を前記表示装置に表示するステップと、を有することを特徴とする画像処理方法である。

本発明の一つは、コンピュータが、表示領域の移動指示を取得するステップと、コンピュータが、前記移動指示に応じて表示領域の位置と表示装置に表示する拡大画像の変更を行うステップと、を含んでおり、スライドに複数の観察対象が含まれ、それぞれの観察対象に対して複数の拡大画像が対応付けられており、移動指示を受ける毎に、１つの観察対象のなかで拡大画像が所定の表示順序で切り替わるように表示領域を移動させていき、当該観察対象の最後の拡大画像が表示されているときに移動指示を受けた場合は、当該観察対象の次の観察対象の最初の拡大画像に切り替わるように表示領域を移動させることを特徴とする画像処理方法である。

本発明の一つは、複数の観察対象を含むスライドの一部の領域を拡大表示し、その拡大表示する表示領域を移動することにより前記複数の観察対象を順に観察する操作、をコンピュータにより支援するための画像処理方法であって、コンピュータが、表示領域の移動指示を取得するステップと、コンピュータが、前記移動指示に応じて表示領域の位置と表示装置に表示する拡大画像の変更を行うステップと、を含んでおり、それぞれの観察対象に対して、最初に観察を開始すべき観察開始位置が定められており、前記複数の観察対象のなかから１つの観察対象を選択する指示を受けた場合に、前記選択された観察対象の観察開始位置を中心とする領域が拡大表示されるように表示領域を移動させることを特徴とする画像処理方法である。

本発明の一つは、上記画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、スライド上に観察対象が複数ある場合に、標本観察（スクリーニング
）の負担を軽減することができる。

画像処理システムの装置構成の全体図。 画像処理システムにおける撮像装置の機能ブロック図。 画像処理装置のハードウェア構成図。 画像処理装置の画像生成・制御部の機能ブロック図。 階層画像データの構造を示す模式図。 複数の個別標本が載置されたスライドを示す模式図。 画像提示アプリケーションの表示例を説明する模式図。 個別標本に対する表示領域枠の設定を説明する模式図。 標本観察（スクリーニング）シーケンスを説明する模式図。 平行移動による標本配置の再構成を説明する模式図。 平行移動による標本配置の再構成を説明するフローチャート。 平行移動による標本配置の再構成の別の例を説明する模式図。 回転と平行移動による標本配置の再構成を説明する模式図。 回転と平行移動による表示領域枠の設定を説明するフローチャート。 表示領域の調整（個別標本の近接）を説明する模式図。 表示領域の調整（個別標本の近接）を説明するフローチャート。 表示領域の調整（個別標本の近接）を実施した結果を説明する模式図。 個別標本の分離を説明する模式図。 画像ファイルフォーマットを説明する模式図。 標本配置の再構成による効果を説明する模式図。 画像提示アプリケーションの第２の表示例を説明する模式図。 画像提示アプリケーションの第３の表示例を説明する模式図。 実施例２における表示制御モードの設定を説明する模式図。 実施例２における画像処理装置の画像生成・制御部の機能ブロック図。 実施例２における表示制御モードの設定を説明するフローチャート。 実施例２における各表示制御モードでの表示処理を説明する模式図。 実施例２における各表示制御モードでの表示処理のフローチャート。

以下、図面を参照しながら本発明の実施の形態を説明する。
＜実施例１＞
（画像処理システムの装置構成）
本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムの構成を、図１を用いて説明する。

画像処理システムは、撮像装置（デジタル顕微鏡装置、またはバーチャル・スライド・スキャナ）１０１、画像処理装置１０２、表示装置１０３、データサーバ１０４から構成され、撮像対象となる標本の２次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０５で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０６で接続される。データサーバ１０４と画像処理装置１０２との間は、ネットワーク１０７を介して、汎用Ｉ／ＦのＬＡＮケーブル１０８で接続される。

撮像装置１０１は、２次元の平面方向に位置の異なる複数枚の２次元画像を撮像し、デジタル画像を出力する機能を持つバーチャル・スライド・スキャナである。２次元画像の取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子が用いられる。なお、バーチャル・スライド・スキャナの
代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データから、表示装置１０３に表示するデータを、ユーザからの要求に応じて生成する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。後述する各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウスなどにより構成され、ユーザが各種の指示を入力するために利用される。

表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、液晶ディスプレイ等により構成される。
データサーバ１０４は、画像処理装置１０２が演算処理した結果である観察用画像が格納されているサーバである。

図１の例では、撮像装置１０１、画像処理装置１０２、表示装置１０３とデータサーバ１０４の４つの装置により画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置、データサーバの機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現しても良い。

（撮像装置の機能構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、外部装置Ｉ／Ｆ２２２から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたスライド２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの３軸方向への移動が可能である。スライド２０６は、組織の切片をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。
ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２２０によって計測した標本の位置情報および厚み情報（距離情報）と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。
結像光学系２０７は、スライド２０６の標本の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、２次元の光学像を光電変換によって電気的な物理量へ変える１次元もしくは２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。１次元センサの場合、走査方向へ電気的にスキャンするとともに、
副走査方向へステージ２０２を移動させることで２次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いたり、ＲＧＢの三板式のイメージセンサを用いたりすればよい。撮像ユニット２１０は、ステージ２０２をＸＹ軸方向に駆動させることにより、標本の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８の動作を制御する回路、及び、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は、Ｈ／Ｖドライバ、ＣＤＳ（Correlated Double Sampling）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。

現像処理ユニット２１９は、黒補正部２１１、デモザイキング処理部２１２、ホワイトバランス調整部２１３、画像合成処理部２１４、フィルタ処理部２１６、ガンマ補正部２１７および圧縮処理部２１８から構成される。

黒補正部２１１は、ＲＡＷデータの各画素の値から、バックグラウンド（遮光時に得られた黒補正データ）を減算する処理を行う。
デモザイキング処理部２１２は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１２は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、デモザイキング処理部２１２は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となり、欠陥画素の補正処理を実行する。三板式の撮像センサ２０８を用いた場合もデモザイキング処理は不要である。
ホワイトバランス調整部２１３は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。

画像合成処理部２１４は、撮像センサ２０８によって分割して撮像された複数の分割画像データをつなぎ合わせて所望の撮像範囲の大サイズ画像データを生成する処理を行う。一般に、既存のイメージセンサによって１回の撮像で取得できる撮像範囲より標本の存在範囲が広いため、１枚の２次元画像データを分割された画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でスライド２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその自乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万の１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法などがある。つなぎ合
わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。

フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。
ガンマ補正部２１７は、画像に一般的な表示デバイスの階調表現特性の逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施例では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。

圧縮処理部２１８は、大容量の２次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。静止画像の圧縮手法として、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。また、２次元画像データの縮小処理を実行し、階層画像データを生成する。階層画像データについては図５で説明する。

プレ計測ユニット２２０は、スライド２０６上の標本の位置情報、所望の焦点位置までの距離情報、および標本厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。２次元平面の位置情報取得には、撮像センサ２０８より解像力の低い２次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から標本のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計などの計測器が用いられる。

メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２２１および現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えても良い。

外部装置Ｉ／Ｆ２２２は、現像処理ユニット２１９によって生成された階層画像データを画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置のハードウェア構成）
図３は、本発明の画像処理装置１０２のハードウェア構成を示すブロック図である。
画像処理を行う装置として、例えばＰＣ（Personal Computer）が用いられる。ＰＣは
、制御部３０１、メインメモリ３０２、サブメモリ３０３、グラフィックスボード３０４、これらを互いに接続する内部バス３０５、ＬＡＮ Ｉ／Ｆ３０６、記憶装置Ｉ／Ｆ３０７、外部装置Ｉ／Ｆ３０９、操作Ｉ／Ｆ３１０、入出力Ｉ／Ｆ３１３を備える。

制御部３０１は、必要に応じてメインメモリ３０２、サブメモリ３０３等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。メインメモリ３０２及びサブメモリ３０３はＲＡＭ（Random Access Memory）により構成される。メインメモリ３０２は、制御部３０１の作業用領域等として用いられ、ＯＳ、実行中の各種
プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。また、メインメモリ３０２及びサブメモリ３０３は、画像データの格納領域としても用いられる。制御部３０１のＤＭＡ（Direct Memory Access）機能により、メインメモリ３０２とサブメモリ３０３の間、サブメモリ３０３とグラフィックスボード３０４の間の画像データの高速転送を実現できる。グラフィックスボード３０４は、表示装置１０３に画像処理結果を出力する。表示装置１０３は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

入出力Ｉ／Ｆ３１３には、ＬＡＮ Ｉ／Ｆ３０６を介してデータサーバ１０４が、記憶装置Ｉ／Ｆを介して記憶装置３０８が、外部装置Ｉ／Ｆ３０９を介して撮像装置１０１が、操作Ｉ／Ｆ３１０を介してキーボード３１１やマウス３１２がそれぞれ接続される。
記憶装置３０８は、制御部３０１に実行させるＯＳ、プログラム、ファームウェアや、各種パラメータなどの情報を固定的に記憶している補助記憶装置である。また、撮像装置１０１から送られてきた階層画像データの格納領域としても用いられる。ＨＤＤ（Hard Disk Drive）等の磁気ディスクドライブや、ＳＳＤ（Solid State Drive）、Ｆｌａｓｈメモリ等の半導体デバイスが用いられる。
操作Ｉ／Ｆ３１０との接続デバイスとしてキーボード３１１やマウス３１２等のポインティングデバイスを想定しているが、タッチパネル等、表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

（制御部の機能ブロック構成）
図４は、画像処理装置１０２の制御部３０１の機能構成を示すブロック図である。
制御部３０１は、ユーザ入力情報取得部４０１、画像データ取得制御部４０２、階層画像データ取得部４０３、表示データ生成制御部４０４を有する。また制御部３０１は、表示候補画像データ取得部４０５、表示候補画像データ生成部４０６、表示画像データ転送部４０７、調整パラメータ認識部４０８、標本配置調整部４０９を有する。

ユーザ入力情報取得部４０１は、ユーザがキーボード３１１やマウス３１２を用いて入力した、画像表示の開始、終了、表示画像のスクロール動作、切替、拡大、縮小などの指示内容を操作Ｉ／Ｆ３１０を介して取得する。例えば、ユーザが標本観察（スクリーニング）を行う拡大画像の倍率や、標本観察（スクリーニング）シーケンスが、操作Ｉ／Ｆ３１０を介してユーザ入力情報取得部４０１に入力される。

画像データ取得制御部４０２は、ユーザ入力情報に基づいて、記憶装置３０８からの画像データの読み出しとメインメモリ３０２への画像データの展開を制御する。画像データ取得制御部４０２は、画像表示の開始、終了、表示画像のスクロール動作、切替、拡大、縮小などの各種ユーザ入力情報に対して、表示画像として必要になると予測される画像領域を決定する。画像データ取得制御部４０２は、表示領域（表示装置に実際に表示される画像領域）の変化を予測し、メインメモリ３０２に画像データを読み込んでおくべき画像領域（第１表示候補領域）を特定する。メインメモリ３０２が第１表示候補領域の画像データを保持していなければ、画像データ取得制御部４０２は、階層画像データ取得部４０３に対して、第１表示候補領域の画像データの記憶装置３０８からの読み出しとメインメモリ３０２への展開を指示する。記憶装置３０８からの画像データの読み出しは時間を要する処理のため、第１表示候補領域をできるだけ広範囲として、この処理にかかるオーバーヘッドを抑制することが望ましい。

階層画像データ取得部４０３は、画像データ取得制御部４０２の制御指示に従って、記
憶装置３０８からの画像領域の画像データの読み出しと、メインメモリ３０２への展開を行う。

表示データ生成制御部４０４は、ユーザ入力情報に基づいて、メインメモリ３０２からの画像データの読み出しとその画像データの処理方法、グラフィックスボード３０４への画像データの転送を制御する。表示データ生成制御部４０４は、画像表示の開始、終了、表示画像のスクロール動作、切替、拡大、縮小などの各種ユーザ入力情報に基づいて、表示領域の変化を予測する。そして、表示データ生成制御部４０４は、実際に表示装置１０３に表示する画像領域（表示領域）と、サブメモリ３０３に画像データを読み込んでおくべき画像領域（第２表示候補領域）を特定する。サブメモリ３０３が第２表示候補領域の画像データを保持していなければ、表示データ生成制御部４０４は、表示候補画像データ取得部４０５に対して、第２表示候補領域の画像データのメインメモリ３０２からの読み出しを指示する。さらに、表示データ生成制御部４０４は、表示候補画像データ生成部４０６に対して、スクロール要求に対する画像データの処理方法を指示する。

また、表示データ生成制御部４０４は、表示画像データ転送部４０７に対して、表示画像領域の画像データのサブメモリ３０３からの読み出しを指示する。記憶装置３０８からの画像データの読み出しと比較すると、メインメモリ３０２からの読み出しは高速に実行できる。そのため、第１表示候補領域と比較して第２表示候補領域は狭い範囲としても良い。すなわち、上記の第１表示候補領域、第２表示候補領域、及び表示領域の広さの大小関係は、第１表示候補領域≧第２表示候補領域≧表示領域となる。

表示候補画像データ取得部４０５は、表示データ生成制御部４０４の制御指示に従って、メインメモリ３０２からの表示候補の画像領域の画像データの読み出しを実行し、表示候補画像データ生成部４０６に転送する。表示候補画像データ生成部４０６は、圧縮画像データである表示候補画像データの伸長処理を実行し、サブメモリ３０３への展開を行う。表示画像データ転送部４０７は、表示データ生成制御部４０４の制御指示に従って、サブメモリ３０３からの表示画像領域の画像データの読み出しを実行し、グラフィックスボード３０４に転送する。ＤＭＡ機能により、サブメモリ３０３とグラフィックスボード３０４間の高速画像データ転送を実行する。

調整パラメータ認識部４０８は、標本観察（スクリーニング）を行う拡大画像の倍率を取得し、拡大画像の表示領域の大きさを認識する。拡大画像、表示領域は図７で説明する。また、調整パラメータ認識部４０８は、標本観察（スクリーニング）シーケンスを認識する。図７、図９、図１０で説明するが、標本観察（スクリーニング）シーケンスとは、複数の個別標本の観察順序と、個別標本の観察開始位置と、個別標本の拡大画像の表示順序とを定義する情報である。

標本配置調整部４０９は、調整パラメータ認識部４０８での認識結果である表示領域、及び、標本観察（スクリーニング）シーケンスをもとに、メインメモリ３０２のスライド２０６の画像データを用いて標本配置の調整（再構成）を行う。標本配置の調整とは、１つのスライドに複数の個別標本が含まれている場合に、各個別標本の画像の領域が連続的（シーケンシャル）に並ぶように各個別標本の配置を調整する処理である。このとき、個別標本の画像以外の領域（背景部分）は除去するとよい。以下、標本配置調整部４０９によって調整された標本配置をもつ仮想的なスライドを「再構成スライド（画像）」と呼ぶ。標本観察（スクリーニング）では、後述するように、あたかも再構成スライド上を表示領域が順に移動していくように拡大画像の更新を行うことで、複数の個別標本の観察を容易にしている。

なお、本実施形態では、１つのスライドに複数の個別標本が含まれている場合について
説明しているが、本発明はそれに限定されない。１つのスライドに互いに離間している複数の観察対象が含まれていれば本発明を適用することができる。例えば、組織の切片が標本としてスライドに配置されており、その組織中の複数の特徴的な部分（例えば、核）だけを観察対象とする場合にも、本発明を適用することができる。

標本配置調整部４０９は、個別標本の画像データを実際に並べ替え合成することで、再構成スライドの画像データを実際に生成してもよい。ただし、画像データの加工には一定の処理時間がかかると共に、加工した画像データを格納するための記憶容量も必要となる。そこで本実施例では、再構成スライドのデータとして、再構成スライドにおける各個別標本の位置と実際のスライドにおける位置との対応関係を定義したデータを作成する（図１９（ｃ）参照）。そして、標本観察（スクリーニング）における表示制御では、表示データ生成制御部４０４が、上記対応関係を参照することで、拡大画像として表示すべき画像データの読み込み位置（ポインタ）を制御する。この方法によれば、再構成スライドに対する標本観察（スクリーニング）を仮想的に実現できる。

調整パラメータ認識部４０８と標本配置調整部４０９は、本実施例の特徴となる表示領域・標本観察（スクリーニング）シーケンスの認識と標本配置の調整を行う機能ブロックである。また、表示データ生成制御部４０４、表示候補画像データ取得部４０５、表示候補画像データ生成部４０６、表示画像データ転送部４０７が、表示領域の移動指示に応じて拡大画像の表示を更新する表示制御を行う機能ブロックである。

（階層画像データの構造）
図５は、階層画像データの構造を示す模式図である。ここでは解像度（画素数）の違いにより、第１階層画像５０１、第２階層画像５０２、第３階層画像５０３、第４階層画像５０４の４階層で構成されている。標本５０５は、組織の切片である。階層構造をイメージしやすいように、各階層での標本５０５の大きさを明示している。第１階層画像５０１が最も低解像度の画像であり、サムネイル画像などに用いられる。第２階層画像５０２、第３階層画像５０３は中程度の解像度の画像であり、バーチャル・スライド画像の広域観察などに用いられる。第４階層画像５０４は最も高解像度の画像であり、バーチャル・スライド画像を詳細に観察するときに用いられる。

各階層の画像は、幾つかの圧縮画像ブロックが集まって構成される。圧縮画像ブロックは、例えばＪＰＥＧ圧縮形式の場合には、１つのＪＰＥＧ画像である。ここでは、第１階層画像５０１は圧縮画像１ブロックから、第２階層画像５０２は圧縮画像４ブロックから、第３階層画像５０３は圧縮画像１６ブロックから、第４階層画像５０４は圧縮画像６４ブロックから構成されている。

画像の解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものであり、第１階層画像５０１は低倍での顕微鏡観察、第４階層画像５０４は高倍での顕微鏡観察に相当する。例えば、ユーザが高倍観察したい場合には、第４階層画像５０４を表示することで、高倍観察に対応する詳細観察を行うことができる。

（スライド）
図６は、複数の個別標本が載置されたスライドを示す模式図である。スライド２０６は、複数の標本をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。スライド２０６の端には、標本の属性を示すラベル６０１がある。ラベル６０１には、患者識別のための識別番号、胃、肝臓、大腸、小腸などの標本の部位、スライドを作成した施設名、所見の参考となるコメント、などが記される。ここでは、スライド２０６に９つの個別標本が貼り付けられており、個別標本６０２はその内の一つを示している。胃や肝臓の生検（生体組織診断）などでは、図６に示すように複数の個別標本が
１つのスライドに載置されることがある。

（画像提示アプリケーションの画面例）
図７（ａ）は、バーチャル・スライド画像を提示するアプリケーションの画面の一例を示す図である。画像提示アプリケーション（ビューワアプリケーションとも呼ばれる）のプログラムは、画像処理装置１０２の記憶装置３０８に記憶されている。制御部３０１がプログラムを記憶装置３０８から読み込んでメモリに展開し、実行することにより、画像提示アプリケーションの機能が実現される。画像提示アプリケーションにより、記憶装置３０８から読み込んだ階層画像データやＧＵＩデータを用いて画像提示のための表示データが生成され、表示データがグラフィックスボード３０４から表示装置１０３へ出力される。これにより、表示装置１０３において画像提示のためのアプリケーション画面が表示される。

なお、画像提示アプリケーションの実行方法は上記の例に限らない。例えば、画像提示アプリケーションの機能を実行する専用のハードウェアを画像処理装置１０２が備えていても良い。また、そのようなハードウェアが実装された機能拡張ボードを画像処理装置１０２に装着することによって画像処理装置１０２が画像提示アプリケーションを実行する機能を有するようになる構成でも良い。また、画像提示アプリケーションは外部記憶装置から提供される場合に限らず、ネットワーク経由でダウンロードにより提供される形態でも良い。

図７（ａ）は、表示装置１０３の画面に表示されるアプリケーション画面である。アプリケーション画面には、メニューウィンドウ以外に、拡大画像７０１と、スライド画像７０２を表示する２つのウィンドウがある。このアプリケーションにより、スライド上の標本の一部の領域を拡大表示し、表示領域を移動することにより標本の全体の観察行う操作が可能である。そして、本実施例のアプリケーションは、複数の個別標本を含むスライドの標本観察（スクリーニング）における操作を支援するために、以下に述べるようなさまざまな機能を提供する。

図７（ｂ）は、スライド画像７０２が表示されるウィンドウを詳しく示す図である。スライド画像７０２は、スライド２０６のラベル６０１以外の領域の画像である。スライド画像７０２が表示されるウィンドウでは、スライド２０６に貼り付けられた全ての個別標本（複数の標本）を確認することができる。スライド画像７０２では、全ての個別標本に標本観察（スクリーニング）の順番（観察順序）を示す番号が付与されている。例えば、標本観察（スクリーニング）の順番が７番目である個別標本７０３には、個別標本の番号７０４として「７」が付与されている。ここでは９つの個別標本があるため、それぞれの個別標本に「１」から「９」までの番号が付与されている。どの個別標本にどの番号を付与するかはユーザが任意に設定できる。或いは、画像提示アプリケーションが所定の規則に基づいて番号を自動割り付けしても良い。また、スライド画像７０２には、拡大画像の表示領域の大きさを示す枠である表示領域枠７０５が示されている。個別標本それぞれに対して、個別標本を包含するように１又は複数の表示領域枠が設定される。表示領域枠の設定方法は後述する（図８参照）。個別標本「１」の表示領域枠の内の一つが太枠７０６で強調されている。この太枠７０６は、拡大画像７０１として表示装置１０３に現在表示されている表示領域を示す枠である。拡大画像７０１は、スライド画像７０２内の太枠７０６の領域に対応する高精細（高解像度）の画像であり、標本の詳細観察に用いられる。

（表示領域枠の設定）
図８（ａ）から図８（ｄ）は、標本配置調整部４０９により行われる、個別標本に対する表示領域枠の設定を説明する模式図である。図８（ａ）から図８（ｄ）は、個別標本「２」を例として、個別標本に表示領域枠を設定するフローを示している。

図８（ａ）に示すように、まず、個別標本８０１（ここでは個別標本「２」）の外接矩形領域８０２が設定される。外接矩形領域のＸ方向の長さをＡ、Ｙ方向の長さをＢとする。外接矩形領域８０２の対角線の交点を外接矩形中心８０３とする。

次に、図８（ｂ）に示すように、外接矩形領域（Ａ×Ｂ）を覆う最小個数の矩形の表示領域枠が決定される。表示領域枠のＸ方向の長さをＣ、Ｙ方向の長さをＤとする。最小個数の表示領域枠の決定は、任意の正の数Ｍ、Ｎを用いて、Ａ≦Ｃ×Ｍ、Ｂ≦Ｄ×Ｎ、を満たす最小のＭ、Ｎを算出することと等価である。表示領域枠の最小個数は、Ｍ×Ｎとなる。ここでは、Ｍ＝３、Ｎ＝３であり、表示領域枠の最小個数は９個である。

次に、図８（ｃ）に示すように、表示領域枠と個別標本８０１を相対的に平行移動させて、表示領域枠の数が最も少なくなる配置が探索される。例えば、外接矩形領域（Ａ×Ｂ）を表示領域枠で構成される矩形領域（（Ｃ×Ｍ））×（Ｄ×Ｎ））の４隅（左上、右上、左下、右下）に配置し、表示領域枠が最も削減される配置を探す。ここでは、個別標本８０１を表示領域枠で構成される矩形領域（（Ｃ×Ｍ））×（Ｄ×Ｎ））の左上隅に配置し、表示領域枠を７個とした。

最後に、図８（ｄ）に示すように、表示領域枠で構成される領域の最外周から個別標本８０１までの最短距離を最大とする最適化アルゴリズムにより、表示領域内での余白を調整する。この処理は、表示領域枠ごとの個別標本８０１の充填具合の偏りをなるべく少なくするために行う処理であるが、省略しても良い。以上の処理によって設定された複数の表示領域枠は、個別標本８０１の詳細観察に用いられる複数の拡大画像の位置及び大きさを表している。図８（ａ）から図８（ｄ）の処理を、スライド画像から検出される個別標本のそれぞれに対して行うことで、各個別標本に複数の表示領域枠（すなわち拡大画像）を対応付けることができる。

図８（ａ）から図８（ｄ）は個別標本８０１の平行移動のみによる表示領域枠の設定手法であるが、個別標本８０１の形状によっては、個別標本を覆う最小個数の表示領域枠が得られるとは限らない。上記の簡易手法ではなく、計算リソース、計算時間、個別標本の形状の複雑さなどを考慮し、個別標本を覆う最小個数の表示領域枠を取得する最適化アルゴリズムを選択すると良い。

（個別標本における標本観察（スクリーニング）シーケンス）
図９（ａ）から図９（ｅ）は、標本配置調整部４０９により行われる、個別標本における標本観察（スクリーニング）シーケンスを説明する模式図である。図９（ａ）から図９（ｅ）は、個別標本「２」を例として、標本観察（スクリーニング）シーケンスの設定フローを示している。ここでは、個別標本を構成する複数の拡大画像（表示領域枠）の表示順序が設定される。

まずは、観察開始位置９０１が設定される（図９（ａ））。観察開始位置９０１とは、個別標本８０１を構成する複数の拡大画像のうち最初に表示される拡大画像の表示領域枠である。本実施例では、個別標本８０１の複数の表示領域枠の内、最上部の左端にある表示領域枠が観察開始位置９０１に選ばれる。もちろんこれは一例であり、最上部の右端の表示領域枠など、他の表示領域枠を観察開始位置に選んでも構わない。

次に、標本配置調整部４０９は、観察開始位置９０１と同じ行の表示領域枠に対し、左から右へ表示順序を設定する（図９（ｂ））。右端の表示領域枠に達したら、下の行の表示領域枠に移動し（図９（ｃ））、右から左へ表示順序を設定する（図９（ｄ））。左端の表示領域枠に達したら、下の行の表示領域枠に移動する（図９（ｅ））。全ての表示領
域枠を網羅するまで、図９（ｂ）から図９（ｅ）までの処理を繰り返す。これにより、個別標本８０１を構成する複数の拡大画像に対し表示順序を設定できる。この標本観察（スクリーニング）シーケンスは、それぞれの個別標本で独立して定めることができる。

画像提示アプリケーションにおいては、ここで決められた標本観察（スクリーニング）シーケンスにしたがって、個別標本内の拡大画像の表示の切り替えが制御される。拡大画像の表示を切り替える際には、ある表示領域枠から隣の表示領域枠へと不連続に画像を切り替えても良いし、スクロールのように連続的に画像を切り替えても良い。

（平行移動による標本配置の再構成）
図１０（ａ）から図１０（ｃ）は、平行移動による標本配置の再構成を説明する模式図である。複数の個別標本の観察順序と、各個別標本の表示領域枠及び標本観察（スクリーニング）シーケンスとから、標本配置調整部４０９が、標本画像（拡大画像）における個別標本の平行移動による再構成を実施する。

標本画像（拡大画像）における個別標本の平行移動による再構成では、観察順序で隣り合う２つの個別標本のみの標本観察（スクリーニング）シーケンスと表示領域枠から、個別標本の配置が決定される。図１０（ａ）には個別標本「１」の標本観察（スクリーニング）シーケンスと表示領域枠が示されており、図１０（ｂ）には個別標本「２」の標本観察（スクリーニング）シーケンスと表示領域枠が示されている。これらの個別標本「１」と「２」では、個別標本「１」で最後に表示する表示領域枠１００１と個別標本「２」で最初に表示する表示領域枠１００２とが繋がるように、２つの個別標本の配置が決められる。このとき、個別標本「１」と個別標本「２」の接続は一意に定まる。

図１０（ｃ）は、上記手順に従って個別標本「１」から個別標本「９」までを接続した結果であり、再構成スライドの標本配置を模式的に示すものである。再構成スライドでは、個別標本の画像以外の部分（背景部分）が削減され、隣り合う２つの個別標本のあいだの距離が実際のスライド上での距離に比べて短くなっている。それゆえ、実際のスライドを観察するのに比べて、表示領域の移動距離や移動回数が減るとともに、無駄な表示（背景部分の表示）が削減されるので、標本観察の効率を高めることができる。しかも、再構成スライドでは、与えられた観察順序にしたがって複数の（９個の）個別標本が順番に（シーケンシャルに）並べられている。また、観察順序で隣り合う２つの個別標本（第１の個別標本、第２の個別標本とよぶ）について、第１の個別標本の最後の表示領域枠と第２の個別標本の最初の表示領域枠とが接続されている。これにより、表示領域を移動させたときに、第１の個別標本の拡大画像から第２の個別標本の拡大画像へと順番に且つ直接切り替わる。よって、全ての個別標本を漏れなく観察するのが容易になる。

実用上は、観察順序が隣り合う表示領域枠では、ある程度の重複領域を設けたほうが良い。表示領域枠を切り替えたときに切替前後の拡大画像の対応関係が把握しやすいからである。ただし、重複領域を設けることは必須ではない。例えば、拡大画像を不連続に切り替えるのではなく、スクロールにより拡大画像を徐々に切り替える場合には重複領域を設ける必要はない。

（平行移動による標本配置の再構成のフロー）
図１１（ａ）は、本実施例の標本配置の再構成の流れを説明するフローチャートである。
ステップＳ１１０１では、スライド２０６上に複数の個別標本が存在するかどうかを判断する。このステップはプレ計測で実行される。例えば、スライド２０６作成時にラベル６０１に個別標本の数の情報を明記するか、電子的に書き込むなどしておき、プレ計測でラベル６０１の情報を読み込んで個別標本の数を判断する。また、プレ計測で撮像したス
ライド２０６の画像を用いて、画像処理で個別標本の数を判断しても良い。

ステップＳ１１０２では、拡大画像の表示領域の大きさを認識する。この処理は、図７（ａ）の拡大画像７０１として表示される領域のスライド画像７０２上でのサイズを計算するための処理である。表示装置１０３の画面解像度、画像提示アプリケーションのウィンドウサイズ、拡大画像７０１の表示倍率などに応じて、拡大画像７０１として表示可能な領域のサイズが変わるため、ステップＳ１１０２の認識処理が必要となる。具体的には、キーボード３１１またはマウス３１２でユーザが設定した拡大画像７０１の倍率をユーザ入力情報取得部４０１が取得し、調整パラメータ認識部４０８が拡大画像７０１の倍率とウィンドウサイズとから表示領域のサイズを計算する。認識した表示領域のサイズは、次ステップＳ１１０３の表示領域枠の大きさとして反映される。

ステップＳ１１０３では、標本配置調整部４０９が、個別標本の表示領域枠の設定を行う。Ｓ１１０３の詳細は、図１１（ｂ）で説明する。
ステップＳ１１０４では、標本配置調整部４０９が、標本観察（スクリーニング）シーケンスの設定を行う。標本観察（スクリーニング）シーケンスは、複数の個別標本の観察順序と、個別標本の画像の観察開始位置と、個別標本の画像の前記表示領域の観察順序で定められる。Ｓ１１０４の詳細は、図１１（ｃ）で説明する。

ステップＳ１１０５では、標本配置調整部４０９が、自動で個別標本の配置の再構成（平行移動）を行う。標本配置調整部４０９は、観察順序で隣り合う２つの個別標本を選択し、その２つの個別標本のみの標本観察（スクリーニング）シーケンスと表示領域枠に基づき、その２つの個別標本の相対的な配置を決定する。観察順序で隣り合う個別標本の全ての組み合わせに対して同様の手順を繰り返すことにより、全ての個別標本の再構成（平行移動）を行う（図１０参照）。
以上の処理ステップに従えば、複数の個別標本の再構成（配置の調整）を実行することができる。ユーザが拡大画像７０１の倍率を変更した場合やウィンドウサイズを変更した場合には、ステップＳ１１０２からの処理が随時実行される。

図１１（ｂ）は、ステップＳ１１０３の個別標本の表示領域枠の設定の詳細を示すフローチャートである。ステップＳ１１１３では、標本配置調整部４０９が、スライドの画像から個別標本の画像の領域を検出し、以降の処理を実行する個別標本として選択する。ステップＳ１１１４では、選択された個別標本に対して外接矩形領域が設定される（図８（ａ）参照）。ステップＳ１１１５では、ステップＳ１１１４で設定した外接矩形領域に対して最小個数の表示領域枠が重畳される（図８（ｂ）参照）。ステップＳ１１１６では、表示領域枠内で個別標本が平行移動される（図８（ｃ）、図８（ｄ）参照）。これにより、表示領域枠の削減と、表示領域枠内の個別標本の余白調整が行われる。ステップＳ１１１７では、全ての個別標本に対してＳ１１１３からＳ１１１６までのステップを実行したかどうかを判断する。全ての個別標本に対してＳ１１１３からＳ１１１６までのステップを実行すれば、処理を終了する。以上の処理ステップに従えば、それぞれの個別標本に対して表示領域枠を設定することができる。

図１１（ｃ）は、標本観察（スクリーニング）シーケンスの設定の詳細を示すフローチャートである。ステップＳ１１０８では、全ての個別標本に標本観察（スクリーニング）の順番を示す番号が付与される。どの個別標本にどの番号を付与するかはユーザが任意に設定しても良いし、規則に基づいた番号の自動割り付けでも良い。ステップＳ１１０９では、以降の処理を実行する個別標本が１つ選択される。ステップＳ１１１０では、選択された個別標本の観察開始位置の設定を行う。例えば図９（ａ）では、個別標本を覆う表示領域枠の内、最上部の左端にある表示領域枠が観察開始位置９０１に設定されている。ステップＳ１１１１では、個別標本内の表示領域枠の表示順序の設定が行われる。表示順序
の定め方は、図９（ｂ）から図９（ｅ）で説明したとおりである。ステップＳ１１１２では、全ての個別標本に対してＳ１１０９からＳ１１１１までのステップを実行したかどうかを判断する。全ての個別標本に対してＳ１１０９からＳ１１１１までのステップを実行すれば、処理を終了する。以上の処理ステップに従えば、個別標本に対して標本観察（スクリーニング）シーケンスを設定することができる。

（平行移動による標本配置の再構成の別例）
図１２は、平行移動による標本配置の再構成の別の例を説明する模式図である。
前述した例（図１０（ｃ）参照）とは、個別標本における表示領域枠の設定は同一であるが、個別標本「１」、「２」、「３」、「７」、「８」、「９」についての観察開始位置の設定と表示順序の設定が異なる。個別標本「４」、「５」、「６」についての観察開始位置の設定と表示順序の設定は、前述した例と同一である。

ここで、個別標本「１」、「２」、「３」、「７」、「８」、「９」についての観察開始位置の設定と表示順序の設定を説明する。観察開始位置は、個別標本を覆う表示領域枠の内、最下部の右端にある表示領域枠に設定される。表示順序については、観察開始位置の表示領域枠から左へ移動し、左端の表示領域枠に達したら上の行へ移動し、左から右へ移動し、右端に達したら上の行へ移動し、・・・というシーケンスを全ての表示領域枠を網羅するまで繰り返す。

この個別標本における標本観察（スクリーニング）シーケンスは、それぞれの個別標本で独立して定めることができる。ここでは、個別標本「１」、「２」、「３」、「７」、「８」、「９」の組と個別標本「４」、「５」、「６」の組とに、異なる標本観察（スクリーニング）シーケンスが適用されている。

平行移動による標本配置の再構成では、観察順序で隣り合う２つの個別標本のみの標本観察（スクリーニング）シーケンスと表示領域枠で個別標本の配置が調整される。そのため、図１２に示すように、個別標本「３」で最後に観察される表示領域枠と個別標本「４」で最初に観察される表示領域枠が接続されるのだが、接続後の個別標本「３」と個別標本「４」を同一平面上に示すことができない。個別標本「６」と個別標本「７」の接続も同様である。このような接続関係は２次元平面で表現できるものではなく、メビウスの帯のように位相空間で表現できるものである。図１２では、２次元平面で表現できない接続を点線矢印で示している。

図１２に示す再構成の例では、個別標本「１」から個別標本「３」のように局所的には２次元画像で表現できるが、個別標本「３」と個別標本「４」のような接続を行うために、複数の個別標本の全体像は（２次元平面ではなく）位相空間で表現される。本実施例では、再構成した画像データを実際に生成する方法ではなく、再構成スライドにおける位置と実際のスライドにおける位置との対応関係を定義したデータを用い、画像データの読み込み位置を制御する方法により、仮想的に画像の再配置を実現している。よって、図１２のような位相空間での接続関係も問題なく実現できる。なお、標本観察（スクリーニング）を行う観察者は、表示された拡大画像のみを見るだけであるし、漏れなく順番に全ての拡大画像を観察できさえすれば目的を達成できるので、再構成された標本配置が２次元平面で表現できなくても特段の問題はない。

（回転と平行移動による標本配置の再構成）
図１３（ａ）から図１３（ｆ）は、回転と平行移動による標本配置の再構成を説明する模式図である。
図１３（ａ）から図１３（ｄ）は、個別標本の回転を考慮した表示領域枠の設定を説明する模式図である。個別標本「７」を例として、個別標本に表示領域枠を設定するまでの
フローを示している。

図１３（ａ）では、個別標本１３０１（ここでは個別標本「７」）の最小外接矩形領域１３０２を設定する。
図１３（ｂ）では、最小外接矩形領域１３０２の各辺がＸ軸、Ｙ軸と平行となるように、個別標本１３０１と最小外接矩形領域１３０２を一体として仮想的に回転させる。図１３（ｂ）に示す以外に、図１３（ｂ）に示す図形を更に９０度、１８０度、２７０度回転させた形状が考えられるが、ここでは任意の１つの回転角度を選択して良い。ここでは最終的な回転角度を選択するわけではないので、実際に個別標本を回転させた画像を生成する必要はなく、計算上の仮想的な回転で良い。
図１３（ｃ）では、最小外接矩形領域を最小個数の表示領域枠で覆う。
図１３（ｄ）では、個別標本１３０１を平行移動させて表示領域枠を削減する。ここでは、個別標本１３０１を表示領域枠で構成される矩形領域の右下隅に配置し、表示領域枠を５個とした。更に、表示領域枠で構成される領域の最外周から個別標本１３０１までの最短距離を最大とする最適化アルゴリズムにより、表示領域内での余白を調整する。

図１３（ａ）から図１３（ｄ）は個別標本１３０１の回転と平行移動による表示領域枠の設定手法であるが、個別標本１３０１の形状によっては、個別標本を覆う最小個数の表示領域枠が得られるとは限らない。上記の簡易手法ではなく、個別標本を覆う最小個数の表示領域枠を取得する最適化アルゴリズムを選択しても良い。どのようなアルゴリズムを採用するかは、計算リソース、計算時間、個別標本の形状の複雑さなどを考慮して決めればよい。

図１３（ｅ）では、標本観察（スクリーニング）シーケンスを考慮した個別標本１３０１の回転を説明する。図１３（ｂ）で記したように個別標本１３０１の回転には４通りが考えられ、それらをそれぞれ個別標本「７−i」、「７−ii」、「７−iii」、「７−iv」とする。これらは、回転角度がそれぞれ９０度異なる。ここでの標本観察（スクリーニング）シーケンスは、図９（ａ）〜図９（ｅ）で説明したシーケンスと同一とする。ここで、個別標本「７−iii」、「７−iv」に着目すると、表示領域枠間での斜め移動が発生す
る。できるだけ観察中の個別標本内の連続性が失われないように、すなわち、できるだけ左右移動・下移動のみで連続的に標本観察（スクリーニング）ができるようにすることを考慮し、個別標本「７−iii」、「７−iv」の回転は選択候補外とする。個別標本「７」
の回転については、個別標本「７−i」、もしくは、「７−ii」を選択する。「７−i」と「７−ii」であればどちらの回転を採用してもよい。たとえば、移動方向の変化がより少ない方を採用してもよいし、標本の実際の向きにより近い方を採用してもよい。

図１３（ｆ）は、上記手順に従って個別標本「１」から個別標本「９」までを接続し、再構成したものである。個別標本「７」については、図１３（ｅ）の「７−i」に示す回
転を採用した。図７（ａ）の拡大画像７０１は、図１３（ｆ）に示す表示領域枠のいずれかを拡大した画像である。

（個別標本の回転と平行移動による表示領域枠の設定）
図１４は、個別標本の回転と平行移動による表示領域枠の設定を説明するフローチャートである。図１４は、図１１（ａ）のフローにおけるステップＳ１１０３の詳細を示しており、図１１（ｂ）のフローチャートに置き換わるものである。個別標本の再構成に関わる他の処理は、図１１（ａ）及び図１１（ｃ）に示すものと同様である。

ステップＳ１４０１では、以降の処理を実行する個別標本が１つ選択される。ステップＳ１４０２では、個別標本に対して最小外接矩形領域が設定される（図１３（ａ）参照）。ステップＳ１４０３では、個別標本１３０１と最小外接矩形領域１３０２を一体として
仮想的に回転させる（図１３（ｂ）参照）。ステップＳ１４０４では、ステップＳ１４０２で設定した最小外接矩形領域に対して最小個数の表示領域枠が重畳される（図１３（ｃ）参照）。ステップＳ１４０５では、表示領域枠内で個別標本が平行移動される（図１３（ｄ）参照）。これにより、表示領域枠の削減と、表示領域枠内の個別標本の余白調整が行われる。ステップＳ１４０６では、標本観察（スクリーニング）シーケンスを考慮した個別標本の回転が行われる（図１３（ｅ））。４通りの回転の内、できるだけ左右移動・下移動のみで連続的に標本観察（スクリーニング）ができるような回転角度を選択する。複数の回転角度が候補となる場合には、移動方向の変化が最も少ないもの、元の向きに最も近いものなど、所定のルールに従って１つの回転角度を選択する。ステップＳ１４０７では、Ｓ１４０６で選択した回転角度で個別標本を回転させる。ステップＳ１４０８では、全ての個別標本に対してＳ１４０１からＳ１４０７までのステップを実行したかどうかを判断する。全ての個別標本に対してＳ１４０１からＳ１４０７までのステップを実行すれば、処理を終了する。以上の処理ステップに従えば、個別標本に対して表示領域枠を設定することができる。

（個別標本の近接）
図１５（ａ）から図１５（ｄ）は、表示領域（拡大画像）の調整（個別標本の近接）を説明する模式図である。ここでは、図１０（ｃ）に示す平行移動により配置を調整した再構成スライドに対して、更に表示領域枠を削減する手法を説明する。

図１５（ａ）は、個別標本「２」と個別標本「３」との重複判断と、その判断に基づく表示領域の調整（個別標本の近接）を説明する模式図である。個別標本１５０１（ここでは個別標本「２」）で最後に表示される表示領域枠１５０２と、個別標本１５０３（ここでは個別標本「３」）で最初に表示される表示領域枠１５０４に着目する。図１０（ｃ）においては、個別標本１５０１と個別標本１５０３は、表示領域枠１５０２の画像と表示領域枠１５０４の画像とが繋がるように接続されている。ここで、表示領域枠１５０２と１５０４とを重ね合せて２つの個別標本１５０１と１５０３を接続可能かどうか評価する。重ね合わせ可能な条件は、個別標本１５０１と１５０３に重なりが発生せず、且つ、個別標本１５０１と１５０３で共通化される拡大画像において個別標本１５０１の表示順序と個別標本１５０３の表示順序に不一致が生じない、ということである。この条件が満足された場合は、表示領域枠１５０２と１５０４を重ね合せて２つの個別標本１５０１と１５０３を配置する（図１５（ａ）右図）。表示領域枠１５０５の画像は、個別標本１５０１の最後の表示領域枠１５０２の画像と個別標本１５０３の最初の表示領域枠１５０４の画像の合成画像となっている。これにより、個別標本１５０１の複数の拡大画像のうち表示順序が最後の画像と、個別標本１５０３の複数の拡大画像のうち表示順序が最初の画像とが共通の画像となる。

図１５（ｂ）は、図１５（ａ）で説明した手法が適用できない例の一つを示す。個別標本１５０６（ここでは個別標本「１」）で最後に表示される表示領域枠１５０７と、個別標本１５０８（ここでは個別標本「２」）で最初に表示される表示領域枠１５０９に着目する。図１５（ａ）と同様の手法により、表示領域枠１５０７と１５０９を重ね合わせた表示領域枠１５１０を新たに生成し、個別標本１５０６と１５０７を配置してみると、図１５（ｂ）右図のように２つの個別標本に重なりが発生する。この場合には、本手法は適用できない。

図１５（ｃ）は、図１５（ａ）で説明した手法が適用できない別の例である。個別標本１５１１（ここでは個別標本「I」）で最後に表示される表示領域枠１５１２と、個別標
本１５１３（ここでは個別標本「II」）で最初に表示される表示領域枠１５１４に着目する。図１５（ａ）と同様の手法により、表示領域枠１５１２と１５１４を重ね合わせると、個別標本１５１１と１５１３の重なりは発生しないが、表示領域枠１５１５、１５１６
、１５１７に対応する３つの画像に、両方の個別標本１５１１と１５１３が含まれる。この３つの画像に関し、個別標本１５１１での表示順序は左方向（１５１７→１５１６→１５１５）であるのに対し、個別標本１５１３での表示順序は右方向（１５１５→１５１６→１５１７）である。これは、２つの個別標本で共通化された拡大画像で２つの個別標本の表示順序に不一致が生じる例である。この場合にも、本手法は適用できない。

図１５（ｄ）は、図１５（ａ）で説明した手順に従って表示領域枠の削減を行った後の、再構成スライドの標本配置を模式的に示している。図１０（ｃ）に示す再構成スライドと比較すると、個別標本「２」と「３」の接続部分、個別標本「３」と「４」の接続部分、個別標本「８」と「９」の接続部分でそれぞれ表示領域枠が削減されている。ここで説明した手法は、図１２、図１３（ｆ）に示す再構成スライドの標本配置に対しても同様に適用できる。

（個別標本の近接フロー）
図１６は、表示領域の調整（個別標本の近接）を説明するフローチャートである。この処理は標本配置調整部４０９により実行される。

ステップＳ１６０１では、標本配置調整部４０９が個別標本間の接続領域となる２つの表示領域枠を把握する。この処理は、図１５（ａ）における、個別標本１５０１の最後の表示領域枠１５０２と、個別標本１５０３の最初の表示領域枠１５０４を把握することに相当する。

ステップＳ１６０２では、標本配置調整部４０９が、ステップＳ１６０１で把握した２つの表示領域枠を重ね合わせたときに個別標本の重なりが発生するか否かを判断する。この処理は、図１５（ａ）の右図の状態で、個別標本１５０１と個別標本１５０３に重なりがあるかどうかを判断することに相当する。重なりが無ければステップＳ１６０３に進み、重なりが有れば該当する個別標本間の近接は行わない。

ステップＳ１６０３では、標本配置調整部４０９が、ステップＳ１６０１で把握した２つの表示領域枠を重ね合わせたときに表示順序の不一致が生じるか否かを判断する。この処理は、図１５（ａ）の左図では、表示領域枠１５０２の表示順序と表示領域枠１５０４の表示順序が一致しているかどうかを判断することに相当する。不一致が無ければステップＳ１６０４に進み、不一致が有れば該当する個別標本間の近接は行わない。

ステップＳ１６０４では、標本配置調整部４０９が、該当する個別標本間の近接を行う。この処理は、図１５（ａ）では、個別標本１５０１の表示領域枠１５０２と個別標本１５０３の表示領域枠１５０４とを重ね合せるように、個別標本１５０１と１５０３の相対位置を調整する（２つの個別標本を近づける）ことに相当する。標本配置調整部４０９は、２つの個別標本の間で共通化した表示領域枠（図１５（ａ）の右図の１５０５）に対応する拡大画像を、２つの個別標本の拡大画像を合成することにより、生成する。
ステップＳ１６０５では、全ての個別標本間の接続領域に対して上記ステップを実行したかどうかを判断する。全ての個別標本に対して上記ステップを実行すれば、処理を終了する。

（アプリケーション画面（提示画像））
図１７（ａ）と図１７（ｂ）は、表示領域の調整（個別標本の近接）を実施した場合の提示画像を説明する模式図である。図１７（ａ）は、表示装置１０３の画面に表示されるアプリケーション画面である。アプリケーションには、メニューウィンドウ以外に、拡大画像１７０１、スライド画像１７０２を表示する２つのウィンドウがある。図１７（ｂ）は、スライド画像１７０２が表示されるウィンドウを示す図である。基本的な構成は図７
（ａ）と図７（ｂ）で説明したものと同じであるため、以下、図７（ａ）と図７（ｂ）で説明した提示画像との違いについてのみ説明する。

図１５（ａ）及び図１５（ｄ）において説明したように、個別標本「２」の最後の表示領域枠と個別標本「３」の最初の表示領域枠とが共通化されている。それゆえ、個別標本「２」の最後まで表示領域枠を移動させると、図１７（ｂ）に示すように、個別標本「２」の最後の表示領域枠と個別標本「３」の最初の表示領域枠に、現在の表示領域を示す太枠１７０３が描かれる。一方、拡大画像１７０１のウィンドウには、個別標本「２」と個別標本「３」が合成された画像が表示される。つまり、図１７（ａ）の拡大画像１７０１の上部に見えているのが個別標本「２」の左下の部分であり、拡大画像１７０１の下部に見えているのが個別標本「３」の左上の部分である。このような方法により、拡大画像１７０１の切替（移動）の回数を削減できるので、標本観察（スクリーニング）の効率化を図ることができる。

また図１７（ｂ）では、標本観察（スクリーニング）済みの領域１７０４に対応する表示領域枠に斜線が描かれている。これにより、ユーザはスライド全体（９個の個別標本）における標本観察（スクリーニング）の進捗を容易に確認することができる。なお、観察済みの領域と未だ観察してない領域とが区別できればよいので、斜線描画以外の方法で両者を区別してもよい。例えば、観察済みの領域とそれ以外の領域とを色分けしたり、観察済み又は未観察を示すマークやアイコンの画像を付加したりするなど、如何なる方法を利用してもよい。

（個別標本の分離）
図１８（ａ）と図１８（ｂ）は、再構成スライドにおける個別標本の分離を説明する模式図である。実際のスライド２０６上における個別標本の間隔が非常に狭い場合、ある個別標本の表示領域枠内に他の個別標本の一部が入ってしまうことがある。図１８（ａ）の例では、スライドにおいて個別標本「iii」と個別標本「iv」の間隔が狭いために、個別
標本「iii」の表示領域枠１８０１には個別標本「iv」が入り込み、個別標本「iv」の表
示領域枠１８０２には個別標本「iii」が入り込んでいる。

このような表示領域枠により標本観察（スクリーニング）を行ってもよいが、観察中の個別標本以外の個別標本が表示されていると、ユーザが個別標本の形状等を誤解したり、観察する必要の無い部分に注意をとられ効率が低下したりする可能性がある。そこで、ユーザが１つの個別標本の観察に集中できるように、ある個別標本に対応づけて設定された表示領域枠内には別の個別標本を表示しないようにしてもよい。図１８（ｂ）は、個別標本「iii」とそれに設定された表示領域枠、個別標本「iv」とそれに設定された表示領域
枠、とを独立に抜き出して標本画像（拡大画像）を再構成した例を示している。この場合、表示領域枠１８０１に対応する標本画像（拡大画像）からは、個別標本「iv」の画像を消去する処理を行う。また表示領域枠１８０２に対応する標本画像（拡大画像）からは、個別標本「iii」の画像を消去する処理を行う。

（画像フォーマットの説明）
図１９（ａ）から図１９（ｃ）は、画像ファイルフォーマットを説明する模式図である。

図１９（ａ）は、画像データの基本ファイルフォーマットである。基本ファイルフォーマットは、ヘッダ、画像データ、付加データから構成される。ヘッダは、ファイルヘッダ、プレ計測情報、撮像情報、照明情報などから構成される。ファイルヘッダには、画像データのバイトオーダなどのファイル構造全体に関わる情報を格納する。プレ計測情報には、スライド２０６のラベル情報やスライド・サイズなどプレ計測で取得した情報を格納す
る。撮像情報には、レンズ倍率、撮像時間、撮像素子の画素サイズなどの撮像に関わる情報を格納する。照明情報には、光源種類などの照明に関わる情報を格納する。画像データは、画像データヘッダ、階層画像データから構成される。画像データヘッダには、階層数など画像データの構造に関わる情報を格納する。階層画像データには、高倍率画像データ、中倍率画像データ、低倍率画像データ、スライド画像データを格納する。階層画像データとして格納される画像データは、図５の階層画像データに相当する。高倍率画像データ、中倍率画像データ、低倍率画像データは、それぞれ第４階層画像５０４、第３階層画像５０３、第２階層画像５０２であり、スライド画像データが第１階層画像５０１のデータに相当する。付加データは、付加データヘッダ、アノテーション情報などから構成される。付加データヘッダには、付加データの種類など付加データの構造に関わる情報を格納する。アノテーション情報には、アノテーションの書き込み位置、種類、書き込み内容へのポインタなどを格納する。図１９（ａ）に示す画像データの基本ファイルフォーマットは、撮像した全てのスライドに対して生成される。

図１９（ｂ）は、スライド２０６に複数の個別標本が含まれる場合に静的に生成されるデータのファイルフォーマットであり、スライド画像データの一部として生成される。個別標本それぞれに対して、外接矩形領域のデータサイズ、外接矩形領域の開始アドレス（Ｘ、Ｙ）、外接矩形領域のピクセルサイズ（Ｘ、Ｙ）が格納される。拡大画像の倍率（表示領域枠）や標本観察（スクリーニング）シーケンスに変更があった場合には、図１９（ｂ）に示す情報を用いて拡大画像７０１の画像データを生成することができる。

図１９（ｃ）は、拡大画像の倍率や標本観察（スクリーニング）シーケンスが設定された際に動的に生成されるデータのファイルフォーマットである。表示領域サイズ（Ｘ、Ｙ）には、拡大画像の倍率に基づいて計算された表示領域のスライド画像上でのサイズ（Ｘ方向の幅とＹ方向の高さ）、つまり表示領域枠の幅と高さが格納される。また、それぞれの個別標本について、表示領域の個数とそれぞれの表示領域の開始アドレス（Ｘ、Ｙ）が計算され格納される。開始アドレス（Ｘ、Ｙ）は、スライド画像上での表示領域枠の左上の画素の座標である。この図１９（ｃ）の（動的）スライド画像データが、標本観察（スクリーニング）シーケンス及び再構成した標本配置を定義するデータ、つまり再構成スライドのデータに相当する。標本観察（スクリーニング）において表示される拡大画像は、表示領域サイズ（Ｘ、Ｙ）と表示領域の開始アドレス（Ｘ、Ｙ）に基づいて、動的に読み込まれ生成される。

なお、図１５（ａ）で説明した個別標本の近接や、図１８（ｂ）で説明した個別標本の分離などを行う場合には、階層画像データから読み込んだ画像データをそのまま拡大画像として利用できず、画像の合成又は一部の消去などの画像処理が必要となる。それゆえ、図１９（ｃ）の（動的）スライド画像データに、個別標本の近接又は分離が行われた表示領域であることを示す情報を記述するとよい。なお、画像の合成又は一部消去などの画像処理は、標本観察（スクリーニング）において個別標本の近接又は分離が行われた部分の拡大画像を表示する際に行ってもよいが、表示速度（応答性）向上の観点からは、処理済みの拡大画像データを予め生成するとよい。例えば、（動的）スライド画像データを生成する際に、個別標本の近接又は分離が行われた表示領域に対応する拡大画像のデータを生成し、メモリ又は記憶装置に格納する。そして、（動的）スライド画像データの表示領域の開始アドレス（Ｘ、Ｙ）には、スライド画像上の座標ではなく、生成した拡大画像のデータを特定するための情報（格納先のアドレス、ファイル名など）を記述しておけばよい。

（標本観察（スクリーニング）におけるアプリケーション動作例）
図７（ａ）、図７（ｂ）を参照して、標本観察（スクリーニング）におけるユーザ操作と画像提示アプリケーションの動作を説明する。なお、図１９（ｃ）に示す（動的）スラ
イド画像データは、標本配置調整部４０９により既に生成されているものとする。

標本観察（スクリーニング）を開始すると、制御部３０１は、図１９（ｃ）の（動的）スライド画像データから、表示領域サイズ（Ｘ、Ｙ）と個別標本「１」の最初の表示領域の開始アドレス（Ｘ、Ｙ）を取得する。そして、制御部３０１は、表示倍率に対応した階層画像データから、表示領域サイズ（Ｘ、Ｙ）と開始アドレス（Ｘ、Ｙ）により決まる領域に対応する画像データを読み込み、拡大画像７０１を生成して表示装置１０３に表示する。また、制御部３０１は、階層画像データから読み込んだスライド画像データに、現在の表示領域を示す太枠７０６を合成し、スライド画像７０２を表示する。

ユーザは、拡大画像７０１を観察して、異常等がないか確認する。異常が疑われる部分（関心領域）を発見した場合には、ユーザは、マウス３１２やキーボード３１１により関心領域の位置を記録し、必要に応じてアノテーション（コメント）を入力する。表示中の拡大画像７０１の観察を終えたら、次の表示領域への変更をユーザが指示する（次の表示領域への移動指示）。表示領域の変更は、例えば、キーボード３１１のキー押下、マウス３１２のボタン押下やホイール回転、画面上に表示されたＧＵＩの操作などにより指示できる。シンプルな方法としては、同じキー又はボタン（例えば「次へ」ボタン、エンターキーなど）を押下するたびに、次の表示領域へと順番に遷移していくというユーザインタフェースが考えられる。

表示領域の変更が指示されると、制御部３０１は、次の表示領域の開始アドレス（Ｘ、Ｙ）を図１９（ｃ）の（動的）スライド画像データから取得し、この開始アドレスに対応する拡大画像７０１を表示装置１０３に表示する。またスライド画像７０２における太枠７０６の表示位置も更新する。表示領域を変更する際には、前の拡大画像と次の拡大画像の表示を切り替えてもよいし、前の拡大画像から次の拡大画像へと徐々にスクロールしてもよい。

図７（ａ）と図７（ｂ）は、拡大画像の観察及び表示領域の変更を繰り返し、個別標本「１」の最後の表示領域まで観察を終えた状態を示している。この状態で、ユーザが表示領域の変更を指示すると、制御部３０１は、次の個別標本「２」の最初の表示領域へと移動させる。すなわち、制御部３０１は、図１９（ｃ）の（動的）スライド画像データから、個別標本「２」の１番目の表示領域の開始アドレス（Ｘ、Ｙ）を取得し、この開始アドレスに対応する拡大画像７０１を表示装置１０３に表示する。またスライド画像７０２における太枠７０６の表示位置も更新する。

以上の方法により、ユーザの移動指示に応じて再構成スライド上を所定のシーケンスにしたがって表示領域が移動していくように、拡大画像の更新が行われる。それゆえ、ユーザは、個別標本「１」から「９」までを順番に、しかも各個別標本の全ての拡大画像を漏れなく、観察することができる。ある個別標本の最後の拡大画像を観察している状態のときに、表示領域の変更を指示すると、自動的に次の個別標本の最初の拡大画像に移動するため、操作が単純であると共に、操作ミスによる見落としの発生も防止できる。これにより、ユーザの操作負担を大きく軽減することができる。また、できるだけ少ない回数で個別標本の部分のみを観察できるように表示領域が切り替えられるため、非常に効率の良い標本観察（スクリーニング）が可能となる。

図２０（ａ）と図２０（ｂ）は、効果を説明する模式図である。図２０（ａ）に示す矢印は従来例の個別標本間の移動２００１である。図９で説明した標本観察（スクリーニング）シーケンスに従った場合には、個別標本「１」から個別標本「２」へは、標本観察（スクリーニング）シーケンスを一旦休止して大きく移動する必要がある。この移動をユーザが行わねばならない場合、その操作は面倒であるし、操作ミスを生むおそれもある。一
方、図２０（ｂ）に示す矢印は本実施例の個別標本間の移動２００２である。個別標本間においても標本観察（スクリーニング）シーケンスを妨げることなく、移動することができる。すなわち、本実施例の個別標本の再構成（配置の調整）によって、スライド上の標本が複数ある場合に標本観察（スクリーニング）の負担を軽減することができる。

また、本実施例では、図１９（ａ）から図１９（ｃ）に示す画像ファイルフォーマットを用いたので、標本配置の調整（再構成）を行った画像データを生成する必要はなく、拡大画像のデータの読み込み位置を制御するだけでよい。これにより、処理負荷の軽減、及び、記憶容量の削減を行うことができる。

（提示画像の第２の例）
図２１（ａ）と図２１（ｂ）は、提示画像の第２の例を説明する模式図である。
図２１（ａ）は、表示装置１０３の画面に表示されるアプリケーション画面である。アプリケーションには、メニューウィンドウ以外に、拡大画像７０１、スライド画像７０２、個別標本並び替え画像２１０１を表示する３つのウィンドウがある。図７（ａ）と比べると、個別標本並び替え画像２１０１のウィンドウが追加されている。

図２１（ｂ）は、個別標本並び替え画像２１０１が表示されるウィンドウを示す図である。個別標本並び替え画像２１０１は、複数の個別標本を整列させた画像である。図２１（ｂ）の例では、９個の個別標本が３行３列（行と列の両方向）に整列しているが、行方向または列方向の一方向に配列してもよい。このとき、複数の個別標本がその観察順序に従って順番に並ぶようにすることが好ましい。個別標本並び替え画像２１０１は、標本配置調整部４０９によって生成され、図１９（ａ）のスライド画像データの一部として格納される。個別標本の非整列や表示領域枠の重なりがないため、図７（ｂ）と比べて、個別標本の位置関係がユーザに分かりやすい表示となっている。

提示形態としては、スライド画像７０２のウィンドウを非表示として、メニューウィンドウ以外は、拡大画像７０１と個別標本並び替え画像２１０１を表示する２つのウィンドウとしても良い。

（提示画像の第３の例）
図２２（ａ）と図２２（ｂ）は、提示画像の第３の例を説明する模式図である。
図２２（ａ）は、表示装置１０３の画面に表示されるアプリケーション画面である。アプリケーションには、メニューウィンドウ以外に、拡大画像７０１、スライド画像７０２、再構成スライドの全体像２２０１を表示する３つのウィンドウがある。図７（ａ）と比べると、再構成スライドの全体像２２０１のウィンドウが追加されている。

図２２（ｂ）は、再構成スライドの全体像２２０１が表示されるウィンドウを示す図である。再構成スライドの全体像２２０１は、前述した再構成スライドにおける個別標本の配置（調整された標本配置）の全体を示す画像である。再構成スライドの全体像２２０１は、標本配置調整部４０９によって生成され、図１９（ａ）のスライド画像データの一部として格納される。拡大画像７０１と再構成スライドの全体像２２０１とが単なる拡大縮小の関係であるため、図７（ｂ）と比べて、拡大像と全体像における観察領域の対応がユーザに分かりやすい表示となっている。

提示形態としては、スライド画像７０２のウィンドウを非表示として、メニューウィンドウ以外は、拡大画像７０１と再構成スライドの全体像２２０１を表示する２つのウィンドウとしても良い。また、再構成スライドの全体像２２０１に観察の順番（シーケンス）を明示する情報（例えば、順番を示す番号や矢印など）を示しても良い。さらに、ユーザが、観察の順番（シーケンス）、表示領域枠の位置・サイズ・分割の仕方、個別標本間の
接続などを手動で変更できる機能を設けてもよい。例えば、再構成スライドの全体像２２０１に表示されている表示領域枠、観察の順番、個別標本などをマウス３１２でドラッグする等して変更できると良い。

＜実施例２＞
（実施例２の概要）
実施例１は標本観察（スクリーニング）について説明を行った。一方、実施例２は、表示制御モード、及び、各表示制御モードでの表示処理について説明する。表示制御モードとしては、「通常モード」、「観察モード」、「確認モード」の複数のモードを有する。実施例１で説明した標本観察（スクリーニング）は、観察モードに対応する。そのため、実施例１の内容及びその効果は、実施例２にも適用できる。本実施例は、実施例１を包含するものであり、スライド上に標本が複数ある場合の各表示制御モードにおける表示方法、特に、拡大画像の提示方法に特徴がある。

本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。画像処理システムの構成、画像処理システムにおける撮像装置の機能ブロック、画像処理装置のハードウェア構成、階層画像データの構造、スライドの構成、標本観察（スクリーニング）に関わる処理は、実施例１で説明した内容と同様のため、説明を省略する。

（表示制御モードの設定）
図２３は、表示制御モードの設定（通常モード、観察モード、確認モード）を説明する模式図である。図２３は、表示装置１０３の画面に表示されるアプリケーション画面を示す。アプリケーション画面には、メニューウィンドウ２３０１と、拡大画像７０１を表示するウィンドウと、スライド画像７０２を表示するウィンドウがある。基本的な構成は図７（ａ）と図７（ｂ）で説明したものと同じであるため、以下、図７（ａ）と図７（ｂ）で説明した提示画像との違いについてのみ説明する。メニューウィンドウ２３０１には、表示制御モードメニューを含む各種メニューが表示される。表示制御モードとして、観察モード、確認モード、通常モードの３種類を有する。図２３の例では、ラジオボタンにより表示制御モードを選択可能である。

それぞれの表示制御モードでの表示処理、及び、表示処理フローは図２６と図２７で説明するため、ここでは、それぞれの表示制御モードの概要について説明する。
観察モードは、スライド上の標本全体をスクリーニングし病変を見つけ出す目的で実施する標本観察（スクリーニング）に好適なモードである。
確認モードは、ＰＯＩ（Point Of Interest）情報やＲＯＩ（Region Of Interest）情
報を追試する際に好適なモードである。ＰＯＩ、ＲＯＩとは、診断に有用な情報が得られる点や領域、再度詳細に観察したい点や領域である。例えば、観察モードの標本観察（スクリーニング）においてユーザにより設定される点や領域であり、それらの点や領域は画像データの座標として一意に定義される。ＰＯＩ情報やＲＯＩ情報には、ＰＯＩやＲＯＩを示す座標の他に、ＰＯＩやＲＯＩにおける診断に有用な情報をテキストとして記録するアノテーションなどが含まれる。標本観察（スクリーニング）後に再度ＰＯＩやＲＯＩを詳細観察したい場合や、教育目的で標本における診断に有用な領域を学習者にいち早く示す場合などに確認モードが用いられる。
通常モードは、一般的な画像表示を行う際のモードである。観察モードおよび確認モードは、それぞれの目的に最適な表示方法ではあるが、ユーザの入力操作を直接表示に反映させるものではない。標本観察（スクリーニング）やＰＯＩ／ＲＯＩ情報の追試といった限定された目的に捉われずに自由に標本観察を行う場合に通常モードが用いられる。

なお、表示制御モードメニュー以外のメニューとしては、例えば、標本観察（スクリー
ニング）時の拡大画像７０１の倍率を設定するメニュー、が含まれる。また、図２３の表示制御モードの設定方法は一例であり、ショートカットキーを利用して設定するなど、如何なる方法を利用してもよい。

（制御部の機能ブロック構成）
図２４は、画像処理装置の画像生成・制御部の機能ブロック図である。基本的な構成は図４で説明したものと同じであるため、以下、図４で説明した機能ブロック図との違いについてのみ説明する。表示制御モード処理部２４０１は、表示制御モードの更新情報、ユーザの個別標本選択操作を取得し、設定された表示制御モードにおける拡大画像データを生成するための制御処理を行う。表示制御モード処理部２４０１の動作は表示制御モードごとに異なり、表示制御モードそれぞれの表示処理フローは図２７（ａ）から図２７（ｄ）で説明する。

（表示制御モードの設定フロー）
図２５は、表示制御モードの設定を説明するフローチャートである。
ステップＳ２５０１では、表示制御モード処理部２４０１が、表示制御モードの更新が行われたかどうかを判断する。具体的には、表示制御モード処理部２４０１は、表示制御モードメニュー２３０２に変更があったかどうかを監視し、表示制御モードが更新されればステップＳ２５０２に進む。ステップＳ２５０２では表示制御モードの設定（ユーザにより選択された表示制御モードへの切替）を行う。表示制御モードの設定は、表示制御モード処理部２４０１が保持する。表示データ生成制御部４０４は、設定された表示制御モードに適合する表示処理の制御を行う。

（各表示制御モードの表示処理）
図２６（ａ）から図２６（ｅ）は、各表示制御モードでの表示処理を説明する模式図である。

図２６（ａ）は、スライド画像７０２が表示されるウィンドウを詳しく示す図である。基本的な構成は図７（ｂ）で説明したものと同じであるため、図７（ｂ）で説明した提示画像との違いについてのみ説明する。ユーザはスライド画像７０２上でポインタ２６０１により個別標本を選択できる。図２６（ａ）は個別標本「２」を選択した例である。

図２６（ｂ）は、図２６（ａ）に示す個別標本「２」を拡大した図である。基本的な構成は図９（ａ）で説明したものと同じであるため、図９（ａ）で説明した模式図との違いについてのみ説明する。ポインタ２６０１は、ユーザが指定した個別標本「２」上の任意の一点を示す。関心領域２６０２は、ＰＯＩに相当する領域であり、例えば、ユーザが観察モードにおいて診断に有用な情報が得られる点として設定した点である。関心領域２６０２はＰＯＩ（点）であるが、関心領域がある範囲に渡って定義されている場合（点ではなく面積を有する場合）にはＲＯＩ（領域）となる。これ以降、ＰＯＩやＲＯＩをまとめて、関心領域（又は着目領域）と呼ぶこととする。

図２６（ｃ）から図２６（ｅ）は、各表示制御モードで表示される拡大画像を説明する模式図である。ポインタ２６０１で個別標本を選択後に拡大画像として表示装置１０３に表示される画像が各表示制御モードにおいて異なる。図２６（ｃ）は観察モードにおける拡大画像２６０３、図２６（ｄ）は確認モードにおける拡大画像２６０４、図２６（ｅ）は通常モードにおける拡大画像２６０５を示す。

図２６（ｃ）は観察モードにおける拡大画像２６０３である。観察モードにおいて、ユーザが図２６（ａ）のスライド画像７０２上で個別標本「２」を選択した場合、図２６（ｃ）の拡大画像２６０３には個別標本８０１の観察開始位置９０１が表示される。実施例
１の標本観察（スクリーニング）シーケンスでは、個別標本「１」から順番に標本を観察するシーケンスを説明したが、実施例２は実施例１を拡張した内容である。すなわち、実施例２のこの機能を利用すれば、より柔軟な標本観察（スクリーニング）が可能である。例えば、標本観察（スクリーニング）の途中で、既に観察を終えた個別標本をポインタ２６０１で選択すると、当該個別標本の観察を再度行うことができる。また、スライド上の全ての個別標本の標本観察（スクリーニング）を終えた後に、再度、気になる個別標本を選択し当該個別標本から標本観察（スクリーニング）を再開することも可能となる。

図２６（ｄ）は確認モードにおける拡大画像２６０４である。確認モードにおいて、ユーザが図２６（ａ）のスライド画像７０２上で個別標本「２」を選択した場合、図２６（ｄ）の拡大画像２６０４には個別標本８０１の関心領域２６０２を中心とする拡大画像が示される。関心領域が複数ある場合には、関心領域の設定時に優先度を同時に設定することで、優先度が高い順に関心領域を表示する制御を行う。また、関心領域がある範囲に渡って定義されている場合（点ではなく面積を有する場合）には、関心領域全体を示すことができる倍率で表示する制御を行う。その場合には、関心領域の最小外接矩形の中心を関心領域の中心と考えればよい。

図２６（ｅ）は通常モードにおける拡大画像２６０５であり、図２６（ｂ）に示すポインタ２６０１が指示する点を中心とする拡大画像が示される。ユーザの入力操作を直接表示に反映させたい場合には通常モードでの表示処理が有用となる。

（各表示制御モードの表示処理フロー）
図２７（ａ）は、表示制御モードの設定と表示処理を説明するフローチャートである。
ステップＳ２７０１では、表示制御モード処理部２４０１は、表示制御モードが観察モードに設定されているかどうかを判断する。観察モードに設定されていればＳ２７０２に進み、設定されていなければＳ２７０３に進む。ステップＳ２７０２では、観察モードの表示処理が実行される。観察モードの表示処理の詳細は図２７（ｂ）で説明する。
ステップＳ２７０３では、表示制御モード処理部２４０１は、表示制御モードが確認モードに設定されているかどうかを判断する。確認モードに設定されていればＳ２７０４に進み、設定されていなければＳ２７０５に進む。ステップＳ２７０４では、確認モードの表示処理が実行される。確認モードの表示処理の詳細は図２７（ｃ）で説明する。
ステップＳ２７０５では、表示制御モード処理部２４０１は、表示制御モードが通常モードに設定されているかどうかを判断する。通常モードに設定されていればＳ２７０６に進み、設定されていなければ処理を終了する。ステップＳ２７０６では、通常モードの表示処理が実行される。通常モードの表示処理の詳細は図２７（ｄ）で説明する。

図２７（ｂ）は観察モードの表示処理を説明するフローチャートであり、図２７（ａ）のステップＳ２７０２に対応する。ステップＳ２７０７では、表示制御モード処理部２４０１は、ユーザによりポインタ２６０１で選択されたポイントの座標を取得する。図２６（ｂ）の例では、ユーザがポインタ２６０１で個別標本８０１（ここでは個別標本「２」）内の一点を指示しているが、本ステップＳ２７０７では、その指示されたポイントの座標が取得される。ステップＳ２７０８では、表示制御モード処理部２４０１が、ポイントされた個別標本の番号を認識する。具体的には、表示制御モード処理部２４０１は、図１９（ｃ）で説明した画像ファイルフォーマットを参照し、ステップＳ２７０７で取得したポイント座標を有する個別標本の番号を認識する。ステップＳ２７０９では、表示データ生成制御部４０４が、ステップＳ２７０８で認識した個別標本での観察開始位置の画像データ生成の制御を行う。観察開始位置の画像データの座標範囲は、図１９（ｃ）で説明した画像ファイルフォーマットから取得できる。以上のＳ２７０７からＳ２７０９の処理ステップに従えば、観察モードの表示処理を実行することができる。

図２７（ｃ）は確認モードの表示処理を説明するフローチャートであり、図２７（ａ）のステップＳ２７０４に対応する。ステップＳ２７１０では、表示制御モード処理部２４０１が、ユーザによりポインタ２６０１で選択されたポイントの座標を取得する。本ステップＳ２７１０は、Ｓ２７０７と同様の処理である。ステップＳ２７１１では、表示制御モード処理部２４０１が、ポイントされた個別標本の番号を認識する。本ステップＳ２７１１は、Ｓ２７０８と同様の処理である。ステップＳ２７１２では、表示制御モード処理部２４０１が、ポイントされた個別標本に関心領域があるかどうかを判断する。関心領域があればステップＳ２７１３に進み、関心領域が無ければステップＳ２７１４に進む。ステップＳ２７１３では、表示制御モード処理部２４０１が、関心領域の座標を取得する。関心領域が複数ある場合には、最も優先度の高い関心領域の座標を取得する。ステップＳ２７１４では、表示制御モード処理部２４０１が、拡大画像の表示領域を設定する。拡大画像の表示領域の中心は関心領域の座標とし、設定された拡大画像の倍率を元に表示領域を算出する。関心領域がある範囲に渡って定義されている場合（点ではなく面積を有する場合）には、関心領域全体を示すことができる倍率で表示領域を設定する。その場合には、関心領域の最小外接矩形の中心を関心領域の中心と考える。なお、ステップＳ２７１２で関心領域が無いと判断された場合には、拡大画像の表示領域の中心はポイント座標とし、設定された拡大画像の倍率を元に表示領域を算出する。ステップＳ２７１５では、表示データ生成制御部４０４が、ステップＳ２７１３で設定した表示領域の画像データ生成制御を行う。以上のＳ２７１０からＳ２７１５の処理ステップに従えば、確認モードの表示処理を実行することができる。

図２７（ｄ）は通常モードの表示処理を説明するフローチャートであり、図２７（ａ）のステップＳ２７０６に対応する。ステップＳ２７１６では、表示制御モード処理部２４０１が、ユーザによりポインタ２６０１で選択されたポイントの座標を取得する。本ステップＳ２７１６は、Ｓ２７０７と同様の処理である。ステップＳ２７１７では、表示制御モード処理部２４０１が、拡大画像の表示領域を設定する。拡大画像の表示領域の中心はポイント座標とし、設定された拡大画像の倍率を元に表示領域を算出する。ステップＳ２７１８では、表示データ生成制御部４０４が、ステップＳ２７１７で設定した表示領域の画像データ生成制御を行う。以上のＳ２７１６からＳ２７１８の処理ステップに従えば、通常モードの表示処理を実行することができる。

なお、実施例２では、ユーザの個別標本選択操作とユーザの拡大指示操作が同一の操作であるとして説明を行ったが、必ずしも、前記２者が同一操作である必要はない。例えば、通常モードにおいて、ユーザにより個別標本選択操作が行われたときに、選択された個別標本の全体画像（縮小画像）を表示してもよい。或いは、通常モードにおいて、個別標本選択操作が行われても拡大画像を更新しない場合には、図２７（ａ）のステップＳ２７０５、ステップＳ２７０６は削除してもよい。

実施例２では、スライド画像上の任意の点（いずれかの個別標本上の点）をポイントすることで、拡大表示する個別標本の選択を行う方法を示したが、他のユーザインタフェースにより個別標本の選択を行うこともできる。例えば、図２２（ａ）、図２２（ｂ）のような再構成スライドの全体画像上で、拡大表示する個別標本を選択させることもできる。あるいは、画像上で選択させるのではなく、個別標本の番号を指定（入力）させてもよい。いずれのユーザインタフェースの場合でも、観察モードのときは選択された個別標本の観察開始位置に対応する部分を中心に拡大表示するとよく、確認モードのときは選択された個別標本の関心領域を中心に拡大表示するとよい。また、通常モードのときはユーザがポイントした座標を中心に拡大表示するとよい。

（実施例２の特徴）
ここで、本実施例の特徴を説明する。各表示制御モードで拡大処理の中心位置を異なら
せることに特徴がある。観察モードでは標本観察（スクリーニング）の観察開始位置の画像の中心が拡大処理の中心位置となる。確認モードでは、標本観察（スクリーニング）などで記録した関心領域が拡大処理の中心位置となる。関心領域がＰＯＩ（点）の場合にはＰＯＩの座標が関心領域の中心位置であり、ＲＯＩ（面積を有する領域）の場合にはＲＯＩの最小外接矩形の中心座標が関心領域の中心位置となる。いずれもユーザの指示位置（ポイント座標）に拘らず、表示制御モードにより拡大処理の中心位置が決まるところが実施例２の特徴である。

（実施例２の効果）
実施例２の処理によれば、標本観察（スクリーニング）や標本観察（スクリーニング）の追試などの目的に応じて、ユーザが観察したい領域をいち早く表示することができる。これにより、特に、スライド上に標本が複数ある場合には、標本観察（スクリーニング）の負担を軽減する効果が期待できる。

なお、実施例２では、表示制御モードで拡大処理の中心位置を異ならせたが、他の方法で拡大処理の中心位置を異ならせてもよい。例えば、選択された個別標本に関心領域が１つも設定されていない場合には、個別標本の観察開始位置又はポイント座標を中心に拡大表示し、関心領域が設定されている場合には、当該関心領域を中心に拡大表示してもよい。あるいは、個別標本を選択するときの操作によって拡大処理の中心位置を変えてもよい。例えば、シングルクリック（シングルタップ）とダブルクリック（ダブルタップ）とで中心位置を変えたり、右ボタンクリックと左ボタンクリックとで中心位置を変えたりしてもよい。また、コントロールキーなどの所定のキーを押しながらポイントしたときと、押さずにポイントしたときとで中心位置を変えることも好ましい。

１０２：画像処理装置
１０３：表示装置
４０１：ユーザ入力情報取得部
４０４：表示データ生成制御部
４０９：標本配置調整部

Claims (26)

1. スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成する調整手段と、
   前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行う表示制御手段と、
   を有し、
   それぞれの観察対象に対して、表示順序が定められた複数の拡大画像が対応付けられており、
   前記調整手段は、第１の観察対象と第２の観察対象を隣り合わせに配置する場合に、前記第１の観察対象の複数の拡大画像のうち表示順序が最後の拡大画像と、前記第２の観察対象の複数の拡大画像のうち表示順序が最初の拡大画像とが繋がるように、前記再構成スライド画像上での前記第１の観察対象と前記第２の観察対象の配置を決定する
   ことを特徴とする画像処理装置。
2. スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成する調整手段と、
   前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行う表示制御手段と、
   を有し、
   前記調整手段は、各観察対象の画像の領域を平行移動し、または、平行移動と回転をすることにより、前記再構成スライド画像上での各観察対象の配置を調整する
   ことを特徴とする画像処理装置。
3. スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成する調整手段と、
   前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行う表示制御手段と、
   を有し、
   前記調整手段が、前記複数の観察対象を行方向、列方向またはその両方向に整列させた観察対象並び替え画像を生成し、
   前記表示制御手段が、前記拡大画像とともに、前記観察対象並び替え画像を前記表示装置に表示する
   ことを特徴とする画像処理装置。
4. 前記調整手段は、前記再構成スライド画像上で隣り合う２つの観察対象のあいだの距離が、実際のスライド上での距離に比べて短くなるように、前記再構成スライド画像上での前記２つの観察対象の配置を決定する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理装置。
5. 前記調整手段は、与えられた観察順序にしたがって前記複数の観察対象が順番に並ぶように、前記再構成スライド画像上での前記複数の観察対象の配置を決定する
   ことを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
6. 前記観察順序で隣り合う第１の観察対象と第２の観察対象について、
   前記調整手段は、表示領域の移動に伴い前記第１の観察対象の拡大画像から前記第２の観察対象の拡大画像へ直接切り替わるように、前記再構成スライド画像上での前記第１の観察対象と前記第２の観察対象の配置を決定する
   ことを特徴とする請求項２または３に記載の画像処理装置。
7. それぞれの観察対象に対して、表示順序が定められた複数の拡大画像が対応付けられており、
   前記調整手段は、前記第１の観察対象の複数の拡大画像のうち表示順序が最後の拡大画像と、前記第２の観察対象の複数の拡大画像のうち表示順序が最初の拡大画像とが繋がるように、前記再構成スライド画像上での前記第１の観察対象と前記第２の観察対象の配置を決定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記表示順序は、それぞれの観察対象で独立して定められる
   ことを特徴とする請求項１または７に記載の画像処理装置。
9. 前記調整手段は、前記第１の観察対象の複数の拡大画像のうち表示順序が最後の拡大画像と、前記第２の観察対象の複数の拡大画像のうち表示順序が最初の拡大画像とが共通の画像となるように、前記再構成スライド画像上での前記第１の観察対象と前記第２の観察対象の配置を決定する
   ことを特徴とする請求項１、７、８のうちいずれか１項に記載の画像処理装置。
10. 前記調整手段は、前記第１の観察対象の拡大画像のなかに他の観察対象が入らないように、前記再構成スライド画像上での前記第１の観察対象と前記他の観察対象の配置を決定する
    ことを特徴とする請求項１、７、８のうちいずれか１項に記載の画像処理装置。
11. 前記再構成スライド画像のデータは、前記再構成スライド画像における観察対象の画像の位置と、実際のスライドにおける観察対象の画像の位置との対応関係を定義したデータである
    ことを特徴とする請求項１〜１０のうちいずれか１項に記載の画像処理装置。
12. 前記調整手段が、前記複数の観察対象を行方向、列方向またはその両方向に整列させた観察対象並び替え画像を生成し、
    前記表示制御手段が、前記拡大画像とともに、前記観察対象並び替え画像を前記表示装置に表示する
    ことを特徴とする請求項２に記載の画像処理装置。
13. 前記調整手段が、前記再構成スライド画像の全体を表す画像を生成し、
    前記表示制御手段が、前記拡大画像とともに、前記再構成スライド画像の全体を表す画像を前記表示装置に表示する
    ことを特徴とする請求項１〜１１のうちいずれか１項に記載の画像処理装置。
14. 表示領域の移動指示を取得する取得手段と、
    前記移動指示に応じて表示領域の位置と表示装置に表示する拡大画像の変更を行う表示制御手段と、を備えており、
    スライドに複数の観察対象が含まれ、それぞれの観察対象に対して複数の拡大画像が対応付けられており、
    前記表示制御手段は、移動指示を受ける毎に、１つの観察対象のなかで拡大画像が所定の表示順序で切り替わるように表示領域を移動させていき、当該観察対象の最後の拡大画像が表示されているときに移動指示を受けた場合は、当該観察対象の次の観察対象の最初の拡大画像に切り替わるように表示領域を移動させることを特徴とする画像処理装置。
15. 前記複数の観察対象の観察順序が与えられており、
    前記表示制御手段は、前記観察順序にしたがって観察対象の拡大画像が順番に切り替わるように、表示領域を移動させる
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記複数の観察対象のなかから１つの観察対象を選択する指示を受けた場合に、前記表示制御手段は、前記選択された観察対象が拡大表示されるように表示領域を移動させる
    ことを特徴とする請求項１〜１５のうちいずれか１項に記載の画像処理装置。
17. それぞれの観察対象に対して、最初に観察を開始すべき観察開始位置が定められており、
    前記表示制御手段は、前記選択された観察対象の観察開始位置を中心とする領域が拡大表示されるように表示領域を移動させる
    ことを特徴とする請求項１６に記載の画像処理装置。
18. 前記選択された観察対象に対して関心領域が設定されている場合に、前記表示制御手段は、前記選択された観察対象に設定された関心領域を中心とする領域が拡大表示されるように表示領域を移動させる
    ことを特徴とする請求項１６又は１７に記載の画像処理装置。
19. 前記複数の観察対象を順に観察しながら関心領域の設定を行う操作を支援する第１のモードと、設定された関心領域の確認を行う操作を支援する第２のモードを有しており、
    それぞれの観察対象に対して、最初に観察を開始すべき観察開始位置が定められており、
    前記表示制御手段は、
    前記第１のモードの場合は、前記選択された観察対象の観察開始位置を中心とする領域が拡大表示されるように表示領域を移動させ、
    前記第２のモードの場合は、前記選択された観察対象に設定された関心領域を中心とする領域が拡大表示されるように表示領域を移動させる
    ことを特徴とする請求項１６に記載の画像処理装置。
20. 複数の観察対象を含むスライドの一部の領域を拡大表示し、その拡大表示する表示領域を移動することにより前記複数の観察対象を順に観察する操作、を支援するための画像処理装置であって、
    表示領域の移動指示を取得する取得手段と、
    前記移動指示に応じて表示領域の位置と表示装置に表示する拡大画像の変更を行う表示制御手段と、を備えており、
    それぞれの観察対象に対して、最初に観察を開始すべき観察開始位置が定められており、
    前記表示制御手段は、前記複数の観察対象のなかから１つの観察対象を選択する指示を受けた場合に、前記選択された観察対象の観察開始位置を中心とする領域が拡大表示されるように表示領域を移動させる
    ことを特徴とする画像処理装置。
21. コンピュータが、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成するステップと、
    コンピュータが、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行うステップと、
    を有し、
    それぞれの観察対象に対して、表示順序が定められた複数の拡大画像が対応付けられており、
    前記再構成スライド画像のデータを生成するステップでは、第１の観察対象と第２の観察対象を隣り合わせに配置する場合に、前記第１の観察対象の複数の拡大画像のうち表示順序が最後の拡大画像と、前記第２の観察対象の複数の拡大画像のうち表示順序が最初の拡大画像とが繋がるように、前記再構成スライド画像上での前記第１の観察対象と前記第２の観察対象の配置が決定される
    ことを特徴とする画像処理方法。
22. コンピュータが、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成するステップと、
    コンピュータが、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が移動していくように前記表示装置に表示する前記拡大画像の変更を行うステップと、
    を有し、
    前記再構成スライド画像のデータを生成するステップでは、各観察対象の画像の領域を平行移動し、または、平行移動と回転をすることにより、前記再構成スライド画像上での各観察対象の配置が調整される
    ことを特徴とする画像処理方法。
23. コンピュータが、スライドに複数の観察対象が含まれている場合に、前記スライドの画像から各観察対象の画像の領域を検出し且つそれらの領域を連続的に並べることにより、各観察対象の配置が調整された再構成スライド画像のデータを生成するステップと、
    コンピュータが、前記再構成スライド画像の一部の表示領域に対応する拡大画像を表示装置に表示するとともに、移動指示に応じて前記再構成スライド画像上を前記表示領域が
    移動していくように前記表示装置に表示する前記拡大画像の変更を行うステップと、
    コンピュータが、前記複数の観察対象を行方向、列方向またはその両方向に整列させた観察対象並び替え画像を生成するステップと、
    コンピュータが、前記拡大画像とともに、前記観察対象並び替え画像を前記表示装置に表示するステップと、
    を有することを特徴とする画像処理方法。
24. コンピュータが、表示領域の移動指示を取得するステップと、
    コンピュータが、前記移動指示に応じて表示領域の位置と表示装置に表示する拡大画像の変更を行うステップと、を含んでおり、
    スライドに複数の観察対象が含まれ、それぞれの観察対象に対して複数の拡大画像が対応付けられており、移動指示を受ける毎に、１つの観察対象のなかで拡大画像が所定の表示順序で切り替わるように表示領域を移動させていき、当該観察対象の最後の拡大画像が表示されているときに移動指示を受けた場合は、当該観察対象の次の観察対象の最初の拡大画像に切り替わるように表示領域を移動させる
    ことを特徴とする画像処理方法。
25. 複数の観察対象を含むスライドの一部の領域を拡大表示し、その拡大表示する表示領域を移動することにより前記複数の観察対象を順に観察する操作、をコンピュータにより支援するための画像処理方法であって、
    コンピュータが、表示領域の移動指示を取得するステップと、
    コンピュータが、前記移動指示に応じて表示領域の位置と表示装置に表示する拡大画像の変更を行うステップと、を含んでおり、
    それぞれの観察対象に対して、最初に観察を開始すべき観察開始位置が定められており、
    前記複数の観察対象のなかから１つの観察対象を選択する指示を受けた場合に、前記選択された観察対象の観察開始位置を中心とする領域が拡大表示されるように表示領域を移動させる
    ことを特徴とする画像処理方法。
26. 請求項２１〜２５のうちいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images