JP5614032B2 - 情報処理装置、情報処理方法及びそのプログラム - Google Patents

Description

本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示を制御する情報処理装置、情報処理方法及びそのプログラムに関する。

医療又は病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。

例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落[００２７]、[００２８]、図５参照）。

特開２００９−３７２５０号公報

このようなシステムでは、マウス等の入力手段を用いたユーザの操作の指示に応じて、モニタに表示された画像を変更することが可能に構成されている。変更とは、例えば、画像の表示範囲の移動、回転、ズームイン、ズームアウト等であり、ユーザは、これらの操作により、あたかも実際に顕微鏡を操作しているかのように画像を操作することが可能である。このようなシステムの中には、１つの画面上に２つの画像が並列的に表示され、ユーザによる２画像の比較を可能とするものがある。システムは、いずれかの画像に対するユーザの操作の指示に応じて、指示が入力された画像を変更する。ここで、ユーザが２画像に同一の変更をさせたい場合、ユーザはそれぞれの画像に対して同一の操作の指示を行う必要があり、煩雑な操作が必要となる。

以上のような事情に鑑み、本発明の目的は、２つの画像のユーザによる比較を効率的に行うことができる情報処理装置、情報処理方法及びそのプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、表示部と、入力部と、画像処理部とを具備する。
上記表示部は、互いに空間的類似性を有する第１の観察対象及び第2の観察対象のそれぞれから顕微鏡によって撮像された各画像を第１の画像及び第2の画像としてそれぞれ並列的に表示する。
上記入力部は、上記第１の画像に対するユーザからの空間的な変更の指示を受け付ける。
上記画像処理部は、上記入力部にて受け付けられた上記指示に基づいて上記第１の画像及び上記第２の画像に対する変更処理を行う。
本発明では、一方の画像である第１の画像に対する空間的な変更の指示をユーザが入力するだけで、２つの画像に対する同様の変更を一意に行うことができる。これにより、２つの画像を変更しつつ両画像の比較を行うために必要なユーザの操作の負担を軽減できる。

上記入力部は、上記第２の画像に対するユーザからの空間的な変更の指示をさらに受け付け、上記画像処理部は、上記指示に基づいて上記第２の画像に対して変更処理を行うものであってもよい。
第１の画像及び第２の画像がユーザからの一つの指示により変更処理された結果、第１の画像における第１の観察対象の部位と第２の画像における第２の観察対象の対応する部位のずれが強調される場合がある。そこで、画像処理部は、第２の画像に対するユーザからの空間的な変更の指示に基づいて上記第２の画像のみに対して変更処理を行うことで、両画像の位置ずれを低減することができる。

上記表示部は、上記第１の画像に重畳的に上記第２の画像が合成された重畳画像と、上記第２の画像である単独画像とを画面に並列的に表示し、上記画像処理部は、上記重畳画像に対する空間的な変更の指示に基づいて上記重畳画像における上記第１の画像及び上記第２の画像に対して変更処理を行うものであってもよい。
この構成によれば、表示部にて、第１の画像に第２の画像が重畳的に合成された重畳画像と、第２の画像である単独画像とが並列的に表示されるので、ユーザによる第１の画像と第２の画像との比較が容易になる。さらに、画像処理部は、上記重畳画像に対する空間的な変更の指示に基づいて上記重畳画像における上記第１の画像及び上記第２の画像に対して変更処理を行うことができるとともに、単独画像である第２の画像に対しても変更処理を行うことができる。また、画像処理部は、単独画像である第２の画像に対する空間的な変更の指示に基づいて単独画像である第２の画像に対する変更とともに、重畳画像における第２の画像に対する変更を行うことによって、重畳画像における第１の画像と第２の画像との位置を揃えるようなことが可能になる。

上記表示部は、視覚的に識別可能なように合成された上記第１の画像及び上記第２の画像を上記重畳画像として上記画面に表示してもよい。
この構成によれば、ユーザは重畳画像において、第１の画像と第２の画像を識別することが可能となる。

上記表示部は、アルファブレンドにより合成された上記第１の画像及び上記第２の画像を上記重畳画像として上記画面に表示してもよい。
この構成によれば、ユーザは、重畳画像において、第１の画像及び第２の画像を透過画像とすることができ、第１の観察対象の部位と第２の観察対象の部位が重畳していても両者を視認することが可能となる。また、ユーザは、任意にアルファ値を変更することによって、注目する部位が第１の画像と第２の画像のいずれに属するかの判別を容易にすることができる。

上記表示部は、第１の色相に変換された上記第１の画像と上記第１の色相と異なる第２の色相に変換された上記第２の画像とが合成された画像を上記重畳画像として上記画面に表示してもよい。
この構成によれば、ユーザは、注目する部分の色相から、その部位が重畳画像において第１の画像と第２の画像のいずれに属するかを容易に判別することが可能となる。

上記表示部は、上記第１の画像に設定された複数の第１の制御点の上記第１の画像における位置と、上記第２の画像に設定された複数の第２の制御点の上記第２の画像における位置がそれぞれ一致するように上記第１の画像及び上記第２の画像の少なくとも一方をアフィン変換により変換してもよい。
この構成によれば、第１の画像と第２の画像とが重畳画像として表示された際、第１の観察対象の部位と第２の観察対象の対応する部位を高精度に重畳させることができる。これにより、ユーザは第１の画像と第２の画像の比較を容易にすることが可能となる。

上記表示部は、上記第１の画像に設定された第１のアノテーションと上記第２の画像に設定された第２のアノテーションとを上記重畳画像に表示してもよい。
ユーザが重畳画像において、第１の画像に設定した第１のアノテーションと第２の画像に設定した第２のアノテーションを参照することが可能となる。

上記第１の画像及び上記第２の画像は、観察対象物を異なる焦点距離でそれぞれ撮像して得られた画像であってもよい。
この構成によれば、互いに空間的類似性の高い第１の観察対象と第２の観察対象とを得ることが可能である。

上記第１の画像及び上記第２の画像は、観察対象物をスライスして得られた複数の観察対象片の画像であってもよい。
この構成によれば、互いに空間的類似性の高い第１の観察対象と第２の観察対象とを得ることが可能である。

上記情報処理装置は、上記変更の指示の内容を授受する第1の授受部をさらに具備し、上記画像処理部は、上記第1の授受部を通じて取得した上記変更の指示の内容に基づいて、上記第１の画像及び上記第２の画像に対する変更処理を行ってもよい。
この構成によれば、あるユーザが第１の画像及び第２の画像に対する変更の指示を入力すれば、別のユーザが当該変更の指示を用いて、画像処理部に第１の画像及び第２の画像に対する変更処理をさせることが可能となる。

上記情報処理装置は、上記第１の画像及び上記第２の画像を互いに視覚的に識別可能なように制御する表示制御情報を授受する第２の授受部をさらに具備し、上記画像処理部は、上記第２の授受部を通じて取得した上記表示制御情報に基づいて、上記第１の画像及び上記第２の画像の表示を制御する。
この構成によれば、あるユーザが第１の画像及び第２の画像に対する表示制御情報を入力すれば、別のユーザが当該表示制御情報を用いて、画像処理部に第１の画像及び第２の画像の表示を制御させることが可能となる。

上記目的を達成するため、本発明の一形態に係る情報処理方法は、表示部が、互いに空間的類似性を有する第１の観察対象及び第2の観察対象のそれぞれから顕微鏡によって撮像された各画像を第１の画像及び第2の画像としてそれぞれ並列的に表示する。
入力部が、上記第１の画像に対するユーザからの空間的な変更の指示を受け付ける。
画像処理部が、上記入力部にて受け付けられた上記指示に基づいて上記第１の画像及び上記第２の画像に対する変更処理を行う。

上記目的を達成するため、本発明の一形態に係るプログラムは、表示部と、入力部と、画像処理部としてコンピュータを機能させる。
上記表示部は、互いに空間的類似性を有する第１の観察対象及び第2の観察対象のそれぞれから顕微鏡によって撮像された各画像を第１の画像及び第2の画像としてそれぞれ並列的に表示する。
上記入力部は、上記第１の画像に対するユーザからの空間的な変更の指示を受け付ける。
上記画像処理部は、上記入力部にて受け付けられた上記指示に基づいて上記第１の画像及び上記第２の画像に対する変更処理を行う。

以上、本発明によれば、２つの画像のユーザによる比較を効率的に行うことができる情報処理装置、情報処理方法及びそのプログラムを提供することが可能である。

本発明の第１の実施形態に係る情報処理装置を含むコンピュータシステムの構成を示すブロック図である。 画像ピラミッド構造の画像群を生成するときの手順を説明するための模式図である。 画像ピラミッド構造を示す概念図である。 ２つの画像ピラミッド構造を示す概念図である。 第１の実施形態における表示部を示す模式図である。 第１の実施形態に係る処理部の機能的な構成（プログラム構成）を示すブロック図である。 第１の実施形態における２つの表示画像の表示範囲の変更の様子を示す模式図である。 第２の実施形態に係る処理部の機能的な構成（プログラム構成）を示すブロック図である。 第２の実施形態における２つの表示画像の表示範囲の変更の様子を示す模式図である。 第３の実施形態における重畳画像及び単独画像の生成プロセスを示すデータフローである。 第３の実施形態における重畳画像及び単独画像を示す模式図である。 第３の実施形態に係る処理部の機能的な構成（プログラム構成）を示すブロック図である。 第３の実施形態における重畳画像及び単独画像を構成する表示画像の表示範囲の変更の様子を示す模式図である。 第４の実施形態における重畳画像及び単独画像の生成プロセスを示すデータフローである。 第４の実施形態における重畳画像及び単独画像を示す模式図である。 第５の実施形態における重畳画像及び単独画像の生成プロセスを示すデータフローである。 第５の実施形態における重畳画像と単独画像を示す模式図である。 第６の実施形態における２つの表示画像についてアフィン変換の様子を示す模式図である。 第７の実施形態におけるアノテーションが設定された２つの表示画像を示す模式図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

＜第１の実施形態＞
[情報処理装置の構成]
図１は、本発明の一実施形態に係る情報処理装置を含むコンピュータシステムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。

ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。

入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。

表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

入力部１０７は、例えばポインディングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。

記憶部１０８は、不揮発性メモリであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。

ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。

通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。

[画像ピラミッド構造]
本実施形態の情報処理装置（ＰＣ１００）は、撮像装置により撮像された観察対象の画像を元に画像ピラミッド構造を生成する。以下、この画像ピラミッド構造について説明する。

図２は、この画像ピラミッド構造の画像群を生成するときの手順を説明するための図であり、図３は、生成される画像ピラミッド構造５０を示す概念図である。

まず、図示しないスキャナ装置により観察対象１５が撮像され、デジタル画像データが生成される。病理の分野一般においては、生体の臓器、組織、細胞、又はこれらの一部から、薄く切り取られたものが観察対象１５となる。光学顕微鏡の機能を有するスキャナ装置により、ガラススライドに収められた観察対象１５が撮像され、これにより得られたデジタル画像データがスキャナ装置又はその他の記憶装置に記憶される。このデジタル画像データは画像ピラミッド構造において最も高倍率の元画像データ５１となるため、十分に高い倍率で撮像される。

このスキャナ装置又は図示しない汎用コンピュータは、図２に示すように、上記のように得られた元画像データ５１から、段階的に解像度を小さくした複数の画像データを生成する。元画像データ５１から縮小された画像データを画像データ５２、画像データ５２からさらに縮小された画像データを画像データ５３、画像データ５３からさらに縮小された画像データを画像データ５４として図２に示す。なお、実際にはより多段階で解像度を縮小し、より多数の画像データを生成する。撮像装置又は汎用コンピュータは、これらの複数の画像データを例えば所定サイズの単位である「タイル」単位で記憶する。１タイルのサイズは、例えば２５６×２５６（pixel）である。

このように生成された複数の画像データにより、図３に示す画像ピラミッド構造５０が構成され、例えば、情報処理装置の記憶部１０８などに記憶される。実際には、これらの複数の画像データと、解像度の情報とをそれぞれ対応付けて記憶されればよい。なお、画像ピラミッド構造５０の生成及びその記憶は、本実施形態の情報処理装置にて行われてもよい。以下、一つの元画像データから生成される画像ピラミッド構造５０と称する。

情報処理装置は、ユーザからの指示に従って画像ピラミッド構造５０から目的の位置と解像度の画像を取得し、表示部１０６に表示する。以下、この画像の表示の原理について説明する。

まず、情報処理装置内のＣＰＵ１０１は、入力部１０７を通じてユーザより解像度の指定を受ける。ＣＰＵ１０１は、この指示に従って、記憶部１０８に記憶されている画像ピラミッド構造５０から、指定された解像度の画像データＥを取得し、この画像データＥに対して所定の表示領域Ａを設定する。そしてこの画像データＥにおいて表示領域Ａに対応する部分を「表示画像」とする。

図３では、上記画像データ５２が画像データＥであるものとして示されている。表示領域Ａは、ＣＰＵ１０１によって扱われる、表示画像を規定する仮想的な領域であり、画像データＥ上の部分的な領域として設定される。表示領域Ａに対応する画像データＥの一部が表示画像として表示部１０６に表示される。表示領域Ａのサイズは画素数（pixel）によって定められており、設定される画像の解像度が変更されても表示領域Ａのサイズは変更されない。

ユーザが表示画像の表示範囲を変更したい場合、ユーザは入力部１０７を介して情報処理装置に表示範囲の変更の指示を入力する。表示範囲とは、元画像データにおいて、物理的な画面に表示される範囲である。ここで、ユーザにより指示された変更の内容が、表示画像の表示範囲の移動、拡大（ズームアウト）、縮小（ズームイン）、回転であるそれぞれの場合について説明する。

ユーザが表示画像の表示範囲を移動させたい場合、ユーザは、入力部１０７により所望の移動距離及び移動方向を情報処理装置に入力する。ＣＰＵ１０１は表示領域Ａを指示された移動距離及び移動方向で画像データＥ上において移動させ、移動後の表示領域Ａに対応する画像データＥの一部を新たな表示画像として表示部１０６に表示させる。

ユーザが表示画像の表示範囲を回転させたい場合、ユーザは、入力部１０７により所望の回転中心座標及び回転角度を情報処理装置に入力する。ＣＰＵ１０１は、表示領域Ａを画像データＥ上において指示された回転中心座標を中心に、指示された回転角度で回転させ、回転後の表示領域Ａに対応する画像データＥの一部を新たな表示画像として表示部１０６に表示させる。

ユーザが表示画像の表示範囲を縮小、即ち表示画像をズームインしたい場合、ユーザは、入力部１０７により表示画像の拡大中心座標及び拡大倍率を情報処理装置に入力する。ＣＰＵ１０１は、画像ピラミッド構造５０において、指示された拡大倍率に対応するより高い解像度の画像データ（例えば画像データ５１）上に表示領域Ａを移す。この際、画像データＥにおいて指示された拡大中心座標に対応する高解像度画像データ上の位置が、この高解像度画像データ上の拡大中心座標として設定され、この拡大中心座標を中心に表示領域Ａの位置が設定される。また、この際、表示領域Ａのサイズは固定されたまま画像データの解像度のみが大きくなるので表示画像はズームインされる。なお、図２及び図３に、表示画像をズームインした場合の表示領域を表示領域Ａ’として示す。

ユーザが表示画像の表示範囲を拡大、即ち表示画像をズームアウトしたい場合、ユーザは、入力部１０７により表示画像の縮小中心座標及び縮小倍率を情報処理装置に入力する。ＣＰＵ１０１は、画像ピラミッド構造５０において、指示された縮小倍率に対応するより低い解像度の画像データ（例えば画像データ５３）上に表示領域Ａを移す。この際、画像データＥにおいて指示された縮小中心座標に対応する低解像度画像データ上の位置が、この低解像度画像データ上の縮小中心座標として設定され、この縮小中心座標を中心に表示領域Ａの位置が設定される。また、この際、表示領域Ａのサイズは固定されたまま画像データの解像度のみが小さくなるので表示画像はズームアウトされる。なお、図２及び図３に、表示画像をズームアウトした場合の表示領域を表示領域Ａ"として示す。

以上のように、情報処理装置によって、表示部１０６に観察対象１５の画像が表示され、この表示された観察対象１５に対するユーザからの移動、回転、拡大、縮小等の変更の指示に応じて、その変更処理が実行される。以下、このような変更を「表示領域Ａに対する画角変更」と総称とする。

[第１の実施形態に係る情報処理装置の動作]
以下、本実施形態に係る情報処理装置の動作を説明する。本実施形態に係る情報処理装置は、２つの画像についてユーザによる比較を可能とする。２つの画像は、空間的類似性の高い２つの観察対象１５をそれぞれ撮像して得られた２つの画像ピラミッド構造５０からそれぞれ抽出された画像である。２つの観察対象は例えば、病理組織をスライスして得られた複数の切片のうち隣接した２つの切片が異なる染色方法により染色されたものである。図４は、ユーザによる比較の対象である２つの画像ピラミッド構造を示す概念図である。ここで、一方の画像ピラミッド構造を「画像ピラミッド構造５０Ａ」、他方の画像ピラミッド構造を「画像ピラミッド構造５０Ｂ」とする。なお、画像ピラミッド構造５０Ａ及び画像ピラミッド構造５０Ｂは、一つの観察対象物を焦点距離を変えて撮像することによって得られた、いわゆるZ-stack画像からそれぞれ生成されたものであってもよい。

[第１の実施形態における２画像の表示]
ユーザによって２画像表示の指示と所望の解像度が指示されると、ＣＰＵ１０１は画像ピラミッド構造５０Ａの画像データＥ１に対して表示領域Ａ１を設定するとももに、画像ピラミッド構造５０Ｂの画像データＥ２に対して表示領域Ａ２を設定する。２つの表示領域Ａ１及び表示領域Ａ２のサイズ及び画像データＥ１及び画像データＥ２上の位置は互いに同一とされる。ＣＰＵ１０１は、表示領域Ａ１に対応する画像データＥ１の部分を表示画像Ｄ１（第１の画像）とし、表示領域Ａ２に対応する画像データＥ２の部分を表示画像Ｄ２（第２の画像）とする。

図５は表示部１０６を示す模式図である。ＣＰＵ１０１は、表示画像Ｄ１と表示画像Ｄ２をＲＡＭ１０３に設定された表示用バッファに展開する。この結果、表示部１０６の表示画面に表示画像Ｄ１及び表示画像Ｄ２が表示される。表示画像Ｄ１及び表示画像Ｄ２は表示部１０６の表示画面において並列表示、例えば横並び表示される。以下、表示画像Ｄ１に表示されている観察対象１５、即ち画像ピラミッド構造５０Ａの観察対象を第１の観察対象１５Ａとし、表示画像Ｄ２に表示されている観察対象１５、即ち画像ピラミッド構造５０Ｂの観察対象を第２の観察対象１５Ｂとする。

このようにして、表示部１０６に表示画像Ｄ１及び表示画像Ｄ２が表示され、ユーザによる比較を行うことが可能となる。

[第１の実施形態におけるユーザによる表示範囲の変更の指示]
ここで、表示範囲の変更について説明する。入力部１０７としてマウスを用いた場合を想定する。ユーザが表示画像Ｄ１及び表示画像Ｄ２の表示範囲を変更したい場合、ユーザはマウス（入力部１０７）を介して情報処理装置に表示範囲の変更の指示を入力する。ＣＰＵ１０１は、例えばマウスが、マウスカーソルを表示画像Ｄ１上に配置された状態でドラッグされると表示画像Ｄ１の表示範囲に対する変更の指示の入力を受け付ける。同様に、表示画像Ｄ２上に配置された状態でドラッグされると表示画像Ｄ２の表示範囲に対する変更の指示の入力を受け付ける。

本実施形態では、表示画像Ｄ１の表示範囲の変更と表示画像Ｄ２の表示範囲の変更とを互いに連動させる。即ち、一方の表示画像の表示範囲の変更の指示に伴って同一の変更が他方の表示画像の表示範囲に対して自動的に実行される。これにより、ユーザは、表示画像Ｄ１と表示画像Ｄ２の表示範囲を個別に変更する操作を行う必要がなく、表示画像Ｄ１と表示画像Ｄ２の比較を効率的に実施することができる。

[第１の実施形態に係る情報処理装置の機能的な構成]
図６は、本実施形態の情報処理装置における、表示画像Ｄ１及び表示画像Ｄ２に対する変更処理を行う処理部（画像処理部）の機能的な構成を示すブロック図である。同図に示すように、この処理部（画像処理部）は、第１の操作解釈オブジェクト１２１、第２の操作解釈オブジェクト１２２、画角同期モジュール１２３、第１の画像表示モジュール１２４及び第２の画像表示モジュール１２５を有する。これらは、ＲＯＭ１０２あるいは記憶部１０８等に記憶されており、ＣＰＵ１０１に読み出されることによって動作する。

第１の操作解釈オブジェクト１２１は、並列表示された２つの画像のうち一方の表示画像Ｄ１に対しユーザによって入力部１０７を介して入力された変更の指示を基に「画角変更要求」を生成し、画角同期モジュール１２３に供給する。なお、画角変更要求とは、変更の指示によって入力された情報、例えば、移動方向、移動距離等の情報を含むコマンドである。

第２の操作解釈オブジェクト１２２は、並列表示された２つの画像のうち他方の表示画像Ｄ２に対しユーザによって入力部１０７を介して入力された変更の指示を基に画角変更要求を生成し、画角同期モジュール１２３に供給する。

画角同期モジュール１２３は、第１の操作解釈オブジェクト１２１及び第２の操作解釈オブジェクト１２２のいずれか一方から供給された画角変更要求を第１の画像表示モジュール１２４及び第２の画像表示モジュール１２５に同期的に供給する。なお、オブジェクト及びモジュールとはプログラムにおいて特定の機能を担う部分である。

第１の画像表示モジュール１２４は、画角同期モジュール１２３から供給された画角変更要求を基に、画像ピラミッド構造５０Ａにおける表示領域Ａ１に対する画角変更を行う。

第２の画像表示モジュール１２５は、画角同期モジュール１２３から供給された画角変更要求を基に、画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。

[第１の実施形態の画角変更の動作]
ユーザによって、表示画像Ｄ１に対する変更の指示が入力された場合の、上記機能的構成の動作を説明する。
入力部１０７を用いてユーザより、表示画像Ｄ１に対する変更の指示の入力が発生すると、ＣＰＵ１０１は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第１の操作解釈オブジェクト１２１はユーザにより入力された変更の指示から画角変更要求を生成し、画角同期モジュール１２３に供給する。

画角同期モジュール１２３は、画角変更要求を第１の画像表示モジュール１２４と第２の画像表示モジュール１２５に供給する。第１の画像表示モジュール１２４は、画角同期モジュール１２３から供給された画角変更要求を基に、画像ピラミッド構造５０Ａにおける表示領域Ａ１に対する画角変更を行う。第２の画像表示モジュール１２５は、画角同期モジュール１２３から供給された画角変更要求を基に、画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。第１の画像表示モジュール１２４と第２の画像表示モジュール１２５には、同一の画角変更要求が供給されるため、表示画像Ｄ１と表示画像Ｄ２の表示範囲は同様の変更を受ける

このように、ユーザの表示画像Ｄ１に対する変更の指示によって、表示画像Ｄ１と表示画像Ｄ２の表示範囲の変更が連動される。

ユーザの表示画像Ｄ２に対する変更の指示が行われる場合も、表示画像Ｄ１に対する変更の指示が行われる場合と同様である。即ち、ユーザによる表示画像Ｄ２に対する入力から第２の操作解釈オブジェクト１２２によって画角変更要求が生成される。該画角変更要求は画角同期モジュール１２３を介して第１の画像表示モジュール１２４及び第２の画像表示モジュール１２５に供給され、表示画像Ｄ２と表示画像Ｄ１の表示範囲が連動して変更される。

図７は、表示画像Ｄ１及び表示画像Ｄ２の表示範囲の変更の様子を示す模式図である。図７（Ａ）は表示範囲の変更前の表示画像Ｄ１及び表示画像Ｄ２を示し、図７（Ｂ）は表示範囲の変更後の表示画像Ｄ１及び表示画像Ｄ２を示す。なお、図７（Ａ）及び図７（Ｂ）には、わかりやすくするために第１の観察対象１５Ａ及び１５Ｂを簡略化して示す。以降の図も同様である。

図７（Ａ）に示す表示画像Ｄ１及び表示画像Ｄ２において、表示画像Ｄ１又は表示画像Ｄ２に対する変更の指示が行われると、矢印で示したように表示画像Ｄ１及び表示画像Ｄ２の表示範囲が同様の変更を受け、図７（Ｂ）に示す表示画像Ｄ１及び表示画像Ｄ２が表示される。なお、ここでは、表示画像Ｄ１に対する変更の指示は、図において右上方向への移動である。

以上のように、本実施形態によれば、ユーザは、表示画像Ｄ１又は表示画像Ｄ２のいずれか一方に対する変更の指示を情報処理装置に入力することにより、表示画像Ｄ１及び表示画像Ｄ２の表示範囲を同時に変更させることが可能であり、表示画像Ｄ１と表示画像Ｄ２の比較を効率的に実施することが可能である。

ユーザによって入力された、表示画像Ｄ１及び表示画像Ｄ２に対する空間的な変更の指示は、画像ピラミッド構造５０Ａ及び画像ピラミッド構造５０Ｂとは別に保存され、情報処理装置に接続されたネットワークあるいはリムーバル記憶媒体を介して、授受されてもよい。ＣＰＵ１０１は、この授受された空間的な変更の指示に基づいて、表示画像Ｄ１及び表示画像Ｄ２を変更することができる。このようにすれば、他のユーザは、別途パラメータの入力作業をすることを要しない。なお、ネットワーク又はリムーバル記憶媒体が第１の授受部に相当する。

＜第２の実施形態＞
本発明の第２の実施形態について説明する。第２の実施形態において、第１の実施形態と同様の内容となる部分については説明を省略する。第２の実施形態は、第１の実施形態と同様にして得られた表示画像Ｄ１及び表示画像Ｄ２を比較するものであるが、表示範囲の変更の態様が異なる。以下、表示範囲の変更について説明する。

本実施形態の情報処理装置は、ユーザの表示画像Ｄ１に対する変更の指示に応じて、表示画像Ｄ１の表示範囲ととも表示画像Ｄ２の表示範囲を変更し、ユーザの表示画像Ｄ２に対する変更の指示に応じて、表示画像Ｄ２の表示範囲のみを変更する。これにより、ユーザは、表示画像Ｄ１及び表示画像Ｄ２の表示範囲を個別に変更する必要がなく、また、表示画像Ｄ１の表示範囲の位置に合わせて表示画像Ｄ２の表示範囲の位置を単独で補正することが可能となる。

[第２の実施形態に係る情報処理装置の機能的な構成]
図８は、本実施形態の情報処理装置における、表示画像Ｄ１及び表示画像Ｄ２に対する変更処理を行う処理部（画像処理部）の機能的な構成を示すブロック図である。

図８に示すように、この処理部（画像処理部）は、第１の操作解釈オブジェクト２０１、第２の操作解釈オブジェクト２０２、画角同期モジュール２０３、位置補正モジュール２０４、第１の画像表示モジュール２０５及び第２の画像表示モジュール２０６を有する。これらはＲＯＭ１０２あるいは記憶部１０８等に記憶されており、ＣＰＵ１０１に読み出されることによって動作する。第１の操作解釈オブジェクト２０１及び第１の画像表示モジュール２０５は第１の実施形態と同様の構成を有する。

第２の操作解釈オブジェクト２０２は、並列表示された２つの画像のうち他方の表示画像Ｄ２に対し、ユーザによって入力部１０７を介して入力された変更の指示を基に位置補正要求を生成し、位置補正モジュール２０４に供給する。位置補正要求は、画角変更要求と実質的には同一のものである。

画角同期モジュール２０３は、第１の操作解釈オブジェクト２０１から供給された画角変更要求を第１の画像表示モジュール２０５及び第２の画像表示モジュール２０６に同期的に供給する。

位置補正モジュール２０４は、第２の操作解釈オブジェクト２０２から供給された位置補正要求を第２の画像表示モジュール２０６に供給する。

第２の画像表示モジュール２０６は、画角同期モジュール２０３から供給された画角変更要求を基に画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行い、また、位置補正モジュール２０４から供給された位置補正要求を基に画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。

[第２の実施形態の画角変更の動作]
ユーザによって、表示画像Ｄ１に対する変更の指示が入力された場合について説明する。
入力部１０７を用いてユーザより、表示画像Ｄ１に対する変更の指示の入力が発生すると、ＣＰＵ１０１は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第１の操作解釈オブジェクト２０１はユーザにより入力された変更の指示から画角変更要求を生成し、画角同期モジュール２０３に供給する。

画角同期モジュール２０３は、画角変更要求を第１の画像表示モジュール２０５と第２の画像表示モジュール２０６に供給する。第１の画像表示モジュール２０５は、画角同期モジュール２０３から供給された画角変更要求を基に、画像ピラミッド構造５０Ａにおける表示領域Ａ１に対する画角変更を行う。第２の画像表示モジュール２０６は、画角同期モジュール２０３から供給された画角変更要求を基に、画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。第１の画像表示モジュール２０５と第２の画像表示モジュール２０６には、同一の画角変更要求が供給されるため、表示画像Ｄ１と表示画像Ｄ２の表示範囲は同様の変更を受ける。

このように、ユーザによって表示画像Ｄ１に対する変更の指示が入力されると、表示画像Ｄ１及び表示画像Ｄ２の表示範囲が連動して変更される。次に、ユーザによって表示画像Ｄ２に対する変更の指示がされる場合について説明する。

入力部１０７を用いてユーザより、表示画像Ｄ２に対する変更の指示の入力が発生すると、ＣＰＵ１０１は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第２の操作解釈オブジェクト２０２はユーザにより入力された変更の指示から位置補正要求を生成し、位置補正モジュール２０４に供給する。

位置補正モジュール２０４は、位置補正要求を第２の画像表示モジュール２０６に供給する。第２の画像表示モジュール２０６は、位置補正モジュール２０４から供給された位置補正要求を基に、画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。これにより、表示画像Ｄ２の表示範囲が変更される。なお、位置補正要求は、第１の画像表示モジュール２０５には供給されないため、表示画像Ｄ１の表示範囲は変更されない。

図９は、表示画像Ｄ１及び表示画像Ｄ２の表示範囲の変更の様子を示す模式図である。
図９（Ａ）に示す表示画像Ｄ１及び表示画像Ｄ２において、表示画像Ｄ１に対し、破線で示す範囲へのズームインの指示が入力されると、矢印で示したように表示画像Ｄ１及び表示画像Ｄ２の表示範囲がズームインされ、図９（Ｂ）に示す表示画像Ｄ１及び表示画像Ｄ２が表示される。

図９（Ｂ）に示すように、表示画像Ｄ１及び表示画像Ｄ２の表示範囲が同様の変更を受けた結果、第１の観察対象１５Ａと第２の観察対象１５Ｂのずれが強調されてしまって両方の比較が困難になってしまう場合がある。次に、表示画像Ｄ２に対して、図９（Ｂ）において矢印で示した方向への移動の指示が入力されると、表示画像Ｄ２の表示範囲のみが変更され、図９（Ｃ）に示すように第１の観察対象１５Ａと第２の観察対象１５Ｂのほぼ同様の部位が並列表示され、比較を容易に行うことが可能となる。

以上のように、本実施形態によれば、ユーザは、表示画像Ｄ１に対する変更の指示により表示画像Ｄ１及び表示画像Ｄ２の表示範囲を同時に変更させ、表示画像Ｄ２に対する変更の指示により、表示画像Ｄ２の表示範囲のみを変更させることができる。これにより、表示画像Ｄ１の表示範囲と表示画像Ｄ２の表示範囲が同時に変更される際に第１の観察対象１５Ａと第２の観察対象１５Ｂとのずれが強調されても、それぞれに表示される観察対象の位置を補正することが可能となり、表示画像Ｄ１と表示画像Ｄ２の比較を容易に行うことが可能となる。

なお、本実施形態において、表示画像Ｄ１に対する変更の指示により表示画像Ｄ１の表示範囲と表示画像Ｄ２の表示範囲が同時に変更され、表示画像Ｄ２に対する変更の指示により、表示画像Ｄ２の表示範囲のみが変更されるとしたが逆でもよい。即ち、表示画像Ｄ２に対する変更の指示により表示画像Ｄ１の表示範囲と表示画像Ｄ２の表示範囲が同時に変更され、表示画像Ｄ１に対する変更の指示により、表示画像Ｄ１の表示範囲のみが変更されるようにしてもよい。

＜第３の実施形態＞
本発明の第３の実施形態について説明する。第３の実施形態において、第１及び第２の実施形態と同様の内容となる部分については説明を省略する。第３の実施形態は、第１及び第２の実施形態と同様にして得られた表示画像Ｄ１及び表示画像Ｄ２を比較するものであるが、表示画像の表示の態様と表示範囲の変更の態様が異なる。

[第３の実施形態における２画像の表示]
ユーザによって２画像表示の指示と所望の解像度が指示されると、ＣＰＵ１０１は、第１の実施形態と同様に、画像ピラミッド構造５０Ａの画像データＥ１に表示領域Ａ１を設定するとももに、画像ピラミッド構造５０Ｂの画像データＥ２に表示領域Ａ２を設定する。

図１０は、本実施形態において、本実施形態の表示部１０６に表示される２画像の生成プロセスを示すデータフローである。
図１０に示すように、ＣＰＵ１０１は、画像データＥ１において表示領域Ａ１に対応する部分を表示画像Ｄ１として切り出し（Ｓｔ３０１）、画像データＥ２において表示領域Ａ２に対応する部分を表示画像Ｄ２として切り出す（Ｓｔ３０２）。ＣＰＵ１０１は、次にそれぞれ切り出した表示画像Ｄ１と表示画像Ｄ２とを重畳的に合成して重畳画像Ｄ３を生成する（Ｓｔ３０３）。表示画像Ｄ２は、表示画像Ｄ１と重畳されることなく、単独で単独画像Ｄ４を構成する。重畳的な合成については後述する。

ＣＰＵ１０１は、重畳画像Ｄ３と単独画像Ｄ４をＲＡＭ１０３に設定された表示用バッファに展開する。この結果、表示部１０６の表示画面に重畳画像Ｄ３及び単独画像Ｄ４が表示される。図１１は表示画面に表示された重畳画像Ｄ３と単独画像Ｄ４を示す模式図である。重畳画像Ｄ３及び単独画像Ｄ４は表示部１０６の表示画面において並列表示、例えば横並び表示される。

このようにして、表示部１０６に重畳画像Ｄ３及び単独画像Ｄ４が表示される。これにより、ユーザは、単独画像Ｄ４に表示されている第２の観察対象１５Ｂを参照しながら、重畳画像Ｄ３に重なって表示されている第１の観察対象１５Ａ及び第２の観察対象１５Ｂの比較を行うことができる。

[第３の実施形態におけるユーザによる表示範囲の変更の指示]
ここで、表示範囲の変更について説明する。ユーザが、重畳画像Ｄ３として表示されている表示画像Ｄ１及び表示画像Ｄ２、並びに単独画像Ｄ４として表示されている表示画像Ｄ２の表示範囲を変更したい場合、ユーザはマウスを介して本実施形態の情報処理装置に変更の指示を入力する。ＣＰＵ１０１は、例えばマウスが、マウスカーソルを重畳画像Ｄ３上に配置された状態でドラッグされると重畳画像Ｄ３に対する変更の指示の入力を受け付ける。同様に、単独画像Ｄ４上に配置された状態でドラッグされると単独画像Ｄ４に対する変更の指示の入力を受け付ける。

本実施形態の情報処理装置は、ユーザの重畳画像Ｄ３に対する変更の指示に応じて、重畳画像Ｄ３を構成する表示画像Ｄ１及び表示画像Ｄ２並びに単独画像Ｄ４の表示画像Ｄ２の各表示範囲を変更し、ユーザの単独画像Ｄ４に対する変更の指示に応じて、単独画像Ｄ４を構成する表示画像Ｄ２の表示範囲を変更する。これにより、ユーザは、重畳画像Ｄ３を構成する表示画像Ｄ１の表示範囲と、重畳画像Ｄ３を構成する表示画像Ｄ２及び単独画像Ｄ４を構成する表示画像Ｄ２の表示範囲とを個別に変更する必要がなく、また、重畳画像Ｄ３において、第１の観察対象１５Ａと第２の観察対象１５Ｂとを精度よく重畳させることが可能となる。

[第３の実施形態に係る情報処理装置の機能的な構成]
図１２は、本実施形態の情報処理装置における、表示画像Ｄ１及び表示画像Ｄ２に対する変更処理を行う処理部（画像処理部）の機能的な構成を示すブロック図である。

図１２に示すように、この処理部（画像処理部）は、機能的な構成要素として、第１の操作解釈オブジェクト３０１、第２の操作解釈オブジェクト３０２、画角同期モジュール３０３、位置補正モジュール３０４、第１の画像表示モジュール３０５及び第２の画像表示モジュール３０６を有する。これらはＲＯＭ１０２あるいは記憶部１０８等に記憶されており、ＣＰＵ１０１に読み出されることによって動作する。画角同期モジュール３０３及び第２の画像表示モジュール３０６は第２の実施形態と同様の構成を有する。

第１の操作解釈オブジェクト３０１は、重畳画像Ｄ３に対しユーザによって入力部１０７を介して入力された変更の指示を基に画角変更要求を生成し、画角同期モジュール３０３に供給する。

第２の操作解釈オブジェクト３０２は、単独画像Ｄ４に対し、ユーザによって入力部１０７を介して入力された変更の指示を基に位置補正要求を生成し、位置補正モジュール３０４に供給する。

位置補正モジュール３０４は、第２の操作解釈オブジェクト３０２から供給された位置補正要求を第１の画像表示モジュール３０５及び第２の画像表示モジュール３０６に同期的に供給する。

第１の画像表示モジュール３０５は、画角同期モジュール３０３から供給された画角変更要求を基に、画像ピラミッド構造５０Ａにおける表示領域Ａ１及び画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。また、第１の画像表示モジュール３０５は、位置補正モジュールから供給された位置補正要求を基に、画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。

[第３の実施形態の画角変更の動作]
ユーザによって、重畳画像Ｄ３に対する変更の指示が入力された場合について説明する。
入力部１０７を用いてユーザより、重畳画像Ｄ３に対する変更の指示の入力が発生すると、ＣＰＵ１０１は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第１の操作解釈オブジェクト３０１はユーザにより入力された変更の指示から画角変更要求を生成し、画角同期モジュール３０３に供給する。

画角同期モジュール３０３は、画角変更要求を第１の画像表示モジュール３０５と第２の画像表示モジュール３０６に供給する。第１の画像表示モジュール３０５は、画角同期モジュール３０３から供給された画角変更要求を基に、画像ピラミッド構造５０Ａにおける表示領域Ａ１に対する画角変更を行う。第２の画像表示モジュール３０６は、画角同期モジュール３０３から供給された画角変更要求を基に、画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。第１の画像表示モジュール３０５と第２の画像表示モジュール３０６には、同一の画角変更要求が供給されるため、重畳画像Ｄ３を構成する表示画像Ｄ１及び表示画像Ｄ２の表示範囲と単独画像Ｄ４を構成する表示画像Ｄ２の表示範囲は同様の変更を受ける。

このように、ユーザによって重畳画像Ｄ３に対する変更の指示が入力されると、重畳画像Ｄ３を構成する表示画像Ｄ１及び表示画像Ｄ２の表示範囲と単独画像Ｄ４を構成する表示画像Ｄ２の表示範囲とが連動して変更される。次に、ユーザによって単独画像Ｄ４に対する変更の指示がされる場合について説明する。

入力部１０７を用いてユーザより、単独画像Ｄ４に対する変更の指示の入力が発生すると、ＣＰＵ１０１は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第２の操作解釈オブジェクト３０２はユーザにより入力された変更の指示から位置補正要求を生成し、位置補正モジュール３０４に供給する。

位置補正モジュール３０４は、位置補正要求を第１の画像表示モジュール３０５と第２の画像表示モジュール３０６に供給する。第１の画像表示モジュール３０５は、位置補正モジュール３０４から供給された位置補正要求を基に、画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。第２の画像表示モジュール３０６は、位置補正モジュール３０４から供給された位置補正要求を基に、画像ピラミッド構造５０Ｂにおける表示領域Ａ２に対する画角変更を行う。第１の画像表示モジュール３０５と第２の画像表示モジュール３０６には、同一の位置補正要求が供給されるため、重畳画像Ｄ３を構成する表示画像Ｄ２の表示範囲と単独画像Ｄ４を構成する表示画像Ｄ２の表示範囲は同様の変更を受ける。第１の画像表示モジュール３０５は、位置補正要求を受けても画像ピラミッド構造５０Ａにおける表示領域Ａ１に対する画角変更を行わないため、重畳画像Ｄ３を構成する表示画像Ｄ１の表示範囲は変更を受けない。

図１３は、重畳画像Ｄ３を構成する表示画像Ｄ１及び表示画像Ｄ２の表示範囲並びに単独画像Ｄ４を構成する表示画像Ｄ２の表示範囲の変更の様子を示す模式図である。図１３（Ａ）に示す重畳画像Ｄ３及び単独画像Ｄ４において、重畳画像Ｄ３に対し、矢印で示す方向への移動の指示が入力されると、重畳画像Ｄ３を構成する表示画像Ｄ１及び表示画像Ｄ２、単独画像Ｄ４を構成する表示画像Ｄ２の表示範囲が変更され、図１３（Ｂ）に示す重畳画像Ｄ３及び単独画像Ｄ４が表示される。

次に、図１３（Ｂ）に示したように、単独画像Ｄ４に対し、矢印で示す方向への移動の指示が入力されると、重畳画像Ｄ３を構成する表示画像Ｄ２及び単独画像Ｄ４を構成する表示画像Ｄ２の表示範囲が変更され、図１３（Ｃ）に示す重畳画像Ｄ３及び単独画像Ｄ４が表示される。これにより、図１３（Ｃ）に示すように重畳画像Ｄ３において、第１の観察対象１５Ａと第２の観察対象１５Ｂのほぼ同様の部位が重畳的に表示されるように第１の観察対象１５Ａと第２の観察対象１５Ｂの位置を調節することが可能となる。

以上のように本実施形態によれば、ユーザは、重畳画像Ｄ３に対する変更の指示により重畳画像Ｄ３を構成する表示画像Ｄ１及び表示画像Ｄ２並びに単独画像Ｄ４の表示画像Ｄ２の表示範囲を同時に変更させ、単独画像Ｄ４に対する変更の指示により、重畳画像Ｄ３及び単独画像Ｄ４の表示画像Ｄ２の表示範囲のみを変更させることができる。これにより、ユーザは、単独画像Ｄ４に表示されている第２の観察対象１５Ｂを参照しながら、重畳画像Ｄ３に重畳的に表示されている第１の観察対象１５Ａと第２の観察対象１５Ｂを比較できる。さらに、ユーザは、重畳されている第１の観察対象１５Ａと第２の観察対象１５Ｂの位置を調節することができるので、表示画像Ｄ１と表示画像Ｄ２の比較を容易に行うことが可能となる。

＜第４の実施形態＞
本発明の第４の実施形態について説明する。第４の実施形態において、第３の実施形態と同様の内容となる部分については説明を省略する。第４の実施形態は、第３の実施形態と同様にして得られた表示画像Ｄ１及び表示画像Ｄ２を比較するものであるが、表示画像の表示の態様が異なる。

[第４の実施形態における２画像の表示]
ユーザによって２画像表示の指示と所望の解像度が指示されると、ＣＰＵ１０１は、第３の実施形態と同様に、画像ピラミッド構造５０Ａの画像データＥ１に表示領域Ａ１を設定するとともに、画像ピラミッド構造５０Ｂの画像データＥ２に表示領域Ａ２を設定する。

図１４は、本実施形態において、表示部１０６に表示される２画像の生成プロセスを示すデータフローである。
図１４に示すように、ＣＰＵ１０１は、画像データＥ１において表示領域Ａ１に対応する部分を表示画像Ｄ１として切り出し（Ｓｔ４０１）、画像データＥ２において表示領域Ａ２に対応する部分を表示画像Ｄ２として切り出す（Ｓｔ４０２）。ＣＰＵ１０１は、次に表示画像Ｄ１と表示画像Ｄ２とを、ユーザから入力され、又は予め設定されたα値（透過率）に基づいてαブレンドする。（Ｓｔ４０３）。αブレンドにより、表示画像Ｄ１と表示画像Ｄ２とが重畳された重畳画像Ｄ３が生成される。また、ＣＰＵ１０１は、表示画像Ｄ２を単独画像Ｄ４とする。なお、本実施形態ではα値が表示制御情報に相当する。

ＣＰＵ１０１は、重畳画像Ｄ３と単独画像Ｄ４をＲＡＭ１０３に設定された表示用バッファに展開する。この結果、表示部１０６の表示画面に表示画像Ｄ１及び表示画像Ｄ２が表示される。図１５は重畳画像Ｄ３と単独画像Ｄ４を示す模式図である。なお、図１５においては、表示画像Ｄ１と表示画像Ｄ２の透過はハッチングによって表現されている。重畳画像Ｄ３及び単独画像Ｄ４は表示部１０６の表示画面において並列表示、例えば横並び表示される。上述のように、表示画像Ｄ１と表示画像Ｄ２とはαブレンドされているため、重畳画像Ｄ３では第１の観察対象１５Ａ及び第２の観察対象１５Ｂが所定の透過率で重畳されて表示される。一方、単独画像Ｄ４では、表示画像Ｄ２が透過されることなく表示される。

このようにして、表示部１０６に重畳画像Ｄ３及び単独画像Ｄ４が表示される。重畳画像Ｄ３において、表示画像Ｄ１と表示画像Ｄ２はαブレンドされているため、表示画像Ｄ１及び表示画像Ｄ２を透過画像とすることができ、第１の観察対象１５Ａの部位と第２の観察対象１５Ｂの部位が重畳していても両者を視認することが可能となる。また、α値を任意に変更することによって、注目している部位が表示画像Ｄ１と表示画像Ｄ２のいずれの部分に属するかの判別が容易となる。

このように重畳画像Ｄ３及び単独画像Ｄ４が表示されている状態で、第３の実施形態と同様にして重畳画像Ｄ３又は単独画像Ｄ４に対して変更の指示が入力され、表示画像Ｄ１及び表示画像Ｄ２の表示範囲が変更される。ユーザは、単独画像Ｄ４に表示されている第２の観察対象１５Ｂを参照しながら、重畳画像Ｄ３に重畳的に表示されている第１の観察対象１５Ａと第２の観察対象１５Ｂを比較できる。さらに、ユーザは、重畳されている第１の観察対象１５Ａと第２の観察対象１５Ｂの位置を調節することができるので、表示画像Ｄ１と表示画像Ｄ２の比較を容易に行うことが可能となる。なお、α値は、重畳画像Ｄ３又は単独画像Ｄ４に対して変更の指示を行いながら変更してもよい。

ユーザによって入力された、表示画像Ｄ１及び表示画像Ｄ２に適用されるパラメータ（α値）は、画像ピラミッド構造５０Ａ及び画像ピラミッド構造５０Ｂとは別に保存され、情報処理装置に接続されたネットワークあるいはリムーバル記憶媒体を介して、授受されてもよい。ＣＰＵ１０１は、この授受されたパラメータに基づいて、表示画像Ｄ１及び表示画像Ｄ２の透過率を変更することができる。このようにすれば、他のユーザは、別途パラメータの入力作業をすることを要しない。なお、ネットワーク及びリムーバル記憶媒体が第２の授受部に相当する。

＜第５の実施形態＞
本発明の第５の実施形態について説明する。第５の実施形態において、第３の実施形態と同様の内容となる部分については説明を省略する。第５の実施形態は、第３の実施形態と同様にして得られた表示画像Ｄ１及び表示画像Ｄ２を比較するものであるが、表示画像の表示の態様が異なる。

[第５の実施形態における２画像の表示]
ユーザによって２画像表示の指示と所望の解像度が指示されると、ＣＰＵ１０１は、第３の実施形態と同様に、画像ピラミッド構造５０Ａの画像データＥ１に表示領域Ａ１を設定するとももに、画像ピラミッド構造５０Ｂの画像データＥ２に表示領域Ａ２を設定する。

図１６は、本実施形態において、表示部１０６に表示される２画像の生成プロセスを示すデータフローである。
図１６に示すように、ＣＰＵ１０１は、画像データＥ１において表示領域Ａ１に対応する部分を表示画像Ｄ１として切り出し（Ｓｔ５０１）、画像データＥ２において表示領域Ａ２に対応する部分を表示画像Ｄ２として切り出す（Ｓｔ５０２）。続いて、ＣＰＵ１０１は、表示画像Ｄ１をモノクロ化（Ｓｔ５０３）し、モノクロ化された表示画像Ｄ１を単色の第１の色相（色合い）を規定するカラー値１を適用してカラー化（Ｓｔ５０４）する。これにより、第１の色相を有する表示画像Ｄ１が生成される。また、ＣＰＵ１０１は、表示画像Ｄ２をモノクロ化（Ｓｔ５０５）し、モノクロ化された表示画像Ｄ２を、カラー値１とは異なる第２の色相を規定するカラー値２を適用してカラー化（Ｓｔ５０６）する。これにより、第２の色相を有する表示画像Ｄ２が生成される。次に、ＣＰＵ１０１は、カラー化された表示画像Ｄ１及び表示画像Ｄ２を加算器により加算し（Ｓｔ５０７）、重畳画像Ｄ３を生成する。また、ＣＰＵ１０１は、表示画像Ｄ２を単独画像Ｄ４とする。なお、本実施形態ではカラー値が表示制御情報に相当する。

ＣＰＵ１０１は、重畳画像Ｄ３と単独画像Ｄ４をＲＡＭ１０３に設定された表示用バッファに展開する。この結果、表示部１０６の表示画面に重畳画像Ｄ３及び単独画像Ｄ４が表示される。図１７は重畳画像Ｄ３と単独画像Ｄ４を示す模式図である。なお、図１７においては、表示画像Ｄ１と表示画像Ｄ２の色相は明度の差（濃淡）によって表現されている。重畳画像Ｄ３及び単独画像Ｄ４は表示部１０６の表示画面において並列表示、例えば横並び表示される。上述のように、表示画像Ｄ１と表示画像Ｄ２とは互いに異なる単色の色相を有するため、重畳画像Ｄ３では第１の観察対象１５Ａ及び第２の観察対象１５Ｂがそれぞれ異なる色相を有する。一方、単独画像Ｄ４では、第２の観察対象１５Ｂが本来の色相で表示される。

このようにして、表示部１０６に重畳画像Ｄ３及び単独画像Ｄ４が表示される。重畳画像Ｄ３において、表示画像Ｄ１と表示画像Ｄ２は互いに異なる単色の色相を有するため、ユーザは、注目している部位が重畳画像Ｄ３において表示画像Ｄ１と表示画像Ｄ２のどちらに属するのかの判断を容易にすることができる。

このように重畳画像Ｄ３及び単独画像Ｄ４が表示されている状態で、第３の実施形態と同様にして重畳画像Ｄ３又は単独画像Ｄ４に対して変更の指示が入力され、表示画像Ｄ１及び表示画像Ｄ２の表示範囲が変更される。ユーザは、単独画像Ｄ４に表示されている第２の観察対象１５Ｂを参照しながら、重畳画像Ｄ３に重畳的に表示されている第１の観察対象１５Ａと第２の観察対象１５Ｂを比較できる。さらに、ユーザは、重畳されている第１の観察対象１５Ａと第２の観察対象１５Ｂの位置を調節することができるので、表示画像Ｄ１と表示画像Ｄ２の比較を容易に行うことが可能となる。

ユーザによって入力された、表示画像Ｄ１及び表示画像Ｄ２に適用されるパラメータ（カラー値）は、画像ピラミッド構造５０Ａ及び画像ピラミッド構造５０Ｂとは別に保存され、情報処理装置に接続されたネットワークあるいはリムーバル記憶媒体を介して、授受されてもよい。ＣＰＵ１０１は、この授受されたパラメータに基づいて、表示画像Ｄ１及び表示画像Ｄ２の色相を変更することができる。このようにすれば、他のユーザは、別途パラメータの入力作業をすることを要しない。なお、ネットワーク及びリムーバル記憶媒体が第２の授受部に相当する。

＜第６の実施形態＞
本発明の第６の実施形態について説明する。第６の実施形態において、第３の実施形態と同様の内容となる部分については説明を省略する。第６の実施形態は、第３の実施形態と同様にして得られた表示画像Ｄ１及び表示画像Ｄ２を比較するものであるが、表示画像の表示の態様が異なる。

[第６の実施形態における２画像の表示]
ユーザによって２画像表示の指示と所望の解像度が指示されると、ＣＰＵ１０１は、第１の実施形態と同様に、画像ピラミッド構造５０Ａの画像データＥ１に表示領域Ａ１を設定するとももに、画像ピラミッド構造５０Ｂの画像データＥ２に表示領域Ａ２を設定する。

ＣＰＵ１０１は表示画像Ｄ１と表示画像Ｄ２とを表示部１０６に表示する。次に、ＣＰＵ１０１は、ユーザの入力部１０７を介した入力に応じて、表示画像Ｄ１と表示画像Ｄ２のいずれか一方、又は両方に対してアフィン変換を行う。以下、アフィン変換について説明する。

図１８は表示画像Ｄ１及び表示画像Ｄ２についてアフィン変換の様子を示す模式図である。
アフィン変換には、表示画像Ｄ１及び表示画像Ｄ２に配置された複数の制御点が用いられる。図１８（Ａ）は、制御点が設定された表示画像Ｄ１及び表示画像Ｄ２を示す。図１８（Ａ）に示すように、ユーザは、表示画像Ｄ１に制御点Ｐ１を設定し、表示画像Ｄ２に制御点Ｐ２を設定する。制御点Ｐ１は表示画像Ｄ１の特徴的な点を含む、複数の点に任意に設定される。制御点Ｐ２も同様に、表示画像Ｄ２の特徴的な点を含む、複数の点に任意に設定される。制御点Ｐ１と制御点Ｐ２はそれぞれ対応する部位に設定される。図１８（Ａ）では、制御点Ｐ１及びＰ２が９点ずつ設定されている。また、図１８（Ａ）においては、第１の観察対象１５Ａの及び１５Ｂの例えば、端点、中間点、角部等が表示画像Ｄ１及び表示画像Ｄ２における特徴的な点として設定されている。なお、本実施形態では、制御点Ｐ１及び制御点Ｐ２の座標が表示制御情報に相当する。

ユーザは、入力部１０７によって、制御点の設定が完了した旨を入力する。ＣＰＵ１０１は、表示画像Ｄ１において複数の制御点Ｐ１からＴＩＮ（Triangulated Irregular Network）を生成し、また、表示画像Ｄ２において複数の制御点Ｐ２からＴＩＮを生成する。図１８（Ｂ）には、生成されたＴＩＮが破線で示されている。ＴＩＮは複数の制御点をそれぞれ頂点とする三角形である。この三角形は、できるだけ正三角形に近いものが好適である。ＴＩＮの生成方法には多種の原理があるが、例えば、生成される三角形群の最小の角が他の分割の仕方による最小角よりも大きくなるようにする、最小角最大原理を利用することができる。

次に、ＣＰＵ１０１は、表示画像Ｄ１において、生成された三角形毎に、表示画像Ｄ２の対応する三角形と形状が一致するように、アフィン変換を行う。図１８（Ｃ）は、アフィン変換が実行された表示画像Ｄ１が示されている。アフィン変換は、移動、回転、左右反転、拡大、縮小、シアー等のいずれか又はいくつかの組み合わせであり、テクスチャマッピング技術を用いて行うことができる。ＴＩＮの三角形毎にアフィン変換を実施することにより、画像の歪みを抑制しつつ、第１の観察対象１５Ａと第２の観察対象１５Ｂの対応する部位を重畳させることが可能である。なお、ここでは表示画像Ｄ１を変形するものとしたが、表示画像Ｄ１の替わりに表示画像Ｄ２を変形するものとしてもよい。また、表示画像Ｄ１及び表示画像Ｄ２の両者を変形するものとしてもよい。ＣＰＵ１０１は、変形された表示画像Ｄ１と変形されていない表示画像Ｄ２を重畳して重畳画像Ｄ３を生成する。また、ＣＰＵ１０１は、変形されていない表示画像Ｄ２を単独画像Ｄ４とする。

ＣＰＵ１０１は、重畳画像Ｄ３と単独画像Ｄ４をＲＡＭ１０３に設定された表示用バッファに展開する。この結果、表示部１０６の表示画面に重畳画像Ｄ３及び単独画像Ｄ４が表示される。重畳画像Ｄ３において、表示画像Ｄ１は、第１の観察対象１５Ａが第２の観察対象１５Ｂに近似するように変形されているため、第１の観察対象１５Ａと第２の観察対象１５Ｂの対応する部位が重畳して表示され、ユーザは、第１の観察対象１５Ａと第２の観察対象１５Ｂの対応する部位を容易に比較することが可能である。

このように重畳画像Ｄ３及び単独画像Ｄ４が表示されている状態で、第３の実施形態と同様にして重畳画像Ｄ３又は単独画像Ｄ４に対して変更の指示が入力され、表示画像Ｄ１及び表示画像Ｄ２の表示範囲が変更される。ユーザは、単独画像Ｄ４に表示されている第２の観察対象１５Ｂを参照しながら、重畳画像Ｄ３に重畳的に表示されている第１の観察対象１５Ａと第２の観察対象１５Ｂを比較できる。さらに、ユーザは、重畳されている第１の観察対象１５Ａと第２の観察対象１５Ｂの位置を調節することができるので、表示画像Ｄ１と表示画像Ｄ２の比較を容易に行うことが可能となる。

ユーザによって入力された、表示画像Ｄ１又は表示画像Ｄ２を変形させるためのパラメータ（制御点の座標等）は、画像ピラミッド構造５０Ａ及び画像ピラミッド構造５０Ｂとは別に保存され、情報処理装置に接続されたネットワークあるいはリムーバル記憶媒体を介して、授受されてもよい。ＣＰＵ１０１は、この授受されたパラメータに基づいて、表示画像Ｄ１及び表示画像Ｄ２を変形させることができる。このようにすれば、他のユーザは、別途パラメータの入力作業をすることを要しない。なお、ネットワーク及びリムーバル記憶媒体が第２の授受部に相当する。

＜第７の実施形態＞
本発明の第７の実施形態について説明する。第７の実施形態において、第１及び第３の実施形態と同様の内容となる部分については説明を省略する。第７の実施形態は、第１の実施形態と同様にして得られた表示画像Ｄ１及び表示画像Ｄ２を比較するものであるが、表示画像の表示の態様が異なる。

[第７の実施形態における２画像の表示]
ユーザによって２画像表示の指示と所望の解像度が指示されると、ＣＰＵ１０１は、第１の実施形態と同様に、画像ピラミッド構造５０Ａの画像データＥ１に表示領域Ａ１を設定するとももに、画像ピラミッド構造５０Ｂの画像データＥ２に表示領域Ａ２を設定する。

ＣＰＵ１０１は、表示画像Ｄ１と表示画像Ｄ２をＲＡＭ１０３に設定された表示用バッファに展開する。この結果、表示部１０６の表示画面に重畳画像Ｄ３及び単独画像Ｄ４が表示される。ここで、ユーザが、表示部１０６に表示された表示画像Ｄ１及び表示画像Ｄ２にアノテーションを設定する場合ある。アノテーションとは、ユーザによって画像の注目すべき箇所、例えば、疾患があるおそれのある部位に設定された位置情報と、この位置情報に関連付けられた内容情報とが視覚的に合成された注釈である。

図１９は、アノテーションが設定された表示画像Ｄ１及び表示画像Ｄ２を示す模式図である。図１９（Ａ）に示すように、ユーザによって、表示画像Ｄ１にアノテーションＮ１が、表示画像Ｄ２にアノテーションＮ２が設定されている。ここで、ＣＰＵ１０１は、図１９（Ｂ）に示すように、アノテーションＮ１を表示画像Ｄ２にも表示し、アノテーションＮ２を表示画像Ｄ１にも表示する。このようにすることで、ユーザは、表示画像Ｄ１においてアノテーションＮ１が設定された第１の観察対象１５Ａの部位と、表示画像Ｄ２においてアノテーションが設定されなかった第２の観察対象１５Ｂの対応する部位とを容易に比較することが可能となる。同様に、表示画像Ｄ２においてアノテーションＮ２が設定された第２の観察対象１５Ｂの部位と、表示画像Ｄ１においてアノテーションが設定されなかった第１の観察対象１５Ａの部位とを容易に比較することが可能となる。

第１の実施形態又は第２の実施形態と同様にして、アノテーションＮ１及びアノテーションＮ２が設定された表示画像Ｄ１又はアノテーションＮ１及びアノテーションＮ２が設定された表示画像Ｄ２に対して変更の指示が入力され、表示画像Ｄ１及び表示画像Ｄ２の表示範囲が変更される。ユーザは、表示画像Ｄ１及び表示画像Ｄ２に設定されたアノテーションＮ１及びアノテーションＮ２を参照しながら、第１の観察対象１５Ａと第２の観察対象１５Ｂの対応する部位を容易に判断することが可能である。

また、ＣＰＵ１０１は、図１９（Ｃ）に示すように、アノテーションＮ１が設定された表示画像Ｄ１とアノテーションＮ２が設定された表示画像Ｄ２とを重畳させ重畳画像Ｄ３を生成してもよい。重畳画像Ｄ３には、表示画像Ｄ１に付されていたアノテーションＮ１と表示画像Ｄ２に付されていたアノテーションＮ２が表示される。この場合、ＣＰＵ１０１はアノテーションＮ２が設定された表示画像Ｄ２を単独画像Ｄ４とする。

第３の実施形態と同様にして、アノテーションＮ１及びアノテーションＮ２が設定された重畳画像Ｄ３又はアノテーションＮ２が設定された単独画像Ｄ４に対して変更の指示が入力され、表示画像Ｄ１及び表示画像Ｄ２の表示範囲が変更される。ユーザは、重畳画像Ｄ３に設定されたアノテーションＮ１及びアノテーションＮ２を参照しながら、第１の観察対象１５Ａと第２の観察対象１５Ｂの対応する部位を容易に判断することが可能である。

本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。

上記では、画像ピラミッド構造５０を形成する画像データが情報処理装置の記憶部１０８に記憶されている形態について説明した。しかし、情報処理装置とは別のコンピュータやサーバが、画像ピラミッド構造５０を形成する画像データを記憶し、ユーザが端末装置として使用する情報処理装置が、それら別のコンピュータやサーバにアクセスしてその画像データを受信してもよい。この場合、端末装置としての情報処理装置とサーバ等とがＬＡＮ又はＷＡＮ等のネットワークを介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。

上述の各実施形態では、効率的に表示範囲を変更させるための方法として、画像ピラミッド構造を用いた。しかし、表示範囲の変更に画像ピラミッド構造を用いず、元画像データのみを用いてもよい。また、タイルを用いず、例えば１枚の画像データのみを用いてもよい。

上述の各実施形態では、画像処理部はＣＰＵであるものとしたが、これに限られない。画像処理部は、例えば、３次元グラフィックス処理モジュールであってもよい。

１００…ＰＣ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０６…表示部
１０７…入力部
１２１、２０１、３０１…第１の操作解釈オブジェクト
１２２、２０２、３０２…第２の操作解釈オブジェクト
１２３、２０３、３０３…画角同期モジュール
２０４、３０４…位置補正モジュール
１２４、２０５、３０５…第１の画像表示モジュール
１２５、２０６、３０６…第２の画像表示モジュール
Ｄ１、Ｄ２…表示画像
Ｄ３…重畳画像
Ｄ４…単独画像
Ｐ１、Ｐ２…制御点
Ｎ１、Ｎ２…アノテーション

Claims (12)

1. 互いに空間的類似性を有する第１の観察対象及び第２の観察対象のそれぞれが顕微鏡によって撮像された各画像から生成された第１の画像及び第２の画像について、前記第１の画像に重畳的に前記第２の画像が合成された重畳画像と、前記第２の画像である単独画像とを画面に並列的に表示する表示部と、
   前記重畳画像又は前記単独画像に対するユーザからの空間的な変更の指示を受け付ける入力部と、
   前記重畳画像に対する前記指示に基づいて前記重畳画像を構成する前記第１の画像及び前記第２の画像並びに前記単独画像を構成する前記第２の画像に対して変更処理を行い、前記単独画像に対する前記指示に基づいて前記重畳画像を構成する前記第２の画像及び前記単独画像を構成する前記第２の画像に対する変更処理を行う画像処理部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記表示部は、視覚的に識別可能なように合成された前記第１の画像及び前記第２の画像を前記重畳画像として前記画面に表示する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記表示部は、アルファブレンドにより合成された前記第１の画像及び前記第２の画像を前記重畳画像として前記画面に表示する
   情報処理装置。
4. 請求項２に記載の情報処理装置であって、
   前記表示部は、第１の色相に変換された前記第１の画像と前記第１の色相と異なる第２の色相に変換された前記第２の画像とが合成された画像を前記重畳画像として前記画面に表示する
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記表示部は、前記第１の画像に設定された複数の第１の制御点の前記第１の画像における位置と、前記第２の画像に設定された複数の第２の制御点の前記第２の画像における位置がそれぞれ一致するように前記第１の画像及び前記第２の画像の少なくとも一方をアフィン変換により変換する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記表示部は、前記第１の画像に設定された第１のアノテーションと前記第２の画像に設定された第２のアノテーションとを前記重畳画像に表示する
   情報処理装置。
7. 請求項１に記載の情報処理装置であって、
   前記第１の画像及び前記第２の画像は、観察対象物を異なる焦点距離でそれぞれ撮像して得られた画像である
   情報処理装置。
8. 請求項１に記載の情報処理装置であって、
   前記第１の画像及び前記第２の画像は、観察対象物をスライスして得られた複数の観察対象片の画像である
   情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記変更の指示の内容を授受する第１の授受部をさらに具備し、
   前記画像処理部は、前記第１の授受部を通じて取得した前記変更の指示の内容に基づいて、前記第１の画像及び前記第２の画像に対する変更処理を行う
   情報処理装置。
   画像処理部。
10. 請求項２に記載の情報処理装置であって、
    前記第１の画像及び前記第２の画像を互いに視覚的に識別可能なように制御する表示制御情報を授受する第２の授受部をさらに具備し、
    前記画像処理部は、前記第２の授受部を通じて取得した前記表示制御情報に基づいて、前記第１の画像及び第２の画像の表示を制御する
    情報処理装置。
11. 表示部が、互いに空間的類似性を有する第１の観察対象及び第２の観察対象のそれぞれが顕微鏡によって撮像された各画像から生成された第１の画像及び第２の画像について、前記第１の画像に重畳的に前記第２の画像が合成された重畳画像と、前記第２の画像である単独画像とを画面に並列的に表示し、
    入力部が、前記重畳画像又は前記単独画像に対するユーザからの空間的な変更の指示を受け付け、
    画像処理部が、前記重畳画像に対する前記指示に基づいて前記重畳画像を構成する前記第１の画像及び前記第２の画像並びに前記単独画像を構成する前記第２の画像に対して変更処理を行い、前記単独画像に対する前記指示に基づいて前記重畳画像を構成する前記第２の画像及び前記単独画像を構成する前記第２の画像に対する変更処理を行う
    情報処理方法。
12. 互いに空間的類似性を有する第１の観察対象及び第２の観察対象のそれぞれが顕微鏡によって撮像された各画像から生成された第１の画像及び第２の画像について、前記第１の画像に重畳的に前記第２の画像が合成された重畳画像と、前記第２の画像である単独画像とを画面に並列的に表示する表示部と、
    前記重畳画像又は前記単独画像に対するユーザからの空間的な変更の指示を受け付ける入力部と、
    前記重畳画像に対する前記指示に基づいて前記重畳画像を構成する前記第１の画像及び前記第２の画像並びに前記単独画像を構成する前記第２の画像に対して変更処理を行い、前記単独画像に対する前記指示に基づいて前記重畳画像を構成する前記第２の画像及び前記単独画像を構成する前記第２の画像に対する変更処理を行う画像処理部と
    としてコンピュータを機能させるプログラム。