JP5614032B2 - 情報処理装置、情報処理方法及びそのプログラム - Google Patents

情報処理装置、情報処理方法及びそのプログラム Download PDF

Info

Publication number
JP5614032B2
JP5614032B2 JP2009272959A JP2009272959A JP5614032B2 JP 5614032 B2 JP5614032 B2 JP 5614032B2 JP 2009272959 A JP2009272959 A JP 2009272959A JP 2009272959 A JP2009272959 A JP 2009272959A JP 5614032 B2 JP5614032 B2 JP 5614032B2
Authority
JP
Japan
Prior art keywords
image
display
information processing
processing apparatus
d2
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009272959A
Other languages
English (en)
Other versions
JP2011118005A (ja
JP2011118005A5 (ja
Inventor
脇田 能宏
能宏 脇田
重篤 吉岡
重篤 吉岡
田上 直樹
直樹 田上
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2009272959A priority Critical patent/JP5614032B2/ja
Publication of JP2011118005A publication Critical patent/JP2011118005A/ja
Publication of JP2011118005A5 publication Critical patent/JP2011118005A5/ja
Application granted granted Critical
Publication of JP5614032B2 publication Critical patent/JP5614032B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Description

本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示を制御する情報処理装置、情報処理方法及びそのプログラムに関する。

医療又は病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。

例えば、特許文献1に記載の方法では、顕微鏡により光学的に得られた画像が、CCD(Charge Coupled Device)を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う(例えば、特許文献1の段落[0027]、[0028]、図5参照)。

特開2009−37250号公報

このようなシステムでは、マウス等の入力手段を用いたユーザの操作の指示に応じて、モニタに表示された画像を変更することが可能に構成されている。変更とは、例えば、画像の表示範囲の移動、回転、ズームイン、ズームアウト等であり、ユーザは、これらの操作により、あたかも実際に顕微鏡を操作しているかのように画像を操作することが可能である。このようなシステムの中には、1つの画面上に2つの画像が並列的に表示され、ユーザによる2画像の比較を可能とするものがある。システムは、いずれかの画像に対するユーザの操作の指示に応じて、指示が入力された画像を変更する。ここで、ユーザが2画像に同一の変更をさせたい場合、ユーザはそれぞれの画像に対して同一の操作の指示を行う必要があり、煩雑な操作が必要となる。

以上のような事情に鑑み、本発明の目的は、2つの画像のユーザによる比較を効率的に行うことができる情報処理装置、情報処理方法及びそのプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、表示部と、入力部と、画像処理部とを具備する。
上記表示部は、互いに空間的類似性を有する第1の観察対象及び第2の観察対象のそれぞれから顕微鏡によって撮像された各画像を第1の画像及び第2の画像としてそれぞれ並列的に表示する。
上記入力部は、上記第1の画像に対するユーザからの空間的な変更の指示を受け付ける。
上記画像処理部は、上記入力部にて受け付けられた上記指示に基づいて上記第1の画像及び上記第2の画像に対する変更処理を行う。
本発明では、一方の画像である第1の画像に対する空間的な変更の指示をユーザが入力するだけで、2つの画像に対する同様の変更を一意に行うことができる。これにより、2つの画像を変更しつつ両画像の比較を行うために必要なユーザの操作の負担を軽減できる。

上記入力部は、上記第2の画像に対するユーザからの空間的な変更の指示をさらに受け付け、上記画像処理部は、上記指示に基づいて上記第2の画像に対して変更処理を行うものであってもよい。
第1の画像及び第2の画像がユーザからの一つの指示により変更処理された結果、第1の画像における第1の観察対象の部位と第2の画像における第2の観察対象の対応する部位のずれが強調される場合がある。そこで、画像処理部は、第2の画像に対するユーザからの空間的な変更の指示に基づいて上記第2の画像のみに対して変更処理を行うことで、両画像の位置ずれを低減することができる。

上記表示部は、上記第1の画像に重畳的に上記第2の画像が合成された重畳画像と、上記第2の画像である単独画像とを画面に並列的に表示し、上記画像処理部は、上記重畳画像に対する空間的な変更の指示に基づいて上記重畳画像における上記第1の画像及び上記第2の画像に対して変更処理を行うものであってもよい。
この構成によれば、表示部にて、第1の画像に第2の画像が重畳的に合成された重畳画像と、第2の画像である単独画像とが並列的に表示されるので、ユーザによる第1の画像と第2の画像との比較が容易になる。さらに、画像処理部は、上記重畳画像に対する空間的な変更の指示に基づいて上記重畳画像における上記第1の画像及び上記第2の画像に対して変更処理を行うことができるとともに、単独画像である第2の画像に対しても変更処理を行うことができる。また、画像処理部は、単独画像である第2の画像に対する空間的な変更の指示に基づいて単独画像である第2の画像に対する変更とともに、重畳画像における第2の画像に対する変更を行うことによって、重畳画像における第1の画像と第2の画像との位置を揃えるようなことが可能になる。

上記表示部は、視覚的に識別可能なように合成された上記第1の画像及び上記第2の画像を上記重畳画像として上記画面に表示してもよい。
この構成によれば、ユーザは重畳画像において、第1の画像と第2の画像を識別することが可能となる。

上記表示部は、アルファブレンドにより合成された上記第1の画像及び上記第2の画像を上記重畳画像として上記画面に表示してもよい。
この構成によれば、ユーザは、重畳画像において、第1の画像及び第2の画像を透過画像とすることができ、第1の観察対象の部位と第2の観察対象の部位が重畳していても両者を視認することが可能となる。また、ユーザは、任意にアルファ値を変更することによって、注目する部位が第1の画像と第2の画像のいずれに属するかの判別を容易にすることができる。

上記表示部は、第1の色相に変換された上記第1の画像と上記第1の色相と異なる第2の色相に変換された上記第2の画像とが合成された画像を上記重畳画像として上記画面に表示してもよい。
この構成によれば、ユーザは、注目する部分の色相から、その部位が重畳画像において第1の画像と第2の画像のいずれに属するかを容易に判別することが可能となる。

上記表示部は、上記第1の画像に設定された複数の第1の制御点の上記第1の画像における位置と、上記第2の画像に設定された複数の第2の制御点の上記第2の画像における位置がそれぞれ一致するように上記第1の画像及び上記第2の画像の少なくとも一方をアフィン変換により変換してもよい。
この構成によれば、第1の画像と第2の画像とが重畳画像として表示された際、第1の観察対象の部位と第2の観察対象の対応する部位を高精度に重畳させることができる。これにより、ユーザは第1の画像と第2の画像の比較を容易にすることが可能となる。

上記表示部は、上記第1の画像に設定された第1のアノテーションと上記第2の画像に設定された第2のアノテーションとを上記重畳画像に表示してもよい。
ユーザが重畳画像において、第1の画像に設定した第1のアノテーションと第2の画像に設定した第2のアノテーションを参照することが可能となる。

上記第1の画像及び上記第2の画像は、観察対象物を異なる焦点距離でそれぞれ撮像して得られた画像であってもよい。
この構成によれば、互いに空間的類似性の高い第1の観察対象と第2の観察対象とを得ることが可能である。

上記第1の画像及び上記第2の画像は、観察対象物をスライスして得られた複数の観察対象片の画像であってもよい。
この構成によれば、互いに空間的類似性の高い第1の観察対象と第2の観察対象とを得ることが可能である。

上記情報処理装置は、上記変更の指示の内容を授受する第1の授受部をさらに具備し、上記画像処理部は、上記第1の授受部を通じて取得した上記変更の指示の内容に基づいて、上記第1の画像及び上記第2の画像に対する変更処理を行ってもよい
この構成によれば、あるユーザが第1の画像及び第2の画像に対する変更の指示を入力すれば、別のユーザが当該変更の指示を用いて、画像処理部に第1の画像及び第2の画像に対する変更処理をさせることが可能となる。

上記情報処理装置は、上記第1の画像及び上記第2の画像を互いに視覚的に識別可能なように制御する表示制御情報を授受する第2の授受部をさらに具備し、上記画像処理部は、上記第2の授受部を通じて取得した上記表示制御情報に基づいて、上記第1の画像及び上記第2の画像の表示を制御する。
この構成によれば、あるユーザが第1の画像及び第2の画像に対する表示制御情報を入力すれば、別のユーザが当該表示制御情報を用いて、画像処理部に第1の画像及び第2の画像の表示を制御させることが可能となる。

上記目的を達成するため、本発明の一形態に係る情報処理方法は、表示部が、互いに空間的類似性を有する第1の観察対象及び第2の観察対象のそれぞれから顕微鏡によって撮像された各画像を第1の画像及び第2の画像としてそれぞれ並列的に表示する。
入力部が、上記第1の画像に対するユーザからの空間的な変更の指示を受け付ける。
画像処理部が、上記入力部にて受け付けられた上記指示に基づいて上記第1の画像及び上記第2の画像に対する変更処理を行う。

上記目的を達成するため、本発明の一形態に係るプログラムは、表示部と、入力部と、画像処理部としてコンピュータを機能させる。
上記表示部は、互いに空間的類似性を有する第1の観察対象及び第2の観察対象のそれぞれから顕微鏡によって撮像された各画像を第1の画像及び第2の画像としてそれぞれ並列的に表示する。
上記入力部は、上記第1の画像に対するユーザからの空間的な変更の指示を受け付ける。
上記画像処理部は、上記入力部にて受け付けられた上記指示に基づいて上記第1の画像及び上記第2の画像に対する変更処理を行う。

以上、本発明によれば、2つの画像のユーザによる比較を効率的に行うことができる情報処理装置、情報処理方法及びそのプログラムを提供することが可能である。

本発明の第1の実施形態に係る情報処理装置を含むコンピュータシステムの構成を示すブロック図である。 画像ピラミッド構造の画像群を生成するときの手順を説明するための模式図である。 画像ピラミッド構造を示す概念図である。 2つの画像ピラミッド構造を示す概念図である。 第1の実施形態における表示部を示す模式図である。 第1の実施形態に係る処理部の機能的な構成(プログラム構成)を示すブロック図である。 第1の実施形態における2つの表示画像の表示範囲の変更の様子を示す模式図である。 第2の実施形態に係る処理部の機能的な構成(プログラム構成)を示すブロック図である。 第2の実施形態における2つの表示画像の表示範囲の変更の様子を示す模式図である。 第3の実施形態における重畳画像及び単独画像の生成プロセスを示すデータフローである。 第3の実施形態における重畳画像及び単独画像を示す模式図である。 第3の実施形態に係る処理部の機能的な構成(プログラム構成)を示すブロック図である。 第3の実施形態における重畳画像及び単独画像を構成する表示画像の表示範囲の変更の様子を示す模式図である。 第4の実施形態における重畳画像及び単独画像の生成プロセスを示すデータフローである。 第4の実施形態における重畳画像及び単独画像を示す模式図である。 の実施形態における重畳画像及び単独画像の生成プロセスを示すデータフローである。 第5の実施形態における重畳画像と単独画像を示す模式図である。 第6の実施形態における2つの表示画像についてアフィン変換の様子を示す模式図である。 第7の実施形態におけるアノテーションが設定された2つの表示画像を示す模式図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

<第1の実施形態>
[情報処理装置の構成]
図1は、本発明の一実施形態に係る情報処理装置を含むコンピュータシステムの構成を示すブロック図である。情報処理装置として、例えばPC(Personal Computer)100が用いられる。

PC100は、CPU(Central Processing Unit)101、ROM102(Read Only Memory)、RAM(Random Access Memory)103、入出力インターフェース105、及び、これらを互いに接続するバス104を備える。

入出力インターフェース105には、表示部106、入力部107、記憶部108、通信部109、ドライブ部110等が接続される。

表示部106は、例えば液晶、EL(Electro-Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。

入力部107は、例えばポインディングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部107がタッチパネルを含む場合、そのタッチパネルは表示部106と一体となり得る。

記憶部108は、不揮発性メモリであり、例えばHDD(Hard Disk Drive)、フラッシュメモリ、その他の固体メモリである。

ドライブ部110は、例えば光学記録媒体、フロッピー(登録商標)ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体111を駆動することが可能なデバイスである。これに対し上記記憶部108は、主にリムーバブルでない記録媒体を駆動する、PC100に予め搭載されたデバイスとして使用される場合が多い。

通信部109は、LAN(Local Area Network)、WAN(Wide Area Network)等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部109は、有線及び無線のどちらを利用して通信するものであってもよい。通信部109は、PC100とは別体で使用される場合が多い。

[画像ピラミッド構造]
本実施形態の情報処理装置(PC100)は、撮像装置により撮像された観察対象の画像を元に画像ピラミッド構造を生成する。以下、この画像ピラミッド構造について説明する。

図2は、この画像ピラミッド構造の画像群を生成するときの手順を説明するための図であり、図3は、生成される画像ピラミッド構造50を示す概念図である。

まず、図示しないスキャナ装置により観察対象15が撮像され、デジタル画像データが生成される。病理の分野一般においては、生体の臓器、組織、細胞、又はこれらの一部から、薄く切り取られたものが観察対象15となる。光学顕微鏡の機能を有するスキャナ装置により、ガラススライドに収められた観察対象15が撮像され、これにより得られたデジタル画像データがスキャナ装置又はその他の記憶装置に記憶される。このデジタル画像データは画像ピラミッド構造において最も高倍率の元画像データ51となるため、十分に高い倍率で撮像される。

このスキャナ装置又は図示しない汎用コンピュータは、図2に示すように、上記のように得られた元画像データ51から、段階的に解像度を小さくした複数の画像データを生成する。元画像データ51から縮小された画像データを画像データ52、画像データ52からさらに縮小された画像データを画像データ53、画像データ53からさらに縮小された画像データを画像データ54として図2に示す。なお、実際にはより多段階で解像度を縮小し、より多数の画像データを生成する。撮像装置又は汎用コンピュータは、これらの複数の画像データを例えば所定サイズの単位である「タイル」単位で記憶する。1タイルのサイズは、例えば256×256(pixel)である。

このように生成された複数の画像データにより、図3に示す画像ピラミッド構造50が構成され、例えば、情報処理装置の記憶部108などに記憶される。実際には、これらの複数の画像データと、解像度の情報とをそれぞれ対応付けて記憶されればよい。なお、画像ピラミッド構造50の生成及びその記憶は、本実施形態の情報処理装置にて行われてもよい。以下、一つの元画像データから生成される画像ピラミッド構造50と称する。

情報処理装置は、ユーザからの指示に従って画像ピラミッド構造50から目的の位置と解像度の画像を取得し、表示部106に表示する。以下、この画像の表示の原理について説明する。

まず、情報処理装置内のCPU101は、入力部107を通じてユーザより解像度の指定を受ける。CPU101は、この指示に従って、記憶部108に記憶されている画像ピラミッド構造50から、指定された解像度の画像データEを取得し、この画像データEに対して所定の表示領域Aを設定する。そしてこの画像データEにおいて表示領域Aに対応する部分を「表示画像」とする。

図3では、上記画像データ52が画像データEであるものとして示されている。表示領域Aは、CPU101によって扱われる、表示画像を規定する仮想的な領域であり、画像データE上の部分的な領域として設定される。表示領域Aに対応する画像データEの一部が表示画像として表示部106に表示される。表示領域Aのサイズは画素数(pixel)によって定められており、設定される画像の解像度が変更されても表示領域Aのサイズは変更されない。

ユーザが表示画像の表示範囲を変更したい場合、ユーザは入力部107を介して情報処理装置に表示範囲の変更の指示を入力する。表示範囲とは、元画像データにおいて、物理的な画面に表示される範囲である。ここで、ユーザにより指示された変更の内容が、表示画像の表示範囲の移動、拡大(ズームアウト)、縮小(ズームイン)、回転であるそれぞれの場合について説明する。

ユーザが表示画像の表示範囲を移動させたい場合、ユーザは、入力部107により所望の移動距離及び移動方向を情報処理装置に入力する。CPU101は表示領域Aを指示された移動距離及び移動方向で画像データE上において移動させ、移動後の表示領域Aに対応する画像データEの一部を新たな表示画像として表示部106に表示させる。

ユーザが表示画像の表示範囲を回転させたい場合、ユーザは、入力部107により所望の回転中心座標及び回転角度を情報処理装置に入力する。CPU101は、表示領域Aを画像データE上において指示された回転中心座標を中心に、指示された回転角度で回転させ、回転後の表示領域Aに対応する画像データEの一部を新たな表示画像として表示部106に表示させる。

ユーザが表示画像の表示範囲を縮小、即ち表示画像をズームインしたい場合、ユーザは、入力部107により表示画像の拡大中心座標及び拡大倍率を情報処理装置に入力する。CPU101は、画像ピラミッド構造50において、指示された拡大倍率に対応するより高い解像度の画像データ(例えば画像データ51)上に表示領域Aを移す。この際、画像データEにおいて指示された拡大中心座標に対応する高解像度画像データ上の位置が、この高解像度画像データ上の拡大中心座標として設定され、この拡大中心座標を中心に表示領域Aの位置が設定される。また、この際、表示領域Aのサイズは固定されたまま画像データの解像度のみが大きくなるので表示画像はズームインされる。なお、図2及び図3に、表示画像をズームインした場合の表示領域を表示領域A’として示す。

ユーザが表示画像の表示範囲を拡大、即ち表示画像をズームアウトしたい場合、ユーザは、入力部107により表示画像の縮小中心座標及び縮小倍率を情報処理装置に入力する。CPU101は、画像ピラミッド構造50において、指示された縮小倍率に対応するより低い解像度の画像データ(例えば画像データ53)上に表示領域Aを移す。この際、画像データEにおいて指示された縮小中心座標に対応する低解像度画像データ上の位置が、この低解像度画像データ上の縮小中心座標として設定され、この縮小中心座標を中心に表示領域Aの位置が設定される。また、この際、表示領域Aのサイズは固定されたまま画像データの解像度のみが小さくなるので表示画像はズームアウトされる。なお、図2及び図3に、表示画像をズームアウトした場合の表示領域を表示領域A"として示す。

以上のように、情報処理装置によって、表示部106に観察対象15の画像が表示され、この表示された観察対象15に対するユーザからの移動、回転、拡大、縮小等の変更の指示に応じて、その変更処理が実行される。以下、このような変更を「表示領域Aに対する画角変更」と総称とする。

[第1の実施形態に係る情報処理装置の動作]
以下、本実施形態に係る情報処理装置の動作を説明する。本実施形態に係る情報処理装置は、2つの画像についてユーザによる比較を可能とする。2つの画像は、空間的類似性の高い2つの観察対象15をそれぞれ撮像して得られた2つの画像ピラミッド構造50からそれぞれ抽出された画像である。2つの観察対象は例えば、病理組織をスライスして得られた複数の切片のうち隣接した2つの切片が異なる染色方法により染色されたものである。図4は、ユーザによる比較の対象である2つの画像ピラミッド構造を示す概念図である。ここで、一方の画像ピラミッド構造を「画像ピラミッド構造50A」、他方の画像ピラミッド構造を「画像ピラミッド構造50B」とする。なお、画像ピラミッド構造50A及び画像ピラミッド構造50Bは、一つの観察対象物を焦点距離を変えて撮像することによって得られた、いわゆるZ-stack画像からそれぞれ生成されたものであってもよい。

[第1の実施形態における2画像の表示]
ユーザによって2画像表示の指示と所望の解像度が指示されると、CPU101は画像ピラミッド構造50Aの画像データE1に対して表示領域A1を設定するとももに、画像ピラミッド構造50Bの画像データE2に対して表示領域A2を設定する。2つの表示領域A1及び表示領域A2のサイズ及び画像データE1及び画像データE2上の位置は互いに同一とされる。CPU101は、表示領域A1に対応する画像データE1の部分を表示画像D1(第1の画像)とし、表示領域A2に対応する画像データE2の部分を表示画像D2(第2の画像)とする。

図5は表示部106を示す模式図である。CPU101は、表示画像D1と表示画像D2をRAM103に設定された表示用バッファに展開する。この結果、表示部106の表示画面に表示画像D1及び表示画像D2が表示される。表示画像D1及び表示画像D2は表示部106の表示画面において並列表示、例えば横並び表示される。以下、表示画像D1に表示されている観察対象15、即ち画像ピラミッド構造50Aの観察対象を第1の観察対象15Aとし、表示画像D2に表示されている観察対象15、即ち画像ピラミッド構造50Bの観察対象を第2の観察対象15Bとする。

このようにして、表示部106に表示画像D1及び表示画像D2が表示され、ユーザによる比較を行うことが可能となる。

[第1の実施形態におけるユーザによる表示範囲の変更の指示]
ここで、表示範囲の変更について説明する。入力部107としてマウスを用いた場合を想定する。ユーザが表示画像D1及び表示画像D2の表示範囲を変更したい場合、ユーザはマウス(入力部107)を介して情報処理装置に表示範囲の変更の指示を入力する。CPU101は、例えばマウスが、マウスカーソルを表示画像D1上に配置された状態でドラッグされると表示画像D1の表示範囲に対する変更の指示の入力を受け付ける。同様に、表示画像D2上に配置された状態でドラッグされると表示画像D2の表示範囲に対する変更の指示の入力を受け付ける。

本実施形態では、表示画像D1の表示範囲の変更と表示画像D2の表示範囲の変更とを互いに連動させる。即ち、一方の表示画像の表示範囲の変更の指示に伴って同一の変更が他方の表示画像の表示範囲に対して自動的に実行される。これにより、ユーザは、表示画像D1と表示画像D2の表示範囲を個別に変更する操作を行う必要がなく、表示画像D1と表示画像D2の比較を効率的に実施することができる。

[第1の実施形態に係る情報処理装置の機能的な構成]
図6は、本実施形態の情報処理装置における、表示画像D1及び表示画像D2に対する変更処理を行う処理部(画像処理部)の機能的な構成を示すブロック図である。同図に示すように、この処理部(画像処理部)は、第1の操作解釈オブジェクト121、第2の操作解釈オブジェクト122、画角同期モジュール123、第1の画像表示モジュール124及び第2の画像表示モジュール125を有する。これらは、ROM102あるいは記憶部108等に記憶されており、CPU101に読み出されることによって動作する。

第1の操作解釈オブジェクト121は、並列表示された2つの画像のうち一方の表示画像D1に対しユーザによって入力部107を介して入力された変更の指示を基に「画角変更要求」を生成し、画角同期モジュール123に供給する。なお、画角変更要求とは、変更の指示によって入力された情報、例えば、移動方向、移動距離等の情報を含むコマンドである。

第2の操作解釈オブジェクト122は、並列表示された2つの画像のうち他方の表示画像D2に対しユーザによって入力部107を介して入力された変更の指示を基に画角変更要求を生成し、画角同期モジュール123に供給する。

画角同期モジュール123は、第1の操作解釈オブジェクト121及び第2の操作解釈オブジェクト122のいずれか一方から供給された画角変更要求を第1の画像表示モジュール124及び第2の画像表示モジュール125に同期的に供給する。なお、オブジェクト及びモジュールとはプログラムにおいて特定の機能を担う部分である。

第1の画像表示モジュール124は、画角同期モジュール123から供給された画角変更要求を基に、画像ピラミッド構造50Aにおける表示領域A1に対する画角変更を行う。

第2の画像表示モジュール125は、画角同期モジュール123から供給された画角変更要求を基に、画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。

[第1の実施形態の画角変更の動作]
ユーザによって、表示画像D1に対する変更の指示が入力された場合の、上記機能的構成の動作を説明する。
入力部107を用いてユーザより、表示画像D1に対する変更の指示の入力が発生すると、CPU101は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第1の操作解釈オブジェクト121はユーザにより入力された変更の指示から画角変更要求を生成し、画角同期モジュール123に供給する。

画角同期モジュール123は、画角変更要求を第1の画像表示モジュール124と第2の画像表示モジュール125に供給する。第1の画像表示モジュール124は、画角同期モジュール123から供給された画角変更要求を基に、画像ピラミッド構造50Aにおける表示領域A1に対する画角変更を行う。第2の画像表示モジュール125は、画角同期モジュール123から供給された画角変更要求を基に、画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。第1の画像表示モジュール124と第2の画像表示モジュール125には、同一の画角変更要求が供給されるため、表示画像D1と表示画像D2の表示範囲は同様の変更を受ける

このように、ユーザの表示画像D1に対する変更の指示によって、表示画像D1と表示画像D2の表示範囲の変更が連動される。

ユーザの表示画像D2に対する変更の指示が行われる場合も、表示画像D1に対する変更の指示が行われる場合と同様である。即ち、ユーザによる表示画像D2に対する入力から第2の操作解釈オブジェクト122によって画角変更要求が生成される。該画角変更要求は画角同期モジュール123を介して第1の画像表示モジュール124及び第2の画像表示モジュール125に供給され、表示画像D2と表示画像D1の表示範囲が連動して変更される。

図7は、表示画像D1及び表示画像D2の表示範囲の変更の様子を示す模式図である。図7(A)は表示範囲の変更前の表示画像D1及び表示画像D2を示し、図7(B)は表示範囲の変更後の表示画像D1及び表示画像D2を示す。なお、図7(A)及び図7(B)には、わかりやすくするために第1の観察対象15A及び15Bを簡略化して示す。以降の図も同様である。

図7(A)に示す表示画像D1及び表示画像D2において、表示画像D1又は表示画像D2に対する変更の指示が行われると、矢印で示したように表示画像D1及び表示画像D2の表示範囲が同様の変更を受け、図7(B)に示す表示画像D1及び表示画像D2が表示される。なお、ここでは、表示画像D1に対する変更の指示は、図において右上方向への移動である。

以上のように、本実施形態によれば、ユーザは、表示画像D1又は表示画像D2のいずれか一方に対する変更の指示を情報処理装置に入力することにより、表示画像D1及び表示画像D2の表示範囲を同時に変更させることが可能であり、表示画像D1と表示画像D2の比較を効率的に実施することが可能である。

ユーザによって入力された、表示画像D1及び表示画像D2に対する空間的な変更の指示は、画像ピラミッド構造50A及び画像ピラミッド構造50Bとは別に保存され、情報処理装置に接続されたネットワークあるいはリムーバル記憶媒体を介して、授受されてもよい。CPU101は、この授受された空間的な変更の指示に基づいて、表示画像D1及び表示画像D2を変更することができる。このようにすれば、他のユーザは、別途パラメータの入力作業をすることを要しない。なお、ネットワーク又はリムーバル記憶媒体が第1の授受部に相当する。

<第2の実施形態>
本発明の第2の実施形態について説明する。第2の実施形態において、第1の実施形態と同様の内容となる部分については説明を省略する。第2の実施形態は、第1の実施形態と同様にして得られた表示画像D1及び表示画像D2を比較するものであるが、表示範囲の変更の態様が異なる。以下、表示範囲の変更について説明する。

本実施形態の情報処理装置は、ユーザの表示画像D1に対する変更の指示に応じて、表示画像D1の表示範囲ととも表示画像D2の表示範囲を変更し、ユーザの表示画像D2に対する変更の指示に応じて、表示画像D2の表示範囲のみを変更する。これにより、ユーザは、表示画像D1及び表示画像D2の表示範囲を個別に変更する必要がなく、また、表示画像D1の表示範囲の位置に合わせて表示画像D2の表示範囲の位置を単独で補正することが可能となる。

[第2の実施形態に係る情報処理装置の機能的な構成]
図8は、本実施形態の情報処理装置における、表示画像D1及び表示画像D2に対する変更処理を行う処理部(画像処理部)の機能的な構成を示すブロック図である。

図8に示すように、この処理部(画像処理部)は、第1の操作解釈オブジェクト201、第2の操作解釈オブジェクト202、画角同期モジュール203、位置補正モジュール204、第1の画像表示モジュール205及び第2の画像表示モジュール206を有する。これらはROM102あるいは記憶部108等に記憶されており、CPU101に読み出されることによって動作する。第1の操作解釈オブジェクト201及び第1の画像表示モジュール205は第1の実施形態と同様の構成を有する。

第2の操作解釈オブジェクト202は、並列表示された2つの画像のうち他方の表示画像D2に対し、ユーザによって入力部107を介して入力された変更の指示を基に位置補正要求を生成し、位置補正モジュール204に供給する。位置補正要求は、画角変更要求と実質的には同一のものである。

画角同期モジュール203は、第1の操作解釈オブジェクト201から供給された画角変更要求を第1の画像表示モジュール205及び第2の画像表示モジュール206に同期的に供給する。

位置補正モジュール204は、第2の操作解釈オブジェクト202から供給された位置補正要求を第2の画像表示モジュール206に供給する。

第2の画像表示モジュール206は、画角同期モジュール203から供給された画角変更要求を基に画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行い、また、位置補正モジュール204から供給された位置補正要求を基に画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。

[第2の実施形態の画角変更の動作]
ユーザによって、表示画像D1に対する変更の指示が入力された場合について説明する。
入力部107を用いてユーザより、表示画像D1に対する変更の指示の入力が発生すると、CPU101は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第1の操作解釈オブジェクト201はユーザにより入力された変更の指示から画角変更要求を生成し、画角同期モジュール203に供給する。

画角同期モジュール203は、画角変更要求を第1の画像表示モジュール205と第2の画像表示モジュール206に供給する。第1の画像表示モジュール205は、画角同期モジュール203から供給された画角変更要求を基に、画像ピラミッド構造50Aにおける表示領域A1に対する画角変更を行う。第2の画像表示モジュール206は、画角同期モジュール203から供給された画角変更要求を基に、画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。第1の画像表示モジュール205と第2の画像表示モジュール206には、同一の画角変更要求が供給されるため、表示画像D1と表示画像D2の表示範囲は同様の変更を受ける。

このように、ユーザによって表示画像D1に対する変更の指示が入力されると、表示画像D1及び表示画像D2の表示範囲が連動して変更される。次に、ユーザによって表示画像D2に対する変更の指示がされる場合について説明する。

入力部107を用いてユーザより、表示画像D2に対する変更の指示の入力が発生すると、CPU101は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第2の操作解釈オブジェクト202はユーザにより入力された変更の指示から位置補正要求を生成し、位置補正モジュール204に供給する。

位置補正モジュール204は、位置補正要求を第2の画像表示モジュール206に供給する。第2の画像表示モジュール206は、位置補正モジュール204から供給された位置補正要求を基に、画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。これにより、表示画像D2の表示範囲が変更される。なお、位置補正要求は、第1の画像表示モジュール205には供給されないため、表示画像D1の表示範囲は変更されない。

図9は、表示画像D1及び表示画像D2の表示範囲の変更の様子を示す模式図である。
図9(A)に示す表示画像D1及び表示画像D2において、表示画像D1に対し、破線で示す範囲へのズームインの指示が入力されると、矢印で示したように表示画像D1及び表示画像D2の表示範囲がズームインされ、図9(B)に示す表示画像D1及び表示画像D2が表示される。

図9(B)に示すように、表示画像D1及び表示画像D2の表示範囲が同様の変更を受けた結果、第1の観察対象15Aと第2の観察対象15Bのずれが強調されてしまって両方の比較が困難になってしまう場合がある。次に、表示画像D2に対して、図9(B)において矢印で示した方向への移動の指示が入力されると、表示画像D2の表示範囲のみが変更され、図9(C)に示すように第1の観察対象15Aと第2の観察対象15Bのほぼ同様の部位が並列表示され、比較を容易に行うことが可能となる。

以上のように、本実施形態によれば、ユーザは、表示画像D1に対する変更の指示により表示画像D1及び表示画像D2の表示範囲を同時に変更させ、表示画像D2に対する変更の指示により、表示画像D2の表示範囲のみを変更させることができる。これにより、表示画像D1の表示範囲と表示画像D2の表示範囲が同時に変更される際に第1の観察対象15Aと第2の観察対象15Bとのずれが強調されても、それぞれに表示される観察対象の位置を補正することが可能となり、表示画像D1と表示画像D2の比較を容易に行うことが可能となる。

なお、本実施形態において、表示画像D1に対する変更の指示により表示画像D1の表示範囲と表示画像D2の表示範囲が同時に変更され、表示画像D2に対する変更の指示により、表示画像D2の表示範囲のみが変更されるとしたが逆でもよい。即ち、表示画像D2に対する変更の指示により表示画像D1の表示範囲と表示画像D2の表示範囲が同時に変更され、表示画像D1に対する変更の指示により、表示画像D1の表示範囲のみが変更されるようにしてもよい。

<第3の実施形態>
本発明の第3の実施形態について説明する。第3の実施形態において、第1及び第2の実施形態と同様の内容となる部分については説明を省略する。第3の実施形態は、第1及び第2の実施形態と同様にして得られた表示画像D1及び表示画像D2を比較するものであるが、表示画像の表示の態様と表示範囲の変更の態様が異なる。

[第3の実施形態における2画像の表示]
ユーザによって2画像表示の指示と所望の解像度が指示されると、CPU101は、第1の実施形態と同様に、画像ピラミッド構造50Aの画像データE1に表示領域A1を設定するとももに、画像ピラミッド構造50Bの画像データE2に表示領域A2を設定する。

図10は、本実施形態において、本実施形態の表示部106に表示される2画像の生成プロセスを示すデータフローである。
図10に示すように、CPU101は、画像データE1において表示領域A1に対応する部分を表示画像D1として切り出し(St301)、画像データE2において表示領域A2に対応する部分を表示画像D2として切り出す(St302)。CPU101は、次にそれぞれ切り出した表示画像D1と表示画像D2とを重畳的に合成して重畳画像D3を生成する(St303)。表示画像D2は、表示画像D1と重畳されることなく、単独で単独画像D4を構成する。重畳的な合成については後述する。

CPU101は、重畳画像D3と単独画像D4をRAM103に設定された表示用バッファに展開する。この結果、表示部106の表示画面に重畳画像D3及び単独画像D4が表示される。図11は表示画面に表示された重畳画像D3と単独画像D4を示す模式図である。重畳画像D3及び単独画像D4は表示部106の表示画面において並列表示、例えば横並び表示される。

このようにして、表示部106に重畳画像D3及び単独画像D4が表示される。これにより、ユーザは、単独画像D4に表示されている第2の観察対象15Bを参照しながら、重畳画像D3に重なって表示されている第1の観察対象15A及び第2の観察対象15Bの比較を行うことができる。

[第3の実施形態におけるユーザによる表示範囲の変更の指示]
ここで、表示範囲の変更について説明する。ユーザが、重畳画像D3として表示されている表示画像D1及び表示画像D2、並びに単独画像D4として表示されている表示画像D2の表示範囲を変更したい場合、ユーザはマウスを介して本実施形態の情報処理装置に変更の指示を入力する。CPU101は、例えばマウスが、マウスカーソルを重畳画像D3上に配置された状態でドラッグされると重畳画像D3に対する変更の指示の入力を受け付ける。同様に、単独画像D4上に配置された状態でドラッグされると単独画像D4に対する変更の指示の入力を受け付ける。

本実施形態の情報処理装置は、ユーザの重畳画像D3に対する変更の指示に応じて、重畳画像D3を構成する表示画像D1及び表示画像D2並びに単独画像D4の表示画像D2の各表示範囲を変更し、ユーザの単独画像D4に対する変更の指示に応じて、単独画像D4を構成する表示画像D2の表示範囲を変更する。これにより、ユーザは、重畳画像D3を構成する表示画像D1の表示範囲と、重畳画像D3を構成する表示画像D2及び単独画像D4を構成する表示画像D2の表示範囲とを個別に変更する必要がなく、また、重畳画像D3において、第1の観察対象15Aと第2の観察対象15Bとを精度よく重畳させることが可能となる。

[第3の実施形態に係る情報処理装置の機能的な構成]
図12は、本実施形態の情報処理装置における、表示画像D1及び表示画像D2に対する変更処理を行う処理部(画像処理部)の機能的な構成を示すブロック図である。

図12に示すように、この処理部(画像処理部)は、機能的な構成要素として、第1の操作解釈オブジェクト301、第2の操作解釈オブジェクト302、画角同期モジュール303、位置補正モジュール304、第1の画像表示モジュール305及び第2の画像表示モジュール306を有する。これらはROM102あるいは記憶部108等に記憶されており、CPU101に読み出されることによって動作する。画角同期モジュール303及び第2の画像表示モジュール306は第2の実施形態と同様の構成を有する。

第1の操作解釈オブジェクト301は、重畳画像D3に対しユーザによって入力部107を介して入力された変更の指示を基に画角変更要求を生成し、画角同期モジュール303に供給する。

第2の操作解釈オブジェクト302は、単独画像D4に対し、ユーザによって入力部107を介して入力された変更の指示を基に位置補正要求を生成し、位置補正モジュール304に供給する。

位置補正モジュール304は、第2の操作解釈オブジェクト302から供給された位置補正要求を第1の画像表示モジュール305及び第2の画像表示モジュール306に同期的に供給する。

第1の画像表示モジュール305は、画角同期モジュール303から供給された画角変更要求を基に、画像ピラミッド構造50Aにおける表示領域A1及び画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。また、第1の画像表示モジュール305は、位置補正モジュールから供給された位置補正要求を基に、画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。

[第3の実施形態の画角変更の動作]
ユーザによって、重畳画像D3に対する変更の指示が入力された場合について説明する。
入力部107を用いてユーザより、重畳画像D3に対する変更の指示の入力が発生すると、CPU101は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第1の操作解釈オブジェクト301はユーザにより入力された変更の指示から画角変更要求を生成し、画角同期モジュール303に供給する。

画角同期モジュール303は、画角変更要求を第1の画像表示モジュール305と第2の画像表示モジュール306に供給する。第1の画像表示モジュール305は、画角同期モジュール303から供給された画角変更要求を基に、画像ピラミッド構造50Aにおける表示領域A1に対する画角変更を行う。第2の画像表示モジュール306は、画角同期モジュール303から供給された画角変更要求を基に、画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。第1の画像表示モジュール305と第2の画像表示モジュール306には、同一の画角変更要求が供給されるため、重畳画像D3を構成する表示画像D1及び表示画像D2の表示範囲と単独画像D4を構成する表示画像D2の表示範囲は同様の変更を受ける。

このように、ユーザによって重畳画像D3に対する変更の指示が入力されると、重畳画像D3を構成する表示画像D1及び表示画像D2の表示範囲と単独画像D4を構成する表示画像D2の表示範囲とが連動して変更される。次に、ユーザによって単独画像D4に対する変更の指示がされる場合について説明する。

入力部107を用いてユーザより、単独画像D4に対する変更の指示の入力が発生すると、CPU101は上記の機能的な構成を基に次のように制御を行う。即ち、まず、第2の操作解釈オブジェクト302はユーザにより入力された変更の指示から位置補正要求を生成し、位置補正モジュール304に供給する。

位置補正モジュール304は、位置補正要求を第1の画像表示モジュール305と第2の画像表示モジュール306に供給する。第1の画像表示モジュール305は、位置補正モジュール304から供給された位置補正要求を基に、画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。第2の画像表示モジュール306は、位置補正モジュール304から供給された位置補正要求を基に、画像ピラミッド構造50Bにおける表示領域A2に対する画角変更を行う。第1の画像表示モジュール305と第2の画像表示モジュール306には、同一の位置補正要求が供給されるため、重畳画像D3を構成する表示画像D2の表示範囲と単独画像D4を構成する表示画像D2の表示範囲は同様の変更を受ける。第1の画像表示モジュール305は、位置補正要求を受けても画像ピラミッド構造50Aにおける表示領域A1に対する画角変更を行わないため、重畳画像D3を構成する表示画像D1の表示範囲は変更を受けない。

図13は、重畳画像D3を構成する表示画像D1及び表示画像D2の表示範囲並びに単独画像D4を構成する表示画像D2の表示範囲の変更の様子を示す模式図である。図13(A)に示す重畳画像D3及び単独画像D4において、重畳画像D3に対し、矢印で示す方向への移動の指示が入力されると、重畳画像D3を構成する表示画像D1及び表示画像D2、単独画像D4を構成する表示画像D2の表示範囲が変更され、図13(B)に示す重畳画像D3及び単独画像D4が表示される。

次に、図13(B)に示したように、単独画像D4に対し、矢印で示す方向への移動の指示が入力されると、重畳画像D3を構成する表示画像D2及び単独画像D4を構成する表示画像D2の表示範囲が変更され、図13(C)に示す重畳画像D3及び単独画像D4が表示される。これにより、図13(C)に示すように重畳画像D3において、第1の観察対象15Aと第2の観察対象15Bのほぼ同様の部位が重畳的に表示されるように第1の観察対象15Aと第2の観察対象15Bの位置を調節することが可能となる。

以上のように本実施形態によれば、ユーザは、重畳画像D3に対する変更の指示により重畳画像D3を構成する表示画像D1及び表示画像D2並びに単独画像D4の表示画像D2の表示範囲を同時に変更させ、単独画像D4に対する変更の指示により、重畳画像D3及び単独画像D4の表示画像D2の表示範囲のみを変更させることができる。これにより、ユーザは、単独画像D4に表示されている第2の観察対象15Bを参照しながら、重畳画像D3に重畳的に表示されている第1の観察対象15Aと第2の観察対象15Bを比較できる。さらに、ユーザは、重畳されている第1の観察対象15Aと第2の観察対象15Bの位置を調節することができるので、表示画像D1と表示画像D2の比較を容易に行うことが可能となる。

<第4の実施形態>
本発明の第4の実施形態について説明する。第4の実施形態において、第3の実施形態と同様の内容となる部分については説明を省略する。第4の実施形態は、第3の実施形態と同様にして得られた表示画像D1及び表示画像D2を比較するものであるが、表示画像の表示の態様が異なる。

[第4の実施形態における2画像の表示]
ユーザによって2画像表示の指示と所望の解像度が指示されると、CPU101は、第3の実施形態と同様に、画像ピラミッド構造50Aの画像データE1に表示領域A1を設定するとともに、画像ピラミッド構造50Bの画像データE2に表示領域A2を設定する。

図14は、本実施形態において、表示部106に表示される2画像の生成プロセスを示すデータフローである。
図14に示すように、CPU101は、画像データE1において表示領域A1に対応する部分を表示画像D1として切り出し(St401)、画像データE2において表示領域A2に対応する部分を表示画像D2として切り出す(St402)。CPU101は、次に表示画像D1と表示画像D2とを、ユーザから入力され、又は予め設定されたα値(透過率)に基づいてαブレンドする。(St403)。αブレンドにより、表示画像D1と表示画像D2とが重畳された重畳画像D3が生成される。また、CPU101は、表示画像D2を単独画像D4とする。なお、本実施形態ではα値が表示制御情報に相当する。

CPU101は、重畳画像D3と単独画像D4をRAM103に設定された表示用バッファに展開する。この結果、表示部106の表示画面に表示画像D1及び表示画像D2が表示される。図15は重畳画像D3と単独画像D4を示す模式図である。なお、図15においては、表示画像D1と表示画像D2の透過はハッチングによって表現されている。重畳画像D3及び単独画像D4は表示部106の表示画面において並列表示、例えば横並び表示される。上述のように、表示画像D1と表示画像D2とはαブレンドされているため、重畳画像D3では第1の観察対象15A及び第2の観察対象15Bが所定の透過率で重畳されて表示される。一方、単独画像D4では、表示画像D2が透過されることなく表示される。

このようにして、表示部106に重畳画像D3及び単独画像D4が表示される。重畳画像D3において、表示画像D1と表示画像D2はαブレンドされているため、表示画像D1及び表示画像D2を透過画像とすることができ、第1の観察対象15Aの部位と第2の観察対象15Bの部位が重畳していても両者を視認することが可能となる。また、α値を任意に変更することによって、注目している部位が表示画像D1と表示画像D2のいずれの部分に属するかの判別が容易となる。

このように重畳画像D3及び単独画像D4が表示されている状態で、第3の実施形態と同様にして重畳画像D3又は単独画像D4に対して変更の指示が入力され、表示画像D1及び表示画像D2の表示範囲が変更される。ユーザは、単独画像D4に表示されている第2の観察対象15Bを参照しながら、重畳画像D3に重畳的に表示されている第1の観察対象15Aと第2の観察対象15Bを比較できる。さらに、ユーザは、重畳されている第1の観察対象15Aと第2の観察対象15Bの位置を調節することができるので、表示画像D1と表示画像D2の比較を容易に行うことが可能となる。なお、α値は、重畳画像D3又は単独画像D4に対して変更の指示を行いながら変更してもよい。

ユーザによって入力された、表示画像D1及び表示画像D2に適用されるパラメータ(α値)は、画像ピラミッド構造50A及び画像ピラミッド構造50Bとは別に保存され、情報処理装置に接続されたネットワークあるいはリムーバル記憶媒体を介して、授受されてもよい。CPU101は、この授受されたパラメータに基づいて、表示画像D1及び表示画像D2の透過率を変更することができる。このようにすれば、他のユーザは、別途パラメータの入力作業をすることを要しない。なお、ネットワーク及びリムーバル記憶媒体が第2の授受部に相当する。

<第5の実施形態>
本発明の第5の実施形態について説明する。第5の実施形態において、第3の実施形態と同様の内容となる部分については説明を省略する。第5の実施形態は、第3の実施形態と同様にして得られた表示画像D1及び表示画像D2を比較するものであるが、表示画像の表示の態様が異なる。

[第5の実施形態における2画像の表示]
ユーザによって2画像表示の指示と所望の解像度が指示されると、CPU101は、第3の実施形態と同様に、画像ピラミッド構造50Aの画像データE1に表示領域A1を設定するとももに、画像ピラミッド構造50Bの画像データE2に表示領域A2を設定する。

図16は、本実施形態において、表示部106に表示される2画像の生成プロセスを示すデータフローである。
図16に示すように、CPU101は、画像データE1において表示領域A1に対応する部分を表示画像D1として切り出し(St501)、画像データE2において表示領域A2に対応する部分を表示画像D2として切り出す(St502)。続いて、CPU101は、表示画像D1をモノクロ化(St503)し、モノクロ化された表示画像D1を単色の第1の色相(色合い)を規定するカラー値1を適用してカラー化(St504)する。これにより、第1の色相を有する表示画像D1が生成される。また、CPU101は、表示画像D2をモノクロ化(St505)し、モノクロ化された表示画像D2を、カラー値1とは異なる第2の色相を規定するカラー値2を適用してカラー化(St506)する。これにより、第2の色相を有する表示画像D2が生成される。次に、CPU101は、カラー化された表示画像D1及び表示画像D2を加算器により加算し(St507)、重畳画像D3を生成する。また、CPU101は、表示画像D2を単独画像D4とする。なお、本実施形態ではカラー値が表示制御情報に相当する。

CPU101は、重畳画像D3と単独画像D4をRAM103に設定された表示用バッファに展開する。この結果、表示部106の表示画面に重畳画像D3及び単独画像D4が表示される。図17は重畳画像D3と単独画像D4を示す模式図である。なお、図17においては、表示画像D1と表示画像D2の色相は明度の差(濃淡)によって表現されている。重畳画像D3及び単独画像D4は表示部106の表示画面において並列表示、例えば横並び表示される。上述のように、表示画像D1と表示画像D2とは互いに異なる単色の色相を有するため、重畳画像D3では第1の観察対象15A及び第2の観察対象15Bがそれぞれ異なる色相を有する。一方、単独画像D4では、第2の観察対象15Bが本来の色相で表示される。

このようにして、表示部106に重畳画像D3及び単独画像D4が表示される。重畳画像D3において、表示画像D1と表示画像D2は互いに異なる単色の色相を有するため、ユーザは、注目している部位が重畳画像D3において表示画像D1と表示画像D2のどちらに属するのかの判断を容易にすることができる。

このように重畳画像D3及び単独画像D4が表示されている状態で、第3の実施形態と同様にして重畳画像D3又は単独画像D4に対して変更の指示が入力され、表示画像D1及び表示画像D2の表示範囲が変更される。ユーザは、単独画像D4に表示されている第2の観察対象15Bを参照しながら、重畳画像D3に重畳的に表示されている第1の観察対象15Aと第2の観察対象15Bを比較できる。さらに、ユーザは、重畳されている第1の観察対象15Aと第2の観察対象15Bの位置を調節することができるので、表示画像D1と表示画像D2の比較を容易に行うことが可能となる。

ユーザによって入力された、表示画像D1及び表示画像D2に適用されるパラメータ(カラー値)は、画像ピラミッド構造50A及び画像ピラミッド構造50Bとは別に保存され、情報処理装置に接続されたネットワークあるいはリムーバル記憶媒体を介して、授受されてもよい。CPU101は、この授受されたパラメータに基づいて、表示画像D1及び表示画像D2の色相を変更することができる。このようにすれば、他のユーザは、別途パラメータの入力作業をすることを要しない。なお、ネットワーク及びリムーバル記憶媒体が第2の授受部に相当する。

<第6の実施形態>
本発明の第6の実施形態について説明する。第6の実施形態において、第3の実施形態と同様の内容となる部分については説明を省略する。第6の実施形態は、第3の実施形態と同様にして得られた表示画像D1及び表示画像D2を比較するものであるが、表示画像の表示の態様が異なる。

[第6の実施形態における2画像の表示]
ユーザによって2画像表示の指示と所望の解像度が指示されると、CPU101は、第1の実施形態と同様に、画像ピラミッド構造50Aの画像データE1に表示領域A1を設定するとももに、画像ピラミッド構造50Bの画像データE2に表示領域A2を設定する。

CPU101は表示画像D1と表示画像D2とを表示部106に表示する。次に、CPU101は、ユーザの入力部107を介した入力に応じて、表示画像D1と表示画像D2のいずれか一方、又は両方に対してアフィン変換を行う。以下、アフィン変換について説明する。

図18は表示画像D1及び表示画像D2についてアフィン変換の様子を示す模式図である。
アフィン変換には、表示画像D1及び表示画像D2に配置された複数の制御点が用いられる。図18(A)は、制御点が設定された表示画像D1及び表示画像D2を示す。図18(A)に示すように、ユーザは、表示画像D1に制御点P1を設定し、表示画像D2に制御点P2を設定する。制御点P1は表示画像D1の特徴的な点を含む、複数の点に任意に設定される。制御点P2も同様に、表示画像D2の特徴的な点を含む、複数の点に任意に設定される。制御点P1と制御点P2はそれぞれ対応する部位に設定される。図18(A)では、制御点P1及びP2が9点ずつ設定されている。また、図18(A)においては、第1の観察対象15Aの及び15Bの例えば、端点、中間点、角部等が表示画像D1及び表示画像D2における特徴的な点として設定されている。なお、本実施形態では、制御点P1及び制御点P2の座標が表示制御情報に相当する。

ユーザは、入力部107によって、制御点の設定が完了した旨を入力する。CPU101は、表示画像D1において複数の制御点P1からTIN(Triangulated Irregular Network)を生成し、また、表示画像D2において複数の制御点P2からTINを生成する。図18(B)には、生成されたTINが破線で示されている。TINは複数の制御点をそれぞれ頂点とする三角形である。この三角形は、できるだけ正三角形に近いものが好適である。TINの生成方法には多種の原理があるが、例えば、生成される三角形群の最小の角が他の分割の仕方による最小角よりも大きくなるようにする、最小角最大原理を利用することができる。

次に、CPU101は、表示画像D1において、生成された三角形毎に、表示画像D2の対応する三角形と形状が一致するように、アフィン変換を行う。図18(C)は、アフィン変換が実行された表示画像D1が示されている。アフィン変換は、移動、回転、左右反転、拡大、縮小、シアー等のいずれか又はいくつかの組み合わせであり、テクスチャマッピング技術を用いて行うことができる。TINの三角形毎にアフィン変換を実施することにより、画像の歪みを抑制しつつ、第1の観察対象15Aと第2の観察対象15Bの対応する部位を重畳させることが可能である。なお、ここでは表示画像D1を変形するものとしたが、表示画像D1の替わりに表示画像D2を変形するものとしてもよい。また、表示画像D1及び表示画像D2の両者を変形するものとしてもよい。CPU101は、変形された表示画像D1と変形されていない表示画像D2を重畳して重畳画像D3を生成する。また、CPU101は、変形されていない表示画像D2を単独画像D4とする。

CPU101は、重畳画像D3と単独画像D4をRAM103に設定された表示用バッファに展開する。この結果、表示部106の表示画面に重畳画像D3及び単独画像D4が表示される。重畳画像D3において、表示画像D1は、第1の観察対象15Aが第2の観察対象15Bに近似するように変形されているため、第1の観察対象15Aと第2の観察対象15Bの対応する部位が重畳して表示され、ユーザは、第1の観察対象15Aと第2の観察対象15Bの対応する部位を容易に比較することが可能である。

このように重畳画像D3及び単独画像D4が表示されている状態で、第3の実施形態と同様にして重畳画像D3又は単独画像D4に対して変更の指示が入力され、表示画像D1及び表示画像D2の表示範囲が変更される。ユーザは、単独画像D4に表示されている第2の観察対象15Bを参照しながら、重畳画像D3に重畳的に表示されている第1の観察対象15Aと第2の観察対象15Bを比較できる。さらに、ユーザは、重畳されている第1の観察対象15Aと第2の観察対象15Bの位置を調節することができるので、表示画像D1と表示画像D2の比較を容易に行うことが可能となる。

ユーザによって入力された、表示画像D1又は表示画像D2を変形させるためのパラメータ(制御点の座標等)は、画像ピラミッド構造50A及び画像ピラミッド構造50Bとは別に保存され、情報処理装置に接続されたネットワークあるいはリムーバル記憶媒体を介して、授受されてもよい。CPU101は、この授受されたパラメータに基づいて、表示画像D1及び表示画像D2を変形させることができる。このようにすれば、他のユーザは、別途パラメータの入力作業をすることを要しない。なお、ネットワーク及びリムーバル記憶媒体が第2の授受部に相当する。

<第7の実施形態>
本発明の第7の実施形態について説明する。第7の実施形態において、第1及び第3の実施形態と同様の内容となる部分については説明を省略する。第7の実施形態は、第1の実施形態と同様にして得られた表示画像D1及び表示画像D2を比較するものであるが、表示画像の表示の態様が異なる。

[第7の実施形態における2画像の表示]
ユーザによって2画像表示の指示と所望の解像度が指示されると、CPU101は、第1の実施形態と同様に、画像ピラミッド構造50Aの画像データE1に表示領域A1を設定するとももに、画像ピラミッド構造50Bの画像データE2に表示領域A2を設定する。

CPU101は、表示画像D1と表示画像D2をRAM103に設定された表示用バッファに展開する。この結果、表示部106の表示画面に重畳画像D3及び単独画像D4が表示される。ここで、ユーザが、表示部106に表示された表示画像D1及び表示画像D2にアノテーションを設定する場合ある。アノテーションとは、ユーザによって画像の注目すべき箇所、例えば、疾患があるおそれのある部位に設定された位置情報と、この位置情報に関連付けられた内容情報とが視覚的に合成された注釈である。

図19は、アノテーションが設定された表示画像D1及び表示画像D2を示す模式図である。図19(A)に示すように、ユーザによって、表示画像D1にアノテーションN1が、表示画像D2にアノテーションN2が設定されている。ここで、CPU101は、図19(B)に示すように、アノテーションN1を表示画像D2にも表示し、アノテーションN2を表示画像D1にも表示する。このようにすることで、ユーザは、表示画像D1においてアノテーションN1が設定された第1の観察対象15Aの部位と、表示画像D2においてアノテーションが設定されなかった第2の観察対象15Bの対応する部位とを容易に比較することが可能となる。同様に、表示画像D2においてアノテーションN2が設定された第2の観察対象15Bの部位と、表示画像D1においてアノテーションが設定されなかった第1の観察対象15Aの部位とを容易に比較することが可能となる。

第1の実施形態又は第2の実施形態と同様にして、アノテーションN1及びアノテーションN2が設定された表示画像D1又はアノテーションN1及びアノテーションN2が設定された表示画像D2に対して変更の指示が入力され、表示画像D1及び表示画像D2の表示範囲が変更される。ユーザは、表示画像D1及び表示画像D2に設定されたアノテーションN1及びアノテーションN2を参照しながら、第1の観察対象15Aと第2の観察対象15Bの対応する部位を容易に判断することが可能である。

また、CPU101は、図19(C)に示すように、アノテーションN1が設定された表示画像D1とアノテーションN2が設定された表示画像D2とを重畳させ重畳画像D3を生成してもよい。重畳画像D3には、表示画像D1に付されていたアノテーションN1と表示画像D2に付されていたアノテーションN2が表示される。この場合、CPU101はアノテーションN2が設定された表示画像D2を単独画像D4とする。

第3の実施形態と同様にして、アノテーションN1及びアノテーションN2が設定された重畳画像D3又はアノテーションN2が設定された単独画像D4に対して変更の指示が入力され、表示画像D1及び表示画像D2の表示範囲が変更される。ユーザは、重畳画像D3に設定されたアノテーションN1及びアノテーションN2を参照しながら、第1の観察対象15Aと第2の観察対象15Bの対応する部位を容易に判断することが可能である。

本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。

上記では、画像ピラミッド構造50を形成する画像データが情報処理装置の記憶部108に記憶されている形態について説明した。しかし、情報処理装置とは別のコンピュータやサーバが、画像ピラミッド構造50を形成する画像データを記憶し、ユーザが端末装置として使用する情報処理装置が、それら別のコンピュータやサーバにアクセスしてその画像データを受信してもよい。この場合、端末装置としての情報処理装置とサーバ等とがLAN又はWAN等のネットワークを介して接続されてもよい。特に、WANが使用されることにより遠隔病理学(Telepathology)や遠隔診断等を実現することができる。

上述の各実施形態では、効率的に表示範囲を変更させるための方法として、画像ピラミッド構造を用いた。しかし、表示範囲の変更に画像ピラミッド構造を用いず、元画像データのみを用いてもよい。また、タイルを用いず、例えば1枚の画像データのみを用いてもよい。

上述の各実施形態では、画像処理部はCPUであるものとしたが、これに限られない。画像処理部は、例えば、3次元グラフィックス処理モジュールであってもよい。

100…PC
101…CPU
102…ROM
106…表示部
107…入力部
121、201、301…第1の操作解釈オブジェクト
122、202、302…第2の操作解釈オブジェクト
123、203、303…画角同期モジュール
204、304…位置補正モジュール
124、205、305…第1の画像表示モジュール
125、206、306…第2の画像表示モジュール
D1、D2…表示画像
D3…重畳画像
D4…単独画像
P1、P2…制御点
N1、N2…アノテーション

Claims (12)

  1. 互いに空間的類似性を有する第1の観察対象及び第2の観察対象のそれぞれ顕微鏡によって撮像された各画像から生成された第1の画像及び第2の画像について、前記第1の画像に重畳的に前記第2の画像が合成された重畳画像と、前記第2の画像である単独画像とを画面に並列的に表示する表示部と、
    前記重畳画像又は前記単独画像に対するユーザからの空間的な変更の指示を受け付ける入力部と、
    前記重畳画像に対する前記指示に基づいて前記重畳画像を構成する前記第1の画像及び前記第2の画像並びに前記単独画像を構成する前記第2の画像に対して変更処理を行い、前記単独画像に対する前記指示に基づいて前記重畳画像を構成する前記第2の画像及び前記単独画像を構成する前記第2の画像に対する変更処理を行う画像処理部と
    を具備する情報処理装置。
  2. 請求項に記載の情報処理装置であって、
    前記表示部は、視覚的に識別可能なように合成された前記第1の画像及び前記第2の画像を前記重畳画像として前記画面に表示する
    情報処理装置。
  3. 請求項に記載の情報処理装置であって、
    前記表示部は、アルファブレンドにより合成された前記第1の画像及び前記第2の画像を前記重畳画像として前記画面に表示する
    情報処理装置。
  4. 請求項に記載の情報処理装置であって、
    前記表示部は、第1の色相に変換された前記第1の画像と前記第1の色相と異なる第2の色相に変換された前記第2の画像とが合成された画像を前記重畳画像として前記画面に表示する
    情報処理装置。
  5. 請求項に記載の情報処理装置であって、
    前記表示部は、前記第1の画像に設定された複数の第1の制御点の前記第1の画像における位置と、前記第2の画像に設定された複数の第2の制御点の前記第2の画像における位置がそれぞれ一致するように前記第1の画像及び前記第2の画像の少なくとも一方をアフィン変換により変換する
    情報処理装置。
  6. 請求項に記載の情報処理装置であって、
    前記表示部は、前記第1の画像に設定された第1のアノテーションと前記第2の画像に設定された第2のアノテーションとを前記重畳画像に表示する
    情報処理装置。
  7. 請求項1に記載の情報処理装置であって、
    前記第1の画像及び前記第2の画像は、観察対象物を異なる焦点距離でそれぞれ撮像して得られた画像である
    情報処理装置。
  8. 請求項1に記載の情報処理装置であって、
    前記第1の画像及び前記第2の画像は、観察対象物をスライスして得られた複数の観察対象片の画像である
    情報処理装置。
  9. 請求項1に記載の情報処理装置であって、
    前記変更の指示の内容を授受する第1の授受部をさらに具備し、
    前記画像処理部は、前記第1の授受部を通じて取得した前記変更の指示の内容に基づいて、前記第1の画像及び前記第2の画像に対する変更処理を行う
    情報処理装置。
    画像処理部。
  10. 請求項に記載の情報処理装置であって、
    前記第1の画像及び前記第2の画像を互いに視覚的に識別可能なように制御する表示制御情報を授受する第2の授受部をさらに具備し、
    前記画像処理部は、前記第2の授受部を通じて取得した前記表示制御情報に基づいて、前記第1の画像及び第2の画像の表示を制御する
    情報処理装置。
  11. 表示部が、互いに空間的類似性を有する第1の観察対象及び第2の観察対象のそれぞれ顕微鏡によって撮像された各画像から生成された第1の画像及び第2の画像について、前記第1の画像に重畳的に前記第2の画像が合成された重畳画像と、前記第2の画像である単独画像とを画面に並列的に表示し、
    入力部が、前記重畳画像又は前記単独画像に対するユーザからの空間的な変更の指示を受け付け、
    画像処理部が、前記重畳画像に対する前記指示に基づいて前記重畳画像を構成する前記第1の画像及び前記第2の画像並びに前記単独画像を構成する前記第2の画像に対して変更処理を行い、前記単独画像に対する前記指示に基づいて前記重畳画像を構成する前記第2の画像及び前記単独画像を構成する前記第2の画像に対する変更処理を行う
    情報処理方法。
  12. 互いに空間的類似性を有する第1の観察対象及び第2の観察対象のそれぞれ顕微鏡によって撮像された各画像から生成された第1の画像及び第2の画像について、前記第1の画像に重畳的に前記第2の画像が合成された重畳画像と、前記第2の画像である単独画像とを画面に並列的に表示する表示部と、
    前記重畳画像又は前記単独画像に対するユーザからの空間的な変更の指示を受け付ける入力部と、
    前記重畳画像に対する前記指示に基づいて前記重畳画像を構成する前記第1の画像及び前記第2の画像並びに前記単独画像を構成する前記第2の画像に対して変更処理を行い、前記単独画像に対する前記指示に基づいて前記重畳画像を構成する前記第2の画像及び前記単独画像を構成する前記第2の画像に対する変更処理を行う画像処理部と
    としてコンピュータを機能させるプログラム。
JP2009272959A 2009-11-30 2009-11-30 情報処理装置、情報処理方法及びそのプログラム Active JP5614032B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009272959A JP5614032B2 (ja) 2009-11-30 2009-11-30 情報処理装置、情報処理方法及びそのプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009272959A JP5614032B2 (ja) 2009-11-30 2009-11-30 情報処理装置、情報処理方法及びそのプログラム
US12/940,301 US8643671B2 (en) 2009-11-30 2010-11-05 Information processing apparatus, method, and computer-readable medium
KR1020100116465A KR20110060821A (ko) 2009-11-30 2010-11-22 정보 처리 장치, 방법 및 컴퓨터 판독가능한 매체
CN201010557325.1A CN102129505B (zh) 2009-11-30 2010-11-23 信息处理装置、信息处理方法以及计算机可读介质
EP20100014903 EP2333717B1 (en) 2009-11-30 2010-11-23 Information processing apparatus, method, and computer-readable medium

Publications (3)

Publication Number Publication Date
JP2011118005A JP2011118005A (ja) 2011-06-16
JP2011118005A5 JP2011118005A5 (ja) 2013-01-17
JP5614032B2 true JP5614032B2 (ja) 2014-10-29

Family

ID=43608168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009272959A Active JP5614032B2 (ja) 2009-11-30 2009-11-30 情報処理装置、情報処理方法及びそのプログラム

Country Status (5)

Country Link
US (1) US8643671B2 (ja)
EP (1) EP2333717B1 (ja)
JP (1) JP5614032B2 (ja)
KR (1) KR20110060821A (ja)
CN (1) CN102129505B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5557091B2 (ja) * 2010-03-30 2014-07-23 日本電気株式会社 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP2013012115A (ja) * 2011-06-30 2013-01-17 Canon Inc 情報処理装置、方法およびプログラム
JP5906605B2 (ja) * 2011-08-12 2016-04-20 ソニー株式会社 情報処理装置
US9740912B2 (en) 2011-12-20 2017-08-22 Definiens Ag Evaluation of co-registered images of differently stained tissue slices
US8605972B2 (en) * 2012-03-02 2013-12-10 Sony Corporation Automatic image alignment
US8755633B2 (en) * 2012-03-14 2014-06-17 Sony Corporation Automated synchronized navigation system for digital pathology imaging
JP2013200640A (ja) * 2012-03-23 2013-10-03 Canon Inc 画像処理装置、画像処理システム、画像処理方法、およびプログラム
CN104350522A (zh) * 2012-06-11 2015-02-11 索尼公司 信息处理装置、信息处理系统、信息处理方法及程序
JP6035931B2 (ja) * 2012-07-13 2016-11-30 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US9151944B2 (en) 2012-07-19 2015-10-06 Sony Corporation Method and apparatus for navigating stacked microscopy images
EP2894599A4 (en) * 2012-09-06 2016-04-20 Sony Corp Information processing device, information processing method, and program
US10127473B2 (en) 2013-02-26 2018-11-13 Nec Corporation Diagnosis assisting system, diagnosis assisting method, and program thereof
WO2015107635A1 (ja) * 2014-01-15 2015-07-23 株式会社島津製作所 画像比較システム
JP6447955B2 (ja) * 2014-12-09 2019-01-09 富士ゼロックス株式会社 画像処理装置およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2530874B2 (ja) * 1988-03-04 1996-09-04 富士通株式会社 医用画像ワ―クステ―ション
US6925200B2 (en) * 2000-11-22 2005-08-02 R2 Technology, Inc. Graphical user interface for display of anatomical information
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6266453B1 (en) * 1999-07-26 2001-07-24 Computerized Medical Systems, Inc. Automated image fusion/alignment system and method
US7738688B2 (en) 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
US7130457B2 (en) 2001-07-17 2006-10-31 Accuimage Diagnostics Corp. Systems and graphical user interface for analyzing body images
JP2004354469A (ja) * 2003-05-27 2004-12-16 Tokai Univ 共焦点顕微鏡表示装置
JP4673000B2 (ja) 2004-05-21 2011-04-20 株式会社キーエンス 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2006095032A (ja) * 2004-09-29 2006-04-13 Shimadzu Corp 医用画像処理装置
US7689539B2 (en) * 2005-11-22 2010-03-30 Sectra Ab Systems for fast efficient retrieval of medical image data from multidimensional data sets, related methods and computer products
JP2009272959A (ja) 2008-05-08 2009-11-19 Nec Corp 呼受付制御方法、呼受付制御装置及び制御プログラム

Also Published As

Publication number Publication date
KR20110060821A (ko) 2011-06-08
US8643671B2 (en) 2014-02-04
JP2011118005A (ja) 2011-06-16
CN102129505B (zh) 2016-05-11
US20110128299A1 (en) 2011-06-02
EP2333717B1 (en) 2015-05-06
CN102129505A (zh) 2011-07-20
EP2333717A1 (en) 2011-06-15

Similar Documents

Publication Publication Date Title
US8016758B2 (en) User interface for medical imaging including improved pan-zoom control
JP4820680B2 (ja) 医用画像表示装置
US8860714B2 (en) Apparatus and method for generating stereoscopic viewing image based on three-dimensional medical image, and a computer readable recording medium on which is recorded a program for the same
JP5791256B2 (ja) 表示制御装置、表示制御方法
US7389003B2 (en) Image processing system and image processing method
US20030038832A1 (en) System and method for enabling users to edit graphical images
WO2004049265A1 (en) User-interface and method for curved multi-planar reformatting for three-dimensional volume data sets
WO2006005680A2 (en) Image display system and method
JP2002514319A (ja) バーチャル顕微鏡スライドを作成する方法および装置
CN101166470A (zh) 图像显示装置及程序
JPH09289607A (ja) カメラ制御システム
JP3824116B2 (ja) 顕微鏡画像遠隔制御システム
CN102081495B (zh) 信息处理装置、信息处理方法以及计算机可读介质
JP2002170113A (ja) データ通信網を介したディジタル拡大イメージ提供方法およびディジタル拡大イメージ提供装置
US20120069049A1 (en) Digital pathology image manipulation
JP2007000627A (ja) 解剖学的構造の3d斜交断面を特定の角度に画定して、多数の表示角度を同時に容易に修正することを可能にする方法
US7679643B2 (en) Remote instruction system, remote instruction method, and program product for remote instruction
KR20130008606A (ko) 화상생성장치 및 조작지원 시스템
JP2010268923A (ja) 放射線撮影装置、その表示処理方法、及びプログラム
JP4401741B2 (ja) 画像表示装置、画像表示方法及びそのプログラム
JP4667944B2 (ja) 画像作成装置
Al-Janabi et al. Whole slide images for primary diagnostics of gastrointestinal tract pathology: a feasibility study
CN101443729B (zh) 调整3d空间中3d断面平面的操纵杆样图形用户界面
JP5569329B2 (ja) 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
JPWO2006033377A1 (ja) 医用画像表示装置及び方法並びにプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140825

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250