JP6299840B2 - 表示方法、情報処理装置および記憶媒体 - Google Patents

Description

本技術は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示方法、情報処理装置および記憶媒体に関する。

医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。

例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落[００２７]、[００２８]、図５参照）。

また、病理医が病理画像内の観察見落としを防ぐ手段として、病理画像を観察した履歴を記録する技術が公開されている（例えば、特許文献２）。

特開２００９−３７２５０号公報 特開２０１１−１１２５２３号公報

一般的に、顕微鏡の観察領域は、観察倍率が高いほど観察対象物の全体に対して狭くなる。例えば病理医は、顕微鏡を用いて観察対象物の全体を走査するように観察し、その全体の中の一部を特に高倍率で観察して対象物を検査することが多い。このような検査において、病理医が観察対象物のうち見ていない領域に疾患があった場合、つまり見落としがあった場合、後に重大な問題となることもある。

以上のような事情に鑑み、本発明の目的は、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避できるようにするための表示方法、情報処理装置および記憶媒体を提供することにある。

上記目的を達成するため、本技術の一形態に係る表示方法は、
顕微鏡画像を表示する方法であって、
前記顕微鏡画像の第一の領域を第一の倍率で表示し、
前記顕微鏡画像の第二の領域を前記第一の領域より高倍率の第二の倍率で表示し、
前記第二の領域を表示し始めてから所定時間経過後、前記第二の領域に対応する、前記第一の領域の第一の部分を顕微鏡画像の色と異なる第一の色で表示し、
前記第一の色は、前記第二の倍率に応じて決定される、ことを特徴とする。

以上のように、本技術によれば、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避することができる。

本技術に係るビューワコンピュータ５００の典型的な使用環境を表した図である。 本技術に係るビューワコンピュータ５００のハードウェアの構成を示すブロック図である。 イメージ管理サーバ４００の機能ブロックを示す図である。 ビューワコンピュータ５００の機能ブロックを示す図である。 ビューワ画面の例を示す図である。 ビューワ操作による画面表示の履歴を記録・再生する流れを説明するシーケンス図である。 病理全体画像と表示の軌跡が合成された軌跡画像を示す図である。 病理全体画像Ａとマスク画像Ｂが別の画像であり、それらを重ね合わせている様子を示す図である。 例に沿ったアルファ値の増え方を表したグラフである。 一定の場所を長時間観察する場合にアルファ値の増加量を変更する様子を示すグラフである。 観察領域６２に対応する矩形Ｒが回転した状態においてマスク画像上に記録された例を示す図である。 軌跡画像を生成する処理の流れを説明するフローチャートである。 ユーザが撮影された検体ＳＰＬを観察領域６２に表示させながら閲覧する過程を表した図である。 ユーザが撮影された検体ＳＰＬを観察領域６２に表示させながら閲覧する過程を表示軌跡としてサムネイルマップ６１内の病理全体画像上に記録した例を示す図である。 ２値画像に変換したマスク画像と合成した軌跡画像の例を示す図である。 表示履歴制御部５２がユーザに提示する、表示履歴一覧画面の例である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞

［ビューワコンピュータの使用環境について］
最初に、病理診断において、検体を顕微鏡を用いて撮影したバーチャルスライド画像（病理画像）を用いて病理医が診断を行う環境の全体像を説明する。病理医は、ビューワコンピュータ上のビューワを用いて、病理画像を観察し、画像診断を行う。図１は、本技術に係るビューワコンピュータ５００の典型的な使用環境を表した図である。

顕微鏡１０およびスキャナ用コンピュータ２０からなるスキャナ１００は、病院内の組織学ラボＨＬに設置されている。顕微鏡１０により撮影されたＲＡＷ画像は、スキャナ用コンピュータ２０上において、現像処理、シェーディング処理、カラーバランス補正、ガンマ補正、８ｂｉｔ化処理などの画像処理が行われる。その後、縦横２５６ピクセルのタイル状に分割され、ＪＰＥＧ（Joint Photographic Experts Group）画像に変換され圧縮された後、ハードディスクＨＤ１上に格納される。

スキャナ用コンピュータ２０のハードディスクＨＤ１に格納されたＪＰＥＧ画像は、次に、同じ病院内のデータセンタＤＣにあるイメージ管理サーバ４００上のハードディスクＨＤ２に、ネットワーク３００を経由してアップロードされる。

観察者である病理医は、病院内の病理学室ＰＲまたは病院外の建物ＥＸにいてイメージ管理サーバ４００とネットワーク３００により接続されたビューワコンピュータ５００を用いて、イメージ管理サーバ４００のハードディスクＨＤ２に格納されたＪＰＥＧ画像を観察する。

また、観察者である病理医は、ビューワコンピュータ５００に指示することにより、自分がＪＰＥＧ画像を観察する際に行った操作により、ＪＰＥＧ画像の表示がビューワ画面上においてどう変化したかを表示履歴として記録させることができる。記録された表示履歴は、ネットワーク３００を介してイメージ管理サーバ４００に送られ、格納される。

さらに、病理医は、ビューワコンピュータ５００に指示することにより、イメージ管理サーバ４００に格納された表示履歴を呼び出し、ビューワ上において、以前行われたＪＰＥＧ画像の観察の様子を再現させることができる。

［本技術の概要］
次に、本技術の概要を説明する。これまで、ビューワコンピュータ５００を用いて病理画像を観察した軌跡を病理画像上に画像として重ねて記録することは行われてきた。しかし、病理医が病理画像のどの部分をどのくらいの時間をかけて観察したかをより分かり易く病理画像上に軌跡として表現することが望まれてきた。

そこで本技術では、軌跡の記録方法として、病理画像の上全体に透明なマスク画像を重ね、そのマスク画像の透明度を、病理医が特定の個所を表示した時間や観察倍率によって変化させることにより、軌跡の記録を行っている。病理画像のうち、表示した個所の透明度を落として（マスク画像の色により）軌跡の位置を記録し、透明度の落ち具合（マスク画像の色の増加具合）で表示時間を表すものである。

このような記録を行うことにより、病理画像の見落としが無かったかを後で検証することができると共に、病理画像を観察した際の、観察位置および観察時間を分かり易く把握することができる。

［ビューワコンピュータ５００の構成について］
次に、ビューワコンピュータ５００のハードウェア構成について説明する。
図２は、本技術に係るビューワコンピュータ５００のハードウェアの構成を示すブロック図である。

ビューワコンピュータ５００は、演算制御を行うＣＰＵ(Central Processing Unit)２１、ＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、ユーザの操作に応じた命令が入力される操作入力部２４（入力部）を備える。ビューワコンピュータ５００はさらに、インターフェイス部２５、出力部２６（表示部）、記憶部２７、ネットワークインターフェイス部２８、およびこれらを互いに接続するバス２９を備える。

ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。インターフェイス部２５には、コントローラ３０およびカメラ３１が接続されている。コントローラ３０には、各種ボタンやスティックが備えられておりユーザによる様々な入力を受け付けることができる。

またコントローラ３０は、加速度センサや傾きセンサを内蔵しており、ユーザがコントローラ３０を傾けたり振ったりすることによりコントローラ３０に与える指示を受け付けることができる。カメラ３１は、ビューワコンピュータ５００を用いて病理画像を観察するユーザの顔を撮影するためのものである。

ネットワークインターフェイス部２８には、ネットワーク３００が接続される。出力部２６には、画像表示用として、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用され、音声出力用としてスピーカー等が適用される。記憶部２７には、ＨＤＤ（Hard Disk Drive）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。

ＣＰＵ２１は、ＲＯＭ２２および記憶部２７等に格納される複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、出力部２６及び記憶部２７を適宜制御する。

ＣＰＵ２１は、後述する各機能ブロックを実現する。ＣＰＵ２１は、ＲＯＭ２２および記憶部２７等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、ビューワコンピュータ５００は、種々の機能ブロックを実現することができ、上記各部材を、ビューワコンピュータ５００として動作させることができる。

［イメージ管理サーバ４００の構成について］
次に、イメージ管理サーバ４００のハードウェア構成について説明する。
イメージ管理サーバのハードウェア構成は、コントローラ３０およびカメラ３１がインターフェイス部２５に接続されていない点を除き、基本的にビューワコンピュータ５００のハードウェア構成と同じである。そのため、詳細な説明は省略する。

［イメージ管理サーバ４００の機能ブロックについて］
次に、イメージ管理サーバ４００の機能ブロックについて説明する。イメージ管理サーバ４００の主な機能は、第１に、病理画像を、ビューワコンピュータ５００からの要求に従い提供することである。第２に、ビューワコンピュータ５００から取得した表示履歴を保存し、ビューワコンピュータ５００からの要求に従い提供することである。

第３に、病理医がビューワ上において病理画像の特定個所に付けたコメント（以下、アノテーションという）を保存することである。図３は、イメージ管理サーバ４００の機能ブロックを示す図である。

イメージ管理サーバ４００は、画像格納部４１、画像提供部４２、表示履歴格納部４３、表示履歴管理部４４の機能ブロックを備えている。

画像格納部４１には、タイル状に分割されＪＰＥＧ圧縮された病理画像が格納されている。格納されている病理画像は、ビューワコンピュータ５００からの要求に従い、画像提供部４２を介してビューワコンピュータ５００に提供される。また、ユーザがビューワコンピュータ５００上のビューワを用いて病理画像に付したアノテーションもここに保存される。

画像提供部４２は、ネットワーク３００を介してビューワコンピュータ５００から送られてくる画像要求に対応した病理画像を画像格納部４１から取得し、ネットワーク３００を介してビューワコンピュータ５００に送信する。

表示履歴格納部４３には、ビューワコンピュータ５００上においてユーザが操作したビューワの表示履歴が格納される。

表示履歴管理部４４は、ビューワコンピュータ５００上において記録され、一旦まとめられた表示履歴をネットワーク３００を介して取得する。そして、表示履歴管理部４４は、取得した表示履歴を表示履歴格納部４３に格納する。また、表示履歴管理部４４は、ビューワコンピュータ５００からの表示履歴要求を受け付け、その表示履歴要求に応じた表示履歴を表示履歴格納部４３から取得し、ネットワーク３００を介してビューワコンピュータ５００に送信する。

なお、イメージ管理サーバ４００とビューワコンピュータ５００とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックの実行場所は上述のイメージ管理サーバ４００上に限定されるものではなく、クライアント側であるビューワコンピュータ５００上において実行される構成でもよい。

［ビューワコンピュータ５００の機能ブロックについて］
次に、ビューワコンピュータ５００の機能ブロックについて説明する。ビューワコンピュータ５００の主な機能は、第１に、病理医であるユーザからの操作指示を受け付け、対応する病理画像をイメージ管理サーバ４００から取得し、ユーザに対し表示することである。第２に、病理画像のうち、表示された範囲と表示された時間とを病理画像の上に軌跡として表し、軌跡画像を生成することである。

第３に、ユーザが画像診断を行う際のビューワ操作に応じた画像の表示を記録し、その表示履歴を保存のためにイメージ管理サーバ４００に送ることである。第４に、ユーザからの要求に従い、イメージ管理サーバ４００に保存されている表示履歴を取得し、ユーザに対して表示履歴に基づき、ユーザが行った操作に応じた画像の表示を再現することである。

図４は、ビューワコンピュータ５００の機能ブロックを示す図である。

ビューワコンピュータ５００は、画像取得部５１（取得部）、表示履歴制御部５２、軌跡画像生成部５３（生成部）の機能ブロックを備えている。

画像取得部５１は、操作入力部２４から入力された、病理医であるユーザの指示に対応した病理画像を、ネットワーク３００を介してイメージ管理サーバ４００から取得し、取得した病理画像を出力部２６を介してユーザに提示する。

表示履歴制御部５２は、ユーザの指示により、ユーザが病理画像を観察する際のビューワ操作に応じた画面表示の変化を記録する。記録は、まずビューワコンピュータ５００のＲＡＭ２３または記憶部２７を用いて保存される。記録の停止指示により、記録はまとめられ、表示履歴としてイメージ管理サーバ４００に送られ、保存される。

表示履歴制御部５２は、また、ユーザの指示により、その指示に対応した表示履歴をイメージ管理サーバ４００から取得し、取得した表示履歴に記録されているビューワの画面表示を、出力部２６を介して、ユーザに提示する。

表示履歴制御部５２は、さらに、病理画像のどの部分がビューワ画面上に表示されているか、またその表示時間はどれだけかの情報を軌跡画像生成部５３に渡す。

軌跡画像生成部５３は、表示履歴制御部５２から、現在、病理画像のどの部分が表示されているかその位置情報と、どの程度の時間、表示されているかその時間情報とを取得し、マスク画像の画素の透明度を下げる。透明度の下げ方の詳細は後述する。

［ビューワ画面について］
次に、ユーザがビューワコンピュータ５００上において病理画像を観察するために用いるビューワの画面について説明する。図５は、ビューワ画面の例を示す図である。

ビューワウィンドウ６０には、病理画像のどの個所を拡大しているかを示すサムネイルマップ６１と、病理画像を観察するための観察領域６２と、表示記録再生ＧＵＩ６３とが含まれている。サムネイルマップ６１は、病理画像全体の縮小画像（以下では、病理全体画像と呼ぶ）と、ビューワウィンドウ６０に表示されている画像の範囲をサムネイルマップ６１上で等価的に示す枠ＦＲとを有する。

枠ＦＲはサムネイルマップ６１上で、ユーザからの指示によって任意の方向へ任意の量だけ移動させることが可能である。なお、サムネイルマップ６１において、枠の移動の操作はマウスなどのドラッグ操作などにより行うことも可能である。

表示記録再生ＧＵＩ６３は、ユーザによる、ビューワ操作に応じた表示画面の変化の記録開始指示や記録停止指示を受け付け、受け付けた指示を表示履歴制御部５２に伝える。

［ビューワ画面表示の記録再生の流れについて］
次に、ビューワ操作による画面表示の履歴を記録・再生する流れを説明する。図６は、ビューワ操作による画面表示の履歴を記録・再生する流れを説明するシーケンス図である。

まず、表示履歴を記録する流れを説明する。
最初に、ユーザが、表示記録再生ＧＵＩ６３の記録ボタンをクリックすることにより、ビューワ表示の記録開始を表示履歴制御部５２に指示する（Ｓ１）。その後、ユーザはビューワ上に表示された病理画像の一覧から、観察を行う病理画像を選択する。

表示履歴制御部５２が記録開始の指示を受け付けた以降、表示履歴制御部５２は、ユーザがビューワに対して行った表示位置の変更や、観察倍率の変更による画面表示の変化を周期的に記録する（Ｓ２）。

ユーザによる表示範囲の変更や、観察倍率の変更が行われた場合、画像取得部５１がイメージ管理サーバ４００に対して、対応するタイル化された画像を要求し、取得を行う（Ｓ３）。

イメージ管理サーバ４００から取得された画像は、画像取得部５１を経由して画面に表示される（Ｓ４）。このとき軌跡画像生成部５３は、病理画像の観察領域６２上に表示された範囲を、表示された時間や観察倍率に応じてマスク画像の透明度を変えながら、サムネイルマップ６１内の病理全体画像に記録する。

ユーザは、ビューワ画面の操作を継続し（Ｓ５）、画像取得部５１が病理画像のビューワ画面上への表示を行う（Ｓ６）。その間、表示履歴制御部５２による、画面表示の状態は表示履歴として記録が継続される。また、軌跡画像生成部５３による観察領域６２の移動の軌跡（場所および時間を含む）は、サムネイルマップ６１内の病理全体画像に軌跡画像として合成され生成される。

ユーザが、表示記録再生ＧＵＩ６３の停止ボタンをクリックすることにより、ビューワ表示の記録停止を表示履歴制御部５２に指示する（Ｓ７）。この際に、記録した表示履歴に名前が付けられる。停止の指示が行われると、表示履歴制御部５２は、ローカルに一時保存していた表示履歴を、イメージ管理サーバ４００に送信する（Ｓ８）。表示履歴管理部４４は、受信した表示履歴を表示履歴格納部４３に格納する。

以上が表示履歴を記録する流れである。次に、表示履歴を再生する流れを説明する。

最初に、ユーザが、再生したい表示履歴の名前を表示履歴一覧から選択し、表示記録再生ＧＵＩ６３の再生ボタンをクリックすることにより、表示履歴の再生を表示履歴制御部５２に指示する（Ｓ９）。なお、表示履歴の一覧には、表示履歴の名前に加えて、その表示履歴に対応した軌跡画像がサムネイルとして追加的に表示されている。

表示履歴の再生が指示されると、表示履歴制御部５２は、イメージ管理サーバ４００の表示履歴管理部４４に対して、ユーザにより指定された表示履歴を要求し、イメージ管理サーバ４００から取得する（Ｓ１０）。

また、表示履歴の再生指示がなされると、画像取得部５１が、再生時に表示するための画像を、イメージ管理サーバ４００の画像格納部４１から取得する（Ｓ１１）。

取得された表示履歴および画像を用いて、ビューワ画面上での表示の再生が行われる（Ｓ１２）。

最後に、ユーザが表示記録再生ＧＵＩ６３の停止ボタンをクリックすることにより、表示履歴の再生停止を表示履歴制御部５２に指示すると（Ｓ１３）、表示履歴制御部５２は、表示履歴の再生を停止する。
以上が表示履歴を再生する流れである。

［アルファ値とアルファブレンド］
次に、軌跡画像を生成する際の詳細について説明する。最初にサムネイルマップ６１内に表示される病理全体画像上にマスク画像を重ねて表示の軌跡を表現する際に用いるアルファ値とアルファブレンドを説明する。

アルファ値とは、コンピュータが扱うデジタル画像データにおいて、各画素に設定された透明度の情報のことである。また、アルファブレンドとは、２つの画像を係数（アルファ値）により合成することである。２つの画像とは、本技術の場合、サムネイルマップ６１内の病理全体画像と、その手前に設定されるマスク画像である。

図７は、病理全体画像と表示の軌跡が合成された軌跡画像を示す図であり、図８は、病理全体画像Ａとマスク画像Ｂが別の画像であり、それらを重ね合わせている様子を示す図である。

これらの図から分かるように、病理全体画像とマスク画像は別の画像である。軌跡画像生成部５３は、マスク画像の透明度を表すアルファ値を調整して、表示の軌跡をマスク画像上に記録する。そしてその後、アルファ値が調整されたマスク画像と病理全体画像とをアルファブレンドにより合成して軌跡画像が生成される。

アルファ値は、例えば、０から２５５までの範囲の整数値をとる。ある画素のアルファ値が０のときは、マスク画像の画素は完全に透明となり、背後の病理全体画像の画素が完全に透けて見える。アルファ値が１２８程度のときは、マスク画像の画素は半透明となり、色（例えば緑色）が着色される。その際、背後の病理全体画像の画素の色は半分だけ透けて見える。アルファ値が２５５になると、マスク画像の画素は完全に不透明になり、背後の病理全体画像の色は全く見えなくなる。

本技術では、マスク画像の透明度を最初は完全に透明にしておき、観察領域６２に表示される時間に応じて、アルファ値を増加させ、マスク画像の透明度を減少させてマスク画像の色を出していくことにより表示の軌跡を記録する。また、逆に、最初マスク画像の透明度を７０％程度にしておき、観察領域６２に表示される時間に応じて、アルファ値を減少させ、マスク画像の透明度を増加させてマスク画像の色を消してゆくことにより表示の軌跡を記録する構成でもよい。

なお、マスク画像は、病理全体画像とは別の画像なので、マスク画像のアルファ値を全て０に戻すことにより、軌跡の記録をリセットすることも可能である。

［アルファ値の加算方法（基本）］
本技術では、病理画像の少なくとも一部を観察領域６２に表示させる場合、動画のように例えば６０ｆｐｓのフレームレートを用いて再描画を繰り返しながら表示を行っている。サムネイルマップ６１も同じである。そこで、例えば、観察領域６２に病理画像の一定の範囲が表示され続ける場合、毎フレーム、アルファ値を１だけ増加させることが考えられる。こうすると、６０フレーム分の時間（１秒間）が経つと観察領域に表示された位置に対応するマスク画像の画素のアルファ値は６０となり、２３％ほど不透明になる。

そのまま表示時間が４秒を過ぎると、アルファ値は２５５に達し、マスク画像が完全に不透明になってしまう。その場合、背後の病理全体画像が見えないので、ユーザは、病理全体画像の形状と表示の軌跡の対比により、病理画像のどこを観察したのかを把握するのが困難になる。そこで、アルファ値には上限を設けるのがよい。例えば、加算するアルファ値の上限を１８０とすれば、約７０％の透明度でアルファ値の増加が止まるので、背後の病理全体画像が見えなくなることは無い。

なお上記の例では、１フレーム毎にアルファ値が１増加する構成をとったが、例えば３０秒ごとにアルファ値が１増加する構成でもよい。こうするとアルファ値が上限である１８０に達するまでに９０分を要するので、長時間の観察を記録する際にも、時間により透明度に差をつけ、適切に表示の軌跡を記録することができる。いずれにしても、典型的な観察時間の長さをもとに、アルファ値の増加率を定めるのがよい。

［アルファ値の加算方法（観察倍率を考慮）］
上記では、観察領域６２に病理画像の一定の範囲が表示され続ける場合、無条件にアルファ値を増加させる構成としたが、アルファ値の増加率を、病理画像を観察する観察倍率により異なる値とすることも考えられる。軌跡画像における軌跡の色が濃いほど（マスク画像の不透明度が高いほど）、病理画像をよく観察したことを表す場合、一か所の観察時間が長いほど不透明度が高くなるのがよい。同じく観察倍率が高いほど、詳細に観察を行っていることになるので、アルファ値の増加率を上げるのがよい。

例えば、観察倍率が２倍未満のときは、単位時間当たりのアルファ値の増加量を０とし、軌跡の記録を行わない。観察倍率が２倍以上４倍未満のときは、単位時間当たりのアルファ値の増加量を１とする。観察倍率が４倍以上のときは、単位時間当たりのアルファ値の増加量を２とする。このような構成とする事により、観察倍率も考慮して表示の軌跡を記録することができる。

図９は、この例に沿ったアルファ値の増え方を表したグラフである。図の上側のグラフにあるように、観察倍率が２倍未満のときは、時間がたってもアルファ値はゼロのままであり増えない。観察倍率が２倍以上４倍未満のとき、アルファ値は緩やかに増加する。観察倍率が４倍以上のとき、観察倍率は急に増加するが、上述のとおり上限に達すると、そこからは増えない。

［アルファ値の加算方法（観察時間を考慮）］
上記の構成では、一定の場所の観察を続けた場合、単調にアルファ値が増加する構成であった。しかし、一定の場所を長時間観察するということは、それだけ詳しく観察していることに他ならず、その際には、アルファ値の増加率を高めることが望ましい。

図１０は、一定の場所を長時間観察する場合にアルファ値の増加量を変更する様子を示すグラフである。例えば、ある個所を観察領域６２に表示して観察を始めてから時間ｔ１が経過するまではアルファ値を単位時間当たりｎだけ増加させる。時間ｔ１を経過すると、アルファ値の増加量を１．１倍に増やして、単位時間当たり１．１ｎとする。

さらに同じ個所を観察し続けて時間ｔ２を経過すると、アルファ値の増加量を１．２倍に増やして、単位時間当たり１．２ｎとする。ｎの値は、上記のとおり、観察倍率によって変動する。観察領域６２に表示する画像を移動させたときは、アルファ値の増加量はまたｎから始まる。

このような構成をとることにより、一定の個所を長時間観察した場合に、その軌跡を強調させて記録することができる。

［回転表示の場合の記録方法］
次に、観察領域６２に病理画像の一部を表示させる際に、画像を回転させた場合の記録方法を述べる。基本的には、回転を行わない場合と同様に、観察領域６２に対応する矩形領域に含まれる画素のアルファ値を増加させるだけである。但し、回転が行われている分、マスク画像上では、観察領域６２に対応する矩形が回転した形で記録が行われる。図１１は、観察領域６２に対応する矩形Ｒが回転した状態においてマスク画像上に記録された例を示す図である。

［軌跡画像生成の流れ］
次に、軌跡画像生成部５３が軌跡画像を生成する処理の流れを説明する。図１２は、軌跡画像を生成する処理の流れを説明するフローチャートである。なお、上記での説明のとおり、軌跡画像の更新は、フレーム毎（例えば６０ｆｐｓであれば、１／６０秒ごと）に行われているので、このフローチャートの処理もフレーム毎のタイミングにおいて行われる。

まず、軌跡画像生成部５３は、現在の観察倍率によってアルファ値を決定する（ステップＳＴ１）。

次に、軌跡画像生成部５３は、観察領域６２に現在の画像を表示し始めてから所定の時間が経過したか否かを判断し、所定の時間が経過している場合は、アルファ値を増やす(ステップＳＴ２)。

次に、軌跡画像生成部５３は、観察領域６２に表示されている画像の範囲から、マスク画像上でアルファ値を変更する矩形の範囲を決定する（ステップＳＴ３）。

次に、軌跡画像生成部５３は、マスク画像に矩形を軌跡として記録する（ステップＳＴ４）。ここでは、ステップＳＴ１またはＳＴ２において決定されたアルファ値の増分を、マスク画像上の対象となる画素のアルファ値に加算することにより記録が行われる。記録が行われると、サムネイルマップ６１上の病理全体画像上に、観察領域６２の範囲を示す矩形が、マスク画像の色により表示される。

ここで、軌跡画像生成部５３は、操作入力部２４から表示の軌跡のリセット要求が来ているか否かを判断し、リセット要求が入力された場合は（ステップＳＴ５のＹ）サムネイルマップ６１上の軌跡を全て消去する（ステップＳＴ６）。消去は、マスク画像の全画素のアルファ値を初期値に戻すことにより行われる。
以上が軌跡画像生成部５３による軌跡画像を生成する処理の流れである。

［軌跡画像の実際例］
次に、軌跡画像生成部５３がサムネイルマップ６１上に生成する軌跡画像の実際例を説明する。

以下では、まず、ユーザがどのような時間配分を用いて病理画像を観察したか、その例を説明し、その観察に対応した軌跡の表示がどのような色の濃淡により示されるかを説明する。

図１３は、ユーザが撮影された検体ＳＰＬを観察領域６２に表示させながら閲覧する過程を表した図である。図１４は、その表示過程を表示軌跡としてサムネイルマップ６１内の病理全体画像上に記録した例を示す図である。

ユーザが病理画像を、観察領域６２にどのように表示させたかを、図１３を用いて説明する。

まず、ユーザは検体ＳＰＬの上部Ｄ１の範囲を、観察倍率１．２５倍により観察領域６２内に部分画像として表示させ、８秒間観察を行う。なお、表示範囲Ｄ１の中心座標は（ｘ１，ｙ１）である。

次に、ユーザは、部分画像の表示範囲をＤ１からＤ２に変更し、２０秒間観察を行う。部分画像の表示範囲Ｄ２の中心座標は（ｘ２，ｙ２）である。

次に、ユーザは、観察倍率を１．２５倍から２０倍に拡大し、部分画像の表示範囲Ｄ３を表示し、３５秒間観察を行う。この時、部分画像の中心座標は変化せず（ｘ２，ｙ２）のままである。

次に、ユーザは、部分画像の表示範囲Ｄ３を表示範囲Ｄ４まで移動し、４０秒間観察を行う。部分画像の中心座標は（ｘ３，ｙ３）となる。

次に、ユーザは、観察倍率を２０倍から４０倍に拡大し、部分画像の表示範囲Ｄ５を表示し、２分間観察を行う。この時、部分画像の中心座標は変化せず（ｘ３，ｙ３）のままである。

以下、同様にして観察倍率や観察時間を変えながら観察を行ったとする。

次に、上述した観察過程の表示軌跡の記録例を、図１４を用いて説明する。

観察倍率が低かったり、観察時間が短時間であったりする軌跡Ｔ１、Ｔ２、Ｔ７などは、薄い色により透明度を高めて軌跡が記録されている。逆に、最も濃い色により最も不透明に示される軌跡は、Ｔ５、Ｔ９、Ｔ１０などである。特に軌跡Ｔ５などは、軌跡Ｔ２の色の濃さと軌跡Ｔ４の色の濃さと軌跡Ｔ５本来の色の濃さが全て累積的に加算された濃さにより示されるので、非常に濃い色により軌跡が記録されることになる。

［応用例（閾値を設けた表示）］
次に、軌跡画像を記録する際の応用例として、軌跡画像に閾値を設けて表示させる例を示す。

上記の説明のとおり、マスク画像のアルファ値は、０から徐々に数値が上がっていく、連続的な値である。そのため、軌跡画像上に表示させると、マスク画像の色がグラデーションとなって表示され、観察者がどこをよく観察したか、その境界線がはっきりしない。

そこで、予め一定の閾値を設けておき、アルファ値がこの閾値以上であればアルファ値を最大値まで上げてマスク画像を完全に不透明とし、閾値未満であればアルファ値を最小値まで下げて、マスク画像を完全に透明とする。このように、マスク画像を連続的なグラデーションを有する画像から、２値画像に変換することにより、観察した個所と観察していない個所との区別を容易につけることができる。

なお、軌跡を不透明にする場合、上記の説明ではアルファ値を最大値まで上げて完全に不透明にするとしたが、最大値よりも低い値を上限値として、上限値になるようアルファ値を設定してもよい。

図１５は、２値画像に変換したマスク画像と合成した軌跡画像の例を示す図である。軌跡Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ９、Ｔ１０などが不透明な色により表現されているので、どこをよく観察したのかが一目でわかる。

［応用例（軌跡画像のサムネイル利用）］
次に、軌跡画像の応用例として、ユーザがイメージ管理サーバ４００に保管されている表示履歴の中から再生したい表示履歴を選択する際に、一覧表に表示される各表示履歴のサムネイルとして軌跡画像を利用することが考えられる。

図１６は、表示履歴制御部５２がユーザに提示する、表示履歴一覧画面の例である。各行が１つの表示履歴を表し、１つの行には、左から、軌跡画像のサムネイル、表示履歴名、録画時間が表示されている。

この例において注目すべき点は、サムネイル内に示されている軌跡の位置である。これらのサムネイルが無いと、ユーザは、表示履歴名や録画時間から見たい表示履歴を探さなければならないが、それは困難である。それに対し、軌跡画像のサムネイルがあれば、病理画像の中のどの位置を観察した際の表示履歴であるかが、一目瞭然である。

このように、病理画像のどの部分を観察したかが記録されている軌跡画像を、表示履歴の一覧を提示する際のサムネイルとして利用するために、表示履歴の属性情報として紐づけて保存しておくことは有用である。

［本技術の別の構成］
なお、本技術は以下のような構成も採ることができる。
（１）病理画像を取得する取得部と、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部と、前記部分表示領域を移動させる指示をユーザから受け付ける入力部と、前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する生成部とを具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、前記生成部は、前記範囲の表示時間の長さに対応した前記値を、観察倍率の高さに応じて修正し、被合成画像を一定の時間周期で生成する情報処理装置。
（３）前記（１）または（２）に記載の情報処理装置であって、前記生成部は、前記部分表示領域の表示範囲が一定のとき、表示時間の増加に伴い、前記表示された部分表示領域の全画素位置についてそれぞれ、前記軌跡画像の中で前記軌跡を表す色を軌跡色として当該軌跡色の輝度値を増加させ、前記病理画像の輝度値を減少させる情報処理装置。
（４）前記（３）に記載の情報処理装置であって、前記生成部は、前記部分表示領域の表示範囲が一定かつ前記表示時間が予め定められた時間を超えたとき、前記軌跡色の前記輝度値の増加率を段階的に高める情報処理装置。
（５）前記（３）または（４）に記載の情報処理装置であって、前記生成部は、前記軌跡画像の全画素位置についてそれぞれ、前記軌跡色の前記輝度値が予め定められた閾値以上であれば、前記軌跡画像の画素の色を前記軌跡色のみで表し、前記輝度値が前記閾値未満であれば前記軌跡画像の前記画素の色を前記病理画像の色のみで表す情報処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、前記生成部は、前記値としてアルファ値を用い、前記画素毎の合成方法としてアルファブレンドを用いる情報処理装置。
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理装置であって、前記生成部は、前記病理画像における前記部分表示領域の少なくとも位置情報を表示時刻と対応付けて周期的に記録した表示履歴に、前記軌跡画像をサムネイルとして付加する情報処理装置。
（８）取得部が、病理画像を取得し、表示部が、取得した前記病理画像の少なくとも一部を部分表示領域として表示し、入力部が、前記部分表示領域を移動させる指示をユーザから受け付け、生成部が、前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する情報処理方法。
（９）病理画像を取得する取得部、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部、前記部分表示領域を移動させる指示をユーザから受け付ける入力部、および前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する生成部としてコンピュータを機能させるための情報処理プログラム。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０…顕微鏡
２０…スキャナ用コンピュータ
２１…ＣＰＵ
２２…ＲＯＭ
２３…ＲＡＭ
２４…操作入力部
２５…インターフェイス部
２６…出力部
２７…記憶部
２８…ネットワークインターフェイス部
２９…バス
３０…コントローラ
３１…カメラ
４１…画像格納部
４２…画像提供部
４３…表示履歴格納部
４４…表示履歴管理部
５１…画像取得部
５２…表示履歴制御部
５３…軌跡画像生成部
６０…ビューワウィンドウ
６１…サムネイルマップ
６２…観察領域
６３…表示記録再生ＧＵＩ
１００…スキャナ
３００…ネットワーク
４００…イメージ管理サーバ
５００…ビューワコンピュータ

Claims (12)

1. 医療画像を表示する方法であって、
   前記医療画像を第一の領域に表示し、
   前記医療画像の少なくとも一部を部分表示領域として第二の領域に表示し、
   前記部分表示領域が所定の観察倍率以上、且つ、所定の時間以上表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素を、当該観察倍率に対応した色の濃さで表示し、
   前記部分表示領域が所定の観察倍率未満で前記第二の領域に表示される場合、前記部分表示領域の表示の時間に関わらず、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素の色の濃さを前記表示前と同一とする
   表示方法。
2. 請求項１に記載の表示方法であって、
   前記医療画像は、生体組織の少なくとも一部の病理画像である
   表示方法。
3. 請求項１または２に記載の表示方法であって、
   前記部分表示領域が所定の観察倍率以上、且つ、前記医療画像の表示範囲が所定の時間以上一定の場合、前記第一の領域に表示された前記医療画像の画素を、当該観察倍率に対応した色の濃さで表示する
   表示方法。
4. 請求項１から３のいずれか１つに記載の表示方法であって、
   前記第二の領域に表示された前記部分表示領域が、前記第一の領域に表示された前記医療画像のどの位置に対応するかを示す画像を、当該医療画像に重畳する
   表示方法。
5. 請求項１から４のいずれか１つに記載の表示方法であって、
   前記部分表示領域が所定の観察倍率以上で前記第二の領域に表示される場合、前記医療画像のどの部分が前記部分表示領域として表示されているかその位置情報、または、前記部分表示領域が前記第二の領域に表示されている時間を記憶する
   表示方法。
6. 請求項１から５のいずれか１つに記載の表示方法であって、
   前記第二の領域に表示された前記部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した色が与えられた被合成画像を一定の時間周期で生成する
   表示方法。
7. 請求項６に記載の表示方法であって、
   前記被合成画像を前記医療画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する
   表示方法。
8. 請求項７に記載の表示方法であって、
   前記部分表示領域の表示時間の増加に伴い、前記第二の領域に表示された前記部分表示領域の全画素位置についてそれぞれ、前記軌跡画像の中で前記軌跡を表す色を軌跡色として当該軌跡色の輝度値を増加させる
   表示方法。
9. 請求項６から８のいずれか１つに記載の表示方法であって、
   前記色の濃さは、前記被合成画像の透明度によって調整される
   表示方法。
10. 請求項１から９のいずれか１つに記載の表示方法であって、
    前記色の濃さは、前記観察倍率に対応して、グラデーションとして表示される
    表示方法。
11. 医療画像を表示部の画面の第一の領域に表示し、前記医療画像の少なくとも一部を部分表示領域として前記画面の第二の領域に表示し、前記部分表示領域が所定の観察倍率以上、且つ、所定の時間以上表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素を、当該観察倍率に対応した色の濃さで表示し、前記部分表示領域が所定の観察倍率未満で前記第二の領域に表示される場合、前記部分表示領域の表示の時間に関わらず、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素の色の濃さを前記表示前と同一とする演算処理回路
    を具備する情報処理装置。
12. コンピュータに、
    医療画像を表示部の画面の第一の領域に表示し、
    前記医療画像の少なくとも一部を部分表示領域として前記画面の第二の領域に表示し、
    前記部分表示領域が所定の観察倍率以上、且つ、所定の時間以上表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素を、当該観察倍率に対応した色の濃さで表示し、
    前記部分表示領域が所定の観察倍率未満で前記第二の領域に表示される場合、前記部分表示領域の表示の時間に関わらず、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素の色の濃さを前記表示前と同一とすることを実行させるためのプログラムが記憶された
    コンピュータ読み込み可能な記憶媒体。