JP6024293B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Description

本技術は、デジタル病理画像を用いてプレゼンテーションを実行可能な情報処理装置、情報処理方法、および情報処理プログラムに関する。

現在、光学顕微鏡に変わってデジタル病理スキャナで病理スライドを撮影する「病理データのデジタル化」が進んでいる。デジタル化された病理データは、サーバクライアント型のデジタル病理システムを用いて配信される。デジタル病理スキャナにより撮影されたデジタル病理画像は、デジタル病理サーバに保存される。保存されたデジタル病理画像はデジタル病理ビューワに配信され、表示ディスプレイを用いてデータの確認や診断などが行なわれる。

デジタル病理画像は、学会や講義などのプレゼンテーションにおいても使われるようになってきた。

デジタル病理画像ではなく、一般的なサイズの小さなデジタル画像を用いたプレゼンテーションを効果的に行う方法は数多く提案されている。例えば特許文献１に開示されている技術では、デジタルカメラにて撮影した画像から一連の画像を選択し「タイトル付加やレイアウト変更などの加工」をしながらスライドショーの作成を実現している。また、特許文献２では、選択された一連の画像を解析し、各々の画像の内容に応じた表示時間を用いて「自動スライドショー」表示するシステムが提案されている。

特開２００５−１７６２１６号公報 特開２０１１−２４４４９４号公報

デジタル病理画像は一眼レフカメラで撮影したデジタル画像と比べて画素数が１，０００倍を越える巨大なファイルサイズのため、所望の位置を拡大して表示するのに時間がかかる。また、病理診断そのものの難しさから、試料の中にある特定の症状が見られる場所を探し出すのにも時間がかかる。一方、所望の位置を表示した状態を静止画として保存すれば画素数が巨大な問題は回避できるが、デジタル病理ビューワにおいて行うように画質と画サイズを保った状態のままで表示を拡大したり縮小したりするような操作はできなくなってしまう。それ故、効率的なプレゼンテーションをデジタル病理ビューワにより行う仕組みが求められている。

以上のような事情に鑑み、本技術の目的は、デジタル病理画像を用いて効率的なプレゼンテーションを実行可能な情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。

（１）上記目的を達成するため、本技術の一形態に係る情報処理装置は、全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させる表示処理部と、順次表示された複数の病理画像の中から１以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報をシーン情報として生成する生成部と、当該１以上のシーン情報に対する順序情報の設定を前記ユーザより受け付ける入力部と、前記生成された１以上のシーン情報と前記設定された順序情報を記憶する記憶部と、前記記憶された情報をもとに、前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させる再現部とを具備する。

本技術では、シーン情報に対して順序情報を設定するので、プレゼンテーションのときに、シーン情報に基づいて再現された病理画像を、ユーザの意図した順序により観客に提示できる。それ故、デジタル病理画像を用いて効率的なプレゼンテーションを行うことができる。

（２）上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記全体の病理画像を保存する画像保存装置から前記選択された範囲の病理画像を取得する取得部をさらに具備する構成でもよい。

本技術では、全体の病理画像はサーバに保存されるので、当該情報処理装置は、全体の病理画像を保存するだけの記憶容量を持つ必要がなく、ハードウェアのコストを削減することができる。

（３）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記再現部は、前記順次表示させる病理画像を切り替えるときの表示の変化のさせ方に関する情報を前記ユーザより受け付け、前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させるとき、前記表示の変化のさせ方に関する情報をもとに、前記複数の病理画像の表示を切り替える構成でもよい。

本技術では、表示した病理画像を次の病理画像に切り替えるとき、ユーザから受け付けた表示の変化のさせ方の情報を用いて切り替える。それ故、ユーザは、所望の表示切り替え方法を用いて表示を切り替えながらプレゼンテーションを行うことができる。

（４）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記再現部は、前記順次表示させる複数の病理画像の間の表示を切り替えるとき、前後の画像間に空間的に存在する１以上の画像を、切り替える前後の病理画像間を移動させるように表示させる構成でもよい。

本技術では、表示の切り替え前の画像から切り替え後の画像まで表示箇所が動画のように変化する。それ故、ユーザは、病理画像上における切り替え前の画像と切り替え後の画像の間の相対位置を把握することができる。

（５）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記再現部は、前記順次表示させる複数の病理画像の間で表示を切り替えるとき、切り替え前の画像を一時的にズームアウトして表示させ、切り替え後の画像をズームインして表示させる構成でもよい。

本技術では、表示の切り替え前の画像から一旦ズームアウトさせてから切り替え後の画像にズームインするので、病理画像全体の中での表示範囲の把握を絶対位置を用いて行うことができる。

（６）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記表示の変化のさせ方に関する情報は、対応する病理画像の表示時間の情報をさらに含み、前記再現部は、前記表示時間の情報をもとに前記表示を切り替える構成でもよい。

本技術では、表示の変化のさせ方に関する情報に、病理画像を表示する時間の情報が設定されるので、プレゼンテーションのときに、ユーザが画像の切り替えを行わなくても時間が経過すると切り替えが行われる。それ故、ユーザが画像を切り替える手間を省くことができる。また、発表に使用する持ち時間が決まっているプレゼンテーションにおいて時間を守ることができる。

（７）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記再現部は、前記記憶されたシーン情報をもとに、前記表示部への前記１以上の病理画像の表示に先立って、前記取得部に前記選択された範囲の病理画像をまとめて取得させる構成でもよい。

本技術では、画像保存装置であるサーバから事前に必要な病理画像を取得するプリ・フェッチを行うので、病理画像を表示するとき、高速に表示を行うことができる。

（８）上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記再現部は、前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させるとき、ユーザによる病理画像の観察のための表示要素の表示のオンオフを前記ユーザからの指示により切り替え可能である構成でもよい。

本技術では、プレゼンテーションのときの画像表示は、シーン情報に基づいて行うことができるので、ユーザによる病理画像の観察のための表示要素である、例えば、メニューやマウスポインタ、サムネイルマップ、スケール、倍率表示などの表示を消すことができ、観客はあたかも光学顕微鏡を覗いているかのように、プレゼンテーションを見ることができる。

（９）上記目的を達成するため、本技術の一形態に係る情報処理方法では、表示処理部が、全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させ、生成部が、順次表示された複数の病理画像の中から１以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報をシーン情報として生成し、入力部が、当該１以上のシーン情報に対する順序情報の設定を前記ユーザより受け付け、記憶部が、前記生成された１以上のシーン情報と前記設定された順序情報を記憶し、再現部が、前記記憶された情報をもとに、前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させる。

（１０）上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させる表示処理部、順次表示された複数の病理画像の中から１以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報をシーン情報として生成する生成部、当該１以上のシーン情報に対する順序情報の設定を前記ユーザより受け付ける入力部、前記生成された１以上のシーン情報と前記設定された順序情報を記憶する記憶部、および前記記憶された情報をもとに、前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させる再現部としてコンピュータを機能させる

以上のように、本技術によれば、デジタル病理画像を用いて効率的なプレゼンテーションを実行可能である。

本技術に係るデジタル病理ビューワ５００の典型的な使用環境を表した図である。 デジタル病理スライドＡの全体画像と、そこに設定されるシーンとの関係の例を示す図である。 デジタル病理スライドのうち、シーンとして設定される表示の例を示す図である。 デジタル病理スライドのうち、シーンとして設定される表示の例を示す図である。 デジタル病理スライドＢの全体画像と、そこに設定されるシーンとの関係の例を示す図である。 デジタル病理スライドのうち、シーンとして設定される表示の例を示す図である。 デジタル病理スライドのうち、シーンとして設定される表示の例を示す図である。 シーン情報を登録したシーンテーブルの具体例を示す図である。 シーントレイの例を示す図である。 シーン設定テーブルの例を示す図である。 アニメーションによるシーン間の移動の例を示す図である。 シーン間の移動方法を加味したシーン設定テーブルの例を示す図である。 移動方法付きシーン設定テーブルに表示時間の上限値の設定を加えた例を示す図である。 シーン設定テーブルに、シーン番号に加えて、アノテーション名を追加した例を示す図である。 基本的なシーン設定テーブルによる画面遷移の例を示す図である。 アノテーションの表示動作を加えた変形例３のシーン設定テーブルによる画面遷移の例を示す図である。 本技術に係るデジタル病理ビューワ５００のハードウェアの構成を示すブロック図である。 デジタル病理サーバ４００の機能ブロックを示す図である。 デジタル病理ビューワ５００の機能ブロックを示す図である。 デジタル病理スライドのデータがタイル単位に分割されている例を示す図である。 デジタル病理ビューワ５００の画面に表示される範囲と、必要なタイルとの関係を示す図である。 シーン情報に基づき、シーンの表示に必要なタイルをプリ・フェッチする処理の流れを示すフローチャートである。 シーン情報に基づき、シーンの表示およびシーン間の移動の表示に必要なタイルをプリ・フェッチする処理の流れを示すフローチャートである。 通常の画像診断を行う際のデジタル病理ビューワ５００の画面構成例を示す図である。 図２４に示す画面構成例から、メニューやポインタ、さらにサムネイル、倍率、スケールなどを非表示にした例を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞

［デジタル病理ビューワの使用環境について］
最初に、病理診断において、検体を顕微鏡を用いて撮影したデジタル病理スライド（病理画像）を用いて病理医が診断を行う環境の全体像を説明する。病理医は、デジタル病理ビューワを用いて、デジタル病理スライドを観察し、画像診断を行う。図１は、本技術に係るデジタル病理ビューワ５００の典型的な使用環境を表した図である。デジタル病理スライドを用いたプレゼンテーションは、このデジタル病理ビューワ５００を用いて行われる。

顕微鏡１０およびスキャナ用コンピュータ２０からなるデジタル病理スキャナ１００は、病院内の組織学ラボＨＬに設置されている。顕微鏡１０により撮影されたＲＡＷ画像は、スキャナ用コンピュータ２０上において、現像処理、シェーディング処理、カラーバランス補正、ガンマ補正、８ｂｉｔ化処理などの画像処理が行われる。その後、例えば縦横２５６ピクセルのタイル状画像（以下、タイルと呼ぶ）に分割され、ＪＰＥＧ（Joint Photographic Experts Group）画像に変換され圧縮された後、ハードディスクＨＤ１上に格納される。

スキャナ用コンピュータ２０のハードディスクＨＤ１に格納されたＪＰＥＧ画像は、次に、同じ病院内のデータセンタＤＣにあるデジタル病理サーバ４００上のハードディスクＨＤ２に、ネットワーク３００を経由してアップロードされる。

観察者である病理医は、病院内の病理学室ＰＲまたは病院外の建物ＥＸにいてデジタル病理サーバ４００とネットワーク３００により接続されたデジタル病理ビューワ５００を用いて、デジタル病理サーバ４００のハードディスクＨＤ２に格納されたＪＰＥＧ画像を観察する。

また、観察者である病理医は、デジタル病理ビューワ５００に指示することにより、デジタル病理ビューワの画面上に表示されている画像を、シーン（後述）として記録することができる。

さらに、病理医は、デジタル病理ビューワ５００に指示することにより、シーンを組み合わせて、デジタル病理スライドのプレゼンテーションを行うことができる。

［シーンについて］
次に、シーンについて説明する。シーンとは、デジタル病理ビューワを用いてデジタル病理スライドを表示する際に、ユーザにより保存することが指示された画像のことである。

デジタル病理スライドとシーンの関係について、図２から図４を用いて説明する。図２は、デジタル病理スライドＡの全体画像と、そこに設定されるシーンとの関係の例を示す図である。図３および図４は、デジタル病理スライドのうち、シーンとして設定される表示の例を示す図である。なお、デジタル病理ビューワ５００は、デジタル病理スライドの任意の座標の画像を任意の倍率を用いて表示することが可能である。

例えば、ユーザは、デジタル病理スライドＡの中において、２個所をプレゼンテーションの際に示したいとする。図２の破線により囲まれた矩形部分＃１および＃２がその部分である。ユーザはまず、＃１の部分のみがデジタル病理ビューワ５００の画面上に表示されるように、デジタル病理ビューワ５００を操作する。

デジタル病理ビューワ５００上に表示される画像が図３に示した状態になった時点において、ユーザはデジタル病理ビューワ５００に指示を出し、＃１の表示状態をシーン＃１として記録する。ユーザによるデジタル病理ビューワ５００への指示は、画面上のプルダウンメニューから選択したり、コントローラ（後述）の特定のキーを押したりすることにより行う。

次に、ユーザは、＃２の部分のみがデジタル病理ビューワ５００の画面上に表示されるように、デジタル病理ビューワ５００を操作する。デジタル病理ビューワ５００上に表示される画像が図４に示した状態になった時点において、ユーザはデジタル病理ビューワ５００に指示を出し、＃２の表示状態をシーン＃２として記録する。表示状態の情報は、シーン情報として、シーンテーブル（後述）に保存される。

［シーンテーブルについて］
次に、シーンテーブルについて説明する。シーンテーブルとは、各シーンを一意に識別するシーン番号と、各シーンのシーン情報とから構成されるテーブルである。

なお、シーン情報とは、シーンを再現、すなわち、デジタル病理ビューワ５００上において、再度そのシーンを表示するために必要な構成要素であり、次の要素を含んで構成される。このように、シーンテーブルに登録されるシーン情報は、画像ではなく、以下に示す数値によって登録される。

（１）デジタル病理スライド名（ファイル名）
（２）座標（平面ＸＹ座標、顕微鏡のフォーカス方向のＺ座標）
（３）倍率（２０倍、４０倍、ピクセル等倍、デジタルズームなど）
（４）回転角（左右９０度、縦横反転など）
（５）色調整（ＲＧＢ、ガンマ、コントラスト、シャープネスなど）

ここでは、例として、連続切片を異染色して得られたデジタル病理スライドＡおよびＢから各々２つのシーンを設定してプレゼンテーションに用いることを想定する。図５は、デジタル病理スライドＢの全体画像と、そこに設定されるシーンとの関係の例を示す図である。図６および図７は、デジタル病理スライドのうち、シーンとして設定される表示の例を示す図である。

まず、上述のとおり、ユーザがデジタル病理スライドＡにおいてシーン＃１を設定する。そして、倍率を下げながら（表示範囲を広げながら）表示範囲を移動させ、シーン＃２を設定する。次に、ユーザは表示するスライドをデジタル病理スライドＢに変更する。そして、図５に示すように、矩形領域＃３を時計回りに９０度回転させて画面一杯に表示する。そしてその表示をシーン＃３として登録する。最後に、図５の矩形領域＃４を、図７に示すように画面一杯に表示し、シーン＃４として登録する。

上記のようにシーン＃１から＃４までの登録を行った場合のシーンテーブルの具体例を図８に示す。図８は、シーン情報を登録したシーンテーブルの具体例を示す図である。例えば、このシーンテーブルのシーン番号３（＃３）のシーンは、図６に示す画像の表示であり、このシーンのシーン情報によると、スライド名はデジタル病理スライドＢであり、デジタル病理スライドの左下を原点として、ＸＹ座標が（２３２４，２５４０）である。Ｚ座標は接眼レンズ側を原点として１枚目であり、倍率は２０倍であり、表示は時計回りに９０度回転されており、シャープネスのフィルタが適用されていることを示している。

シーンテーブルに登録されたシーンは、シーントレイ（後述）を参照することにより、画像として一覧することができる。

［シーントレイについて］
次に、シーントレイについて説明する。シーントレイとは、シーンテーブルに登録された各シーンが、数値としてではなく、各シーンの画像として一覧することができるトレイである。このトレイは、ユーザによる特定の指示により、デジタル病理ビューワ５００上に表示される。

図９は、シーントレイの例を示す図である。この図に示す状態では、各シーンは、登録された順にシーン＃１からシーン＃６まで並んでいる。ユーザは、これらのシーン画像を見てシーンの登録内容を確認しながら、シーン画像を直接ドラッグ＆ドロップするなどして、シーンの順番を並び替えることができる。並び替えを行うことにより、シーン設定テーブル（後述）に登録される情報が生成される。

［シーン設定テーブルについて（基本機能）］
次にシーン設定テーブルについて説明する。シーン設定テーブルの最も基本的な機能は、ユーザがデジタル病理ビューワ５００を用いてプレゼンテーションを行う際に、観客に提示するシーンの順序（順序情報）を決めることである。

図１０は、シーン設定テーブルの例を示す図である。この図に示す例では、前提として、シーンテーブルにシーン＃１からシーン＃４までが登録されている。そして、観客に提示されるシーンの順番は、シーン＃３、シーン＃４、シーン＃１、そしてシーン＃２の順となる。

［シーン間の移動について］
次に、シーン間の移動について説明する。あるシーンから次のシーンへの移動の指示をユーザがデジタル病理ビューワ５００に出す場合、マウスの左クリックや、コントローラ（後述）の特定のキーを割り当てることにより、容易に指示を与えることができる。

シーン間の移動の際に、その移動を描画する方法として、例えば以下の方法が考えられる。

（Ａ）アニメーション
シーンがいきなり切り替わるとデジタル病理スライドのどこを見ているのかが操作者以外の観客には分かり難い。そこで、この方法では、シーンを切り替える際に、徐々に座標と倍率を次のシーンに合わせるように、アニメーションを表示しながら移動を行う。

図１１は、アニメーションによるシーン間の移動の例を示す図である。この図では、デジタル病理スライドＡのシーン＃１の表示が、徐々に座標の移動および表示範囲の拡大をしていき、最終的にシーン＃２に切り替わる様子を、デジタル病理スライドＡの全体画像において示している。

（Ｂ）ズームアウト＋ズームイン
アニメーションを用いた移動を繰り返すと、現在表示中の画像が、全体画像の中において、どのあたりの個所であるかを把握しにくくなってくる。そこで、この方法では、シーンを切り替える際に、一度、画像の全体が俯瞰できる倍率までズームアウトしてから、次のシーンへズームインする。

例えば、図３に示すシーン＃１の状態から、図２に示すデジタル病理スライドの全体画像までズームアウトした後、図４に示すシーン＃２の状態へズームインする。なお、ズームアウトする際は、全体的な位置が把握できる倍率の画像までズームアウトすればよく、必ずしも全体画像までズームアウトする必要はない。

（Ｃ）ジャンプ
シーン間の移動を高速に行いたい場合や、デジタル病理スライド自体が切り替わるなどしてアニメーションが意味をなさない場合には、シーンの表示画面をいきなり次のシーンに切り替える方法が有効である。

例えば、連続切片の同一個所を異染色により比較する場合などは、このジャンプを用いてシーンを切り替えるほうがシーンの内容が比較でき、理解しやすいことがある。

［シーン設定テーブルについて（変形例１）］
次に、シーン設定テーブルの変形例１について説明する。上記のシーン設定テーブルの説明では、このテーブルは、観客にシーンを提示する順序と、シーン番号とを対応させるものであったが、ここでは、さらにシーン間の移動方法の指定も加味してシーン設定テーブルを作成する。

ここで作成した移動方法付きシーン設定テーブルを用いることにより、ユーザはプレゼンテーションの際に、シーンの順序の指定に加えて、シーン間の移動方法を指定することができる。図１２は、シーン間の移動方法を加味したシーン設定テーブルの例を示す図である。この図では、例えば、表示順序３のシーン＃１から表示順序４のシーン＃２に移動する際には、ズームアウト＋ズームインの方法が用いられることを表している。

［シーン設定テーブルについて（変形例２）］
次に、シーン設定テーブルの変形例２について説明する。この変形例２において説明するシーン設定テーブルは、上記のシーン設定テーブルの各エントリに、表示時間の上限値を設定するものである。この表示時間の上限値を設定することにより、あるシーンから次のシーンへの切り替えをユーザが行わない場合でも、設定された時間が経過すると自動的に次のシーンへの切り替えが行われる。

この表示時間の上限値を設けることは、プレゼンテーションに使う時間が限られている場合などに有効である。

図１３は、移動方法付きシーン設定テーブルに表示時間の上限値の設定を加えた例を示す図である。この例では、例えば表示順序２のシーン＃４は、ユーザからの指示が無くとも１２０秒経過すると次のシーン＃１に切り替わることを表している。

［シーン設定テーブルについて（変形例３）］
次に、シーン設定テーブルの変形例３について説明する。この変形例３において説明するシーン設定テーブルは、表示順序として設定する項目が、シーン番号に加えて、アノテーション名である点が特徴である。なお、アノテーションとは、デジタル病理スライド上にユーザにより付加される診断に関する注記のことである。

例えば、プレゼンテーションの中で観客に対して問題を出し、その解答をデジタル病理ビューワ５００の画面上に表示させることが考えられる。

図１４は、シーン設定テーブルに、シーン番号に加えて、アノテーション名を追加した例を示す図である。この図は、図１０に示す基本的なシーン設定テーブルにおいて、表示順序２のシーン＃４を表示した後に、ユーザが次のシーンへの表示の切り替え操作を行うと、シーン＃４の表示の上に、アノテーションａとアノテーションｂとが表示されるように変更を加えたものである。

図１０に示した基本的なシーン設定テーブルによる画面遷移の例を図１５に示す。また、アノテーションの表示動作を加えた変形例３のシーン設定テーブルによる画面遷移の例を図１６に示す。図１６に示す例では、シーン＃４が表示された後に、ユーザが次のシーンへの切り替えを指示すると、シーン＃４の表示の上に、矢印によって示されるアノテーションａと楕円形によって示されるアノテーションｂとが表示される。そして再度ユーザが次のシーンへの切り替えを指示すると、表示がシーン＃１へと切り替わる。

［デジタル病理ビューワ５００の構成について］
次に、デジタル病理ビューワ５００のハードウェア構成について説明する。
図１７は、本技術に係るデジタル病理ビューワ５００のハードウェアの構成を示すブロック図である。

デジタル病理ビューワ５００は、演算制御を行うＣＰＵ(Central Processing Unit)２１、ＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、ユーザの操作に応じた命令が入力される操作入力部２４（入力部）を備える。デジタル病理ビューワ５００はさらに、インターフェイス部２５、出力部２６（表示部）、記憶部２７（記憶部）、ネットワークインターフェイス部２８、およびこれらを互いに接続するバス２９を備える。

ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。インターフェイス部２５には、コントローラ３０が接続されている。コントローラ３０には、各種ボタンやスティックが備えられておりユーザによる様々な入力を受け付けることができる。

またコントローラ３０は、加速度センサや傾きセンサを内蔵しており、ユーザがコントローラ３０を傾けたり振ったりすることによりコントローラ３０に与える指示を受け付けることができる。

ネットワークインターフェイス部２８には、ネットワーク３００が接続される。出力部２６には、画像表示用として、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用される。記憶部２７には、ＨＤＤ（Hard Disk Drive）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。

ＣＰＵ２１は、ＲＯＭ２２および記憶部２７等に格納される複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、出力部２６及び記憶部２７を適宜制御する。

ＣＰＵ２１は、後述する各機能ブロックを実現する。ＣＰＵ２１は、ＲＯＭ２２および記憶部２７等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、デジタル病理ビューワ５００は、種々の機能ブロックを実現することができ、上記各部材を、デジタル病理ビューワ５００として動作させることができる。

［デジタル病理サーバ４００の構成について］
次に、デジタル病理サーバ４００のハードウェア構成について説明する。
デジタル病理サーバのハードウェア構成は、コントローラ３０がインターフェイス部２５に接続されていない点を除き、基本的にデジタル病理ビューワ５００のハードウェア構成と同じである。そのため、詳細な説明は省略する。

［デジタル病理サーバ４００の機能ブロックについて］
次に、デジタル病理サーバ４００の機能ブロックについて説明する。デジタル病理サーバ４００の主な機能は、第１に、病理画像を、デジタル病理ビューワ５００からの要求に従い提供することである。

第２に、病理医がビューワ上において病理画像の特定個所に付けたコメント（以下、アノテーションという）を保存することである。図１８は、デジタル病理サーバ４００の機能ブロックを示す図である。

デジタル病理サーバ４００は、画像格納部４１および画像提供部４２の機能ブロックを備えている。

画像格納部４１には、タイル状に分割されＪＰＥＧ圧縮された病理画像が格納されている。格納されている病理画像は、デジタル病理ビューワ５００からの要求に従い、画像提供部４２を介してデジタル病理ビューワ５００に提供される。また、ユーザがデジタル病理ビューワ５００上のビューワを用いて病理画像に付したアノテーションもここに保存される。

画像提供部４２は、ネットワーク３００を介してデジタル病理ビューワ５００から送られてくる画像要求に対応した病理画像を画像格納部４１から取得し、ネットワーク３００を介してデジタル病理ビューワ５００に送信する。

なお、デジタル病理サーバ４００とデジタル病理ビューワ５００とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックの実行場所は上述のデジタル病理サーバ４００上に限定されるものではなく、クライアント側であるデジタル病理ビューワ５００上において実行される構成でもよい。

［デジタル病理ビューワ５００の機能ブロックについて］
次に、デジタル病理ビューワ５００の機能ブロックについて説明する。デジタル病理ビューワ５００の主な機能は、第１に、病理医であるユーザからの操作指示を受け付け、対応する病理画像をデジタル病理サーバ４００から取得し、ユーザに対し表示することである。

第２に、ユーザがシーンとして指定した表示画像に関する情報を保存し、プレゼンテーションの構成に従って複数のシーンを再現する順序や設定を記憶することである。第３に、プレゼンテーションの際に、記憶された順序や設定を用いて、シーンを再現することである。

図１９は、デジタル病理ビューワ５００の機能ブロックを示す図である。

デジタル病理ビューワ５００は、画像取得部５１（取得部、表示処理部）、シーン情報生成部５２（生成部）、シーンテーブル５３、シーン設定テーブル５４、シーン再現部５５（再現部）の機能ブロックを備えている。

画像取得部５１は、操作入力部２４から入力された、病理医であるユーザの指示に対応した病理画像を、ネットワーク３００を介してデジタル病理サーバ４００から取得し、取得した病理画像を出力部２６を介してユーザに提示する。

シーン情報生成部５２は、病理画像がユーザに提示された際に入力されたユーザの指示に従い、提示中の画像の座標や表示倍率などをシーン情報としてシーンテーブル５３に保存する。また、シーン情報生成部５２は、シーンテーブル５３に保存されているシーンを再現する順序などを、操作入力部２４を介してユーザから受け付け、シーン設定テーブル５４に保存する。

シーンテーブル５３は、各シーンのシーン情報をシーン情報生成部５２から受け付け、格納する。シーンテーブル５３に格納されたシーン情報は、シーン再現部５５により、プレゼンテーションの際に各シーンを再現するために利用される。

シーン設定テーブル５４は、シーン再現部５５が各シーンを再現する際の順序などの情報を格納する。順序などの情報は、シーン情報生成部５２を介して、ユーザにより設定される。シーン設定テーブル５４に格納された順序などの情報は、シーン再現部５５により、プレゼンテーションの際に各シーンを提示する順序などを決めるために利用される。

シーン再現部５５は、ユーザがプレゼンテーションを行う際に、シーンテーブル５３のシーン情報に基づき各シーンを再現する。また、シーン再現部５５は、各シーンを再現する順序やシーン間の切り替え方法などをシーン設定テーブル５４の情報に基づき決定する。

以上がデジタル病理ビューワ５００の各機能ブロックの説明である。なお、デジタル病理ビューワ５００とデジタル病理サーバ４００とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックの実行場所は上述のデジタル病理ビューワ５００上に限定されるものではなく、サーバ側であるデジタル病理サーバ４００上において実行される構成でもよい。

［プリ・フェッチについて（その１）］
次にプリ・フェッチによる、タイルのキャッシュへの先読みについて説明する。先に述べたようにデジタル病理スライドのデータは非常に巨大な画像データのため、通常はタイルに分割され、タイル単位でＪＰＥＧのような画像圧縮が行われてデジタル病理サーバ４００に保存されている。

図２０は、デジタル病理スライドのデータがタイル単位に分割されている例を示す図である。この例では5列4行のタイル単位にデジタル病理スライドが分割されている。

次に、デジタル病理ビューワ５００の画面に表示される範囲と、必要なタイルとの関係を図２１に示す。この例では、デジタル病理ビューワ５００が図に示す表示範囲を表示する場合は、タイル番号１、２、３、６、７、８、１１、１２、１３の計９枚のタイルを用いて画像の表示が行われる。

シーンが決まると必要なタイルが決まるので、ユーザがプレゼンテーションを行う際には、次のシーンの表示に必要なタイルをデジタル病理サーバ４００から事前に取得（プリ・フェッチ）し、キャッシュすることが可能となる。

図２２は、シーン情報に基づき、シーンの表示に必要なタイルをプリ・フェッチする処理の流れを示すフローチャートである。

まず、シーン再現部５５が、シーン設定テーブル５４から次に表示するシーンのシーン番号を特定し、該当するシーン情報を読み出す（ステップＳ１）。

前述のようにシーンが決まれば読み込むタイル番号が決まるので、シーン再現部５５は、画像取得部５１を介して、該当のタイルをデジタル病理サーバ４００に要求する（ステップＳ２）。

シーン再現部５５は、該当のタイルを受信したら（ステップＳ３）、ユーザによるマウスやコントローラ３０などの操作により次のシーンへの切り替えが指示されるのを待つ（ステップＳ４）。

シーン再現部５５は、切り替えの指示を受けたら（ステップＳ４のＹｅｓ）、デジタル病理ビューワ５００上の画面への表示を行い（ステップＳ５）、さらに表示すべき次のシーンがあるかを調べる（ステップＳ６）。

表示すべき次のシーンがある場合には（ステップＳ６のＹｅｓ）、再びステップＳ１に戻り、シーン情報を利用してタイルの取得を行う。

なお、デジタル病理ビューワ５００が十分な量のＲＡＭ２３を備えている場合は、全てのシーンにおいて必要となるタイルを、予め一括して取得しておく方法もある。

以上、タイルのプリ・フェッチの処理の流れについて説明した。このプリ・フェッチを行うことにより、デジタル病理ビューワ５００は、シーンの画面表示を高速に行うことができる。

［プリ・フェッチについて（その２）］
タイルの事前取得は、シーン表示の高速化だけではなく、シーン間の移動に際しての表示の高速化にも有効である。図２３は、シーン情報に基づき、シーンの表示およびシーン間の移動の表示に必要なタイルをプリ・フェッチする処理の流れを示すフローチャートである。

まず、シーン再現部５５が、シーン設定テーブル５４から次に表示するシーンのシーン番号を特定し、該当するシーン情報を読み出す（ステップＳ１１）。

シーン間の移動方法に「ジャンプ」が指定されている場合は（ステップＳ１２のＹｅｓ）、移動時の描画は不要である。

シーン間の移動方法に「アニメーション」または「ズームアウト+ズームイン」が指定されている場合（ステップＳ１２のＮｏ）、シーン再現部５５は、画像取得部５１を介して、移動時の表示の描画に必要なタイルをデジタル病理サーバ４００に要求する（ステップＳ１３）。

次に、シーン再現部５５は、シーン描画に必要なタイルをデジタル病理サーバ４００に要求する（ステップＳ１４）。

シーン再現部５５は、タイルを受信したら(ステップＳ１５)、ユーザによるマウスやコントローラ３０などの操作により次のシーンへの切り替えが指示されるのを待つ（ステップＳ１６）。

次のシーンへの切り替えの指示を受けたら（ステップＳ１６のＹｅｓ）、シーン再現部５５は、指定された移動方法に従って画面への表示を行い（ステップＳ１７）、さらに次のシーンがシーン設定テーブル５４にあるか否かを調べる（ステップＳ１８）。

次のシーンがある場合（ステップＳ１８のＹｅｓ）、シーン再現部５５は、再びステップＳ１１の処理に戻り、シーン情報を利用してタイル取得を行う。

なお、移動の際に表示される画面は診断に利用するわけではないため、低画質でよい。そのため、倍率４０倍の画像を用いて描画する代わりに、倍率２０倍の画像のタイルを縦横それぞれ２倍（面積比４倍）に引き伸ばして移動の表示を行うこともできる。このように移動の表示に使うタイルの倍率を設定することにより、シーン間の移動の描画に必要となるタイルのデータ量を４分の１に減らすことができる。

［メニュー等の表示・非表示の切り替えについて］
次に、デジタル病理ビューワ５００の画面における、メニュー等の表示・非表示を切り替える構成について説明する。

まず、通常の画像診断を行う際のデジタル病理ビューワ５００の画面構成例を図２４に示す。デジタル病理ビューワ５００は、画像診断に使うことを想定しているため、ファイルの選択を行ったり、診断内容の注記(アノテーション)を追加したり、画像を回転させたり、画像の色調整を行ったり、各種設定を行ったりするためのメニューがある。

また、メニューに加えて、デジタル病理スライド全体のどの範囲が表示されているかを示すサムネイルや、操作対象位置を示すポインタ、ピクセル等倍から何倍に拡大しているかを示す倍率表示、目盛が何マイクロメートルに相当するのかを示すスケール表示などが必要となる。

しかし、プレゼンテーションの際は、必ずしもこれら全ての機能が必要となるわけではない。予めシーン情報をシーンテーブル５３に登録したシーンを切り替えて表示することにより、ファイル選択、座標位置調整、倍率調整、色調整、アノテーションの付加などの操作は不要となるため、シーン再現部５５は、これらのメニューやポインタを非表示にすることが可能となる。

さらに、サムネイル、倍率、スケールなどを非表示とすることにより、シーン再現部５５は、光学顕微鏡を覗いているのと同様な画面表示を行う事が可能となる。図２５は、図２４に示す画面構成例から、メニューやポインタ、さらにサムネイル、倍率、スケールなどを非表示にした例を示す図である。

［本技術の別の構成］
なお、本技術は以下のような構成も採ることができる。
（１）
全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させる表示処理部と、
順次表示された複数の病理画像の中から１以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報をシーン情報として生成する生成部と、
当該１以上のシーン情報に対する順序情報の設定を前記ユーザより受け付ける入力部と、
前記生成された１以上のシーン情報と前記設定された順序情報を記憶する記憶部と、
前記記憶された情報をもとに、前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させる再現部と
を具備する情報処理装置。
（２）
前記（１）に記載の情報処理装置であって、
前記全体の病理画像を保存する画像保存装置から前記選択された範囲の病理画像を取得する取得部
をさらに具備する情報処理装置。
（３）
前記（１）または（２）に記載の情報処理装置であって、
請求項１に記載の情報処理装置であって、
前記再現部は、
前記順次表示させる病理画像を切り替えるときの表示の変化のさせ方に関する情報を前記ユーザより受け付け、
前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させるとき、前記表示の変化のさせ方に関する情報をもとに、前記複数の病理画像の表示を切り替える
情報処理装置。
（４）
前記（３）に記載の情報処理装置であって、
前記再現部は、
前記順次表示させる複数の病理画像の間の表示を切り替えるとき、
前後の画像間に空間的に存在する１以上の画像を、切り替える前後の病理画像間を移動させるように表示させる
情報処理装置。
（５）
前記（３）に記載の情報処理装置であって、
前記再現部は、
前記順次表示させる複数の病理画像の間で表示を切り替えるとき、
切り替え前の画像を一時的にズームアウトして表示させ、切り替え後の画像をズームインして表示させる
情報処理装置。
（６）
前記（３）に記載の情報処理装置であって、
前記表示の変化のさせ方に関する情報は、対応する病理画像の表示時間の情報をさらに含み、
前記再現部は、
前記表示時間の情報をもとに前記表示を切り替える
情報処理装置。
（７）
前記（２）に記載の情報処理装置であって、
前記再現部は、
前記記憶されたシーン情報をもとに、前記表示部への前記１以上の病理画像の表示に先立って、前記取得部に前記選択された範囲の病理画像をまとめて取得させる
情報処理装置。
（８）
前記（１）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記再現部は、
前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させるとき、ユーザによる病理画像の観察のための表示要素の表示のオンオフを前記ユーザからの指示により切り替え可能である
情報処理装置。
（９）
表示処理部が、全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させ、
生成部が、順次表示された複数の病理画像の中から１以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報をシーン情報として生成し、
入力部が、当該１以上のシーン情報に対する順序情報の設定を前記ユーザより受け付け、
記憶部が、前記生成された１以上のシーン情報と前記設定された順序情報を記憶し、
再現部が、前記記憶された情報をもとに、前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させる
情報処理方法。
（１０）
全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させる表示処理部、
順次表示された複数の病理画像の中から１以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報をシーン情報として生成する生成部、
当該１以上のシーン情報に対する順序情報の設定を前記ユーザより受け付ける入力部、
前記生成された１以上のシーン情報と前記設定された順序情報を記憶する記憶部、および
前記記憶された情報をもとに、前記ユーザにより選択された１以上の病理画像を前記表示部に順次表示させる再現部
としてコンピュータを機能させるための情報処理プログラム。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０…顕微鏡
２０…スキャナ用コンピュータ
２１…ＣＰＵ
２２…ＲＯＭ
２３…ＲＡＭ
２４…操作入力部
２５…インターフェイス部
２６…出力部
２７…記憶部
２８…ネットワークインターフェイス部
２９…バス
４１…画像格納部
４２…画像提供部
５１…画像取得部
５２…シーン情報生成部
５３…シーンテーブル
５４…シーン設定テーブル
５５…シーン再現部
１００…デジタル病理スキャナ
３００…ネットワーク
４００…デジタル病理サーバ
５００…デジタル病理ビューワ

Claims (8)

1. 全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させる表示処理部と、
   順次表示された複数の病理画像の中から２以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報であって、少なくとも前記病理画像の倍率に関する情報を含む情報をシーン情報として生成する生成部と、
   各病理画像のシーン情報に対する順序情報の設定を前記ユーザより受け付ける入力部と、
   前記生成された各病理画像のシーン情報と前記設定された順序情報を記憶する記憶部と、
   前記記憶された情報をもとに、前記ユーザにより選択された２以上の病理画像を、当該病理画像の全体の病理画像の中での表示範囲を示すサムネイル画像の表示、当該病理画像の倍率の表示、および当該病理画像の大きさを表すスケールの表示のうちの少なくともいずれか１つの表示とともに前記表示部に順次表示させ、当該順次表示させる２以上の病理画像のうちの２つの画像間の表示を切り替えるとき、切り替え前の画像を表示した状態から、ズームアウトして、前記全体の病理画像の中での前記切り替え前の画像の範囲と切り替え後の画像の範囲とを空間的に包含する範囲の全体が俯瞰できる画像を表示させてから、前記切り替え後の画像へズームインして表示させる再現部と
   を具備する情報処理装置。
2. 請求項１記載の情報処理装置であって、
   前記全体の病理画像を保存する画像保存装置から前記選択された範囲の病理画像を取得する取得部
   をさらに具備する情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   前記再現部は、
   前記順次表示させる２以上の病理画像のうちの２つの画像間の表示を切り替える旨の指示を前記ユーザより受け付け、
   前記ユーザにより選択された２以上の病理画像を前記表示部に順次表示させるとき、前記ユーザからの指示により前記表示を切り替える
   情報処理装置。
4. 請求項１ないし３のいずれか１項に記載の情報処理装置であって、
   前記再現部は、
   前記順次表示させる病理画像を切り替えるときの、各病理画像の表示時間の情報を前記ユーザより受け付け、
   前記表示時間の情報をもとに前記表示を切り替える
   情報処理装置。
5. 請求項２に記載の情報処理装置であって、
   前記再現部は、
   前記記憶されたシーン情報をもとに、前記表示部への前記病理画像の表示に先立って、前記取得部に前記選択された範囲の病理画像をまとめて取得させる
   情報処理装置。
6. 請求項１ないし５のいずれか１項に記載の情報処理装置であって、
   前記再現部は、
   前記ユーザにより選択された２以上の病理画像を前記表示部に順次表示させるとき、ユーザによる病理画像の観察のための表示要素の表示のオンオフを前記ユーザからの指示により切り替え可能である
   情報処理装置。
7. 表示処理部が、全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させ、
   生成部が、順次表示された複数の病理画像の中から２以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報であって、少なくとも前記病理画像の倍率に関する情報を含む情報をシーン情報として生成し、
   入力部が、各病理画像のシーン情報に対する順序情報の設定を前記ユーザより受け付け、
   記憶部が、前記生成された各病理画像のシーン情報と前記設定された順序情報を記憶し、
   再現部が、前記記憶された情報をもとに、前記ユーザにより選択された２以上の病理画像を、当該病理画像の全体の病理画像の中での表示範囲を示すサムネイル画像の表示、当該病理画像の倍率の表示、および当該病理画像の大きさを表すスケールの表示のうちの少なくともいずれか１つの表示とともに前記表示部に順次表示させ、当該順次表示させる２以上の病理画像のうちの２つの画像間の表示を切り替えるとき、切り替え前の画像を表示した状態から、ズームアウトして、前記全体の病理画像の中での前記切り替え前の画像の範囲と切り替え後の画像の範囲とを空間的に包含する範囲の全体が俯瞰できる画像を表示させてから、前記切り替え後の画像へズームインして表示させる
   情報処理方法。
8. 全体の病理画像の中で表示させる病理画像の範囲の選択をユーザより受け付けて、表示部に当該選択された範囲の病理画像を表示させる表示処理部、
   順次表示された複数の病理画像の中から２以上の病理画像の選択を前記ユーザより受け付け、これら選択された病理画像の表示に必要な情報であって、少なくとも前記病理画像の倍率に関する情報を含む情報をシーン情報として生成する生成部、
   各病理画像のシーン情報に対する順序情報の設定を前記ユーザより受け付ける入力部、
   前記生成された各病理画像のシーン情報と前記設定された順序情報を記憶する記憶部、および
   前記記憶された情報をもとに、前記ユーザにより選択された２以上の病理画像を、当該病理画像の全体の病理画像の中での表示範囲を示すサムネイル画像の表示、当該病理画像の倍率の表示、および当該病理画像の大きさを表すスケールの表示のうちの少なくともいずれか１つの表示とともに前記表示部に順次表示させ、当該順次表示させる２以上の病理画像のうちの２つの画像間の表示を切り替えるとき、切り替え前の画像を表示した状態から、ズームアウトして、前記全体の病理画像の中での前記切り替え前の画像の範囲と切り替え後の画像の範囲とを空間的に包含する範囲の全体が俯瞰できる画像を表示させてから、前記切り替え後の画像へズームインして表示させる再現部
   としてコンピュータを機能させるための情報処理プログラム。