JP6927274B2 - 表示方法、情報処理システムおよびプログラム - Google Patents

表示方法、情報処理システムおよびプログラム Download PDF

Info

Publication number
JP6927274B2
JP6927274B2 JP2019202494A JP2019202494A JP6927274B2 JP 6927274 B2 JP6927274 B2 JP 6927274B2 JP 2019202494 A JP2019202494 A JP 2019202494A JP 2019202494 A JP2019202494 A JP 2019202494A JP 6927274 B2 JP6927274 B2 JP 6927274B2
Authority
JP
Japan
Prior art keywords
displayed
area
image
partial display
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019202494A
Other languages
English (en)
Other versions
JP2020038385A (ja
Inventor
長谷川 寛
寛 長谷川
重篤 吉岡
重篤 吉岡
陽一 水谷
陽一 水谷
田上 直樹
直樹 田上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018031985A external-priority patent/JP6614254B2/ja
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2019202494A priority Critical patent/JP6927274B2/ja
Publication of JP2020038385A publication Critical patent/JP2020038385A/ja
Application granted granted Critical
Publication of JP6927274B2 publication Critical patent/JP6927274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Description

本技術は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示方法、表示方法、情報処理システムおよびプログラムに関する。
医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。
例えば、特許文献1に記載の方法では、顕微鏡により光学的に得られた画像が、CCD(Charge Coupled Device)を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う(例えば、特許文献1の段落[0027]、[0028]、図5参照)。
また、病理医が病理画像内の観察見落としを防ぐ手段として、病理画像を観察した履歴を記録する技術が公開されている(例えば、特許文献2)。
特開2009−37250号公報 特開2011−112523号公報
一般的に、顕微鏡の観察領域は、観察倍率が高いほど観察対象物の全体に対して狭くなる。例えば病理医は、顕微鏡を用いて観察対象物の全体を走査するように観察し、その全体の中の一部を特に高倍率で観察して対象物を検査することが多い。このような検査において、病理医が観察対象物のうち見ていない領域に疾患があった場合、つまり見落としがあった場合、後に重大な問題となることもある。
以上のような事情に鑑み、本発明の目的は、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避できるようにするための表示方法、情報処理システムおよびプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る表示方法は、
医療画像を表示する方法であって、
上記医療画像を第一の領域に表示し、
上記医療画像の少なくとも一部を部分表示領域として第二の領域に表示し、
上記部分表示領域が所定の観察倍率以上で表示された場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素位置にマスク画像を表示し、
上記部分表示領域が所定の観察倍率未満で表示された場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素の色を上記表示前と同一とする、ことを特徴とする。
上記部分表示領域が所定の観察倍率以上で表示され、且つ、上記医療画像の表示範囲が所定の時間以上一定の場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素位置にマスク画像が表示されてもよい。
上記部分表示領域が所定の観察倍率未満で表示された場合、上記部分表示領域の表示の時間に関わらず、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素の色を上記表示前と同一としてもよい。
上記医療画像は、生体組織の少なくとも一部の病理画像であってもよい。
上記医療画像は、病理画像を保存可能なイメージ管理サーバから取得された病理画像であってもよい。
上記第二の領域に表示された上記部分表示領域が、上記第一の領域に表示された上記医療画像のどの箇所が拡大されたものであるのかを示す枠を、当該医療画像に重畳してもよい。
ユーザからの指示に基づいた上記第一の領域内での上記枠の移動と連動して、上記第二の領域に表示される上記部分表示領域を変更してもよい。
ユーザからの指示に基づいた上記第一の領域内での上記枠の大きさの変化に連動して、上記部分表示領域が上記第二の領域に表示される観察倍率を変更してもよい。
上記部分表示領域が所定の観察倍率以上で表示された場合、上記医療画像のどの部分が上記部分表示領域として表示されているかその位置情報、または、上記部分表示領域が上記第二の領域に表示されている時間が記憶されてもよい。
上記マスク画像は、上記部分表示領域が表示される観察倍率を表す画像であってもよい。
上記マスク画像は、上記部分表示領域が表示される観察倍率に応じて、グラデーションとして表示されてもよい。
上記マスク画像を上記医療画像に対して累積的に合成して、この合成結果を、上記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成してもよい。
上記目的を達成するため、本技術の一形態に係る表示方法は、
医療画像を表示する方法であって、
上記医療画像を第一の領域に表示し、
上記医療画像の少なくとも一部を部分表示領域として第二の領域に表示し、
上記部分表示領域が所定の観察倍率以上で表示された場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素位置に履歴画像を表示し、
上記部分表示領域が所定の観察倍率未満で表示された場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素の色を上記表示前と同一とする、ことを特徴とする。
上記履歴画像は、上記医療画像のどの部分が上記部分表示領域として表示されているかその位置情報、または、上記部分表示領域の観察倍率を示す画像であってもよい。
ユーザからの指示に基づき、上記位置情報と、上記部分表示領域が表示される観察倍率とが周期的に記録されてもよい。
ユーザからの指示に基づき、上記位置情報と、上記部分表示領域が表示される観察倍率の周期的な記録が停止されてもよい。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、
医療画像を表示部の画面の第一の領域に表示し、上記医療画像の少なくとも一部を部分表示領域として上記画面の第二の領域に表示し、上記部分表示領域が所定の観察倍率以上で表示された場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素位置にマスク画像を表示し、上記部分表示領域が所定の観察倍率未満で表示された場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素の色を上記表示前と同一とする演算処理回路
を具備する。
上記目的を達成するため、本技術の一形態に係る記憶媒体は、
コンピュータに、
医療画像を表示部の画面の第一の領域に表示し、
上記医療画像の少なくとも一部を部分表示領域として上記画面の第二の領域に表示し、
上記部分表示領域が所定の観察倍率以上で表示された場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素位置にマスク画像を表示し、
上記部分表示領域が所定の観察倍率未満で表示された場合、上記第一の領域に表示された上記医療画像の、上記第二の領域に表示された上記部分表示領域に対応する画素の色を上記表示前と同一とすることを実行させるためのプログラムが記憶される。
以上のように、本技術によれば、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避することができる。
本技術に係るビューワコンピュータ500の典型的な使用環境を表した図である。 本技術に係るビューワコンピュータ500のハードウェアの構成を示すブロック図である。 イメージ管理サーバ400の機能ブロックを示す図である。 ビューワコンピュータ500の機能ブロックを示す図である。 ビューワ画面の例を示す図である。 ビューワ操作による画面表示の履歴を記録・再生する流れを説明するシーケンス図である。 病理全体画像と表示の軌跡が合成された軌跡画像を示す図である。 病理全体画像Aとマスク画像Bが別の画像であり、それらを重ね合わせている様子を示す図である。 例に沿ったアルファ値の増え方を表したグラフである。 一定の場所を長時間観察する場合にアルファ値の増加量を変更する様子を示すグラフである。 観察領域62に対応する矩形Rが回転した状態においてマスク画像上に記録された例を示す図である。 軌跡画像を生成する処理の流れを説明するフローチャートである。 ユーザが撮影された検体SPLを観察領域62に表示させながら閲覧する過程を表した図である。 ユーザが撮影された検体SPLを観察領域62に表示させながら閲覧する過程を表示軌跡としてサムネイルマップ61内の病理全体画像上に記録した例を示す図である。 2値画像に変換したマスク画像と合成した軌跡画像の例を示す図である。 表示履歴制御部52がユーザに提示する、表示履歴一覧画面の例である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[ビューワコンピュータの使用環境について]
最初に、病理診断において、検体を顕微鏡を用いて撮影したバーチャルスライド画像(病理画像)を用いて病理医が診断を行う環境の全体像を説明する。病理医は、ビューワコンピュータ上のビューワを用いて、病理画像を観察し、画像診断を行う。図1は、本技術に係るビューワコンピュータ500の典型的な使用環境を表した図である。
顕微鏡10およびスキャナ用コンピュータ20からなるスキャナ100は、病院内の組織学ラボHLに設置されている。顕微鏡10により撮影されたRAW画像は、スキャナ用コンピュータ20上において、現像処理、シェーディング処理、カラーバランス補正、ガンマ補正、8bit化処理などの画像処理が行われる。その後、縦横256ピクセルのタイル状に分割され、JPEG(Joint Photographic Experts Group)画像に変換され圧縮された後、ハードディスクHD1上に格納される。
スキャナ用コンピュータ20のハードディスクHD1に格納されたJPEG画像は、次に、同じ病院内のデータセンタDCにあるイメージ管理サーバ400上のハードディスクHD2に、ネットワーク300を経由してアップロードされる。
観察者である病理医は、病院内の病理学室PRまたは病院外の建物EXにいてイメージ管理サーバ400とネットワーク300により接続されたビューワコンピュータ500を用いて、イメージ管理サーバ400のハードディスクHD2に格納されたJPEG画像を観察する。
また、観察者である病理医は、ビューワコンピュータ500に指示することにより、自分がJPEG画像を観察する際に行った操作により、JPEG画像の表示がビューワ画面上においてどう変化したかを表示履歴として記録させることができる。記録された表示履歴は、ネットワーク300を介してイメージ管理サーバ400に送られ、格納される。
さらに、病理医は、ビューワコンピュータ500に指示することにより、イメージ管理サーバ400に格納された表示履歴を呼び出し、ビューワ上において、以前行われたJPEG画像の観察の様子を再現させることができる。
[本技術の概要]
次に、本技術の概要を説明する。これまで、ビューワコンピュータ500を用いて病理画像を観察した軌跡を病理画像上に画像として重ねて記録することは行われてきた。しかし、病理医が病理画像のどの部分をどのくらいの時間をかけて観察したかをより分かり易く病理画像上に軌跡として表現することが望まれてきた。
そこで本技術では、軌跡の記録方法として、病理画像の上全体に透明なマスク画像を重ね、そのマスク画像の透明度を、病理医が特定の個所を表示した時間や観察倍率によって変化させることにより、軌跡の記録を行っている。病理画像のうち、表示した個所の透明度を落として(マスク画像の色により)軌跡の位置を記録し、透明度の落ち具合(マスク画像の色の増加具合)で表示時間を表すものである。
このような記録を行うことにより、病理画像の見落としが無かったかを後で検証することができると共に、病理画像を観察した際の、観察位置および観察時間を分かり易く把握することができる。
[ビューワコンピュータ500の構成について]
次に、ビューワコンピュータ500のハードウェア構成について説明する。
図2は、本技術に係るビューワコンピュータ500のハードウェアの構成を示すブロック図である。
ビューワコンピュータ500は、演算制御を行うCPU(Central Processing Unit)21、ROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、ユーザの操作に応じた命令が入力される操作入力部24(入力部)を備える。ビューワコンピュータ500はさらに、インターフェイス部25、出力部26(表示部)、記憶部27、ネットワークインターフェイス部28、およびこれらを互いに接続するバス29を備える。
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス部25には、コントローラ30およびカメラ31が接続されている。コントローラ30には、各種ボタンやスティックが備えられておりユーザによる様々な入力を受け付けることができる。
またコントローラ30は、加速度センサや傾きセンサを内蔵しており、ユーザがコントローラ30を傾けたり振ったりすることによりコントローラ30に与える指示を受け付けることができる。カメラ31は、ビューワコンピュータ500を用いて病理画像を観察するユーザの顔を撮影するためのものである。
ネットワークインターフェイス部28には、ネットワーク300が接続される。出力部26には、画像表示用として、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用され、音声出力用としてスピーカー等が適用される。記憶部27には、HDD(Hard Disk Drive)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
CPU21は、ROM22および記憶部27等に格納される複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、出力部26及び記憶部27を適宜制御する。
CPU21は、後述する各機能ブロックを実現する。CPU21は、ROM22および記憶部27等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、ビューワコンピュータ500は、種々の機能ブロックを実現することができ、上記各部材を、ビューワコンピュータ500として動作させることができる。
[イメージ管理サーバ400の構成について]
次に、イメージ管理サーバ400のハードウェア構成について説明する。
イメージ管理サーバのハードウェア構成は、コントローラ30およびカメラ31がインターフェイス部25に接続されていない点を除き、基本的にビューワコンピュータ500のハードウェア構成と同じである。そのため、詳細な説明は省略する。
[イメージ管理サーバ400の機能ブロックについて]
次に、イメージ管理サーバ400の機能ブロックについて説明する。イメージ管理サーバ400の主な機能は、第1に、病理画像を、ビューワコンピュータ500からの要求に従い提供することである。第2に、ビューワコンピュータ500から取得した表示履歴を保存し、ビューワコンピュータ500からの要求に従い提供することである。
第3に、病理医がビューワ上において病理画像の特定個所に付けたコメント(以下、アノテーションという)を保存することである。図3は、イメージ管理サーバ400の機能ブロックを示す図である。
イメージ管理サーバ400は、画像格納部41、画像提供部42、表示履歴格納部43、表示履歴管理部44の機能ブロックを備えている。
画像格納部41には、タイル状に分割されJPEG圧縮された病理画像が格納されている。格納されている病理画像は、ビューワコンピュータ500からの要求に従い、画像提供部42を介してビューワコンピュータ500に提供される。また、ユーザがビューワコンピュータ500上のビューワを用いて病理画像に付したアノテーションもここに保存される。
画像提供部42は、ネットワーク300を介してビューワコンピュータ500から送られてくる画像要求に対応した病理画像を画像格納部41から取得し、ネットワーク300を介してビューワコンピュータ500に送信する。
表示履歴格納部43には、ビューワコンピュータ500上においてユーザが操作したビューワの表示履歴が格納される。
表示履歴管理部44は、ビューワコンピュータ500上において記録され、一旦まとめられた表示履歴をネットワーク300を介して取得する。そして、表示履歴管理部44は、取得した表示履歴を表示履歴格納部43に格納する。また、表示履歴管理部44は、ビューワコンピュータ500からの表示履歴要求を受け付け、その表示履歴要求に応じた表示履歴を表示履歴格納部43から取得し、ネットワーク300を介してビューワコンピュータ500に送信する。
なお、イメージ管理サーバ400とビューワコンピュータ500とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックの実行場所は上述のイメージ管理サーバ400上に限定されるものではなく、クライアント側であるビューワコンピュータ500上において実行される構成でもよい。
[ビューワコンピュータ500の機能ブロックについて]
次に、ビューワコンピュータ500の機能ブロックについて説明する。ビューワコンピュータ500の主な機能は、第1に、病理医であるユーザからの操作指示を受け付け、対応する病理画像をイメージ管理サーバ400から取得し、ユーザに対し表示することである。第2に、病理画像のうち、表示された範囲と表示された時間とを病理画像の上に軌跡として表し、軌跡画像を生成することである。
第3に、ユーザが画像診断を行う際のビューワ操作に応じた画像の表示を記録し、その表示履歴を保存のためにイメージ管理サーバ400に送ることである。第4に、ユーザからの要求に従い、イメージ管理サーバ400に保存されている表示履歴を取得し、ユーザに対して表示履歴に基づき、ユーザが行った操作に応じた画像の表示を再現することである。
図4は、ビューワコンピュータ500の機能ブロックを示す図である。
ビューワコンピュータ500は、画像取得部51(取得部)、表示履歴制御部52、軌跡画像生成部53(生成部)の機能ブロックを備えている。
画像取得部51は、操作入力部24から入力された、病理医であるユーザの指示に対応した病理画像を、ネットワーク300を介してイメージ管理サーバ400から取得し、取得した病理画像を出力部26を介してユーザに提示する。
表示履歴制御部52は、ユーザの指示により、ユーザが病理画像を観察する際のビューワ操作に応じた画面表示の変化を記録する。記録は、まずビューワコンピュータ500のRAM23または記憶部27を用いて保存される。記録の停止指示により、記録はまとめられ、表示履歴としてイメージ管理サーバ400に送られ、保存される。
表示履歴制御部52は、また、ユーザの指示により、その指示に対応した表示履歴をイメージ管理サーバ400から取得し、取得した表示履歴に記録されているビューワの画面表示を、出力部26を介して、ユーザに提示する。
表示履歴制御部52は、さらに、病理画像のどの部分がビューワ画面上に表示されているか、またその表示時間はどれだけかの情報を軌跡画像生成部53に渡す。
軌跡画像生成部53は、表示履歴制御部52から、現在、病理画像のどの部分が表示されているかその位置情報と、どの程度の時間、表示されているかその時間情報とを取得し、マスク画像の画素の透明度を下げる。透明度の下げ方の詳細は後述する。
[ビューワ画面について]
次に、ユーザがビューワコンピュータ500上において病理画像を観察するために用いるビューワの画面について説明する。図5は、ビューワ画面の例を示す図である。
ビューワウィンドウ60には、病理画像のどの個所を拡大しているかを示すサムネイルマップ61と、病理画像を観察するための観察領域62と、表示記録再生GUI63とが含まれている。サムネイルマップ61は、病理画像全体の縮小画像(以下では、病理全体画像と呼ぶ)と、ビューワウィンドウ60に表示されている画像の範囲をサムネイルマップ61上で等価的に示す枠FRとを有する。
枠FRはサムネイルマップ61上で、ユーザからの指示によって任意の方向へ任意の量だけ移動させることが可能である。なお、サムネイルマップ61において、枠の移動の操作はマウスなどのドラッグ操作などにより行うことも可能である。
表示記録再生GUI63は、ユーザによる、ビューワ操作に応じた表示画面の変化の記録開始指示や記録停止指示を受け付け、受け付けた指示を表示履歴制御部52に伝える。
[ビューワ画面表示の記録再生の流れについて]
次に、ビューワ操作による画面表示の履歴を記録・再生する流れを説明する。図6は、ビューワ操作による画面表示の履歴を記録・再生する流れを説明するシーケンス図である。
まず、表示履歴を記録する流れを説明する。
最初に、ユーザが、表示記録再生GUI63の記録ボタンをクリックすることにより、ビューワ表示の記録開始を表示履歴制御部52に指示する(S1)。その後、ユーザはビューワ上に表示された病理画像の一覧から、観察を行う病理画像を選択する。
表示履歴制御部52が記録開始の指示を受け付けた以降、表示履歴制御部52は、ユーザがビューワに対して行った表示位置の変更や、観察倍率の変更による画面表示の変化を周期的に記録する(S2)。
ユーザによる表示範囲の変更や、観察倍率の変更が行われた場合、画像取得部51がイメージ管理サーバ400に対して、対応するタイル化された画像を要求し、取得を行う(S3)。
イメージ管理サーバ400から取得された画像は、画像取得部51を経由して画面に表示される(S4)。このとき軌跡画像生成部53は、病理画像の観察領域62上に表示された範囲を、表示された時間や観察倍率に応じてマスク画像の透明度を変えながら、サムネイルマップ61内の病理全体画像に記録する。
ユーザは、ビューワ画面の操作を継続し(S5)、画像取得部51が病理画像のビューワ画面上への表示を行う(S6)。その間、表示履歴制御部52による、画面表示の状態は表示履歴として記録が継続される。また、軌跡画像生成部53による観察領域62の移動の軌跡(場所および時間を含む)は、サムネイルマップ61内の病理全体画像に軌跡画像として合成され生成される。
ユーザが、表示記録再生GUI63の停止ボタンをクリックすることにより、ビューワ表示の記録停止を表示履歴制御部52に指示する(S7)。この際に、記録した表示履歴に名前が付けられる。停止の指示が行われると、表示履歴制御部52は、ローカルに一時保存していた表示履歴を、イメージ管理サーバ400に送信する(S8)。表示履歴管理部44は、受信した表示履歴を表示履歴格納部43に格納する。
以上が表示履歴を記録する流れである。次に、表示履歴を再生する流れを説明する。
最初に、ユーザが、再生したい表示履歴の名前を表示履歴一覧から選択し、表示記録再生GUI63の再生ボタンをクリックすることにより、表示履歴の再生を表示履歴制御部52に指示する(S9)。なお、表示履歴の一覧には、表示履歴の名前に加えて、その表示履歴に対応した軌跡画像がサムネイルとして追加的に表示されている。
表示履歴の再生が指示されると、表示履歴制御部52は、イメージ管理サーバ400の表示履歴管理部44に対して、ユーザにより指定された表示履歴を要求し、イメージ管理サーバ400から取得する(S10)。
また、表示履歴の再生指示がなされると、画像取得部51が、再生時に表示するための画像を、イメージ管理サーバ400の画像格納部41から取得する(S11)。
取得された表示履歴および画像を用いて、ビューワ画面上での表示の再生が行われる(S12)。
最後に、ユーザが表示記録再生GUI63の停止ボタンをクリックすることにより、表示履歴の再生停止を表示履歴制御部52に指示すると(S13)、表示履歴制御部52は、表示履歴の再生を停止する。
以上が表示履歴を再生する流れである。
[アルファ値とアルファブレンド]
次に、軌跡画像を生成する際の詳細について説明する。最初にサムネイルマップ61内に表示される病理全体画像上にマスク画像を重ねて表示の軌跡を表現する際に用いるアルファ値とアルファブレンドを説明する。
アルファ値とは、コンピュータが扱うデジタル画像データにおいて、各画素に設定された透明度の情報のことである。また、アルファブレンドとは、2つの画像を係数(アルファ値)により合成することである。2つの画像とは、本技術の場合、サムネイルマップ61内の病理全体画像と、その手前に設定されるマスク画像である。
図7は、病理全体画像と表示の軌跡が合成された軌跡画像を示す図であり、図8は、病理全体画像Aとマスク画像Bが別の画像であり、それらを重ね合わせている様子を示す図である。
これらの図から分かるように、病理全体画像とマスク画像は別の画像である。軌跡画像生成部53は、マスク画像の透明度を表すアルファ値を調整して、表示の軌跡をマスク画像上に記録する。そしてその後、アルファ値が調整されたマスク画像と病理全体画像とをアルファブレンドにより合成して軌跡画像が生成される。
アルファ値は、例えば、0から255までの範囲の整数値をとる。ある画素のアルファ値が0のときは、マスク画像の画素は完全に透明となり、背後の病理全体画像の画素が完全に透けて見える。アルファ値が128程度のときは、マスク画像の画素は半透明となり、色(例えば緑色)が着色される。その際、背後の病理全体画像の画素の色は半分だけ透けて見える。アルファ値が255になると、マスク画像の画素は完全に不透明になり、背後の病理全体画像の色は全く見えなくなる。
本技術では、マスク画像の透明度を最初は完全に透明にしておき、観察領域62に表示される時間に応じて、アルファ値を増加させ、マスク画像の透明度を減少させてマスク画像の色を出していくことにより表示の軌跡を記録する。また、逆に、最初マスク画像の透明度を70%程度にしておき、観察領域62に表示される時間に応じて、アルファ値を減少させ、マスク画像の透明度を増加させてマスク画像の色を消してゆくことにより表示の軌跡を記録する構成でもよい。
なお、マスク画像は、病理全体画像とは別の画像なので、マスク画像のアルファ値を全て0に戻すことにより、軌跡の記録をリセットすることも可能である。
[アルファ値の加算方法(基本)]
本技術では、病理画像の少なくとも一部を観察領域62に表示させる場合、動画のように例えば60fpsのフレームレートを用いて再描画を繰り返しながら表示を行っている。サムネイルマップ61も同じである。そこで、例えば、観察領域62に病理画像の一定の範囲が表示され続ける場合、毎フレーム、アルファ値を1だけ増加させることが考えられる。こうすると、60フレーム分の時間(1秒間)が経つと観察領域に表示された位置に対応するマスク画像の画素のアルファ値は60となり、23%ほど不透明になる。
そのまま表示時間が4秒を過ぎると、アルファ値は255に達し、マスク画像が完全に不透明になってしまう。その場合、背後の病理全体画像が見えないので、ユーザは、病理全体画像の形状と表示の軌跡の対比により、病理画像のどこを観察したのかを把握するのが困難になる。そこで、アルファ値には上限を設けるのがよい。例えば、加算するアルファ値の上限を180とすれば、約70%の透明度でアルファ値の増加が止まるので、背後の病理全体画像が見えなくなることは無い。
なお上記の例では、1フレーム毎にアルファ値が1増加する構成をとったが、例えば30秒ごとにアルファ値が1増加する構成でもよい。こうするとアルファ値が上限である180に達するまでに90分を要するので、長時間の観察を記録する際にも、時間により透明度に差をつけ、適切に表示の軌跡を記録することができる。いずれにしても、典型的な観察時間の長さをもとに、アルファ値の増加率を定めるのがよい。
[アルファ値の加算方法(観察倍率を考慮)]
上記では、観察領域62に病理画像の一定の範囲が表示され続ける場合、無条件にアルファ値を増加させる構成としたが、アルファ値の増加率を、病理画像を観察する観察倍率により異なる値とすることも考えられる。軌跡画像における軌跡の色が濃いほど(マスク画像の不透明度が高いほど)、病理画像をよく観察したことを表す場合、一か所の観察時間が長いほど不透明度が高くなるのがよい。同じく観察倍率が高いほど、詳細に観察を行っていることになるので、アルファ値の増加率を上げるのがよい。
例えば、観察倍率が2倍未満のときは、単位時間当たりのアルファ値の増加量を0とし、軌跡の記録を行わない。観察倍率が2倍以上4倍未満のときは、単位時間当たりのアルファ値の増加量を1とする。観察倍率が4倍以上のときは、単位時間当たりのアルファ値の増加量を2とする。このような構成とする事により、観察倍率も考慮して表示の軌跡を記録することができる。
図9は、この例に沿ったアルファ値の増え方を表したグラフである。図の上側のグラフにあるように、観察倍率が2倍未満のときは、時間がたってもアルファ値はゼロのままであり増えない。観察倍率が2倍以上4倍未満のとき、アルファ値は緩やかに増加する。観察倍率が4倍以上のとき、観察倍率は急に増加するが、上述のとおり上限に達すると、そこからは増えない。
[アルファ値の加算方法(観察時間を考慮)]
上記の構成では、一定の場所の観察を続けた場合、単調にアルファ値が増加する構成であった。しかし、一定の場所を長時間観察するということは、それだけ詳しく観察していることに他ならず、その際には、アルファ値の増加率を高めることが望ましい。
図10は、一定の場所を長時間観察する場合にアルファ値の増加量を変更する様子を示すグラフである。例えば、ある個所を観察領域62に表示して観察を始めてから時間t1が経過するまではアルファ値を単位時間当たりnだけ増加させる。時間t1を経過すると、アルファ値の増加量を1.1倍に増やして、単位時間当たり1.1nとする。
さらに同じ個所を観察し続けて時間t2を経過すると、アルファ値の増加量を1.2倍に増やして、単位時間当たり1.2nとする。nの値は、上記のとおり、観察倍率によって変動する。観察領域62に表示する画像を移動させたときは、アルファ値の増加量はまたnから始まる。
このような構成をとることにより、一定の個所を長時間観察した場合に、その軌跡を強調させて記録することができる。
[回転表示の場合の記録方法]
次に、観察領域62に病理画像の一部を表示させる際に、画像を回転させた場合の記録方法を述べる。基本的には、回転を行わない場合と同様に、観察領域62に対応する矩形領域に含まれる画素のアルファ値を増加させるだけである。但し、回転が行われている分、マスク画像上では、観察領域62に対応する矩形が回転した形で記録が行われる。図11は、観察領域62に対応する矩形Rが回転した状態においてマスク画像上に記録された例を示す図である。
[軌跡画像生成の流れ]
次に、軌跡画像生成部53が軌跡画像を生成する処理の流れを説明する。図12は、軌跡画像を生成する処理の流れを説明するフローチャートである。なお、上記での説明のとおり、軌跡画像の更新は、フレーム毎(例えば60fpsであれば、1/60秒ごと)に行われているので、このフローチャートの処理もフレーム毎のタイミングにおいて行われる。
まず、軌跡画像生成部53は、現在の観察倍率によってアルファ値を決定する(ステップST1)。
次に、軌跡画像生成部53は、観察領域62に現在の画像を表示し始めてから所定の時間が経過したか否かを判断し、所定の時間が経過している場合は、アルファ値を増やす(ステップST2)。
次に、軌跡画像生成部53は、観察領域62に表示されている画像の範囲から、マスク画像上でアルファ値を変更する矩形の範囲を決定する(ステップST3)。
次に、軌跡画像生成部53は、マスク画像に矩形を軌跡として記録する(ステップST4)。ここでは、ステップST1またはST2において決定されたアルファ値の増分を、マスク画像上の対象となる画素のアルファ値に加算することにより記録が行われる。記録が行われると、サムネイルマップ61上の病理全体画像上に、観察領域62の範囲を示す矩形が、マスク画像の色により表示される。
ここで、軌跡画像生成部53は、操作入力部24から表示の軌跡のリセット要求が来ているか否かを判断し、リセット要求が入力された場合は(ステップST5のY)サムネイルマップ61上の軌跡を全て消去する(ステップST6)。消去は、マスク画像の全画素のアルファ値を初期値に戻すことにより行われる。
以上が軌跡画像生成部53による軌跡画像を生成する処理の流れである。
[軌跡画像の実際例]
次に、軌跡画像生成部53がサムネイルマップ61上に生成する軌跡画像の実際例を説明する。
以下では、まず、ユーザがどのような時間配分を用いて病理画像を観察したか、その例を説明し、その観察に対応した軌跡の表示がどのような色の濃淡により示されるかを説明する。
図13は、ユーザが撮影された検体SPLを観察領域62に表示させながら閲覧する過程を表した図である。図14は、その表示過程を表示軌跡としてサムネイルマップ61内の病理全体画像上に記録した例を示す図である。
ユーザが病理画像を、観察領域62にどのように表示させたかを、図13を用いて説明する。
まず、ユーザは検体SPLの上部D1の範囲を、観察倍率1.25倍により観察領域62内に部分画像として表示させ、8秒間観察を行う。なお、表示範囲D1の中心座標は(x1,y1)である。
次に、ユーザは、部分画像の表示範囲をD1からD2に変更し、20秒間観察を行う。部分画像の表示範囲D2の中心座標は(x2,y2)である。
次に、ユーザは、観察倍率を1.25倍から20倍に拡大し、部分画像の表示範囲D3を表示し、35秒間観察を行う。この時、部分画像の中心座標は変化せず(x2,y2)のままである。
次に、ユーザは、部分画像の表示範囲D3を表示範囲D4まで移動し、40秒間観察を行う。部分画像の中心座標は(x3,y3)となる。
次に、ユーザは、観察倍率を20倍から40倍に拡大し、部分画像の表示範囲D5を表示し、2分間観察を行う。この時、部分画像の中心座標は変化せず(x3,y3)のままである。
以下、同様にして観察倍率や観察時間を変えながら観察を行ったとする。
次に、上述した観察過程の表示軌跡の記録例を、図14を用いて説明する。
観察倍率が低かったり、観察時間が短時間であったりする軌跡T1、T2、T7などは、薄い色により透明度を高めて軌跡が記録されている。逆に、最も濃い色により最も不透明に示される軌跡は、T5、T9、T10などである。特に軌跡T5などは、軌跡T2の色の濃さと軌跡T4の色の濃さと軌跡T5本来の色の濃さが全て累積的に加算された濃さにより示されるので、非常に濃い色により軌跡が記録されることになる。
[応用例(閾値を設けた表示)]
次に、軌跡画像を記録する際の応用例として、軌跡画像に閾値を設けて表示させる例を示す。
上記の説明のとおり、マスク画像のアルファ値は、0から徐々に数値が上がっていく、連続的な値である。そのため、軌跡画像上に表示させると、マスク画像の色がグラデーションとなって表示され、観察者がどこをよく観察したか、その境界線がはっきりしない。
そこで、予め一定の閾値を設けておき、アルファ値がこの閾値以上であればアルファ値を最大値まで上げてマスク画像を完全に不透明とし、閾値未満であればアルファ値を最小値まで下げて、マスク画像を完全に透明とする。このように、マスク画像を連続的なグラデーションを有する画像から、2値画像に変換することにより、観察した個所と観察していない個所との区別を容易につけることができる。
なお、軌跡を不透明にする場合、上記の説明ではアルファ値を最大値まで上げて完全に不透明にするとしたが、最大値よりも低い値を上限値として、上限値になるようアルファ値を設定してもよい。
図15は、2値画像に変換したマスク画像と合成した軌跡画像の例を示す図である。軌跡T3、T4、T5、T6、T9、T10などが不透明な色により表現されているので、どこをよく観察したのかが一目でわかる。
[応用例(軌跡画像のサムネイル利用)]
次に、軌跡画像の応用例として、ユーザがイメージ管理サーバ400に保管されている表示履歴の中から再生したい表示履歴を選択する際に、一覧表に表示される各表示履歴のサムネイルとして軌跡画像を利用することが考えられる。
図16は、表示履歴制御部52がユーザに提示する、表示履歴一覧画面の例である。各行が1つの表示履歴を表し、1つの行には、左から、軌跡画像のサムネイル、表示履歴名、録画時間が表示されている。
この例において注目すべき点は、サムネイル内に示されている軌跡の位置である。これらのサムネイルが無いと、ユーザは、表示履歴名や録画時間から見たい表示履歴を探さなければならないが、それは困難である。それに対し、軌跡画像のサムネイルがあれば、病理画像の中のどの位置を観察した際の表示履歴であるかが、一目瞭然である。
このように、病理画像のどの部分を観察したかが記録されている軌跡画像を、表示履歴の一覧を提示する際のサムネイルとして利用するために、表示履歴の属性情報として紐づけて保存しておくことは有用である。
[本技術の別の構成]
なお、本技術は以下のような構成も採ることができる。
(1)病理画像を取得する取得部と、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部と、前記部分表示領域を移動させる指示をユーザから受け付ける入力部と、前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する生成部とを具備する情報処理装置。
(2)前記(1)に記載の情報処理装置であって、前記生成部は、前記範囲の表示時間の長さに対応した前記値を、観察倍率の高さに応じて修正し、被合成画像を一定の時間周期で生成する情報処理装置。
(3)前記(1)または(2)に記載の情報処理装置であって、前記生成部は、前記部分表示領域の表示範囲が一定のとき、表示時間の増加に伴い、前記表示された部分表示領域の全画素位置についてそれぞれ、前記軌跡画像の中で前記軌跡を表す色を軌跡色として当該軌跡色の輝度値を増加させ、前記病理画像の輝度値を減少させる情報処理装置。
(4)前記(3)に記載の情報処理装置であって、前記生成部は、前記部分表示領域の表示範囲が一定かつ前記表示時間が予め定められた時間を超えたとき、前記軌跡色の前記輝度値の増加率を段階的に高める情報処理装置。
(5)前記(3)または(4)に記載の情報処理装置であって、前記生成部は、前記軌跡画像の全画素位置についてそれぞれ、前記軌跡色の前記輝度値が予め定められた閾値以上であれば、前記軌跡画像の画素の色を前記軌跡色のみで表し、前記輝度値が前記閾値未満であれば前記軌跡画像の前記画素の色を前記病理画像の色のみで表す情報処理装置。
(6)前記(1)から(5)のうちいずれか1つに記載の情報処理装置であって、前記生成部は、前記値としてアルファ値を用い、前記画素毎の合成方法としてアルファブレンドを用いる情報処理装置。
(7)前記(1)から(6)のうちいずれか1つに記載の情報処理装置であって、前記生成部は、前記病理画像における前記部分表示領域の少なくとも位置情報を表示時刻と対応付けて周期的に記録した表示履歴に、前記軌跡画像をサムネイルとして付加する情報処理装置。
(8)取得部が、病理画像を取得し、表示部が、取得した前記病理画像の少なくとも一部を部分表示領域として表示し、入力部が、前記部分表示領域を移動させる指示をユーザから受け付け、生成部が、前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する情報処理方法。
(9)病理画像を取得する取得部、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部、前記部分表示領域を移動させる指示をユーザから受け付ける入力部、および前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する生成部としてコンピュータを機能させるための情報処理プログラム。
[補足事項]
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
10…顕微鏡
20…スキャナ用コンピュータ
21…CPU
22…ROM
23…RAM
24…操作入力部
25…インターフェイス部
26…出力部
27…記憶部
28…ネットワークインターフェイス部
29…バス
30…コントローラ
31…カメラ
41…画像格納部
42…画像提供部
43…表示履歴格納部
44…表示履歴管理部
51…画像取得部
52…表示履歴制御部
53…軌跡画像生成部
60…ビューワウィンドウ
61…サムネイルマップ
62…観察領域
63…表示記録再生GUI
100…スキャナ
300…ネットワーク
400…イメージ管理サーバ
500…ビューワコンピュータ

Claims (34)

  1. 医療画像を表示する方法であって、
    前記医療画像を第一の領域に表示し、
    前記医療画像の少なくとも一部を部分表示領域として第二の領域に表示し、
    前記部分表示領域が所定の観察倍率以上で表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する少なくとも一部の画素位置の画素を前記医療画像の色とは異なる色で表示し、
    前記部分表示領域が所定の観察倍率未満で表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域の画素を前記医療画像の色で表示する
    表示方法。
  2. 請求項1に記載の表示方法であって、
    前記医療画像は、病理、生物若しくは材料を撮像した画像、または、生体細胞、組織、臓器の少なくとも一部の画像である
    表示方法。
  3. 請求項1または2に記載の表示方法であって、
    前記医療画像は、画像を保存可能な画像管理装置から取得する
    表示方法。
  4. 請求項1から3のいずれか1項に記載の表示方法であって、
    前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素の少なくとも一部にアノテーション情報を重畳する
    表示方法。
  5. 請求項4に記載の表示方法であって、
    前記アノテーション情報は、枠である
    表示方法。
  6. 請求項4または5に記載の表示方法であって、
    ユーザからの指示に基づいた前記第一の領域内での前記アノテーション情報への操作に基づき、前記第二の領域に表示される前記部分表示領域を変更する
    表示方法。
  7. 請求項6に記載の表示方法であって、
    前記操作は、前記アノテーション情報の大きさの変更、または移動のための操作である
    表示方法。
  8. 請求項1から7のいずれか1項に記載の表示方法であって、
    前記部分表示領域が所定の倍率以上で表示された場合、前記部分表示領域の位置情報、または、前記部分表示領域が前記第二の領域に表示された時間を記憶する
    表示方法。
  9. 請求項8に記載の表示方法であって、
    前記部分表示領域の位置情報、または、前記部分表示領域が前記第二の領域に表示された時間を周期的に記憶する
    表示方法。
  10. 請求項8または9に記載の表示方法であって、
    前記医療画像の色とは異なる色は、前記部分表示領域が表示される観察倍率又は時間に応じて決められる
    表示方法。
  11. 医療画像取得装置と、前記医療画像取得装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援のための情報処理システムであって、
    前記ソフトウェアは、
    前記医療画像を第一の領域に表示し、
    前記医療画像の少なくとも一部を部分表示領域として第二の領域に表示し、
    前記部分表示領域が所定の観察倍率以上で表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する少なくとも一部の画素位置の画素を前記医療画像の色とは異なる色で表示し、
    前記部分表示領域が所定の観察倍率未満で表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域の画素を前記医療画像の色で表示する処理を情報処理装置に実行させる、
    情報処理システム。
  12. 請求項11に記載の表示方法であって、
    前記医療画像は、病理、生物若しくは材料を撮像した画像、または、生体細胞、組織、臓器の少なくとも一部の画像である
    情報処理システム。
  13. 請求項11または12に記載の情報処理システムであって、
    前記医療画像は、画像を保存可能な画像管理装置から取得する
    情報処理システム。
  14. 請求項11から13のいずれか1項に記載の情報処理システムであって、
    前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素の少なくとも一部にアノテーション情報を重畳する
    情報処理システム。
  15. 請求項14に記載の情報処理システムであって、
    前記アノテーション情報は、枠である
    情報処理システム。
  16. 請求項14または15に記載の情報処理システムであって、
    ユーザからの指示に基づいた前記第一の領域内での前記アノテーション情報への操作に基づき、前記第二の領域に表示される前記部分表示領域を変更する
    情報処理システム。
  17. 請求項16に記載の情報処理システムであって、
    前記操作は、前記アノテーション情報の大きさの変更、または移動のための操作である
    情報処理システム。
  18. 請求項11から17のいずれか1項に記載の情報処理システムであって、
    前記部分表示領域が所定の倍率以上で表示された場合、前記部分表示領域の位置情報、または、前記部分表示領域が前記第二の領域に表示された時間を記憶する
    情報処理システム。
  19. 請求項18に記載の情報処理システムであって、
    前記部分表示領域の位置情報、または、前記部分表示領域が前記第二の領域に表示された時間を周期的に記憶する
    情報処理システム。
  20. 請求項18または19に記載の情報処理システムであって、
    前記医療画像の色とは異なる色は、前記部分表示領域が表示される観察倍率又は時間に応じて決められる
    情報処理システム。
  21. 医療画像取得装置と、前記医療画像取得装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援のための情報処理システムであって、
    前記ソフトウェアは、
    前記医療画像を第一の領域に表示し、
    前記医療画像の少なくとも一部を部分表示領域として第二の領域に表示し、
    前記部分表示領域が所定の観察倍率以上で、かつ所定の時間以上表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する少なくとも一部の画素位置の画素を前記医療画像の色とは異なる色で表示し、
    前記部分表示領域が所定の観察倍率未満で表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域の画素を前記医療画像の色で表示する処理を情報処理装置に実行させる、
    情報処理システム。
  22. 医療画像を第一の領域に表示し、
    前記医療画像の少なくとも一部を部分表示領域として第二の領域に表示し、
    前記部分表示領域が所定の観察倍率以上で表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する少なくとも一部の画素位置の画素を前記医療画像の色とは異なる色で表示し、
    前記部分表示領域が所定の観察倍率未満で表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域の画素を前記医療画像の色で表示するようにコンピュータを機能させるプログラム。
  23. 請求項22に記載のプログラムであって、
    前記医療画像は、病理、生物若しくは材料を撮像した画像、または、生体細胞、組織、臓器の少なくとも一部の画像である
    プログラム。
  24. 請求項22または23に記載のプログラムであって、
    前記医療画像は、画像を保存可能な画像管理装置から取得する
    プログラム。
  25. 請求項22から24のいずれか1項に記載のプログラムであって、
    前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する画素の少なくとも一部にアノテーション情報を重畳する
    プログラム。
  26. 請求項25に記載のプログラムであって、
    前記アノテーション情報は、枠である
    プログラム。
  27. 請求項25または26に記載のプログラムであって、
    ユーザからの指示に基づいた前記第一の領域内での前記アノテーション情報への操作に基づき、前記第二の領域に表示される前記部分表示領域を変更する
    プログラム。
  28. 請求項27に記載のプログラムであって、
    前記操作は、前記アノテーション情報の大きさの変更、または移動のための操作である
    プログラム。
  29. 請求項22から28のいずれか1項に記載のプログラムであって、
    前記部分表示領域が所定の倍率以上で表示された場合、前記部分表示領域の位置情報、または、前記部分表示領域が前記第二の領域に表示された時間を記憶する
    プログラム。
  30. 請求項29に記載のプログラムであって、
    前記部分表示領域の位置情報、または、前記部分表示領域が前記第二の領域に表示された時間を周期的に記憶する
    プログラム。
  31. 請求項29または30に記載のプログラムであって、
    前記医療画像の色とは異なる色は、前記部分表示領域が表示される観察倍率又は時間に応じて決められる
    プログラム。
  32. 医療画像を第一の領域に表示し、
    前記医療画像の少なくとも一部を部分表示領域として第二の領域に表示し、
    前記部分表示領域が所定の観察倍率以上で、かつ所定の時間以上表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域に対応する少なくとも一部の画素位置の画素を前記医療画像の色とは異なる色で表示し、
    前記部分表示領域が所定の観察倍率未満で表示された場合、前記第一の領域に表示された前記医療画像の、前記第二の領域に表示された前記部分表示領域の画素を前記医療画像の色で表示するようにコンピュータを機能させるプログラム。
  33. 画像を第一の領域に表示し、
    前記画像の少なくとも一部を部分表示領域として第二の領域に表示し、
    前記部分表示領域が所定の観察倍率以上で表示された場合、前記第一の領域に表示された前記画像の、前記第二の領域に表示された前記部分表示領域に対応する少なくとも一部の画素位置の画素を前記画像の色とは異なる色で表示し、
    前記部分表示領域が所定の観察倍率未満で表示された場合、前記第一の領域に表示された前記画像の、前記第二の領域に表示された前記部分表示領域の画素を前記画像の色で表示するようにコンピュータを機能させるプログラム。
  34. 請求項33に記載のプログラムであって、
    前記画像は、顕微鏡画像、または、生物若しくは材料を撮像した画像である
    プログラム。
JP2019202494A 2018-02-26 2019-11-07 表示方法、情報処理システムおよびプログラム Active JP6927274B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019202494A JP6927274B2 (ja) 2018-02-26 2019-11-07 表示方法、情報処理システムおよびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018031985A JP6614254B2 (ja) 2018-02-26 2018-02-26 表示方法および情報処理装置
JP2019202494A JP6927274B2 (ja) 2018-02-26 2019-11-07 表示方法、情報処理システムおよびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018031985A Division JP6614254B2 (ja) 2018-02-26 2018-02-26 表示方法および情報処理装置

Publications (2)

Publication Number Publication Date
JP2020038385A JP2020038385A (ja) 2020-03-12
JP6927274B2 true JP6927274B2 (ja) 2021-08-25

Family

ID=69738558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019202494A Active JP6927274B2 (ja) 2018-02-26 2019-11-07 表示方法、情報処理システムおよびプログラム

Country Status (1)

Country Link
JP (1) JP6927274B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02110590A (ja) * 1988-10-20 1990-04-23 Fujitsu Ltd 投写型液晶表示装置
JP5589366B2 (ja) * 2009-11-27 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP2012008415A (ja) * 2010-06-25 2012-01-12 Olympus Software Technology Corp 顕微鏡システム

Also Published As

Publication number Publication date
JP2020038385A (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
US10936850B2 (en) Information processing apparatus, information processing method, method, and information processing program
US11342063B2 (en) Information processing apparatus, information processing method, and program
WO2013100025A1 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
WO2013100026A9 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP6614254B2 (ja) 表示方法および情報処理装置
CN103544370A (zh) 信息处理装置、信息处理方法和信息处理程序
JP2013153429A (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
US10908795B2 (en) Information processing apparatus, information processing method
JP4283303B2 (ja) 画像表示制御装置、画像表示制御プログラム及び画像表示制御方法
US20140063072A1 (en) Information processing apparatus, information processing method, and information processing program
JP6927274B2 (ja) 表示方法、情報処理システムおよびプログラム
JP6299840B2 (ja) 表示方法、情報処理装置および記憶媒体
JPS59105439A (ja) 医用画像表示装置
JPH1063817A (ja) 画像表示装置および方法
JP2008027439A (ja) 画像ズームとモンタージュを統合させる方法及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R151 Written notification of patent or utility model registration

Ref document number: 6927274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151