JP7322409B2 - 医療システム、医療装置および医療方法 - Google Patents

Description

本開示は、医療システム、医療装置および医療方法に関する。

近年、医療画像データ（病理画像データなどを含む）における腫瘍部などに対して付されるアノテーションに関する技術が盛んに開発されている。例えば、以下の非特許文献１には、ＩＨＣ（Immunohistochemistry）画像データに対して正確なアノテーションを付与することにより、診断の精度を向上させることができる技術が開示されている。

Barnes M、他13名、「Wholetumor section quantitative image analysis maximizes between-pathologists’reproducibility for clinical immunohistochemistry-based biomarkers」、Laboratory Investigation、2017年8月14日、volume97、p.1508-1515

しかし、非特許文献１の技術などによっては、アノテーションを適切に付すことが困難な場合があった。例えば、アノテーションの付与対象となる部分がディスプレイに対して小さく表示されている場合、ユーザは、ディスプレイ全体をより解像度の高い画像データに切り替えることでアノテーションを付していた。しかし、ディスプレイ全体が解像度の高い画像データに切り替えられると、ユーザは、アノテーションの付与対象となる部分を俯瞰して見ることができなくなる。また、より解像度の高い画像データへの切り替え操作がユーザにとって煩わしい場合もある。

そこで、本開示は、上記に鑑みてなされたものであり、病理画像データに対してアノテーションをより適切に付すことが可能な、新規かつ改良された医療システム、医療装置および医療方法を提供する。

本開示によれば、一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させる表示制御部と、ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すアノテーション処理部と、を備える、医療システムが提供される。

また、本開示によれば、一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させる表示制御部と、ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すアノテーション処理部と、を備える、医療装置が提供される。

また、本開示によれば、一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させることと、ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すことと、を有する、コンピュータにより実行される医療方法が提供される。

また、本開示によれば、一の観察対象物を撮像することで異なる複数の解像度を有する画像データを含む病理画像データを生成する撮像装置と、前記病理画像データに対する処理に使われるソフトウェアとを含んで構成される医療システムであって、前記ソフトウェアは、情報処理装置で実行され、前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させることと、ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すことと、を実現する、医療システムが提供される。

本開示によれば、表示制御部は、第１の解像度を有する第１の画像データだけでなく、第１の解像度と同一または第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させることができ、かつ、アノテーション処理部は、第１の画像データおよび第２の画像データの両方に対してアノテーションを付すことができる。したがって、ユーザは、第１の画像データおよび第２の画像データの両方を見ながらアノテーションに関する入力を行うことができるため、本開示は、病理画像データに対してアノテーションをより適切に付すことができる。

以上説明したように本開示によれば、病理画像データに対してアノテーションをより適切に付すことが可能になる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

医療画像データに対して付されるアノテーション１０の具体例について説明するための図である。 医療システム１００の構成例を示すブロック図である 病理画像データおよびその表示原理について説明するためのピラミッド構造を示す図である。 表示制御部１２１による表示制御の詳細について説明するための図である。 表示制御部１２１による表示制御の詳細について説明するための図である。 表示制御部１２１による表示制御の詳細について説明するための図である。 表示制御部１２１による表示制御の詳細について説明するための図である。 装置構成の具体例について説明するための図である。 従来から医師らがアノテーション１０を付す際に行ってきた入力方法について説明するための図である。 従来から医師らがアノテーション１０を付す際に行ってきた入力方法について説明するための図である。 装置構成の具体例について説明するための図である。 装置構成の具体例について説明するための図である。 アノテーション処理部１２２によって生成されたアノテーション１０の一例を示す図である。 アノテーション１０の生成に関する処理フロー例を示すフローチャートである。 コントロールポイント１３の移動によるアノテーション１０の修正について説明するための図である。 コントロールポイント１３の移動によるアノテーション１０の修正について説明するための図である。 コントロールポイント１３の移動によるアノテーション１０の修正に関する処理フロー例を示すフローチャートである。 第２のアノテーション１４による第１のアノテーション１０の修正について説明するための図である。 第２のアノテーション１４による第１のアノテーション１０の修正に関する処理フロー例を示すフローチャートである。 第２のコントロールポイント１５との接続対象となる第１のコントロールポイント１３の変更について説明するための図である。 第２のコントロールポイント１５との接続対象となる第１のコントロールポイント１３の変更に関する処理フロー例を示すフローチャートである。 第１のアノテーション１０の修正範囲の判断方法について説明するための図である。 第１のアノテーション１０の修正範囲の判断に関する処理フロー例を示すフローチャートである。 医療システム１００の各種機能を実現する情報処理装置９００のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．実施形態
２．１．構成
２．２．アノテーション１０に関する処理の詳細
２．３．ハードウェア構成
２．４．システム構成のバリエーション
３．まとめ

＜１．概要＞
まず、本開示の概要について説明する。

創薬における薬剤効果の検証や病理診断のためには、組織における腫瘍部や間質などのサイズや割合、または核の大きさなどを正確に算出することが重要である。特に、病理画像のデジタル化や、PD-L1（Programmed cell Death 1- Ligand 1）を利用するがん免疫療法などの高まりと共に、連続切片での免疫染色などにより、腫瘍部の面積や腫瘍部における染色細胞の分布や数などを定量化することがより重要になってきている。これにより、医師らによって、腫瘍部などを示すアノテーションを医療画像データに対して付すことが積極的に行われている。また、上記のとおり、ＩＨＣ画像データに対して正確なアノテーションを付与することにより、診断の精度を向上させることができる非特許文献１の技術も開発されている。

しかし、非特許文献１の技術などによっては、アノテーションを適切に付すことが困難な場合があった。例えば、アノテーションの付与対象となる部分がディスプレイに対して小さく表示されている場合、ユーザは、ディスプレイ全体をより解像度の高い画像データに切り替えたり、より解像度の高い画像データ（以降、「アノテーション補助画像」とも呼称する）を元の画像データに重畳して表示させたりすることでアノテーションを付していた。しかし、ディスプレイ全体が解像度の高い画像データに切り替えられると、ユーザは、アノテーションの付与対象となる部分を俯瞰して見ることができなくなる。また、より解像度の高い画像データへの切り替え操作がユーザにとって煩わしい場合もある。さらに、アノテーション補助画像が重畳的にディスプレイに表示されたとしても、アノテーションが元の画像データにのみ表示されアノテーション補助画像に表示されない場合、ユーザは、アノテーション補助画像に表示されている部分と、実際にアノテーションが付される部分とを見比べながら入力を行うことが求められるため、正確なアノテーションを付すことが困難な場合があった。

本件の開示者は上記事情に鑑みて、本開示に係る技術を創作するに至った。本開示に係る医療システムは、一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および第１の解像度と同一または第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させ、ユーザによる入力に基づいて第１の画像データおよび第２の画像データに対してアノテーションを付すことができる。これによってユーザは、第１の画像データ、および第１の解像度と同一または第１の解像度以上の第２の解像度を有する第２の画像データの両方を見ながらアノテーションに関する入力を行うことができるため、本開示は、病理画像データに対してアノテーションをより適切に付すことができる。

また、本開示に係る医療システムは、アノテーション上の複数の点であるコントロールポイントを設定し、当該コントロールポイントを用いることでアノテーションの生成および修正をより適切に行うことができる。

また、近年、機械学習技術を用いてアノテーションを付す技術も開発されているところ、機械学習のための学習データを作成するには、大量の医療画像データに対して緻密なアノテーションを付すことが求められ、多くの時間と作業者を要している。

その点、本開示に係る医療システムは、アノテーションに関する入力と、第１の画像データまたは第２の画像データの表示に関する入力とを、異なる方法によって実現する。より具体的には、本開示に係る医療システムでは、アノテーションに関する入力がユーザの片手によって行われ、第１の画像データまたは第２の画像データの表示に関する入力がもう片方の手によって行われる。この入力方法は、従来から医師らがアノテーションを付す際に行ってきた入力方法に類似するため、本開示に係る医療システムは、医師らユーザによる作業をより直感的かつより効率的に実現することができる。また、本開示に係る医療システムは、特にフリーハンドによるアノテーションについて、ユーザが入力をより行い易い構成を備えている。

以上によって、本開示に係る医療システムは、病理画像データに対してアノテーションをより適切に付すことを可能にし、ひいては創薬や病理診断の質および効率を向上させることを可能にする。

＜２．実施形態＞
上記では、本開示の概要について説明した。続いて、本開示の一実施形態について説明する。

本実施形態に係る医療システム１００は、ユーザが医療画像データに対してアノテーション１０を付す際に使用される情報処理システムであり、例えば医療用顕微鏡（例えば、光学顕微鏡）や、医療用顕微鏡などと通信接続されている装置などを備えている。なお以降では、医療システム１００によりアノテーション１０が付される医療画像データが病理画像データである場合を一例として説明するが、アノテーション１０が付される医療画像データは、医療に関する何らかの画像データであればよく、必ずしも病理画像データに限定されない。例えば、アノテーション１０が付される医療画像データは、放射線画像データまたは超音波画像データでもよい。

ここで、図１を参照して、医療システム１００が医療画像データに対して付すアノテーション１０の具体例について説明する。図１に示すように、本実施形態に係るアノテーション１０は、病理画像データに含まれる観察対象物を示すために付されるものであり、例えば、観察対象物である腫瘍部を囲むように付される。換言すると、本実施形態に係るアノテーション１０は、病理画像データに含まれる閉じられた領域（例えば、観察対象物である腫瘍部などが撮像された領域）を示すために付されるものである。アノテーション１０は、アノテーション１０が付された領域の面積、観察対象物が腫瘍である確率、腫瘍の陽性度や各種スコアなどの出力に用いられたり、製薬分野においては、腫瘍領域内の免疫細胞数や腫瘍境界の細胞数のカウントなどに用いられることで、腫瘍内に浸潤してくる免疫細胞数に基づく薬剤の患者選択などが行われたりする。また、がん遺伝子検査において、病理切片から腫瘍部（望ましくは一定以上の異形細胞を含む腫瘍部）などを判断し切り出すことによってがん遺伝子検査の精度が上がることが知られており、当該ケースにおいて、アノテーション１０は、病理切片における腫瘍部の切り出しや、腫瘍内部の細胞数のカウントなどに用いられ得る。

（２．１．構成）
続いて、図２を参照して、医療システム１００の構成例について説明する。図２は、本実施形態に係る医療システム１００の構成例を示すブロック図である。図２に示すように、医療システム１００は、画像取得部１１０と、制御部１２０と、入力部１３０と、表示部１４０と、記憶部１５０と、を備える。

（画像取得部１１０）
画像取得部１１０は、病理画像データを取得する構成である。画像取得部１１０は、イメージセンサ（例えば、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）など）を備え医療用顕微鏡として機能することで病理画像データを取得してもよいし、外部の医療用顕微鏡との通信によって病理画像データを取得してもよい。

ここで図３を参照して、画像取得部１１０が取得する病理画像データの詳細について説明する。図３は、病理画像データおよびその表示原理を説明するためのピラミッド構造を示す図である。図３のピラミッド構造を有する病理画像データは、一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含むデータである。そして、病理画像データに含まれる画像データは、その解像度に応じて図３のピラミッド構造で表される。ピラミッド構造の最下には、最も解像度の大きい（最もデータサイズの大きい）画像データが配置され、ピラミッド構造の最上には、最も解像度の小さい（最もデータサイズの小さい）画像データが配置される。最も大きい解像度は、例えば５０×５０（Kpixel：キロピクセル）、あるいは４０×６０（Kpixel）であり、最も小さい解像度は、例えば２５６×２５６（pixel）、あるいは、２５６×５１２（pixel）である。なお、画像データの解像度はこれらに限定されない。

後段にて説明する表示部１４０が、これらの画像データを例えば１００％でそれぞれ表示（それらの画像データのピクセル数と同じ物理的なドット数でそれぞれ表示）すると、最も解像度の大きい（最もデータサイズの大きい）画像データが最も大きく表示され、最も解像度の小さい（最もデータサイズの小さい）画像データが最も小さく表示される。ここで、図３では、表示部１４０の表示範囲がＤで示されている。また、病理画像データに含まれる画像データは、所定サイズの単位である「タイル」単位で管理される。１タイルのサイズは、例えば２５６×２５６（pixel）であり得るがこれに限定されない。

画像取得部１１０によって取得された病理画像データは後段で説明する記憶部１５０によって記憶される。なお、上記で説明したピラミッド構造は、あくまで病理画像データを説明するために使用した概念であることに留意されたい。実際には、病理画像データは、異なる複数の解像度を有する画像データと、これらの解像度の情報とがそれぞれ対応付けられていればよい。

（制御部１２０）
制御部１２０は、医療システム１００が行う処理全般を統括的に制御する構成である。例えば、制御部１２０は、制御信号を生成し、当該制御信号を各構成に提供することによって、各構成の起動や停止などを制御することができる。なお、制御部１２０の機能は特に限定されない。例えば、制御部１２０は、各種サーバ、汎用コンピュータ、ＰＣ（Personal Computer）、タブレットＰＣなどにおいて一般的に行われる処理（例えば、ＯＳ（Operating System）に関する処理など）を制御してもよい。

図２に示すように、制御部１２０は、表示制御部１２１と、アノテーション処理部１２２と、画像解析部１２３と、を備える。

（表示制御部１２１）
表示制御部１２１は、異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および第１の解像度と同一または第１の解像度以上の第２の解像度を有する第２の画像データを表示部１４０に表示させる構成である。第２の画像データは、上記で説明したアノテーション補助画像（本実施形態では「アノテーション補助画像２０」と表記する）として使用されるデータである。

ここで、図４および図５を参照して、表示制御部１２１による表示制御の詳細について説明する。図４および図５に示すように、表示制御部１２１は、第１の画像データに対して第２の画像データ（アノテーション補助画像２０）を重畳して表示させる。このように、第１の解像度の第１の画像データだけでなく、第１の解像度と同一または第１の解像度以上の第２の解像度を有する第２の画像データが重畳して表示されることによって、ユーザは、第１の画像データによって観察対象物を俯瞰しながら、第２の画像データによってアノテーション１０に関する緻密な入力を行うことができる。また、単に第１の画像データの電子ズームによって生成された画像データが提供される場合に比べて、表示制御部１２１は、より高精細な画像データをユーザに対して提供することができる。また、図５に示すように、入力位置（カーソル位置）から離れた位置に第２の画像データが表示されることで、入力位置近辺の第１の画像データが第２の画像データに隠れずに済む。なお、第２の画像データの表示位置は特に限定されず、例えば、第２の画像データは第１の画像データの中心近傍に表示されてもよいし、第１の画像データに重畳されることなく、第１の画像データとは異なる表示域や異なるディスプレイ等に表示されてもよい。

また、図４に示すように、表示制御部１２１は、ユーザによって入力が行われている第１の画像データ中の位置（図４における入力点１１、図５における入力点１１ａ）と、ユーザによって入力が行われている第２の画像データ中の位置（図４における入力点１１、図５における入力点１１ｂ）と、を重畳して表示させる（換言すると、略同一の位置に表示させる）ことができる。これによって、ユーザがアノテーション１０を付すために見ている位置に第２の画像データが表示されるため、ユーザは、目線を変えることなくより容易に入力を行うことができる。なお、ユーザによって入力が行われている第１の画像データ中の位置（図４における入力点１１、図５における入力点１１ａ）と、ユーザによって入力が行われている第２の画像データ中の位置（図４における入力点１１、図５における入力点１１ｂ）は必ずしも略同一の位置に表示されなくてもよい。例えば、ユーザによって入力が行われている第１の画像データ中の位置が隠れない程度近傍に第２の画像データが表示されてもよい。

また、第１の画像データに重畳される第２の画像データの表示色（例えば、透明度等）、サイズ、または形状は特に限定されないが、第１の画像データは、第２の画像データより観察対象物の広い領域を表示し、第２の画像データより広い表示領域に表示されることで、ユーザは、第１の画像データによって観察対象物を俯瞰しながらアノテーションを付与することができる。第１の画像データおよび第２の画像データが同一の解像度を有しており、互いに表示位置が合わされた状態で表示される場合、表示制御部１２１は、第１の画像データに重畳される第２の画像データを透かした状態で表示させてもよい。また、第２の画像データのサイズは表示画角内（または第１の画像データ内）で自由に設定され得る。さらに、第２の画像データの形状は、矩形状、円形状、ユーザ入力によりフリーハンドで指定された形状等であってもよい。第２の画像データの形状が矩形状である場合、第２の画像データの縦横比がディスプレイの縦横比（ディスプレイ全面に第１の画像データが表示される場合には第１の画像データの縦横比）と略同一であることが望ましい。第２の画像データが、例えば略正方形状を有している場合、ユーザには第２の画像データから得られる情報量が少なく感じられる場合があるところ、第２の画像データの縦横比をディスプレイの縦横比と略同一にすることで当該問題が回避され得る。第２の画像データの表示色（例えば、透明度等）、サイズ、または形状は、ユーザの選択によって切り替え可能であってもよい。

なお、図４の方式では、第１の画像データにおける入力位置が第２の画像データに隠れてしまうが、第１の画像データにもリアルタイムにアノテーション１０が付されることで、ユーザは、アノテーション１０に関する入力の終了と共に直ぐに第１の画像データ上でもアノテーション１０を確認することができる（または、ユーザは、第２の画像データが重畳していない領域に付されたアノテーション１０を確認することができる）。したがって、第１の画像データにもリアルタイムにアノテーション１０が付されるが望ましいが、必ずしもこれに限定されず、アノテーション１０に関する入力の終了と共に第１の画像データにアノテーション１０が付されてもよい。

また、表示制御部１２１は、ユーザによる入力（例えば、ユーザによるアノテーション１０の付与のための入力等）に基づいて第２の画像データを表示部１４０に表示させることができる。例えば、ユーザがボタン等を押下している間（又は、ユーザがマウスをクリックしドラッグしている間）、表示制御部１２１は、第２の画像データを表示部１４０に表示させてもよい。また、表示制御部１２１は、ユーザの指示に基づき、第２の画像データが常に表示し続けられる「表示モード」と、第２の画像データが表示されない「非表示モード」とを切り替えてもよい。これらの処理によって、アノテーション１０の付与のための入力が行われていないときには第２の画像データが表示されないため、ユーザは第１の画像データによって容易に観察対象物を俯瞰することができる。

なお、ユーザによって入力が行われている各画像データ中の位置は、表示された各画像データのうち、より解像度の高い画像データ中の位置に従って表示される。より具体的には、ユーザによって入力が行われている第１の画像データ中の位置（図４における入力点１１、図５における入力点１１ａ）は、ユーザによって入力が行われている第２の画像データ中の位置（図４における入力点１１、図５における入力点１１ｂ）に従って表示される。これによって、ユーザは、表示された各画像データが有する解像度のうち、最も高い解像度での入力を行うことができる（換言すると、ユーザは最も高い解像度でアノテーション１０を付すことができる）。なお、最も高い解像度の画像データが表示されていない場合であっても、ユーザによって入力が行われている各画像データ中の位置は、当該最も高い解像度の画像データ中の位置に従って表示されてもよい。

第１の画像データおよび第２の画像データは、１つの観察対象物において互いに異なる解像度の画像データであってもよい。第１の画像データが有する第１の解像度と第２の画像データが有する第２の解像度の比率は特に限定されないところ、第１の解像度より高い第２の解像度が設定される場合、第２の解像度が第１の解像度より高くなり過ぎると、第１の画像データと第２の画像データの位置関係が分かりにくくなる。そのため、第２の解像度は第１の解像度の２倍～８倍程度が望ましく、さらには２倍～４倍程度がより望ましい。

また、第２の画像データが有する第２の解像度は、第１の解像度と同一であってもよい。これは、例えば、第１の画像データが極めて高い解像度（例えば、４Ｋ解像度など）を有する場合、第１の画像データと同一の極めて高い解像度を有する第２の画像データが所定の画像処理を施されて表示されることによって、上記と同様の効果が得られるためである。所定の画像処理とは、例えば、電子ズームやコントラスト調整等を含む。また、第１の解像度が相当程度低い場合等において、第２の画像データは、第１の画像データに超解像処理が施されることで生成された画像データであってもよい。

また、第１の画像データおよび第２の画像データは、一の観察対象物において互いに異なる位置に焦点が合った画像データであってもよい。例えば、観察対象物である切片が折れ曲がっている場合や浮き上がっている場合等のように、第１の画像データにおいて焦点が合っていない部分が含まれる場合、当該部分に焦点が合った画像データが第２の画像データとして表示されてもよい（換言すると、奥行方向の焦点位置が第１の画像データと異なる第２の画像データが表示されてもよい）。

また、第１の画像データおよび第２の画像データは、染色試薬により互いに異なる対象が染色された画像データであってもよい。例えば、創薬において薬効を判断する場合などは、まずＩＨＣ染色画像で、細胞の分子的特徴をみることが多い。ＩＨＣ画像で所望の細胞の局在や分布などを俯瞰して観察し、その上で特定の領域について、ＨＥ染色画像を用いて形態的特徴を観察する。この場合、第１の画像データとして、ＩＨＣ染色画像データなど組織の免疫状態を示す免疫染色画像データ、または目的ごとに特定の組織要素を可視化する特殊染色画像データが表示され、第２の画像データとして、ＨＥ（Hematoxylin-Eosin）染色画像データなど組織の形態を示す一般染色画像データが表示されてもよい。例えば、腫瘍細胞以外の対象も染められる染色試薬（例えば、Ｋｉ６７等）で観察対象物が染色された場合、ユーザは、ＩＨＣ染色画像データだけでは観察対象物における腫瘍細胞の形態を正確に認識することができない。ＨＥ染色画像データが第２の画像データとして表示されることによって、ユーザは、ＨＥ染色画像データによって腫瘍細胞の形態を正確に認識することができる。

例えば、診断など、病変部の特定をする場合、まず、ＨＥ染色画像で、形態的な特徴をみることが多い。ＨＥ染色画像で病変部や臓器の位置関係の特定を行い、その上で特定の領域について、ＩＨＣ染色画像や特殊染色画像を用いて分子的特徴を観察する。この場合は、先ほどとは異なり、第１の画像データとして一般染色画像データ（例えばＨＥ染色画像データ）が表示され、第２の画像データとして免疫染色画像データ（例えばＩＨＣ染色画像データ）または特殊染色画像データ（例えば、ＰＡＳ染色画像データ）が表示されてもよい。ここで、図６を参照して、第１の画像データであるＨＥ染色画像データに、第２の画像データであるＩＨＣ染色画像データが重畳される場合の具体例について説明する。まず、図６のＡには、第１の画像データであるＨＥ染色画像データのみが表示されており、ユーザは、当該ＨＥ染色画像データのみを用いてカーソル１２ａを移動させることでアノテーション１０ａを付していたとする。ここで、ユーザが、例えばＨＥＲ２の染色状態がより強い個所にアノテーション１０ａを付したいと考えている場合、ＨＥ染色画像データのみでは当該個所を正確に認識することができない。そこで、図６のＢに示すように、表示制御部１２１は、第２の画像データ（アノテーション補助画像２０）であるＩＨＣ染色画像データを重畳的に表示させる。これによって、ユーザは、図６のＣに示すようにＩＨＣ染色画像データを用いて、ＨＥＲ２の染色状態がより強い個所を正確に認識してアノテーション１０ｂを付すことができ、ＩＨＣ染色画像データを非表示状態にすると図６のＤに示すようにＨＥ染色画像データにもアノテーション１０ａが付されている。なお、図６の例では、ＩＨＣ染色画像データにおけるカーソル１２ｂがＩＨＣ染色画像データの中心に配置し続けられるよう設定されているため、図６のＢからＣへアノテーション１０ｂが描き進められるにつれてＩＨＣ染色画像データの表示位置がＨＥ染色画像データ中を移動している（なお、ＩＨＣ染色画像データの表示態様はこれに限定されない）。

また、細胞の、異なる分子的特徴を観察したい場合は、異なる種類のＩＨＣ染色画像データ同士が第１の画像データおよび第２の画像データとして表示されてもよい。例えば、ＣＤ８が染められたＩＨＣ染色画像データに、ＣＤ４が染められたＩＨＣ染色画像データが重畳されてもよい。これによって、ユーザは、ＣＤ８およびＣＤ４の両陽性細胞の有無および位置を正確に認識することができる。例えば腫瘍内ＣＤ８陽性Ｔ細胞における増殖因子Ｋｉ－６７の標識率が高いと生存率が高いことが知られており、ユーザは、ＣＤ８およびＣＤ４の両方が標識されているか否かを確認しながら細胞をマーキングしたり、アノテーション１０を付したりすることができ、さらには後段の処理としてＣＤ８およびＣＤ４の位置関係や面積等の定量化解析を行うこともできる。なお、染色の対象はＣＤ８とＣＤ４の組合せに限定されない。例えば、染色の対象は、ＣＤ８とＣＫ（Cytokeratin）、ＣＤ８とＣＤ３、ＨＥＲ２とＥＲ・ＰｇＲ等の組合せであってもよく（もちろん、これらの組合せにも限定されない）、これらの組合せによって生存率や治療方法に関する判断が容易になる。また、各組合せにおいて、染色対象、試薬、方法は上記に限定されず、所望の被写体を識別可能であれば、どのようなものであってもよい。撮像される切片は同一であってもよいし、異なる切片（例えば連続切片）であってもよい。

また、第１の画像データまたは第２の画像データのうちの少なくともいずれか一方が、解析結果（例えば、陽性核へのマーキング結果や、ヒートマップ等）を表示する画像データであってもよい。例えば、第１の画像データまたは第２の画像データのうちのいずれか一方が、一の観察対象物における核を認識可能なＩＨＣ染色画像データであり、他方が同一の観察対象物における膜を認識可能なＩＨＣ染色画像データであることで、ユーザは、核の解析結果に基づいて膜に付されたアノテーション１０を補正したり、膜の解析結果に基づいて核に付されたアノテーション１０を補正したりしてもよい。なお、「解析結果」とは、機械学習技術やＡＩ技術等によって自動的に行われた解析の結果であってもよいし、ユーザによって行われた解析の結果であってもよい。

ここで、第２の画像データは、互いに表示内容の異なる２以上の画像データであってもよい。より具体的には、表示制御部１２１は、一つのアノテーション補助画像２０を第１の画像データに重畳させた上で、アノテーション補助画像２０に表示される第２の画像データを所定の入力（例えば、ユーザによるボタンの押下等）に基づいて切り替えてもよい。また、表示制御部１２１は、図７に示すように、表示内容の異なる第２の画像データを表示する複数のアノテーション補助画像２０（図７の例では、第１の画像データ３０に表示されたアノテーション補助画像２０ａ～アノテーション補助画像２０ｃ）を第１の画像データに重畳させてもよい。また、表示制御部１２１は、一つのアノテーション補助画像２０を第１の画像データに重畳させた上で、第１の画像データ外に表示内容の異なる第２の画像データを表示する複数のアノテーション補助画像２０を表示させてもよい。この場合、ユーザが第１の画像データ外に表示された第２の画像データのいずれか一つを選択すると、第１の画像データに重畳されたアノテーション補助画像２０に表示される第２の画像データが、選択された画像データに切り替えられてもよい。このように、重畳させる第２の画像データとして、互いに表示内容の異なる２以上の画像データが用いられることで、ユーザは、例えば第１の画像データとしてＩＨＣ染色画像データが表示される場合に、第２の画像データとしてＨＥ染色画像データ、および解析結果を表示する画像データ等を併せて表示させることができる。またユーザは、第１の画像データの解像度とは異なる複数の解像度をそれぞれ有する複数の第２の画像データを表示させることもできる。病理画像データへアノテーション１０を付する作業は、様々な画像データを比較しながら行うことが求められるため、第２の画像データとして互いに表示内容の異なる２以上の画像データが用いられることは特に有用であると言える。なお、図７の例では、複数のアノテーション補助画像２０が第１の画像データにおける右側に縦方向に並べられているところ、複数のアノテーション補助画像２０が表示される位置や並べられる方向は特に限定されない。

第２の画像データは、第１の画像データと同一観察対象を異なる撮像条件（撮像装置の設定）で取得された画像データ、第１の画像に画像処理をかけて生成された画像データ、第１の画像データの観察対象と同一の組織ブロックからとられた組織を撮像することで生成された画像データ、である。上に記したように、第１の画像データより高解像度な画像データまたは特定の被写体についてより焦点があった画像データなどの高品質、高精細、または高画質な画像データ、または、コントラストが高い画像データ、電子ズームされた画像データや異なる染色の画像データなど視認性が高い画像データ、など観察対象の識別性が高い画像データを第２の画像データとして、用いることで、アノテーションの正確な付与を可能とすることができる。

（アノテーション処理部１２２）
アノテーション処理部１２２は、ユーザによる入力に基づいて第１の画像データおよび第２の画像データに対してアノテーション１０を付す構成である。より具体的には、ユーザが入力部１３０を用いてフリーハンドによる入力を行った場合、アノテーション処理部１２２は当該入力に基づいてフリーハンドで描かれたアノテーション１０を第１の画像データおよび第２の画像データに対して付す。これによって、ユーザは、第１の画像データおよび第２の画像データの両方を見ながらアノテーション１０に関する入力を行うことができる。

なお、アノテーション処理部１２２が第１の画像データおよび第２の画像データにアノテーション１０を付す手法は特に限定されない。一例として、アノテーション処理部１２２は、ユーザによる入力に基づいて第１の画像データまたは第２の画像データのいずれか一方に付すアノテーション１０を、ＳＡＬ（Ｓｔａｉｎ Ａｌｉｇｎｍｅｎｔ）を用いて他方にも付してもよい。例えば、アノテーション処理部１２２は、ユーザによる入力に基づいて第２の画像データにアノテーション１０を付す場合、アノテーション１０が付された箇所の位置情報に基づいてＳＡＬの処理を行うことにより、第１の画像データにもアノテーション１０を付してもよい。ここで、第１の画像データと第２の画像データとが、連続切片が撮像された画像データであったり、同一切片が撮像され、かつ奥行方向の焦点位置が異なる画像データであったりする場合（換言すると、形態の異なる対象が画像データに映る場合）、ＳＡＬの処理では画像データにおいて部分的な位置合わせが複数回繰り返される。なお、第１の画像データと第２の画像データとが、同一切片が撮像され、かつ奥行方向の焦点距離が同一の画像データである場合（換言すると、形態が同一の対象が画像データに映る場合）、第１の画像データと第２の画像データの位置座標が合せられることにより、同一の位置にアノテーション１０が付される。

また、アノテーション処理部１２２は、後段で説明する入力部１３０がペンタブレットを含む場合にはユーザがペンをタブレットにあてたタイミングを、入力部１３０がマウスを含む場合にはユーザがマウスを用いてドラッグを開始したタイミングを、アノテーション１０に関する入力の開始タイミングと判断し、アノテーション１０の生成を開始する。そして、アノテーション処理部１２２は、ユーザがペンをタブレットから離したタイミング、またはユーザがドラッグを終了したタイミングを、アノテーション１０に関する入力の終了タイミングと判断し、アノテーション１０の生成を終了する。ユーザがペンをタブレットから離したタイミング、またはユーザがドラッグを終了したタイミングから所定の時間内であれば、アノテーション処理部１２２は、アノテーション１０に関する入力が継続していると判断してもよい。この場合、アノテーション処理部１２２は、ユーザがペンをタブレットから離した位置と再びペンをタブレットに当てた位置とをつなぐように、またはユーザがドラッグを終了した位置と再びドラッグを開始した位置とをつなぐように、アノテーション１０を生成してもよい。

また、図４および図５に示すように、アノテーション処理部１２２は、アノテーション１０だけでなく、ユーザによって入力が行われている入力点１１（図５においては入力点１１ａおよび入力点１１ｂ）を示すカーソル１２（図５においてはカーソル１２ａおよびカーソル１２ｂ）を併せて付してもよい。これによって、ユーザは容易に入力点１１を認識することができるため、円滑にアノテーション１０に関する入力を行うことができる。なお、カーソル１２は、ユーザによって入力が行われている位置を示す小さな矢印や鉛筆などのアイコン（例えば、60px以下、望ましくは32px以下のアイコン）、またはオクルージョン（画像の隠れ）の少ない円形などのアイコンであることが望ましいが、必ずしもこれらに限定されない。

ここで、アノテーション処理部１２２は、アノテーション１０上の複数の点であるコントロールポイント１３（「ＣＰ１３」と表記する場合もある）を設定し、当該コントロールポイント１３を用いてアノテーション１０の生成および修正を行う。アノテーション処理部１２２による処理の詳細については後段にて別途説明する。

（画像解析部１２３）
画像解析部１２３は、病理画像データに含まれる画像データを解析する構成である。より具体的には、画像解析部１２３は、第１の画像データもしくは第２の画像データ（または病理画像データに含まれる、第１の画像データおよび第２の画像データ以外の画像データ）を解析することで各種機能を実現する。

画像解析部１２３が実現する機能の内容は特に限定されない。例えば、画像解析部１２３は、画像データを解析することでアノテーション１０内の面積、アノテーション１０内外に存在する観察対象物の特定、アノテーション１０内外に存在する観察対象物の数のカウント、アノテーション１０と観察対象物とのずれの評価、またはセグメンテーション（観察対象物に基づく領域分割）などを実現することができる。なお、画像解析部１２３とアノテーション処理部１２２は適宜連携して処理を行うことができる。例えば、画像解析部１２３がアノテーション１０と観察対象物とのずれを評価した後に、アノテーション処理部１２２は必要に応じて（ずれが所定値より大きい場合などに）アノテーション１０の修正などを行ってもよい。

（入力部１３０）
入力部１３０は、ユーザによる入力を受ける構成である。図２に示すように入力部１３０は、第１の入力部１３１と、第２の入力部１３２と、を備える。なお、入力部１３０は、以下で説明する第１の入力部１３１および第２の入力部１３２以外にも各種入力機構を備えていてもよい。例えば、入力部１３０は音声入力機構などを備えていてもよい。

（第１の入力部１３１）
第１の入力部１３１は、ユーザによるアノテーション１０に関する入力を受ける構成である。ここで、図８を参照して、第１の入力部１３１の具体例について説明する。図８に示すように、第１の入力部１３１は、ペン１３１ａ等のタッチにより入力可能であり、かつ第１の画像データ等を表示可能なタッチパネル１３１ｂを備える装置（例えば、ペンタブレットなど）であり得る。ペン１３１ａなどによる入力は、（フリーハンドによる入力については特に）マウスなどによる入力に比べてより直感的な入力を可能とし、身体的な負荷を軽減することもできる。なお、第１の入力部１３１の種類や形状は図８に示したものに限定されない。例えば、第１の入力部１３１はキーボードやレバーなどを備えていてもよい。

（第２の入力部１３２）
第２の入力部１３２は、ユーザによる、第１の画像データまたは第２の画像データの表示に関する入力を受ける構成である。ここで、図８を参照して、第２の入力部１３２の具体例について説明する。図８に示すように、第２の入力部１３２は、ボタン１３２ａやスティック１３２ｂなどを備える装置（例えば、コントローラなど）であり得る。なお、第１の入力部１３１と同様に、第２の入力部１３２の種類や形状は図８に示したものに限定されない。

ユーザは、例えば、ボタン１３２ａやスティック１３２ｂを操作することで、医療システム１００のモードを選択したり切り替えたりしてもよい。例えば、ユーザは、ボタン１３２ａを押下すること、またはスティック１３２ｂを所定の方向に倒すことによって、第２の画像データが常に表示し続けられる「表示モード」と、第２の画像データが表示されない「非表示モード」とを切り替えてもよい（なお、これらのモードは、アノテーション１０の作成中であるか否かによらず切り替え可能であることを想定している。もちろん、これに限定されない）。これによって、ユーザはより容易にアノテーション１０に関する入力を行うことができる。より具体的には、ユーザは、ディスプレイ全体をより解像度の高い画像データに切り替える操作などを行うことなく、必要なタイミングで第２の画像データを表示させることができる。

上記で説明した第１の入力部１３１と第２の入力部１３２のうちのいずれか一方はユーザの右手による入力を受け、もう一方はユーザの左手による入力を受ける。この入力方法は、従来から医師らがアノテーション１０を付す際に行ってきた入力方法に類似するため、医師らユーザは、より直感的かつより効率的に入力することができる。図９および図１０には、従来から医師らが行ってきたアノテーション１０付与時の入力の態様が示されている。例えば図９に示すように、医師らは片方の手（図９では右手）でアノテーション１０に関する入力として専用ペン（またはマウスなど）を用いたフリーハンドによる入力などを行い、もう片方の手（図９では左手）で画像データの表示に関する入力（例えば、表示範囲の変更（上下左右方向への変更）、解像度の変更（拡大や縮小）、またはフォーカスなど）としてノブ（つまみ）の回転などを行っていた。また、画像データの表示に関する入力については、例えば図１０に示すように、医師らは片方の手（図１０では左手）でスライドガラスの移動（表示範囲の変更）などを行っていた。本実施形態においては、従来から医師らが行ってきたように、アノテーション１０に関する入力と、第１の画像データまたは第２の画像データの表示に関する入力が、別々の手によって行われることで、医師らユーザはより直感的かつより効率的に入力を行うことができる。

なお、第１の入力部１３１および第２の入力部１３２は上記の図８の例に限定されない。例えば図１１に示すように、第１の入力部１３１および第２の入力部１３２の他にディスプレイ１３３が別途備えられてもよい。この場合、第１の画像データ等はディスプレイ１３３に表示され、ユーザは、当該表示を見ながら第１の入力部１３１（例えば、ペン１３１ａ、および表示を行わないタッチパッド１３１ｂ等）、および第２の入力部１３２（例えば、コントローラ等）を用いて入力を行うことができる。表示装置が入力装置とは別に設けられることで、ユーザは所望の表示装置（例えば、所望のサイズや所望の色合いで表示可能な表示装置等）を選択したり、作業環境に備え付けられた既存の表示装置（例えば、会議室に備え付けられたディスプレイ等）を使用したりすることができる。また、ユーザは、例えば立てかけられたタッチパネル（表示装置と入力装置の機能が一の装置により実現される場合の例）に向けて腕を上げてアノテーション１０を描く作業しなくてもよくなったり、机に倒して置いたタッチパネルを見るために首を傾けなくてもよくなったりする（すなわち、ユーザの疲労が軽減する）。アノテーション１０を付する作業は相当程度の長時間に及ぶことが多いため、表示装置が入力装置とは別に設けられることは特に有用であると言える。また、例えば図１２に示すように、第２の入力部１３２が適宜省略され、第１の入力部１３１（例えば、ペン１３１ａ、および入力可能かつ表示可能なタッチパネル１３１ｂ等）のみが設けられてもよい。これによって、ユーザは作業に用いる機器（第１の入力部１３１）を持ち出すことが容易になるため、様々な場所で作業を行うことができるようになる。

また、本実施形態においてアノテーション１０に関する入力はフリーハンドで行われることを想定しているため、アノテーション１０に関する入力を受ける第１の入力部１３１はユーザの利き手で操作されることがより望ましい（もちろん、これに限定されない）。また、アノテーション１０に関する入力はフリーハンド以外の任意の方法（例えば、視線入力など）によって行われてもよい。また、第１の入力部１３１および第２の入力部１３２によって実現される処理（例えば、拡大・縮小、視野移動、またはモードの切り替え等）の割り当てに関する設定がユーザによって変更可能であってもよい。例えば、第２の入力部１３２に備えられる各ボタン１３２ａやスティック１３２ｂ等によって実現される処理の割り当てに関する設定がユーザによって変更可能であってもよい。これによって、ユーザが自らの特徴（例えば、利き手、癖、または身体障害等）に応じて所望の態様により入力を行うことができる。

（表示部１４０）
表示部１４０は、表示制御部１２１による制御に基づいて第１の画像データおよび第２の画像データを表示する構成である。本実施形態において表示部１４０は、第１の入力部１３１のタッチパネル１３１ｂによって具現され得るが、必ずしもこれに限定されない。

（記憶部１５０）
記憶部１５０は、各種情報を記憶する構成である。例えば、記憶部１５０は、画像取得部１１０によって取得された病理画像データや、アノテーション処理部１２２によって付されたアノテーション１０に関する情報などを記憶する。また、記憶部１５０は、医療システム１００の処理に使用される各種プログラムや各種パラメータなどを記憶する。なお、記憶部１５０が記憶する情報はこれらに限定されない。

以上、医療システム１００の構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、医療システム１００の構成は係る例に限定されない。例えば、医療システム１００は、図２に示す構成以外の構成を備えていてもよい。また、図２に示す構成は如何なる装置構成によって具現されてもよい。例えば、画像取得部１１０が医療用顕微鏡によって具現され、第１の入力部１３１および表示部１４０がペンタブレットによって具現され、第２の入力部１３２がコントローラによって具現され、制御部１２０および記憶部１５０がサーバなどによって具現されてもよいし、全ての構成が１台の装置によって具現されてもよい。また、医療システム１００の構成は、仕様や運用に応じて柔軟に変形され得る。

また、上記で説明したアノテーション処理部１２２または画像解析部１２３の機能は、人工知能（ＡＩ：Artificial Intelligence）、特に機械学習などによって実現されてもよい。例えば、アノテーション処理部１２２または画像解析部１２３の機能は、ニューラルネットワークや回帰モデルなどの機械学習手法、または統計的手法に基づいて実現され得る。より具体的には、機械学習手法の場合、画像データとアノテーション１０とを紐づけた学習データが、ニューラルネットワークまたは回帰モデルを用いた所定の計算モデルに入力されることで学習が行われ、生成されたパラメータを有する処理モデルが実装された処理回路によって、アノテーション処理部１２２の機能が実現される。

（２．２．アノテーション１０に関する処理の詳細）
上記では、医療システム１００の構成例について説明した。続いて、アノテーション１０に関する処理の詳細について説明する。

（アノテーション１０の生成処理）
まず、図１３および図１４を参照して、アノテーション処理部１２２によるアノテーション１０の生成処理について説明する。図１３には、アノテーション処理部１２２によって生成されたアノテーション１０の一例が示されている。

図１３に示すように、アノテーション処理部１２２は、アノテーション１０上の複数の点であるコントロールポイント１３を設定し、当該コントロールポイント１３を用いてアノテーション１０を生成する。より具体的には、アノテーション処理部１２２は、アノテーション１０上に複数のコントロールポイント１３を設定し、当該コントロールポイント１３間を所定の方法により補間する。

ここで図１４を参照して、アノテーション１０の生成に関する処理フロー例を説明する。図１４のステップＳ１０００では、ユーザが第１の入力部１３１を用いてフリーハンドによる入力を開始する。ステップＳ１００４では、アノテーション処理部１２２がユーザによって入力が行われた画像データ中の位置をコントロールポイント１３の候補点として蓄積する。

ステップＳ１００８では、アノテーション処理部１２２は、ユーザによる入力が終了したか否かを判断する。ユーザによる入力が終了していないと判断された場合（ステップＳ１００８／Ｎｏ）、アノテーション処理部１２２はステップＳ１００４の処理（コントロールポイント１３の候補点の蓄積処理）を継続する。ユーザによる入力が終了したと判断された場合（ステップＳ１００８／Ｙｅｓ）、ステップＳ１０１２にて、アノテーション処理部１２２は、ユーザによる入力が開始された画像データ中の位置（始点）にコントロールポイント１３を設定する。

その後ステップＳ１０１６にて、アノテーション処理部１２２は、始点に設定されたコントロールポイント１３を元に、所定の距離間隔で各候補点にコントロールポイント１３を設定していく。ステップＳ１０２０では、アノテーション処理部１２２が、ユーザによる入力が終了した画像データ中の位置（終点）までコントロールポイント１３を設定したか否かを判断する。終点までコントロールポイント１３が設定されていないと判断された場合（ステップＳ１０２０／Ｎｏ）、アノテーション処理部１２２はステップＳ１０１６の処理（コントロールポイント１３の設定処理）を継続する。終点までコントロールポイント１３が設定されたと判断された場合（ステップＳ１０２０／Ｙｅｓ）、ステップＳ１０２４にて、アノテーション処理部１２２は、各コントロールポイント１３間を所定の方法により補間することによって、一連のアノテーション１０生成処理を終了する。

なお、図１４の処理フロー例では、ユーザによる入力が終了した後に、コントロールポイント１３の設定や補間が行われているが、ユーザによる入力が行われている途中でも、コントロールポイント１３の設定や補間が順次行われてもよい。

ここで、ステップＳ１０２４にて行われる補間の方法は、スプライン補間を想定している。より具体的には、アノテーション処理部１２２は、各コントロールポイント１３間が５本の線分（４つの補間点を接続する５本の線分）で構成されるようにスプライン補間を行う。上記のとおり、アノテーション１０に関する入力は主にフリーハンドによって行われることが想定されているところ、アノテーション処理部１２２はスプライン補間を用いてアノテーション１０を生成することによって、フリーハンドによってアノテーション１０がいびつな形状になることを防ぐことができる（換言すると、アノテーション１０の形状をより滑らかにすることができる）。また、スプライン補間に用いられる補間点の数は特に限定されず、要求されるアノテーション１０の滑らかさと、許容される計算量などの条件によって柔軟に設計され得る。また、スプライン補間以外の補間方法（例えば、線形補間など）が用いられてもよい。

また、ステップＳ１０１６の処理における「所定の距離間隔」（換言すると、コントロールポイント１３同士の間隔）は、ユーザがより正確なアノテーション１０を付すために見ている画像データの解像度、すなわち第２の解像度（または倍率）に応じて決まる。より具体的には、「所定の距離間隔」は、第２の解像度が高くなるほど短くなり、第２の解像度が低くなるほど長くなる。これによって、ユーザがより小さな観察対象物に対してアノテーション１０を付すために第２の解像度を高くした場合にはコントロールポイント１３がより細かく設定され、逆にユーザがより大きな観察対象物に対してアノテーション１０を付すために第２の解像度を低くした場合にはコントロールポイント１３がより粗く設定される。すなわち、これによって、ユーザが付そうとするアノテーション１０の大きさに応じて最適なコントロールポイント１３が設定されるため、より正確なアノテーション１０の生成が可能になる。なお、「所定の距離間隔」（換言すると、コントロールポイント１３同士の間隔）の最小値（換言すると、第２の解像度（または倍率）が最も高い場合）は、細胞の大きさ（例えば１０［μｍ］程度）以下であることが望ましい（もちろん、これに限定されない）。

また、画素数が多いことが病理画像データの一つの特徴であるが、画素数が多いことによって病理画像データに比較的大きなアノテーション１０が付されるとコントロールポイント１３の数が増えてしまい、これによる演算量の増加によって描画パフォーマンスが低下してしまう場合がある。ここで上記のように、アノテーション処理部１２２は、コントロールポイント１３の間隔を第２の解像度（または倍率）に応じて決めることで、コントロールポイント１３の数を最適化することができるため、演算量の増加を抑制し描画パフォーマンスを向上させることができる。なお、アノテーション処理部１２２は、より高い解像度でも画像データの表示が円滑に行われるように、高フレームレートでアノテーション１０を描画している。

（アノテーション１０の修正処理）
続いて、図１５～図２３を参照して、アノテーション処理部１２２によるアノテーション１０の修正処理について説明する。例えば、アノテーション１０が機械学習によって付された場合や第１の画像データを用いて付された場合、アノテーション処理部１２２は、さらに第２の画像データを用いてアノテーション１０を修正することができる（もちろん、必ずしも第２の画像データを用いて修正が行われなくてもよい）。アノテーション処理部１２２は、ユーザによる入力に基づき、コントロールポイント１３を用いてアノテーション１０を修正する。

例えば、図１５に示すようなアノテーション１０が生成されていた場合、ユーザは、アノテーション１０が有するコントロールポイント１３の位置を所定の方法で移動させることでアノテーション１０を修正することができる。より具体的には、図１６のＡに示すアノテーション１０が有するコントロールポイント１３ａをドラッグすることで、図１６のＢに示すアノテーション１０へと修正してもよい。これによって、ユーザは、特に微小な修正を直感的に行うことができる。

図１７は、当該修正（コントロールポイント１３の移動による修正）に関する処理フロー例を示す図である。ステップＳ１１００では、ユーザが所定の方法（例えば、ドラッグなど）によりアノテーション１０が有するコントロールポイント１３の位置を修正する。ステップＳ１１０４では、アノテーション処理部１２２が修正後のコントロールポイント１３の位置（画像データにおける位置）を認識する。ステップＳ１１０８では、アノテーション処理部１２２が、位置を修正されたコントロールポイント１３と、その前後のコントロールポイント１３との間を所定の方法（例えば、スプライン補間など）により補間することによって一連のアノテーション１０修正処理が終了する。

また、アノテーション処理部１２２は、先に付された第１のアノテーション１０を、後に付された第２のアノテーション１４が有する第２のコントロールポイント１５を用いて修正してもよい。このとき、アノテーション処理部１２２は、第１のアノテーション１０が有する第１のコントロールポイント１３と、第２のアノテーション１４が有する第２のコントロールポイント１５との相対的な位置関係に基づいて第１のアノテーション１０の修正範囲を判断する。

例えば、図１８のＡに示すような第１のアノテーション１０が生成されていた場合、ユーザは、修正のために第２のアノテーション１４（図１８のＡに示すように、第２のアノテーション１４は閉じられていない自由線である）を新たに描画する。すると、アノテーション処理部１２２は、図１４を参照して説明した方法で、第２のアノテーション１４上に第２のコントロールポイント１５を設定する。そして、アノテーション処理部１２２は、図１８のＢに示すように、第２のアノテーション１４がその両端に有する第２のコントロールポイント１５と、第１のアノテーション１０が有する第１のコントロールポイント１３のいずれかと、を接続する。より具体的には、アノテーション処理部１２２は、第２のアノテーション１４がその両端に有する第２のコントロールポイント１５と、第２のコントロールポイント１５それぞれとの離隔距離が最も近い第１のコントロールポイント１３と、を接続する。そして、アノテーション処理部１２２は、第２のアノテーション１４の区間に対応する第１のアノテーション１０を削除することで第１のアノテーション１０を修正する。なお、図１８のＢの例では、ユーザが、第１のアノテーション１０生成時よりも高い解像度で第２のアノテーション１４を描画したため、第２のコントロールポイント１５同士の間隔が第１のコントロールポイント１３同士の間隔よりも短くなっている。

図１８を参照して説明した方法によって、ユーザは、より正しいアノテーション１０を描き直すという直感的な入力によりアノテーション１０を修正することができる。また、図１５～図１７を参照して説明した修正（コントロールポイント１３の移動による修正）では、ユーザが修正範囲の全てのコントロールポイント１３の位置を移動させることが求められる。また、１つだけのコントロールポイント１３の位置が移動された場合などにおいて、アノテーション１０が急激に曲がることで、ユーザが意図する修正を行うことができない場合がある。一方、図１８を参照して説明した方法は、このような問題を解決し、より適切にアノテーション１０の修正を実現することができる。

図１９は、当該修正（第２のアノテーション１４による修正）に関する処理フロー例を示す図である。ステップＳ１２００では、アノテーション処理部１２２が、ユーザによる入力に基づいて第２のアノテーション１４を生成する。ステップＳ１２０４では、アノテーション処理部１２２が、第２のアノテーション１４の始点となる第２のコントロールポイント１５に最も近い第１のアノテーション１０が有する第１のコントロールポイント１３を探索する。ステップＳ１２０８では、アノテーション処理部１２２が、第２のアノテーション１４の終点となる第２のコントロールポイント１５に最も近い第１のアノテーション１０が有する第１のコントロールポイント１３を探索する。

ステップＳ１２１２では、アノテーション処理部１２２が、探索された第１のアノテーション１０が有する第１のコントロールポイント１３と、第２のアノテーション１４の始点となる第２のコントロールポイント１５および終点となる第２のコントロールポイント１５と、をそれぞれ接続する。このとき、アノテーション処理部１２２は、第２のアノテーション１４の区間に対応する第１のアノテーション１０を削除する。ステップＳ１２１６では、アノテーション処理部１２２は、互いに接続された第１のコントロールポイント１３と、第２のコントロールポイント１５との間を所定の方法（例えば、スプライン補間など）により補間することによって一連のアノテーション１０修正処理が終了する。

なお、図１８および図１９を参照して説明した方法において、アノテーション処理部１２２は、第２のアノテーション１４の始点となる第２のコントロールポイント１５と、それに最も近い第１のコントロールポイント１３との離隔距離に基づいて、アノテーション１０の修正を行うか、アノテーション１０の新規作成を行うか、を判断する。より具体的には、第２のアノテーション１４の始点となる第２のコントロールポイント１５と、それに最も近い第１のコントロールポイント１３との離隔距離が所定値より近い場合、アノテーション処理部１２２はアノテーション１０の修正を行い、逆に離隔距離が所定値以上である場合、アノテーション処理部１２２はアノテーション１０の新規作成を行う。これによって、ユーザが修正に関する入力か、または新規作成に関する入力かを指定する必要がなくなる（もちろん、ユーザはこれらの指定を行ってもよい）。なお、上記のとおり、コントロールポイント１３同士の間隔は第２の解像度（または倍率）に応じて決まるところ、修正または新規作成の判断に使用される上記の「所定値」も第２の解像度（または倍率）に応じて決まってもよく、「所定値」は、例えばコントロールポイント１３同士の間隔に近い値であり得る。これによって、「所定値」が第２の解像度（または倍率）に応じて最適化されるため、ユーザがより容易にアノテーション１０に関する入力を行うことができる。上記のとおり、コントロールポイント１３同士の間隔の最小値（換言すると、第２の解像度（または倍率）が最も高い場合）は、細胞の大きさ（例えば１０［μｍ］程度）以下であることが望ましいところ、「所定値」の最小値も同様である（もちろん、これに限定されない）。また、アノテーション処理部１２２は、描画するアノテーション１０の色、線種（例えば、破線や実線など）、または太さなどを変更したり、カーソル１２の種類を変更したりするなどの方法により、アノテーション１０の修正を行っているのか、またはアノテーション１０の新規作成を行っているのか、をユーザに通知してもよい。

また、図１８および図１９を参照して説明した方法において、アノテーション処理部１２２は、第１のコントロールポイント１３と第２のコントロールポイント１５とを接続するのではなく、スプライン補間における補間点と第２のコントロールポイント１５とを接続してもよい。より具体的には、補間方法としてスプライン補間が採用されている場合、アノテーション処理部１２２は、スプライン補間における補間点をコントロールポイント１３として処理に用いてもよい。スプライン補間における補間点がコントロールポイント１３として扱われることによって、アノテーション処理部１２２は、より詳細な修正を行うことができる。また、図１９の処理フロー例では、ユーザによる入力に基づいて第２のアノテーション１４が描画された後に、第１のコントロールポイント１３と第２のコントロールポイント１５との接続や補間が行われているが、第２のアノテーション１４が描画されている途中でも、第２のコントロールポイント１５が順次生成されることで第１のコントロールポイント１３と第２のコントロールポイント１５との接続や補間が順次行われてもよい。

また、アノテーション処理部１２２は、互いに接続された第１のコントロールポイント１３と第２のコントロールポイント１５のうちのいずれか一方を頂点とする角度に基づいて、接続対象となる第１のコントロールポイント１３を変更してもよい。

例えば、図２０のＡに示すような第１のアノテーション１０が生成された後に、第２のアノテーション１４を用いる修正が行われることで第１のコントロールポイント１３ｂと、第２のコントロールポイント１５ａとが接続されたとする。このとき、第１のコントロールポイント１３ｂと第２のコントロールポイント１５ａとが単に接続されるだけでは、第１のコントロールポイント１３ｂを頂点とする角度θおよび第２のコントロールポイント１５ａを頂点とする角度θ´が９０°より小さいことにより、急激な変化が生じてしまうため、ユーザが意図する修正を行うことができない場合がある。

この場合、アノテーション処理部１２２は、角度θおよび角度θ´が所定値（例えば９０°）より小さいか否かを計算し、角度θおよび角度θ´が所定値より小さければ、例えば図２０のＢに示すように、接続対象となる第１のコントロールポイント１３を、第１のコントロールポイント１３ｂに隣接する一つ手前の第１のコントロールポイント１３ａへと変更する。なお、図２０のＢには示していないが、アノテーション処理部１２２は、第２のアノテーション１４の他端においても同様の処理を行う。これによって、アノテーション処理部１２２は、修正によって急激な変化が生じてしまうことを防ぐことができるため、ユーザの意図に沿った修正を行うことができる。

なお、角度θおよび角度θ´の計算方法は特に限定されない。例えば、アノテーション処理部１２２は、コントロールポイント１３間に伸びるベクトルを管理し、ベクトルの内積などを計算することで角度θおよび角度θ´を算出してもよい。

また、上記では、所定値が９０°である場合を一例として説明したが、所定値は特に限定されず、要求されるアノテーション１０の精度や観察対象物などに応じて柔軟に変更され得る。また、上記では、角度θおよび角度θ´の両方が判断対象にされる場合を一例として説明したが、角度θおよび角度θ´のいずれか一方のみが判断対象にされてもよい。また、上記では、接続対象となる第１のコントロールポイント１３が、その隣接する一つ手前の第１のコントロールポイント１３に変更される場合を一例として説明したが、接続対象となる第１のコントロールポイント１３は、二つ以上手前の第１のコントロールポイント１３に変更されてもよい。

図２１は、接続対象となる第１のコントロールポイント１３の変更に関する処理フロー例を示す図である。図２１の処理が行われる前に、図１９の処理によって第１のアノテーション１０と第２のアノテーション１４との接続が行われているとする。

ステップＳ１３００では、アノテーション処理部１２２が、第２のアノテーション１４の始点における角度θおよび角度θ´が所定値より小さいか否かを計算する。第２のアノテーション１４の始点における角度θおよび角度θ´が所定値より小さい場合（ステップＳ１３００／Ｙｅｓ）、ステップＳ１３０４にて、アノテーション処理部１２２は、第２のアノテーション１４の始点となる第２のコントロールポイント１５と接続する、第１のアノテーション１０が有する第１のコントロールポイント１３を変更する。第２のアノテーション１４の始点における角度θおよび角度θ´が所定値以上である場合（ステップＳ１３００／Ｎｏ）には、接続対象となる第１のコントロールポイント１３は変更されない。

ステップＳ１３０８では、アノテーション処理部１２２が、第２のアノテーション１４の終点における角度θおよび角度θ´が所定値より小さいか否かを計算する。第２のアノテーション１４の終点における角度θおよび角度θ´が所定値より小さい場合（ステップＳ１３０８／Ｙｅｓ）、ステップＳ１３１２にて、アノテーション処理部１２２は、第２のアノテーション１４の終点となる第２のコントロールポイント１５と接続する、第１のアノテーション１０が有する第１のコントロールポイント１３を変更することで、一連の処理が終了する。第２のアノテーション１４の終点における角度θおよび角度θ´が所定値以上である場合（ステップＳ１３０８／Ｎｏ）には、接続対象となる第１のコントロールポイント１３は変更されることなく一連の処理が終了する。

ここで、図２２に示すような第１のアノテーション１０が生成されている状況において、点ｘから点ｙに至る第２のアノテーション１４が描画されたとする。この場合、アノテーション処理部１２２は、第１のアノテーション１０において、点ａ－点ｂ－点ｃを接続する範囲と、点ａ－点ｄ－点ｃを接続する範囲のどちらが修正範囲であるかを判断する必要がある。

この場合も上記のとおり、アノテーション処理部１２２は、第１のアノテーション１０が有する第１のコントロールポイント１３と、第２のアノテーション１４が有する第２のコントロールポイント１５との相対的な位置関係に基づいて第１のアノテーション１０の修正範囲を判断する。例えば、アノテーション処理部１２２は、第２のアノテーション１４が有する各第２のコントロールポイント１５に最も近い第１のコントロールポイント１３を探索し、この最も近い第１のコントロールポイント１３が点ａ－点ｂ－点ｃを接続する範囲と、点ａ－点ｄ－点ｃを接続する範囲のどちらに属するかを確認していく。そして、アノテーション処理部１２２は、各第２のコントロールポイント１５に最も近い第１のコントロールポイント１３がより多く属する範囲を修正範囲であると判断する。

図２２の例では、各第２のコントロールポイント１５に最も近い第１のコントロールポイント１３がより多く属する範囲が点ａ－点ｂ－点ｃを接続する範囲であるため、アノテーション処理部１２２は、点ａ－点ｂ－点ｃを接続する範囲を修正範囲であると判断し、点ａ－点ｘ－点ｙ－点ｃ－点ｄ－点ａ間を接続することで第１のアノテーション１０を修正する。これによって、アノテーション処理部１２２は、ユーザが意図する修正を適切に実現することができる。なお、図２２における第２のコントロールポイント１５ａおよび第２のコントロールポイント１５ｂは、上記の処理対象から除外される。

図２３は、修正範囲の判断に関する処理フロー例を示す図である。ステップＳ１４００では、アノテーション処理部１２２が、点ａ－点ｂ－点ｃを接続する範囲および点ａ－点ｄ－点ｃを接続する範囲におけるカウント数をクリアする。ステップＳ１４０４では、アノテーション処理部１２２が、第２のアノテーション１４が有する第２のコントロールポイント１５それぞれに対して、最も近い第１のコントロールポイント１３を探索する。

最も近い第１のコントロールポイント１３が点ａ－点ｂ－点ｃを接続する範囲に属する場合（ステップＳ１４０８／Ｙｅｓ）、ステップＳ１４１２にて、アノテーション処理部１２２は、点ａ－点ｂ－点ｃを接続する範囲のカウント数を加算する。一方、最も近い第１のコントロールポイント１３が点ａ－点ｄ－点ｃを接続する範囲に属する場合（ステップＳ１４０８／Ｎｏ）、ステップＳ１４１６にて、アノテーション処理部１２２は、点ａ－点ｄ－点ｃを接続する範囲のカウント数を加算する。

そして、点ａ－点ｂ－点ｃを接続する範囲のカウント数が、点ａ－点ｄ－点ｃを接続する範囲のカウント数よりも多い場合（ステップＳ１４２０／Ｙｅｓ）、ステップＳ１４２４にて、アノテーション処理部１２２は、点ａ－点ｂ－点ｃを接続する範囲を修正範囲であると判断し、点ａ－点ｘ－点ｙ－点ｃ－点ｄ－点ａ間を接続することで第１のアノテーション１０を修正し、一連の処理が終了する。一方、点ａ－点ｂ－点ｃを接続する範囲のカウント数が、点ａ－点ｄ－点ｃを接続する範囲のカウント数以下である場合（ステップＳ１４２０／Ｎｏ）、ステップＳ１４２８にて、アノテーション処理部１２２は、点ａ－点ｄ－点ｃを接続する範囲を修正範囲であると判断し、点ａ－点ｘ－点ｙ－点ｃ－点ｂ－点ａ間を接続することで第１のアノテーション１０を修正し、一連の処理が終了する。

なお、ステップＳ１４０８～ステップＳ１４１６にてカウントが行われる際に、アノテーション処理部１２２は、第２のコントロールポイント１５と、最も近い第１のコントロールポイント１３との離隔距離に応じて重み付けを行ってもよい。これによって、アノテーション処理部１２２は第１のアノテーション１０の修正精度を向上させることができる。

（２．３．ハードウェア構成）
上記では、アノテーション１０に関する処理の詳細について説明した。続いて、図２４を参照して、医療システム１００の各種機能を実現する情報処理装置９００のハードウェア構成例について説明する。

図２４は、情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置（ＨＤＤ）９１０と、ドライブ９１１と、通信装置９１２と、を備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。当該ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、医療システム１００の制御部１２０、または画像取得部１１０の一部の機能が実現され得る。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ、レバー、またはカメラなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、当該入力装置９０８を操作することにより、各装置に対して各種情報を入力したり処理動作を指示したりすることができる。当該入力装置９０８により、医療システム１００の入力部１３０、または画像取得部１１０の一部の機能が実現される。

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置９０９は、スピーカおよびヘッドホンなどの音声出力装置を含む。表示装置は画像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。当該出力装置９０９により、医療システム１００の表示部１４０の機能が実現される。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。当該ストレージ装置９１０により医療システム１００の記憶部１５０の機能が実現される。

ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１３に情報を書き込むこともできる。

通信装置９１２は、例えば、通信網９１４に接続するための通信デバイス等で構成された通信インタフェースである。

（２．４．システム構成のバリエーション）
上記では、医療システム１００の各種機能を実現する情報処理装置９００のハードウェア構成例について説明した。続いて、本実施形態に係る医療システム１００の構成のバリエーションについて説明する。

本実施形態に係る医療システム１００は様々な構成により実現され得る。例えば、本実施形態に係る医療システム１００は、病理画像データを生成する撮像装置（例えば、スキャナやイメージングデバイス等を含む）と、病理画像データに対して処理を行う情報処理装置と、を備えていてもよい。この場合、図２に示した画像取得部１１０は撮像装置によって実現され得、その他の構成は情報処理装置によって実現され得る。

また、本実施形態に係る医療システム１００は、病理画像データを生成する撮像装置（例えば、スキャナやイメージングデバイス等を含む）と、病理画像データに対する処理に使われるソフトウェアと、を備えていてもよい。換言すると、当該ソフトウェアを記憶したり実行したりする物理構成（例えば、メモリやプロセッサ等）が医療システム１００に備えられていなくてもよい。この場合、図２に示した画像取得部１１０は撮像装置によって実現され得、その他の構成は当該ソフトウェアが実行される情報処理装置によって実現され得る。そして、ソフトウェアは、ネットワークを介して（例えば、ウェブサイトやクラウドサーバ等から）情報処理装置に提供されたり、任意の記憶媒体（例えば、ディスク等）を介して情報処理装置に提供されたりする。また、当該ソフトウェアが実行される情報処理装置は、各種サーバ（例えば、クラウドサーバ等）、汎用コンピュータ、ＰＣ、またはタブレットＰＣ等であり得る。なお、ソフトウェアが情報処理装置に提供される方法、および情報処理装置の種類は上記に限定されない。また、本実施形態に係る医療システム１００の構成は必ずしも上記に限定されず、使用時の技術水準に基づいて、いわゆる当業者が想到可能な構成が適用され得る点に留意されたい。

＜３．まとめ＞
以上で説明してきたように、本開示に係る医療システム１００は、一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および第１の解像度と同一または第１の解像度以上の第２の解像度を有する第２の画像データを表示部１４０に表示させ、ユーザによる入力に基づいて第１の画像データおよび第２の画像データに対してアノテーション１０を付すことができる。これによってユーザは、第１の画像データ、および第１の解像度と同一または第１の解像度以上の第２の解像度を有する第２の画像データの両方を見ながらアノテーション１０に関する入力を行うことができるため、本開示は、病理画像データに対してアノテーション１０をより適切に付すことができる。

また、本開示に係る医療システム１００は、アノテーション１０上の複数の点であるコントロールポイント１３を設定し、当該コントロールポイント１３を用いることでアノテーション１０の生成および修正をより適切に行うことができる。

さらに、本開示に係る医療システム１００は、アノテーション１０に関する入力と、第１の画像データまたは第２の画像データの表示に関する入力とを、異なる方法によって実現する。より具体的には、本開示に係る医療システム１００では、アノテーション１０に関する入力がユーザの片手によって行われ、第１の画像データまたは第２の画像データの表示に関する入力がもう片方の手によって行われる。この入力方法は、従来から医師らがアノテーション１０を付す際に行ってきた入力方法に類似するため、本開示に係る医療システム１００は、医師らユーザによる作業をより直感的かつより効率的に実現することができる。また、本開示に係る医療システム１００は、特にフリーハンドによるアノテーションについて、ユーザが入力をより行い易い構成（例えば、ペン１３１ａによる入力が可能なペンタブレットなど）を備えることができる。

以上によって、本開示に係る医療システム１００は、質の高いアノテーション１０を付すことができるため、医療システム１００が用いられることによって、これまで明らかにされてこなかったような病理画像データを用いた診断や薬剤などの効果を説明する新たな指針が生まれる可能性がある。また、正確なアノテーション１０が付された学習データを用いて学習が行われることによって、機械学習によるアノテーション１０付与の精度向上が期待される。さらに、アノテーション１０の付与がより短い時間で可能となるため、例えば病理医がアノテーション１０付与のための作業にかける時間を低減させることが可能となる。したがって、本開示に係る医療システム１００は、病理医が不足している昨今の状況において特に有用であるといえる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、
前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させる表示制御部と、
ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すアノテーション処理部と、を備える、
医療システム。
（２）
前記表示制御部は、前記第１の画像データに対して前記第２の画像データを重畳して表示させる、
前記（１）に記載の医療システム。
（３）
前記表示制御部は、前記ユーザによって入力が行われている前記第１の画像データ中の位置と、前記ユーザによって入力が行われている前記第２の画像データ中の位置と、を重畳して表示させる、
前記（２）に記載の医療システム。
（４）
前記ユーザによって入力が行われている前記第１の画像データ中の位置は、前記ユーザによって入力が行われている前記第２の画像データ中の位置に従う、
前記（１）から（３）のいずれか１項に記載の医療システム。
（５）
前記第１の画像データおよび前記第２の画像データは、前記一の観察対象物において互いに異なる位置に焦点が合った画像データである、
前記（１）から（４）のいずれか１項に記載の医療システム。
（６）
前記第１の画像データおよび前記第２の画像データは、染色試薬により互いに異なる対象が染色された画像データである、
前記（１）から（５）のいずれか１項に記載の医療システム。
（７）
前記第１の画像データまたは前記第２の画像データのうちの少なくともいずれか一方は、解析結果を表示する画像データである、
前記（１）から（６）のいずれか１項に記載の医療システム。
（８）
前記第２の画像データは、互いに表示内容の異なる２以上の画像データである、
前記（１）から（７）のいずれか１項に記載の医療システム。
（９）
前記アノテーション処理部は、前記ユーザによる入力に基づいて前記第１の画像データまたは前記第２の画像データのいずれか一方に付されるアノテーションを、ＳＡＬ（Ｓｔａｉｎ Ａｌｉｇｎｍｅｎｔ）を用いて他方にも付す、
前記（１）から（８）のいずれか１項に記載の医療システム。
（１０）
前記ユーザによる入力はフリーハンドによる入力を含み、
前記アノテーション処理部は、前記フリーハンドによる入力で描かれた前記アノテーションを付す、
前記（１）から（９）のいずれか１項に記載の医療システム。
（１１）
前記アノテーションは、前記第１の画像データおよび前記第２の画像データに含まれる閉じられた領域を示すために付される、
前記（１０）に記載の医療システム。
（１２）
前記アノテーション処理部は、前記アノテーション上の複数の点であるコントロールポイントを設定し、前記コントロールポイント間を所定の方法により補間する、
前記（１１）に記載の医療システム。
（１３）
前記コントロールポイント同士の間隔は、前記第２の解像度に応じて決まる、
前記（１２）に記載の医療システム。
（１４）
前記アノテーション処理部は、前記ユーザによる入力に基づき、前記コントロールポイントを用いて前記アノテーションの修正を行う、
前記（１２）または（１３）に記載の医療システム。
（１５）
前記アノテーション処理部は、先に付された第１のアノテーションを、後に付された第２のアノテーションが有する前記コントロールポイントを用いて前記修正を行う、
前記（１４）に記載の医療システム。
（１６）
前記アノテーション処理部は、前記第１のアノテーションが有する第１のコントロールポイントと、前記第２のアノテーションが有する第２のコントロールポイントとの相対的な位置関係に基づいて前記第１のアノテーションの修正範囲を判断する、
前記（１５）に記載の医療システム。
（１７）
前記第２のアノテーションは、閉じられていない自由線であり、
前記アノテーション処理部は、前記第２のアノテーションがその両端に有する前記第２のコントロールポイントと、前記第１のコントロールポイントのいずれかと、を接続することで前記修正を行う、
前記（１６）に記載の医療システム。
（１８）
前記アノテーション処理部は、前記第２のアノテーションがその両端に有する前記第２のコントロールポイントと、前記第２のコントロールポイントそれぞれとの離隔距離が最も近い前記第１のコントロールポイントと、を接続することで前記修正を行う、
前記（１７）に記載の医療システム。
（１９）
前記アノテーション処理部は、互いに接続された前記第１のコントロールポイントと前記第２のコントロールポイントのうちのいずれか一方を頂点とする角度に基づいて、接続対象となる前記第１のコントロールポイントを変更する、
前記（１８）に記載の医療システム。
（２０）
前記アノテーションに関する入力を受ける第１の入力部と、
前記第１の画像データまたは前記第２の画像データの表示に関する入力を受ける、前記第１の入力部とは異なる第２の入力部と、をさらに備える、
前記（１）から（１９）のいずれか１項に記載の医療システム。
（２１）
前記第１の入力部と前記第２の入力部のうちのいずれか一方は前記ユーザの右手による入力を受け、もう一方は前記ユーザの左手による入力を受ける、
前記（２０）に記載の医療システム。
（２２）
一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、
前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させる表示制御部と、
ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すアノテーション処理部と、を備える、
医療装置。
（２３）
前記表示制御部による制御に基づいて前記第１の画像データおよび前記第２の画像データを表示する前記表示部をさらに備える、
前記（２２）に記載の医療装置。
（２４）
一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、
前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させることと、
ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すことと、を有する、
コンピュータにより実行される医療方法。
（２５）
一の観察対象物を撮像することで異なる複数の解像度を有する画像データを含む病理画像データを生成する撮像装置と、前記病理画像データに対する処理に使われるソフトウェアとを含んで構成される医療システムであって、
前記ソフトウェアは、情報処理装置で実行され、
前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させることと、
ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すことと、を実現する、
医療システム。

１００ 医療システム
１１０ 画像取得部
１２０ 制御部
１２１ 表示制御部
１２２ アノテーション処理部
１２３ 画像解析部
１３０ 入力部
１３１ 第１の入力部
１３２ 第２の入力部
１４０ 表示部
１５０ 記憶部

Claims (24)

1. 一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、
   前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させる表示制御部と、
   ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すアノテーション処理部と、
   前記アノテーションに関する入力を受ける第１の入力部と、
   前記第１の画像データまたは前記第２の画像データの表示に関する入力を受ける、前記第１の入力部とは異なる第２の入力部と、を備える、
   医療システム。
2. 前記第１の入力部と前記第２の入力部のうちのいずれか一方は前記ユーザの右手による入力を受け、もう一方は前記ユーザの左手による入力を受ける、
   請求項１に記載の医療システム。
3. 前記表示制御部は、前記第１の画像データに対して前記第２の画像データを重畳して表示させる、
   請求項１または２に記載の医療システム。
4. 前記表示制御部は、前記ユーザによって入力が行われている前記第１の画像データ中の位置と、前記ユーザによって入力が行われている前記第２の画像データ中の位置と、を重畳して表示させる、
   請求項３に記載の医療システム。
5. 前記ユーザによって入力が行われている前記第１の画像データ中の位置は、前記ユーザによって入力が行われている前記第２の画像データ中の位置に従う、
   請求項１から４のいずれか一項に記載の医療システム。
6. 前記第１の画像データおよび前記第２の画像データは、前記一の観察対象物において互いに異なる位置に焦点が合った画像データである、
   請求項１から５のいずれか一項に記載の医療システム。
7. 前記第１の画像データおよび前記第２の画像データは、染色試薬により互いに異なる対象が染色された画像データである、
   請求項１から６のいずれか一項に記載の医療システム。
8. 前記第１の画像データまたは前記第２の画像データのうちの少なくともいずれか一方は、解析結果を表示する画像データである、
   請求項１から７のいずれか一項に記載の医療システム。
9. 前記第２の画像データは、互いに表示内容の異なる２以上の画像データである、
   請求項１から８のいずれか一項に記載の医療システム。
10. 前記アノテーション処理部は、前記ユーザによる入力に基づいて前記第１の画像データまたは前記第２の画像データのいずれか一方に付されるアノテーションを、ＳＡＬ（Ｓｔａｉｎ Ａｌｉｇｎｍｅｎｔ）を用いて他方にも付す、
    請求項１から９のいずれか一項に記載の医療システム。
11. 前記ユーザによる入力はフリーハンドによる入力を含み、
    前記アノテーション処理部は、前記フリーハンドによる入力で描かれた前記アノテーションを付す、
    請求項１から１０のいずれか一項に記載の医療システム。
12. 前記アノテーションは、前記第１の画像データおよび前記第２の画像データに含まれる閉じられた領域を示すために付される、
    請求項１１に記載の医療システム。
13. 前記アノテーション処理部は、前記アノテーション上の複数の点であるコントロールポイントを設定し、前記コントロールポイント間を所定の方法により補間する、
    請求項１２に記載の医療システム。
14. 前記コントロールポイント同士の間隔は、前記第２の解像度に応じて決まる、
    請求項１３に記載の医療システム。
15. 前記アノテーション処理部は、前記ユーザによる入力に基づき、前記コントロールポイントを用いて前記アノテーションの修正を行う、
    請求項１３または１４に記載の医療システム。
16. 前記アノテーション処理部は、先に付された第１のアノテーションを、後に付された第２のアノテーションが有する前記コントロールポイントを用いて前記修正を行う、
    請求項１５に記載の医療システム。
17. 前記アノテーション処理部は、前記第１のアノテーションが有する第１のコントロールポイントと、前記第２のアノテーションが有する第２のコントロールポイントとの相対的な位置関係に基づいて前記第１のアノテーションの修正範囲を判断する、
    請求項１６に記載の医療システム。
18. 前記第２のアノテーションは、閉じられていない自由線であり、
    前記アノテーション処理部は、前記第２のアノテーションがその両端に有する前記第２のコントロールポイントと、前記第１のコントロールポイントのいずれかと、を接続することで前記修正を行う、
    請求項１７に記載の医療システム。
19. 前記アノテーション処理部は、前記第２のアノテーションがその両端に有する前記第２のコントロールポイントと、前記第２のコントロールポイントそれぞれとの離隔距離が最も近い前記第１のコントロールポイントと、を接続することで前記修正を行う、
    請求項１８に記載の医療システム。
20. 前記アノテーション処理部は、互いに接続された前記第１のコントロールポイントと前記第２のコントロールポイントのうちのいずれか一方を頂点とする角度に基づいて、接続対象となる前記第１のコントロールポイントを変更する、
    請求項１９に記載の医療システム。
21. 一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、
    前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させる表示制御部と、
    ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すアノテーション処理部と、
    前記アノテーションに関する入力を受ける第１の入力部と、
    前記第１の画像データまたは前記第２の画像データの表示に関する入力を受ける、前記第１の入力部とは異なる第２の入力部と、を備える、
    医療装置。
22. 前記表示制御部による制御に基づいて前記第１の画像データおよび前記第２の画像データを表示する前記表示部をさらに備える、
    請求項２１に記載の医療装置。
23. 一の観察対象物が撮像されることで生成され、異なる複数の解像度を有する画像データを含む病理画像データについて、
    前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させることと、
    ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すことと、
    第１の入力部により、前記アノテーションに関する入力を受けることと、
    前記第１の入力部とは異なる第２の入力部により、前記第１の画像データまたは前記第２の画像データの表示に関する入力を受けることと、を有する、
    コンピュータにより実行される医療方法。
24. 一の観察対象物を撮像することで異なる複数の解像度を有する画像データを含む病理画像データを生成する撮像装置と、前記病理画像データに対する処理に使われるソフトウェアとを含んで構成される医療システムであって、
    前記ソフトウェアは、情報処理装置で実行され、
    前記異なる複数の解像度のうちの第１の解像度を有する第１の画像データ、および前記第１の解像度と同一または前記第１の解像度以上の第２の解像度を有する第２の画像データを表示部に表示させることと、
    ユーザによる入力に基づいて前記第１の画像データおよび前記第２の画像データに対してアノテーションを付すことと、
    第１の入力部により、前記アノテーションに関する入力を受けることと、
    前記第１の入力部とは異なる第２の入力部により、前記第１の画像データまたは前記第２の画像データの表示に関する入力を受けることと、を実現する、
    医療システム。

Images