WO2021144984A1

WO2021144984A1 - 情報処理装置、情報処理方法、及び情報処理プログラム

Info

Publication number: WO2021144984A1
Application number: PCT/JP2020/001563
Authority: WO
Inventors: 堀内　一仁
Original assignee: オリンパス株式会社
Priority date: 2020-01-17
Filing date: 2020-01-17
Publication date: 2021-07-22
Also published as: JP7449313B2; JPWO2021144984A1; US20220351428A1

Abstract

情報処理装置４は、観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部３に表示させる表示制御部４１４と、表示部３に表示させた少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、当該少なくとも一部の画像の表示倍率を示す倍率情報と、当該少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、当該視野情報を記録部４２に記録する視野情報生成部４１２と、記録部４２に記録させた視野情報のうち、入力部２に対して入力された少なくとも一種類の特定の表示倍率を示す倍率情報を含む視野情報を抽出する視野情報抽出部４１３と、を備える。表示制御部４１４は、視野情報抽出部４１３によって抽出された視野情報に応じた視野マップ画像を生成するとともに、当該視野マップ画像を表示部３に表示させる。

Description

情報処理装置、情報処理方法、及び情報処理プログラム

　本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

　従来、医用画像中の医学的異常の有無や当該医学的異常に関するコメント等の観察結果と、当該医用画像の観察経過情報とを関連付けてデータベースに記録する医用システムが知られている（例えば、特許文献１参照）。

特開２００４－２６７２７３号公報

　ところで、病理標本画像についてどこをどのように観察したか等の観察状態の分布を可視化することができれば、病理医間の診断の共有化、及びダブルチェックによる重要病変部の見落とし防止といった利便性の高い診断支援を行うことができる。特許文献１に記載の技術では、当該観察状態を可視化しておらず、利便性の高い診断支援を行うことができない、という問題がある。

　本発明は、上記に鑑みてなされたものであって、所定の条件における画像の観察状態の分布（どの場所をどれだけ時間をかけて観察したか等）を可視化することで、利便性の高い診断支援を行うことができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させる表示制御部と、前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録する視野情報生成部と、前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出する視野情報抽出部と、を備え、前記表示制御部は、前記視野情報抽出部によって抽出された前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる。

　本発明に係る情報処理装置では、上記発明において、前記表示制御部は、前記視野マップ画像を前記撮像画像上に重畳した重畳画像を前記表示部に表示させる。

　本発明に係る情報処理装置では、上記発明において、前記表示制御部は、前記視野マップ画像と前記撮像画像とを並べて前記表示部に表示させる。

　本発明に係る情報処理装置では、上記発明において、前記表示制御部は、前記特定の表示倍率を示す倍率情報に応じた倍率を示す情報を前記表示部に表示させる。

　本発明に係る情報処理装置では、上記発明において、前記表示制御部は、前記視野情報に含まれる前記表示位置情報及び前記時刻情報に基づいて前記少なくとも一部の画像を表示し続けている観察時間を生成するとともに、前記視野情報に含まれる前記表示位置情報及び前記倍率情報から特定される前記表示領域内で前記観察時間を画像化した前記視野マップ画像を生成する。

　本発明に係る情報処理装置では、上記発明において、前記視野情報抽出部は、前記記録部に記録させた前記視野情報のうち、抽出条件として、前記特定の表示倍率を示す倍率情報と、特定の時間内の表示時刻に基づく観察時間情報とから特定される前記視野情報を抽出する。

　本発明に係る情報処理装置では、上記発明において、前記視野情報抽出部は、入力部に対する特定の情報の入力タイミングに基づいて前記特定の時間を生成する。

　本発明に係る情報処理装置では、上記発明において、前記視野情報に基づいて前記撮像画像内の注目領域を抽出する注目領域抽出部と、前記撮像画像内における各領域の画像特徴量を算出する画像特徴量算出部と、前記撮像画像内において、前記注目領域の前記画像特徴量に類似する前記画像特徴量を有する観察候補領域を抽出する観察候補領域抽出部と、をさらに備える。

　本発明に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させ、前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録し、前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出し、抽出した前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる。

　本発明に係る情報処理プログラムは、コンピュータに実行させる情報処理プログラムであって、前記情報処理プログラムは、前記コンピュータに以下の実行を指示する：観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させ、前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録し、前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出し、抽出した前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる。

　本発明に係る情報処理装置、情報処理方法、及び情報処理プログラムによれば、利便性の高い診断支援を行うことができる。

図１は、実施の形態１に係る情報処理システムを示すブロック図である。図２は、情報処理方法を示すフローチャートである。図３は、視野情報を説明する図である。図４は、視野情報を説明する図である。図５は、視野マップ画像を説明する図である。図６は、視野マップ画像を説明する図である。図７は、第１の表示形態を説明する図である。図８は、第２の表示形態を説明する図である。図９は、実施の形態２に係る情報処理システムを示すブロック図である。図１０は、情報処理方法を示すフローチャートである。図１１は、ステップＳ１０Ａを説明する図である。図１２は、ステップＳ１０Ａを説明する図である。図１３は、ステップＳ１０Ａを説明する図である。図１４は、実施の形態３に係る情報処理システムを示すブロック図である。図１５は、情報処理方法を示すフローチャートである。図１６は、ステップＳ１９を説明する図である。図１７は、ステップＳ２０を説明する図である。図１８は、ステップＳ２１を説明する図である。図１９は、実施の形態４に係る顕微鏡システムを示すブロック図である。

　以下に、図面を参照して、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

（実施の形態１）
　〔情報処理システムの構成〕
　図１は、本実施の形態１に係る情報処理システム１を示すブロック図である。
　情報処理システム１は、外部から取得した病理標本画像に対して各種の処理を行うとともに、当該病理標本画像に応じた画像を表示するシステムである。当該病理標本画像は、本発明に係る撮像画像に相当する。
　ここで、本実施の形態１では、病理標本画像は、病理標本の範囲を小区画に分割し、当該各小区画に対応する病理標本の部分を高解像度の対物レンズを用いて撮影された画像が繋ぎ合わされた広視野及び高解像度の標本全体の画像（バーチャルスライド画像）である。当該病理標本は、本発明に係る観察対象に相当する。そして、当該病理標本画像は、外部のサーバ等に予め記録されている。
　この情報処理システム１は、図１に示すように、第１の入力部２と、表示部３と、情報処理装置４とを備える。

　第１の入力部２は、本発明に係る入力部に相当する。この第１の入力部２は、例えば、キーボード、マウス、タッチパネル、各種スイッチ等の各種入力装置を用いて構成され、ユーザによる入力操作を受け付ける。本実施の形態１では、当該入力操作は、以下に示す観察開始操作、表示位置変更操作、表示倍率変更操作、観察終了操作、選択条件入力操作、及び表示形態選択操作を含む。
　観察開始操作は、取得した病理標本画像の観察（表示）を開始する操作である。
　表示位置変更操作は、病理標本画像全体のうち、表示する領域（以下、表示領域と記載）の位置を変更する操作である。
　表示倍率変更操作は、表示領域の大きさを変更する操作である。
　観察終了操作は、取得した病理標本画像の観察（表示）を終了する操作である。

　選択条件入力操作は、記録部４２に記録された全ての視野情報から特定の視野情報を抽出する選択条件を入力する操作である。本実施の形態１では、当該選択条件は、少なくとも一種類の表示倍率である。なお、視野情報及び表示倍率については、後述する「情報処理方法」において詳細に説明する。
　表示形態選択操作は、プロセッサ４１において生成された視野マップ画像の表示形態を選択する操作である。当該表示形態としては、視野マップ画像を病理標本画像上に重畳した重畳画像を表示する第１の表示形態と、視野マップ画像と病理標本画像とを並べて表示する第２の表示形態とを含む。すなわち、表示形態選択操作は、第１，第２の表示形態のいずれかを選択する操作である。なお、視野マップ画像については、後述する「情報処理方法」において詳細に説明する。
　そして、第１の入力部２は、当該入力操作に応じた信号を情報処理装置４に対して出力する。
　表示部３は、ＬＣＤ（Liquid　Crystal　Display）やＥＬ（Electro　Luminescence）ディスプレイ等の表示装置によって実現され、情報処理装置４から出力された表示信号を基に各種画像を表示する。

　情報処理装置４は、例えば、ＰＣ（パーソナルコンピュータ）を用いて構成され、外部から取得した病理標本画像に対して各種の処理を行う。この情報処理装置４は、図１に示すように、プロセッサ４１と、記録部４２とを備える。
　プロセッサ４１は、例えば、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサ、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、または、ＦＰＧＡ（Field　Programmable　Gate　Array）等を用いて構成されている。このプロセッサ４１は、図１に示すように、画像取得部４１１と、視野情報生成部４１２と、視野情報抽出部４１３と、表示制御部４１４とを備える。なお、プロセッサ４１の機能（画像取得部４１１、視野情報生成部４１２、視野情報抽出部４１３、及び表示制御部４１４）については、後述する「情報処理方法」において詳細に説明する。

　記録部４２は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read　Only　Memory）やＲＡＭ（Random　Access　Memory）等の各種ＩＣメモリ、内蔵若しくはデータ通信端子によって接続されたハードディスク、若しくはＣＤ－ＲＯＭ等の情報記録装置及び当該情報記録装置に対する情報の書込読取装置を用いて構成されている。そして、記録部４２は、プロセッサ４１が実行するプログラムや各種データ（視野情報を含む）を記録する。なお、記録部４２を構成する視野情報記録部４２１は、視野情報を記録する部分である。

　〔情報処理方法〕
　次に、上述した情報処理装置４が実行する情報処理方法について説明する。
　図２は、情報処理方法を示すフローチャートである。
　先ず、画像取得部４１１は、図示しないネットワークを経由することによって、病理標本画像を取得する（ステップＳ１）。
　ステップＳ１の後、プロセッサ４１は、ユーザによる第１の入力部２への観察開始操作があったか否かを常時、監視する（ステップＳ２）。

　観察開始操作があったと判断された場合（ステップＳ２：Ｙｅｓ）には、表示制御部４１４は、表示部３の動作を制御し、病理標本画像全体の領域のうち、ユーザによる第１の入力部２への表示位置変更操作及び表示倍率変更操作によって特定される表示領域内の画像を表示部３に表示させる（ステップＳ３）。
　また、ステップＳ３と略同時に、視野情報生成部４１２は、ユーザによる第１の入力部２への表示位置変更操作に基づいて、当該ステップＳ３において表示部３に表示された画像における表示位置を示す表示位置情報を取得する（ステップＳ４）。
　ここで、画像における表示位置とは、病理標本画像の１点を原点とした当該画像の中心位置の座標値（Ｘ座標及びＹ座標）を意味する。

　さらに、ステップＳ３と略同時に、視野情報生成部４１２は、ユーザによる第１の入力部２への表示倍率変更操作に基づいて、当該ステップＳ３において表示部３に表示された画像における表示倍率を示す倍率情報を取得する（ステップＳ５）。
　ここで、画像における表示倍率とは、病理標本画像から当該画像に拡大した割合を意味する。

　ステップＳ４，Ｓ５の後、視野情報生成部４１２は、当該ステップＳ４，Ｓ５においてそれぞれ取得した表示位置情報及び倍率情報と当該表示位置情報及び当該倍率情報に対応する画像を表示部３に表示した表示時刻を示す時刻情報とを関連付けて視野情報を生成する。そして、視野情報生成部４１２は、当該生成した視野情報を視野情報記録部４２１に記録する（ステップＳ６）。

　ステップＳ６の後、プロセッサ４１は、ユーザによる第１の入力部２への観察終了操作があったか否かを常時、監視する（ステップＳ７）。
　観察終了操作がないと判断した場合（ステップＳ７：Ｎｏ）には、プロセッサ４１は、ステップＳ３に戻る。
　ステップＳ３～Ｓ６が繰り返されている間、ステップＳ３において表示部３に表示される画像は、ユーザによる第１の入力部２への表示位置変更操作及び表示倍率変更操作によって、表示位置や大きさが順次、切り替えられる。そして、視野情報記録部４２１には、視野情報が順次、記録されていく。

　図３及び図４は、視野情報を説明する図である。具体的に、図３において示した線Ｃ１は、倍率情報を示す表示倍率の時間変化を示している。また、図３において示した線Ｃ２は、同一の表示領域の画像を表示し続けている観察時間、すなわちユーザの観察時間を示している。さらに、図４において示した線Ｃ３は、表示位置情報を示す表示位置におけるＸ座標の時間変化を示している。また、図４において示した線Ｃ４は、表示位置情報を示す表示位置におけるＹ座標の時間変化を示している。
　本実施の形態１では、図３に線Ｃ１で示したように、表示倍率は、ユーザによる第１の入力部２への表示倍率変更操作に応じて、２，４，１０，２０倍の間で変更される。
　また、線Ｃ２は、同一の表示領域の画像を表示し続けている観察時間が長いほど高い値を示し、ユーザによる第１の入力部２への表示位置変更操作に応じて表示位置が変更されると、値がリセットされ、ゼロになる。例えば、期間Ｔ１では、図４に示すように、線Ｃ３（表示位置におけるＸ座標）及び線Ｃ４（表示位置におけるＹ座標）の双方に座標値の変化がない。すなわち、当該期間Ｔ１では、同一の表示領域の画像を表示し続けていることとなる。このため、当該期間Ｔ１では、図３に示すように、線Ｃ２は、高い値を示している。なお、期間Ｔ２，Ｔ３も同様である。特に、期間Ｔ２，Ｔ３では、表示倍率を２０倍まで高くしており、表示部３に表示されている画像をユーザが注視していることを意味する。

　観察終了操作があったと判断した場合（ステップＳ７：Ｙｅｓ）には、プロセッサ４１は、ユーザによる第１の入力部２への選択条件入力操作があったか否かを常時、監視する（ステップＳ８）。
　選択条件入力操作があったと判断された場合（ステップＳ８：Ｙｅｓ）には、視野情報抽出部４１３は、当該選択条件入力操作によって入力された選択条件（表示倍率）を取得する（ステップＳ９）。
　ステップＳ９の後、視野情報抽出部４１３は、視野情報記録部４２１に記録された全ての視野情報のうち、当該ステップＳ９において取得した選択条件（表示倍率）の倍率情報を含む視野情報を抽出する（ステップＳ１０）。

　ステップＳ１０の後、表示制御部４１４は、当該ステップＳ１０において抽出された視野情報に基づいて、視野マップ画像を生成する（ステップＳ１１）。
　図５及び図６は、視野マップ画像を説明する図である。具体的に、図５は、病理標本画像Ｆ１を示している。図６は、視野マップ画像Ｆ２を示している。なお、図６では、説明の便宜上、視野情報記録部４２１に記録された全ての視野情報から生成された各視野マップ画像（矩形枠内にドットパターンを付した画像）Ｆ２を示している。また、図５及び図６に示した点Ｐ１は、視野情報に含まれる表示位置（Ｘ座標及びＹ座標）を特定するための原点を意味する。
　なお、視野マップ画像は、観察した視野の状態を表示倍率や観察時間に応じて定量化し、これを画像として提示したものである。代表的なものとして、ヒートマップが挙げられる。

　具体的に、表示制御部４１４は、ステップＳ１１において、以下に示すように視野マップ画像Ｆ２を生成する。
　表示制御部４１４は、ステップＳ１０において抽出された視野情報に含まれる表示位置情報及び時刻情報に基づいて、当該視野情報に対応する画像を表示し続けている観察時間を生成する。
　ここで、図３及び図４に示した例における期間Ｔ２の視野情報を想定する。この視野情報の場合には、表示制御部４１４は、観察時間を１０秒として生成する。

　次に、表示制御部４１４は、当該視野情報に含まれる表示位置情報及び倍率情報から特定される表示領域内で当該観察時間を画像化した視野マップ画像Ｆ２を生成する。
　ここで、図３及び図４に示した例において、期間Ｔ２の視野情報に含まれる表示位置情報を示す表示位置が図６に示した表示位置Ｐ２である場合を想定する。この場合には、表示制御部４１４は、当該表示位置Ｐ２及び当該視野情報に含まれる倍率情報を示す表示倍率２０倍（図３）から特定される表示領域Ａｒ１（図６）内で観察時間１０秒を画像化した視野マップ画像領域Ｆ２１を生成する。図６において、視野情報に含まれる表示位置情報及び倍率情報から特定される表示領域（矩形枠）は、表示倍率が高くなる程、小さくなる。また、図６の例では、観察時間をドットパターンによって画像化するとともに、観察時間が長い程、当該ドットパターンの密度を高くしている。なお、観察時間を画像化する形態としては、ドットパターンに限らず、色によって画像化した所謂ヒートマップを採用しても構わない。
　なお、各視野マップ画像Ｆ２上で表示領域が重なり合った部分については、観察時間を足し合わせたものとしてもよく、あるいは、当該部分において最も長い観察時間としても構わない。

　ステップＳ１１の後、プロセッサ４１は、ユーザによる第１の入力部２への表示形態選択操作があったか否かを常時、監視する（ステップＳ１２）。
　表示形態選択操作があったと判断された場合（ステップＳ１２：Ｙｅｓ）には、表示制御部４１４は、当該表示形態選択操作によって視野マップ画像の表示形態として第１の表示形態が選択されたか否かを判断する（ステップＳ１３）。
　第１の表示形態が選択されたと判断した場合（ステップＳ１３：Ｙｅｓ）には、表示制御部４１４は、表示部３の動作を制御し、ステップＳ１１において生成した視野マップ画像を第１の表示形態で表示部３に表示させる（ステップＳ１４）。
　図７は、第１の表示形態を説明する図である。具体的に、図７は、図５及び図６に対応させた図である。すなわち、図７では、説明の便宜上、図６と同様に、視野情報記録部４２１に記録された全ての視野情報から生成された各視野マップ画像Ｆ２を示している。なお、図７では、説明の便宜上、病理標本画像Ｆ１に含まれる被写体像（病理標本）Ｆ０を一点鎖線で図示している。
　具体的に、表示制御部４１４は、ステップＳ１４において、図７に示すように、視野マップ画像Ｆ２を病理標本画像Ｆ１上に重畳した重畳画像Ｆ３を表示部３に表示させる。また、表示制御部４１４は、ステップＳ９において取得された選択条件（表示倍率）に応じた倍率を示す情報Ｍ１を表示部３に表示させる。ここでは、（表示倍率：○○倍）という表示が倍率を示す情報Ｍ１である。倍率を示す情報Ｍ１は、文字表示以外にもグラフィックによる表示やスケールによる表示等、選択条件（表示倍率）を示す表示であれば他の方法でもよい。

　一方、第２の表示形態が選択されていると判断した場合（ステップＳ１３：Ｎｏ）には、表示制御部４１４は、表示部３の動作を制御し、ステップＳ１１において生成した視野マップ画像を第２の表示形態で表示部３に表示させる（ステップＳ１５）。
　図８は、第２の表示形態を説明する図である。具体的に、図８は、図５及び図６に対応させた図である。すなわち、図８では、説明の便宜上、図６と同様に、視野情報記録部４２１に記録された全ての視野情報から生成された各視野マップ画像Ｆ２を示している。
　具体的に、表示制御部４１４は、ステップＳ１５において、図８に示すように、視野マップ画像Ｆ２と病理標本画像Ｆ１とを並べて表示部３に表示させる。また、表示制御部４１４は、ステップＳ９において取得された選択条件（表示倍率）に応じた倍率を示す情報Ｍ１を表示部３に表示させる。
　ここで、表示制御部４１４は、ユーザによる第１の入力部２へのユーザ操作に応じて、病理標本画像Ｆ１上でカーソルＣＵが指す位置Ｐ３に対応する位置Ｐ３´に位置する視野マップ画像Ｆ２を他の視野マップ画像Ｆ２と識別する状態で表示する。図８の例では、位置Ｐ３´に位置する視野マップ画像Ｆ２の枠の輪郭を強調することによって、他の視野マップ画像Ｆ２と識別している。

　ステップＳ１４またはステップＳ１５の後、プロセッサ４１は、ユーザによる第１の入力部２への選択条件入力操作によって、選択条件（表示倍率）が変更されたか否かを常時、監視する（ステップＳ１６）。
　選択条件が変更されたと判断した場合（ステップＳ１６：Ｙｅｓ）には、プロセッサ４１は、ステップＳ９に戻る。そして、視野情報抽出部４１３は、当該変更された選択条件（表示倍率）を取得する。この後、ステップＳ１０に移行する。
　一方、選択条件が変更されないと判断した場合（ステップＳ１６：Ｎｏ）には、プロセッサ４１は、本制御フローを終了する。

　以上説明した本実施の形態１によれば、以下の効果を奏する。
　本実施の形態１に係る情報処理装置４は、視野情報を生成し、当該視野情報に基づいて病理標本画像についてどこをどのように観察したか等の観察状態を視野マップ画像として可視化する。このため、診断における病変の種類に応じた視野マップ画像を表示することが可能となり、病理医間の診断の共有化、及びダブルチェックによる重要病変部の見落とし防止といった利便性の診断支援を行うことができる。また、視野マップ画像を病理標本画像上に重畳する第１の表示形態で表示することによって、実際の観察で注目していた領域の認識が容易になり、病理医の診断精度を向上させる支援を行うことができる。一方、視野マップ画像を病理標本画像と並べる第２の表示形態で表示することによって、病理標本画像の状態を表示したままで注目している領域の認識が容易になり、上記同様に、病理医の診断精度を向上させる支援を行うことができる。

　特に、ユーザは、第１の入力部２への選択条件（表示倍率）の入力操作（選択条件入力操作）によって、当該表示倍率の視野マップ画像のみを表示させることができる。
　このため、表示倍率が低倍の視野マップ画像と、表示倍率が高倍の視野マップ画像とをそれぞれ比較することによって、低倍で観察して気になる箇所において高倍に切り替えて観察している等の様子を見ることができる。より具体的に、表示倍率が低倍ではそれほど観察時間が長くないが、表示倍率が高倍では観察時間が長い場合には、画像を拡大して位置を固定した状態で時間をかけて観察していることとなる。一方、表示倍率が低倍では観察時間が比較的に長いが、表示倍率が高倍では観察時間があまり長くない場合には、低倍で時間をかけて観察したものの高倍での観察時間は短かったこととなる。

（実施の形態２）
　次に、本実施の形態２について説明する。
　以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　図９は、本実施の形態２に係る情報処理システム１Ａを示すブロック図である。
　本実施の形態２に係る情報処理システム１Ａでは、視野情報を抽出するにあたって、ユーザが発した言葉を利用する。そして、情報処理システム１Ａでは、図９に示すように、上述した実施の形態１において説明した情報処理システム１（図１）に対して、第２の入力部５が追加されている。また、情報処理システム１Ａでは、プロセッサ４１に音声認識部４１５が追加され、記録部４２に音声情報記録部４２２が追加されている。

　第２の入力部５は、本発明に係る入力部に相当する。この第２の入力部５は、具体的な図示は省略したが、入力した音声を電気信号に変換するマイクロフォンと、当該電気信号からＡ／Ｄ変換等によって音声信号（デジタル信号）を生成する音声処理部とを備える。そして、第２の入力部５は、入力した音声に応じた音声信号を情報処理装置４に対して出力する。
　なお、音声認識部４１５の機能については、本実施の形態２に係る情報処理方法を説明する際に説明する。

　図１０は、情報処理方法を示すフローチャートである。
　本実施の形態２に係る情報処理方法では、図１０に示すように、上述した実施の形態１において説明した情報処理方法（図２）に対して、ステップＳ１７，Ｓ１８が追加されているとともに、ステップＳ１０の代わりにステップＳ１０Ａが追加されている点が異なる。このため、以下では、ステップＳ１７，Ｓ１８，Ｓ１０Ａのみを主に説明する。

　ステップＳ１７は、ステップＳ６の後に実行される。
　具体的に、プロセッサ４１は、ステップＳ１７において、第２の入力部５から音声信号を入力したか否かを判断する。
　音声信号を入力していないと判断した場合（ステップＳ１７：Ｎｏ）には、プロセッサ４１は、ステップＳ７に移行する。
　一方、音声信号を入力したと判断された場合（ステップＳ１７：Ｙｅｓ）には、音声認識部４１５は、音声信号に基づいて、当該音声信号に対応する音声を言語で表した文字情報に変換する。また、音声認識部４１５は、当該文字情報に対して、音声信号の入力を開始した時刻（以下、発話開始時刻と記載）と、当該音声信号の入力を終了した時刻（以下、発話終了時刻と記載）とを関連付けた音声情報を生成し、当該音声情報を音声情報記録部４２２に記録する（ステップＳ１８）。この後、プロセッサ４１は、ステップＳ７に移行する。

　そして、ステップＳ１０Ａは、以下に示すように実行される。
　すなわち、視野情報抽出部４１３は、ステップＳ９において取得した選択条件（表示倍率）と、ステップＳ１８において記録された特定の音声情報に含まれる発話開始時刻及び発話終了時刻とを把握する。そして、視野情報抽出部４１３は、視野情報記録部４２１に記録された全ての視野情報のうち、当該選択条件（表示倍率）の倍率情報と、当該発話開始時刻～当該発話終了時刻の間の表示時刻を示す時刻情報とを含む視野情報を抽出する。当該発話開始時刻～当該発話終了時刻の間は、本発明に係る特定の時間に相当する。
　なお、上述した「特定の音声情報」とは、癌等の特定のキーワードの文字情報を含む音声情報を意味する。

　図１１ないし図１３は、ステップＳ１０Ａを説明する図である。具体的に、図１１は、視野情報記録部４２１に記録された全ての視野情報から生成された各視野マップ画像Ｆ２を示している。図１２は、病理標本画像Ｆ１を示している。図１３は、ステップＳ１０Ａにおいて抽出された視野情報に応じた視野マップ画像領域Ｆ２２１を示している。
　ここで、ステップＳ３～Ｓ６，Ｓ１７，Ｓ１８のループにおいて表示領域Ａｒ２をユーザが観察している際に「腺癌が浸潤しています。」との言葉を発した場合を想定する（図１２）。また、ステップＳ９において取得された選択条件（表示倍率）が「２倍」である場合を想定する。
　この場合には、視野情報記録部４２１に記録された全ての視野情報（視野マップ画像Ｆ２）のうち、各視野マップ画像領域Ｆ２２（図１１）は、表示倍率が２倍の倍率情報を含む視野情報に応じた視野マップ画像である。また、各視野マップ画像領域Ｆ２２１（図１１）は、ユーザが「癌が浸潤しています。」との言葉を発した発話開始時刻～発話終了時刻の間の表示時刻を示す時刻情報を含む視野情報に応じた視野マップ画像である。このため、ステップＳ１０Ａでは、図１３に示すように、当該視野情報（視野マップ画像領域Ｆ２２１）が抽出される。

　以上説明した本実施の形態２によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　本実施の形態２に係る情報処理装置４によれば、音声入力等のユーザの操作に関し、当該操作の内容を時系列で記録していくことで、ある操作を行った際の時間を指定することが可能となる。すなわち、当該ある操作を行った際の時間と表示倍率とを組み合わせることによって、ある操作を行っていた際のユーザの視野の様子を表示することが可能となり、診断の様子が可視化されて理解が容易になり、病理医の診断精度を向上させる支援を行うことができる。

（実施の形態３）
　次に、本実施の形態３について説明する。
　以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　図１４は、本実施の形態３に係る情報処理システム１Ｂを示すブロック図である。
　本実施の形態３に係る情報処理システム１Ｂでは、病理標本画像Ｆ１の観察時にユーザが注視した注目領域と当該注目領域と画像特徴量が類似する観察候補領域とに対応する視野情報に基づいて視野マップ画像を生成する。そして、情報処理システム１Ｂでは、図１４に示すように、上述した実施の形態１において説明した情報処理システム１（図１）に対して、プロセッサ４１に注目領域抽出部４１６、画像特徴量算出部４１７、及び観察候補領域抽出部４１８が追加されている。
　なお、注目領域抽出部４１６、画像特徴量算出部４１７、及び観察候補領域抽出部４１８の機能については、本実施の形態３に係る情報処理方法を説明する際に説明する。

　図１５は、情報処理方法を示すフローチャートである。
　本実施の形態３に係る情報処理方法では、図１５に示すように、上述した実施の形態１において説明した情報処理方法（図２）に対して、ステップＳ１９～Ｓ２１が追加されているとともに、ステップＳ１１の代わりにステップＳ１１Ｂが追加されている点が異なる。このため、以下では、ステップＳ１９～Ｓ２１，Ｓ１１Ｂのみを主に説明する。

　ステップＳ１９は、観察開始操作があったと判断された場合（ステップＳ２：Ｙｅｓ）に実行される。
　図１６は、ステップＳ１９を説明する図である。
　具体的に、画像特徴量算出部４１７は、ステップＳ１９において、病理標本画像Ｆ１全体について、単位領域（例えば画素等）毎に画像特徴量を算出する。なお、図１６では、画像特徴量が類似する領域を同一の模様によって表現している。例えば、領域Ａｒ３は、類似する画像特徴量を有する領域である。また、領域Ａｒ４も類似する画像特徴量を有する領域である。
　ここで、当該画像特徴量は、例えば、エッジやテクスチャといった空間成分による画像特徴量、輝度ムラといった周波数成分による画像特徴量、色相や彩度といった色成分による画像特徴量等であり、様々な画像特徴量を１種類、または複数種類を組み合わせたものである。

　ステップＳ２０は、ステップＳ１０の後に実行される。
　具体的に、注目領域抽出部４１６は、ステップＳ１０において抽出された視野情報に含まれる表示位置情報及び時刻情報に基づいて、当該視野情報に対応する画像を表示し続けている観察時間を生成する。そして、注目領域抽出部４１６は、ステップＳ１０において抽出された視野情報のうち、生成した観察時間が特定の時間以上である視野情報を注目領域として抽出する（ステップＳ２０）。

　図１７は、ステップＳ２０を説明する図である。
　ここで、図３及び図４に示した例における期間Ｔ２，Ｔ３の２つの視野情報がステップＳ１０において抽出された場合、すなわち、ステップＳ９において取得した選択条件（表示倍率）が「２０倍」である場合を想定する。また、上述した特定の時間が「１０秒」である場合を想定する。この場合には、注目領域抽出部４１６は、期間Ｔ２，Ｔ３の２つの視野情報から生成される各観察時間が１０秒以上であるため、ステップＳ１０において抽出された２つの視野情報の全てを注目領域とする（ステップＳ２０）。図１７では、当該２つの注目領域（視野情報）に応じた視野マップ画像領域Ｆ２３，Ｆ２４を示している。なお、図１７では、説明の便宜上、視野マップ画像領域Ｆ２３，Ｆ２４には、観察時間に応じたドットパターンを付していない。

　ステップＳ２０の後、観察候補領域抽出部４１８は、観察候補領域を抽出する（ステップＳ２１）。
　図１８は、ステップＳ２１を説明する図である。図１８は、図１７に対応させた図である。
　具体的に、観察候補領域抽出部４１８は、ステップＳ１９において算出された画像特徴量を参照し、ステップＳ２０において抽出された注目領域の画像特徴量を把握する。また、観察候補領域抽出部４１８は、ステップＳ１９において算出された画像特徴量を参照し、倍率情報に基づき注目領域と同じ視野の領域における画像特徴量を把握する。そして、観察候補領域抽出部４１８は、注目領域の画像特徴量と類似する画像特徴量を有する領域を観察候補領域として抽出する（ステップＳ２１）。図１８では、１つの注目領域（視野マップ画像領域Ｆ２３）の画像特徴量と類似する画像特徴量を有する観察候補領域に応じた視野マップ画像領域Ｆ２３１～Ｆ２３３と、他の１つの注目領域（視野マップ画像領域Ｆ２４）の画像特徴量と類似する画像特徴量を有する観察候補領域に応じた視野マップ画像領域Ｆ２４１～Ｆ２４３とを示している。視野マップ画像領域Ｆ２３，Ｆ２３１～Ｆ２３３は、図１６に示した領域Ａｒ３に位置する視野マップ画像である。また、視野マップ画像領域Ｆ２４，Ｆ２４１～Ｆ２４３は、図１６に示した領域Ａｒ４に位置する視野マップ画像である。なお、図１８では、説明の便宜上、視野マップ画像領域Ｆ２３，Ｆ２４と同様に、視野マップ画像領域Ｆ２３１～Ｆ２３３，Ｆ２４１～Ｆ２４３にも観察時間に応じたドットパターンを付していない。
　なお、注目領域の画像特徴量としては、当該注目領域全体の画像特徴量を用いて観察候補領域を抽出してもよく、当該注目領域の一部の領域（例えば、図１７に示した中心領域Ａｒ５）の画像特徴量を用いて観察候補領域を抽出しても構わない。また、観察候補領域としては、注目領域と同一の表示倍率（ステップＳ９において取得された選択条件）を有するもののみを抽出しても構わない。
　また、注目領域の画像特徴量と類似する観察候補領域の抽出は既に多くの方法が提案されている。例えば文献（https://www.semanticscholar.org/paper/A-Cluster-then-label-Semi-supervised-Learning-for-Peikari-Salama/33fa30639e30bfa85fed7aeb3a1d5e536b9435f3）には、病理画像に対して例えば高次元のデータを２次元または３次元に圧縮して可視化するt-SNE（T-distributed　Stochastic　Neighbor　Embedding）を用いて病変の分類を行う方法が取り上げられており、このような手法を用いて観察候補領域を抽出するようにしてもよい。

　ステップＳ２１の後、表示制御部４１４は、ステップＳ２０において抽出された注目領域（視野情報）の視野マップ画像、及びステップＳ２１において抽出された観察候補領域（視野情報）の視野マップ画像をそれぞれ生成する（ステップＳ１１Ｂ）。そして、ステップＳ１４では、例えば、図１８に示すように、視野マップ画像領域Ｆ２３，Ｆ２３１～Ｆ２３３，Ｆ２４，Ｆ２４１～Ｆ２４３が病理標本画像Ｆ１上に重畳された状態で表示部３に表示される。なお、当該表示では、視野マップ画像領域Ｆ２３，Ｆ２３１～Ｆ２３３と視野マップ画像領域Ｆ２４，Ｆ２４１～Ｆ２４３とを識別可能に表示しても構わない。さらに、注目領域と観察候補領域とを識別するために、例えば、視野マップ画像領域Ｆ２３（Ｆ２４）と視野マップ画像領域Ｆ２３１～Ｆ２３３（Ｆ２４１～Ｆ２４３）とを識別可能に表示しても構わない。

　以上説明した本実施の形態３によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　本実施の形態３に係る情報処理装置４は、視野情報記録部４２１に記録された全ての視野情報のうち、特定の表示倍率で観察時間が長い視野情報を注目領域とする。また、情報処理装置４は、当該注目領域に関する画像特徴量の観点から病理標本画像内で類似している領域を観察候補領域として抽出する。そして、情報処理装置４は、当該注目領域及び当該観察候補領域を視野マップ画像として可視化する。このため、過去に観察した箇所と類似する病変の候補部位を病理医等の観察者に提示することができる。また、過去の病理標本画像の観察における視野情報に付随する画像特徴量と現在の病理標本画像における画像特徴量とを比較することで、過去の病理標本画像で注目していた画像特徴量に類似する領域を現在の病理標本画像から検出することが可能となり、注目すべき病変部の見落としの検出、及び防止といった診断支援に繋げることができる。

（実施の形態４）
　次に、本実施の形態４について説明する。
　以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　図１９は、本実施の形態４に係る顕微鏡システム１Ｃを示すブロック図である。
　上述した実施の形態１では、情報処理装置４が取得する病理標本画像Ｆ１は、バーチャルスライド画像であった。
　これに対して、本実施の形態４に係る顕微鏡システム１Ｃでは、情報処理装置４は、顕微鏡２００によって撮像された画像（病理標本画像）をリアルタイムで取得する。そして、顕微鏡システム１Ｃでは、図１９に示すように、上述した実施の形態１において説明した情報処理システム１に対して、顕微鏡２００が追加されているとともに、プロセッサ４１にステージ制御部４１９が追加されている。

　顕微鏡２００は、本体部２０１と、回転部２０２と、昇降部２０３と、ステージ２０４と、レボルバ２０５と、対物レンズ２０６と、倍率検出部２０７と、鏡筒部２０８と、接続部２０９と、接眼部２１０と、撮像部２１１とを備える。
　本体部２０１は、図１９に示すように、側面視Ｌ字形状を有し、各部材２０２～２１１を支持する。
　昇降部２０３は、本体部２０１に対して上下方向に移動自在に接続される。
　回転部２０２は、ユーザ操作に応じて回転することによって、昇降部２０３を上下方向に移動させる。

　ステージ２０４は、図１９に示すように、病理標本ＳＰが載置される部分である。このステージ２０４は、昇降部２０３に対して下方に対向し、本体部２０１に対して水平面内で移動可能に接続される。そして、ステージ２０４が移動することによって、視野が変更される。なお、ステージ２０４の移動は、ユーザによる第１の入力部２への表示位置変更操作に応じて、ステージ制御部４１９による制御の下、実行される。
　ここで、本実施の形態４における表示位置情報とは、ステージ２０４の位置（Ｘ座標及びＹ座標）を示す情報である。

　レボルバ２０５には、図１９に示すように、互いに倍率が異なる複数の対物レンズ２０６が接続されている。そして、レボルバ２０５は、光軸Ｌ１に対して回転可能に昇降部２０３における下方側の面に接続されている。ユーザは、レボルバ２０５を操作することによって、所望の対物レンズ２０６を光軸Ｌ１上に配置する。
　ここで、対物レンズ２０６には、倍率を示す情報、例えばＩＣチップ等が添付されている。
　そして、倍率検出部２０７は、光軸Ｌ１上に配置された対物レンズ２０６に添付されたＩＣチップ等から当該対物レンズ２０６の倍率を検出する。また、倍率検出部２０７は、検出した当該倍率を示す情報を情報処理装置４に対して出力する。
　ここで、本実施の形態４に係る倍率情報とは、光軸Ｌ１上に配置された対物レンズ２０６の倍率と、接眼部２１０（接眼レンズ）の倍率との統合倍率を示す情報である。

　鏡筒部２０８は、内部にプリズム、ハーフミラー及びコリメートレンズ等を有する。そして、鏡筒部２０８は、対物レンズ２０６によって結像された病理標本ＳＰの被写体像の一部を接続部２０９に向けて透過するとともに、接眼部２１０に向けて反射する。
　接続部２０９は、複数のコリメートレンズ及び結像レンズ等を用いて構成される。この接続部２０９は、一端が鏡筒部２０８と接続され、他端が撮像部２１１と接続される。そして、接続部２０９は、鏡筒部２０８を透過した病理標本ＳＰの被写体像を撮像部２１１に向けて導光する。

　接眼部２１０は、複数のコリメートレンズ及び結像レンズ等を用いて構成される。そして、接眼部２１０は、鏡筒部２０８によって反射された被写体像を導光するとともに結像する。
　撮像部２１１は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）等のイメージセンサ等を用いて構成される。そして、撮像部２１１は、接続部２０９が結像した病理標本ＳＰの被写体像を受光することによって画像データ（本発明に係る病理標本画像に相当）を生成し、当該画像データを情報処理装置４に対して出力する。

　なお、本実施の形態４では、上述した実施の形態１に対して、取得する病理標本画像と、表示位置情報と、倍率情報とが異なるのみである。このため、本実施の形態４に係る情報処理方法は、上述した実施の形態１において説明した情報処理方法（図２）と同様である。

　以上説明した本実施の形態４に係る顕微鏡システム１Ｃであっても、上述した実施の形態１と同様の効果を奏する。

（その他の実施形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１～４によってのみ限定されるべきものではない。
　上述した実施の形態２～４に記載の構成を適宜、組み合わせても構わない。例えば、実施の形態２における情報処理システム１Ａに対して、注目領域抽出部４１６、画像特徴量算出部４１７、及び観察候補領域抽出部４１８を追加し、ステップＳ１９～Ｓ２１，Ｓ１１Ｂを実行する構成としても構わない。
　上述した実施の形態１～４において、図２、図１０、及び図１５に示したフローは、矛盾のない範囲で処理の順序を変更しても構わない。

　１，１Ａ，１Ｂ　情報処理システム
　１Ｃ　顕微鏡システム
　２　第１の入力部
　３　表示部
　４　情報処理装置
　５　第２の入力部
　４１　プロセッサ
　４２　記録部
　２００　顕微鏡
　２０１　本体部
　２０２　回転部
　２０３　昇降部
　２０４　ステージ
　２０５　レボルバ
　２０６　対物レンズ
　２０７　倍率検出部
　２０８　鏡筒部
　２０９　接続部
　２１０　接眼部
　２１１　撮像部
　４１１　画像取得部
　４１２　視野情報生成部
　４１３　視野情報抽出部
　４１４　表示制御部
　４１５　音声認識部
　４１６　注目領域抽出部
　４１７　画像特徴量算出部
　４１８　観察候補領域抽出部
　４１９　ステージ制御部
　４２１　視野情報記録部
　４２２　音声情報記録部
　Ａｒ１，Ａｒ２　表示領域
　Ａｒ３，Ａｒ４　領域
　Ａｒ５　中心領域
　Ｃ１～Ｃ４　線
　ＣＵ　カーソル
　Ｆ０　被写体像
　Ｆ１　病理標本画像
　Ｆ２　視野マップ画像
　Ｆ２１～Ｆ２４，Ｆ２２１，Ｆ２３１～Ｆ２３３，Ｆ２４１～Ｆ２４３　視野マップ画像領域
　Ｆ３　重畳画像
　Ｌ１　光軸
　Ｍ１　倍率を示す情報
　Ｐ１　原点
　Ｐ２　表示位置
　Ｐ３，Ｐ３´　位置
　ＳＰ　病理標本
　Ｔ１～Ｔ３　期間

Claims

　観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させる表示制御部と、
　前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録する視野情報生成部と、
　前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出する視野情報抽出部と、を備え、
　前記表示制御部は、
　前記視野情報抽出部によって抽出された前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる情報処理装置。
　前記表示制御部は、
　前記視野マップ画像を前記撮像画像上に重畳した重畳画像を前記表示部に表示させる、請求項１に記載の情報処理装置。
　前記表示制御部は、
　前記視野マップ画像と前記撮像画像とを並べて前記表示部に表示させる、請求項１に記載の情報処理装置。
　前記表示制御部は、
　前記特定の表示倍率を示す倍率情報に応じた倍率を示す情報を前記表示部に表示させる、請求項２または３に記載の情報処理装置。
　前記表示制御部は、
　前記視野情報に含まれる前記表示位置情報及び前記時刻情報に基づいて前記少なくとも一部の画像を表示し続けている観察時間を生成するとともに、前記視野情報に含まれる前記表示位置情報及び前記倍率情報から特定される前記表示領域内で前記観察時間を画像化した前記視野マップ画像を生成する、請求項２～４のいずれか一つに記載の情報処理装置。
　前記視野情報抽出部は、
　前記記録部に記録させた前記視野情報のうち、抽出条件として、前記特定の表示倍率を示す倍率情報と、特定の時間内の表示時刻に基づく観察時間情報とから特定される前記視野情報を抽出する、請求項１～５のいずれか一つに記載の情報処理装置。
　前記視野情報抽出部は、
　入力部に対する特定の情報の入力タイミングに基づいて前記特定の時間を生成する、請求項６に記載の情報処理装置。
　前記視野情報に基づいて前記撮像画像内の注目領域を抽出する注目領域抽出部と、
　前記撮像画像内における各領域の画像特徴量を算出する画像特徴量算出部と、
　前記撮像画像内において、前記注目領域の前記画像特徴量に類似する前記画像特徴量を有する観察候補領域を抽出する観察候補領域抽出部と、をさらに備える、請求項１～７のいずれか一つに記載の情報処理装置。
　情報処理装置が実行する情報処理方法であって、
　観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させ、
　前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録し、
　前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出し、
　抽出した前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる情報処理方法。
　コンピュータに実行させる情報処理プログラムであって、
　前記情報処理プログラムは、前記コンピュータに以下の実行を指示する：
　観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させ、
　前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録し、
　前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出し、
　抽出した前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる情報処理プログラム。