WO2020121382A1

WO2020121382A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2020121382A1
Application number: PCT/JP2018/045370
Authority: WO
Inventors: 堀内　一仁; 渡辺　伸之; 金子　善興; 英敏西村
Original assignee: オリンパス株式会社
Priority date: 2018-12-10
Filing date: 2018-12-10
Publication date: 2020-06-18
Also published as: JPWO2020121382A1; US20210297635A1; JP7171985B2

Abstract

情報処理装置は、利用者の視線を検出して外部から入力される視線データに基づいて、観察画像に対する前記利用者の視線の注視度を解析する解析部と、外部から入力される前記利用者の音声を表す音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記注視度に応じた重要度を割り当てて、前記音声データ及び前記重要度を記録部へ記録する設定部と、前記注視度及び前記重要度に応じて前記観察画像に注目領域を設定する注目領域設定部と、を備える。画像内において利用者が検索したい領域をハンズフリーで精度よく判別することができる情報処理装置を提供する。

Description

情報処理装置、情報処理方法、及びプログラム

　本発明は、音声データと視線データとを処理する情報処理装置、情報処理方法、及びプログラムに関する。

　従来、１又は複数の画像内において利用者が所望する領域を検索する情報処理装置において、利用者の視線を検知し、利用者が注目した注目領域を画像検索に用いる技術が知られている（例えば、特許文献１参照。）。この技術によれば、利用者は、視線により注目領域を情報処理装置に入力することができるため、ハンズフリーの状態で注目領域の入力を行うことができる。

米国特許第７５９３６０２号明細書

　しかしながら、利用者が画像を観察しながら検索対象とする領域を探している場合、必ずしも利用者が注目した領域と利用者が検索したい領域とが一致しない場合がある。

　本発明は、上記に鑑みてなされたものであって、画像内において利用者が検索したい領域をハンズフリーで精度よく判別することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理装置は、利用者の視線を検出して外部から入力される視線データに基づいて、観察画像に対する前記利用者の視線の注視度を解析する解析部と、外部から入力される前記利用者の音声を表す音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記注視度に応じた重要度を割り当てて、前記音声データ及び前記重要度を記録部へ記録する設定部と、前記注視度及び前記重要度に応じて前記観察画像に注目領域を設定する注目領域設定部と、を備える。

　また、本発明の一態様に係る情報処理装置は、前記設定部は、前記注視度と、前記音声データに含まれる重要単語とに応じて前記重要度を割り当てる。

　また、本発明の一態様に係る情報処理装置は、前記観察画像において前記注目領域に類似した領域を抽出する類似領域抽出部をさらに備える。

　また、本発明の一態様に係る情報処理装置は、データベースに格納された画像群において前記注目領域に類似した領域を抽出する類似領域抽出部をさらに備える。

　また、本発明の一態様に係る情報処理装置は、前記利用者の視線を連続的に検出することによって前記視線データを生成する視線検出部と、前記利用者の音声の入力を受け付けて前記音声データを生成する音声入力部と、をさらに備える。

　また、本発明の一態様に係る情報処理装置は、標本を観察する観察倍率を変更可能であり、前記利用者が前記標本の観察像を観察可能な接眼部を有する顕微鏡と、前記顕微鏡に接続され、前記顕微鏡が結像した前記標本の観察像を撮像することによって画像データを生成する撮像部と、をさらに備え、前記視線検出部は、前記顕微鏡の接眼部に設けられ、前記注目領域設定部は、前記観察倍率に応じて前記注目領域を設定する。

　また、本発明の一態様に係る情報処理装置は、被検体に挿入可能な挿入部の先端部に設けられ、被検体内の体内を撮像することによって画像データを生成する撮像部と、視野を変更するための各種の操作の入力を受け付ける操作部と、を有する内視鏡をさらに備える。

　また、本発明の一態様に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、利用者の視線を検出して外部から入力される視線データに基づいて、観察画像に対する前記利用者の視線の注視度を解析し、外部から入力される前記利用者の音声を表す音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記注視度に応じた重要度を割り当てて、前記音声データ及び前記重要度を記録部へ記録し、前記注視度及び前記重要度に応じて前記観察画像に注目領域を設定する。

　また、本発明の一態様に係るプログラムは、情報処理装置が、利用者の視線を検出して外部から入力される視線データに基づいて、観察画像に対する前記利用者の視線の注視度を解析し、外部から入力される前記利用者の音声を表す音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記注視度に応じた重要度を割り当てて、前記音声データ及び前記重要度を記録部へ記録し、前記注視度及び前記重要度に応じて前記観察画像に注目領域を設定する。

　本発明によれば、画像内において利用者が検索したい領域をハンズフリーで精度よく判別することができる情報処理装置、情報処理方法、及びプログラムを実現することができる。

図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図２は、実施の形態１に係る情報処理装置が実行する処理の概要を示すフローチャートである。図３は、実施の形態１に係る設定部による音声データへの重要度の割り当ての設定方法を模式的に説明する図である。図４は、実施の形態１に係る表示部が表示する画像の一例を模式的に示す図である。図５は、実施の形態１に係る表示部が表示する画像の別の一例を模式的に示す図である。図６は、図５を画像解析により領域に分割した様子を表す図である。図７は、図５の部分拡大図である。図８は、図５において類似領域を強調表示した様子を表す図である。図９は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。図１０は、実施の形態２に係る情報処理装置が実行する処理の概要を示すフローチャートである。図１１は、実施の形態３に係る情報処理システムの機能構成を示すブロック図である。図１２は、実施の形態３に係る情報処理装置が実行する処理の概要を示すフローチャートである。図１３は、実施の形態３に係る解析部が視線データに重要度を設定する設定方法を模式的に説明する図である。図１４は、実施の形態３に係る表示部が表示する画像の一例を模式的に示す図である。図１５は、実施の形態４に係る情報処理装置の構成を示す概略図である。図１６は、実施の形態４に係る情報処理装置の構成を示す概略図である。図１７は、実施の形態４に係る情報処理装置の機能構成を示すブロック図である。図１８は、実施の形態４に係る情報処理装置が実行する処理の概要を示すフローチャートである。図１９は、表示部が表示する視線マッピング画像の一例を示す図である。図２０は、表示部が表示する視線マッピング画像の別の一例を示す図である。図２１は、実施の形態５に係る顕微鏡システムの構成を示す概略図である。図２２は、実施の形態５に係る顕微鏡システムの機能構成を示すブロック図である。図２３は、実施の形態５に係る顕微鏡システムが実行する処理の概要を示すフローチャートである。図２４は、実施の形態６に係る内視鏡システムの構成を示す概略図である。図２５は、実施の形態６に係る内視鏡システムの機能構成を示すブロック図である。図２６は、実施の形態６に係る内視鏡システムが実行する処理の概要を示すフローチャートである。図２７は、画像データ記録部が記録する複数の画像データに対応する複数の画像の一例を模式的に示す図である。図２８は、画像処理部が生成する統合画像データに対応する統合画像の一例を示す図である。図２９は、実施の形態６に係る表示部が表示する画像の一例を模式的に示す図である。図３０は、図２８において類似領域を強調表示した様子を表す図である。

　以下に、図面を参照して本発明に係る情報処理装置、情報処理方法、及びプログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、視線データ及び音声データを用いて画像検索を行う情報処理装置、情報処理方法、及びプログラム一般に適用することができる。

　また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

（実施の形態１）
　〔情報処理システムの構成〕
　図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図１に示す情報処理システム１は、外部から入力される視線データ、音声データ及び画像データに対して各種の処理を行う情報処理装置１０と、情報処理装置１０から出力された各種データを表示する表示部２０と、を備える。なお、情報処理装置１０と表示部２０は、無線又は有線によって双方向に接続されている。

　〔情報処理装置の構成〕
　まず、情報処理装置１０の構成について説明する。
　図１に示す情報処理装置１０は、例えばサーバやパーソナルコンピュータ等にインストールされたプログラムを用いて実現され、ネットワークを経由して各種データが入力される、又は外部の装置で取得された各種データが入力される。図１に示すように、情報処理装置１０は、解析部１１と、設定部１２と、生成部１３と、記録部１４と、表示制御部１５と、を備える。

　解析部１１は、利用者の視線を検出して外部から入力される所定時間の視線データに基づいて、観察画像に対する利用者の視線の注視度を解析する。ここで、視線データとは、角膜反射法に基づくものである。具体的には、視線データは、図示しない視線検出部（アイトラッキング）に設けられたＬＥＤ光源等から近赤外線が利用者の角膜に照射された際に、視線検出部である光学センサが角膜上の瞳孔点と反射点を撮像することによって生成されたデータである。そして、視線データは、光学センサが角膜上の瞳孔点と反射点を撮像することによって生成されたデータに対して画像処理等を行うことによって解析した解析結果に基づく利用者の瞳孔点と反射点のパターンから利用者の視線を算出したものである。

　また、図示していないが、視線検出部を備える装置が視線データを計測する際には、対応する画像データ（観察画像）を使用者（利用者）に提示したうえで、視線データを計測している。この場合、図示しない視線検出部を備える装置は、使用者に表示している画像が固定している場合、すなわち表示領域の時間とともに絶対座標が変化しないとき、視線に計測領域と画像の絶対座標の相対的に位置関係を固定値として与えていれば良い。ここで、絶対座標とは、画像の所定の１点を基準に表記している座標を指している。

　利用形態が内視鏡システムや光学顕微鏡の場合、視線を検出するために提示している視野が画像データの視野となるため、画像の絶対座標にたいする観察視野の相対的な位置関係は変わらない。また、利用形態が内視鏡システムや光学顕微鏡においては、動画として記録している場合、視野のマッピングデータを生成するために、視線検出データと、視線の検出と同時に記録された画像又は提示された画像を用いる。

　一方で、利用形態がＷＳＩ（Ｗｈｏｌｅ　Ｓｌｉｄｅ　Ｉｍａｇｉｎｇ）では、顕微鏡のスライドサンプルの一部を視野として使用者が観察しており、時刻とともに観察視野が変化する。この場合、全体の画像データのどの部分が視野として提示されているか、すなわち全体の画像データに対する表示領域の絶対座標の切り替えの時間情報も、視線・音声の情報と同じく同期化して記録する。

　解析部１１は、利用者の視線を検出して外部から入力される所定時間の視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度を解析する。なお、図示しない視線検出部は、所定の場所に載置されることによって利用者を撮像することによって視線を検出するものであってもよいし、利用者が装着することによって利用者を撮像することによって視線を検出するものであってもよい。また、視線データは、これ以外にも、周知のパターンマッチングによって生成されたものであってもよい。解析部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等を用いて構成される。

　設定部１２は、外部から入力される利用者の音声を表す音声データであって、視線データと同じ時間軸が対応付けられた音声データに対して、所定の時間間隔毎に注視度に応じた重要度を音声データに割り当てて、音声データ及び重要度を記録部１４へ記録する。具体的には、設定部１２は、音声データのフレーム毎に、このフレームの同じタイミングで解析部１１が解析した注視度に応じた重要度（例えば数値）を割り当てて、音声データと重要度とを関連づけて記録部１４へ記録する。設定部１２は、注視度が高くなった直後の音声データに対して、重要度を高く割り当てる。また、外部から入力される利用者の音声を表す音声データは、視線データと同じタイミングで図示しないマイク等の音声入力部によって生成されたものである。設定部１２は、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成される。

　生成部１３は、外部から入力される画像データに対応する画像上に解析部１１が解析した注視度を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部１４及び注目領域設定部１５ａへ出力する。具体的には、生成部１３は、外部から入力される画像データに対応する画像上の所定領域毎に、解析部１１が解析した注視度を画像上の座標情報に関連付けた視線マッピングデータを生成する。さらに、生成部１３は、注視度に加えて、外部から入力される画像データに対応する画像上に解析部１１が解析した利用者の視線の軌跡を関連付けて視線マッピングデータを生成する。生成部１３は、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成される。上述のＷＳＩで使用する場合は、生成部１３は、上述の様に視線マッピングデータを画像の絶対座標として得るとき、視線を計測した際の表示と画像の絶対座標の相対的位置関係を使用する。また、上述の様に、生成部１３は、観察視野が時々刻々と変化する場合には、表示領域＝視野の絶対座標（例えば表示画像の左上が元の画像データに絶対座標でどこに位置するか）の経時変化を入力する。

　記録部１４は、設定部１２から入力された音声データと、所定の時間間隔毎に割り当たれた重要度と、解析部１１が解析した注視度と、を対応付けて記録する。また、記録部１４は、生成部１３から入力された視線マッピングデータを記録する。また、記録部１４は、情報処理装置１０が実行する各種プログラム及び処理中のデータを記録する。記録部１４は、揮発性メモリ、不揮発性メモリ及び記録媒体等を用いて構成される。

　表示制御部１５は、注目領域設定部１５ａと、類似領域抽出部１５ｂと、を有する。表示制御部１５は、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成される。なお、上述した解析部１１、設定部１２、生成部１３、及び表示制御部１５をＣＰＵ、ＦＰＧＡ及びＧＰＵのいずれか１つを用いて各機能が発揮できるように構成してもよいし、もちろん、ＣＰＵ、ＦＰＧＡ及びＧＰＵを組み合わせて各機能が発揮できるように構成してもよい。

　注目領域設定部１５ａは、解析部１１が解析した注視度及び設定部１２から入力された重要度に応じて観察画像に注目領域を設定する。具体的には、注目領域設定部１５ａは、注視度及び重要度が閾値以上である領域を注目領域に設定する。

　類似領域抽出部１５ｂは、観察画像において注目領域に類似した類似領域を抽出する。具体的には、類似領域抽出部１５ｂは、注目領域の色味や形状等の組織性状に基づいた特徴量を算出し、観察画像全体から注目領域の特徴量との差が所定の閾値以内である領域を類似領域として抽出する。また、類似領域抽出部１５ｂは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等を用いた機械学習によって、観察画像から注目領域に類似している領域を類似領域として抽出してもよい。

　表示制御部１５は、外部から入力される画像データに対応する画像上に、生成部１３が生成した視線マッピングデータを重畳した視線マッピング画像を外部の表示部２０に出力することによって表示させる。また、表示制御部１５は、視線マッピング画像において注目領域や類似領域を強調表示した画像を表示部２０に表示させる。

　〔表示部の構成〕
　次に、表示部２０の構成について説明する。
　表示部２０は、表示制御部１５から入力された画像データに対応する画像や視線マッピングデータに対応する視線マッピング情報を表示する。表示部２０は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）や液晶等の表示モニタを用いて構成される。

　〔情報処理装置の処理〕
　次に、情報処理装置１０の処理について説明する。図２は、情報処理装置１０が実行する処理について説明する。

　図２に示すように、まず、情報処理装置１０は、外部から入力される視線データ、音声データ及び画像データを取得する（ステップＳ１０１）。

　続いて、解析部１１は、視線データに基づいて、観察画像に対する利用者の視線の注視度を解析する（ステップＳ１０２）。一般には、視線の移動速度が大きいほど、利用者の注視度が低く、視線の移動速度が小さいほど、利用者の視線の注視度が高いと解析することができる。即ち、解析部１１は、利用者の視線の移動速度が大きいほど、利用者の視線の注視度が低いと解析し、視線の移動速度が小さいほど、利用者の視線の注視度が高いと解析する。このように、解析部１１は、所定時間毎（利用者が画像の観察や読影を行っている時間）の視線データに対して、利用者の視線の注視度を解析する。なお、解析部１１の解析方法は、これに限定されることなく、一定の時間内における利用者の視線の移動距離及び一定領域内における利用者の視線の滞留時間のいずれか１つを検出することによって、視線の注視度を解析してもよい。

　その後、設定部１２は、視線データと同期化された音声データに対して、所定の時間間隔毎に解析部１１が解析した注視度に応じた重要度を音声データに割り当てる設定を行って記録部１４に記録する（ステップＳ１０３）。ステップＳ１０３の後、情報処理装置１０は、後述するステップＳ１０４へ移行する。

　図３は、実施の形態１に係る設定部による音声データへの重要度の割り当ての設定方法を模式的に説明する図である。図３において、横軸が時間を示し、図３の（ａ）の縦軸が注視度を示し、図３の（ｂ）の縦軸が音声データ（発音の程度；発音があるときに大きくなる）を示し、図３の（ｃ）の縦軸が重要度を示す。また、図３の（ａ）の曲線Ｌ１が注視度の時間変化を示し、図３の（ｂ）の曲線Ｌ２が音声データの時間変化を示し、図３の（ｃ）の曲線Ｌ３が重要度の時間変化を示す。

　図３の曲線Ｌ１，曲線Ｌ２，曲線Ｌ３に示すように、利用者の注視度が高いとき（区間Ｄ１）に、音声データに変化がある（発音している様子が見られる）と、利用者が重要なことを発音している可能性が高いため、重要度が高いと推定することができる。

　即ち、設定部１２は、音声データに対して、所定の時間間隔毎に解析部１１が解析した注視度に応じた重要度を音声データに割り当てる設定を行って記録部１４に記録する。具体的には、図３に示す場合、設定部１２は、解析部１１が注視度を高いと解析した区間Ｄ１の音声データに対して重要度（例えば数字、視線が滞在していた時間及び大中小を示す記号等）を高いと割り当てる設定を行って記録部１４に記録する。このとき、設定部１２は、解析部１１が注視度を高いと解析した区間Ｄ１と、音声データの発音区間Ｄ２にずれの期間ｄ１が生じている場合、解析部１１が注視度を高いと解析した区間Ｄ１に対応する音声データの直後である発音区間Ｄ２（例えば１秒後の区間）に重要度が高い割り当てを設定して記録部１４に記録する。

　なお、実施の形態１では、予め利用者の注視度と発音（発声）との時間差を算出し（キャリブレーションデータ）、この算出結果に基づいて利用者の注視度と発音（発声）とのずれを補正するキャリブレーション処理を行ってもよい。

　また、図３においては、視線データの注視度と音声データの時間的なずれに着目して、区間Ｄ１と区間Ｄ２に遅延時間を設けるようにしているが、図３の変形例として、設定部１２は、視線データの注視度が高い区間の前後にマージンを設けることによって、音声データの重要度が高い期間としても良い。すなわち、設定部１２は、区間Ｄ２の開始時間が区間Ｄ１の開始時間よりも先になっており、区間Ｄ２の終了時間が区間Ｄ１の終了時間よりも遅くするという様態としてもよい。

　図２に戻り、ステップＳ１０４以降の説明を続ける。
　ステップＳ１０４において、注目領域設定部１５ａは、解析部１１が解析した注視度及び設定部１２から入力された重要度に応じて観察画像に注目領域を設定する。

　その後、生成部１３は、画像データに対応する画像上に解析部１１が解析した注視度を関連付けた視線マッピングデータを生成する（ステップＳ１０５）。

　続いて、表示制御部１５は、画像データに対応する画像上に、注目領域を強調表示した視線マッピングデータを重畳して外部の表示部２０に出力する（ステップＳ１０６）。

　図４は、実施の形態１に係る表示部が表示する画像の一例を模式的に示す図である。図４に示すように、表示制御部１５は、画像データに対応する画像上に、注目領域を強調表示した視線マッピングデータに重畳した視線マッピング画像Ｐ１を表示部２０に表示させる。図４においては、視線の注視度が高いほど、円の領域が大きい注視度のマークＭ１１～Ｍ１５が重畳された視線マッピング画像Ｐ１を表示部２０に表示させる。さらに、表示制御部１５は、各注視度の期間（時間）で利用者が発した音声データを、周知の文字変換技術を用いて変換した文字情報として、マークＭ１１～Ｍ１５の近傍又は重畳して表示部２０に表示させることにより、注目領域を強調表示させる（例えば枠をハイライト表示又は太線で表示）。すなわち、マークＭ１４が表す領域が注目領域であり、利用者がマークＭ１４の示す領域を注視した後、文字情報Ｑ１に示す「ここです。」という音声を発声したことを表す。また、表示制御部１５は、利用者の視線の軌跡Ｋ１及び注視度の順番を数字で表示部２０に表示させてもよい。

　図５は、実施の形態１に係る表示部が表示する画像の別の一例を模式的に示す図である。利用者は、観察画像Ｐ２１の全域を観察し、病変等があるか否かの病理診断を行う。

　図６は、図５を画像解析により領域に分割した様子を表す図である。図６に示す画像Ｐ２２のように、図５は、色味や形状等の組織性状に基づいた特徴量に応じて、類似する特徴量を有する領域に分割されている。

　図７は、図５の部分拡大図である。図７は、図５の領域Ａに対応する。利用者は、観察画像Ｐ２１を拡大しながら観察を行い、図７に示す画像Ｐ２３において領域Ｍ２１が注目領域に設定された。

　図２に戻り、ステップＳ１０７以降の説明を続ける。
　ステップＳ１０７において、類似領域抽出部１５ｂは、観察画像において注目領域に類似した類似領域を抽出する。具体的には、類似領域抽出部１５ｂは、画像Ｐ２２において、注目領域Ｍ２１に類似した特徴量を有する領域を類似領域として抽出する。

　その後、表示制御部１５は、観察画像Ｐ２１上において類似領域抽出部１５ｂが抽出した類似領域を強調表示した画像を外部の表示部２０に出力する（ステップＳ１０８）。ステップＳ１０８の後、情報処理装置１０は、本処理を終了する。

　図８は、図５において類似領域を強調表示した様子を表す図である。図８に示すように、観察画像Ｐ２１上において類似領域抽出部１５ｂが抽出した類似領域Ｍ２２～Ｍ２６を強調表示した（例えば類似領域を円で囲む）画像Ｐ２４を表示部２０に表示させる。

　以上説明した実施の形態１によれば、注目領域設定部１５ａが利用者の視線の注視度及び発声に基づいて、利用者が注目している領域である注目領域を設定し、類似領域抽出部１５ｂが注目領域に類似した類似領域を抽出することにより、利用者が検索したい病変等に似た領域を抽出することができる。その結果、効率よく診断を行うことができるとともに、病変の見落しを防止することができる。

　また、実施の形態１では、記録部１４が設定部１２によって重要度を割り当てた音声データを記録するので、ディープラーニング等の機械学習で用いる視線のマッピングに基づく画像データと音声との対応関係を学習する際の学習データを容易に取得することができる。

（実施の形態２）
　次に、本開示の実施の形態２について説明する。上述した実施の形態１では、類似領域抽出部１５ｂが観察画像において類似領域を抽出したが、実施の形態２では、類似領域抽出部１５ｂがデータベースに格納された画像群において類似領域を抽出する。以下においては、実施の形態２に係る情報処理システムの構成を説明後、実施の形態２に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システムと同一の構成には同一の符号を付して詳細な説明は、省略する。

　〔情報処理システムの構成〕
　図９は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。図９に示す情報処理システム１ａは、上述した実施の形態１に係る情報処理装置１０に換えて、情報処理装置１０ａを備える。情報処理装置１０ａは、上述した実施の形態１に係る類似領域抽出部１５ｂに換えて、類似領域抽出部１５ｂａを備える。類似領域抽出部１５ｂａは、記録装置２１に接続されている。

　記録装置２１は、例えばインターネット回線を介在して接続されたサーバである。記録装置２１には、複数の画像からなる画像群が格納されたデータベースが構築されている。

　類似領域抽出部１５ｂａは、記録装置２１のデータベースに格納された画像群において注目領域に類似した領域を抽出する。

　〔情報処理装置の処理〕
　次に、情報処理装置１０ａが実行する処理について説明する。図１０は、実施の形態２に係る情報処理装置が実行する処理の概要を示すフローチャートである。図１０において、ステップＳ２０１～ステップＳ２０６は、上述した図２のステップＳ１０１～ステップＳ１０６それぞれに対応する。利用者は、記録装置２１に記録されたいずれか１つ又は複数の画像を観察し、このときの利用者の視線及び発声に基づいて注目領域設定部１５ａが注目領域を設定する。

　ステップＳ２０７において、類似領域抽出部１５ｂａは、記録装置２１のデータベースに格納された画像群において注目領域に類似した領域を抽出する。

　続いて、表示制御部１５は、類似領域抽出部１５ｂａが抽出した類似領域を強調表示した画像を外部の表示部２０に出力する（ステップＳ２０８）。具体的には、表示制御部１５は、類似領域を含む各画像において、類似領域を強調表示して一覧表示する。

　以上説明した実施の形態２によれば、予め撮像された複数の画像から病変等を探す場合に、注視した病変部と類似する領域を含む画像が自動的に抽出されるため、効率よく診断を行うことができるとともに、病変の見落としを防止することができる。

（実施の形態３）
　次に、本開示の実施の形態３について説明する。上述した実施の形態１では、設定部１２が音声データに対して、解析部１１が解析した注視度に応じた重要度を割り当てて記録部へ記録したが、実施の形態３では、設定部１２が注視度と音声データに含まれる重要単語とに応じて重要度を割り当てて記録部１４に記録する。以下においては、実施の形態３に係る情報処理システムの構成を説明後、実施の形態３に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システムと同一の構成には同一の符号を付して詳細な説明は、省略する。

　〔情報処理システムの構成〕
　図１１は、実施の形態３に係る情報処理システムの機能構成を示すブロック図である。図１１に示す情報処理システム１ｂは、上述した実施の形態１に係る情報処理装置１０に換えて、情報処理装置１０ｂを備える。情報処理装置１０ｂは、上述した実施の形態１に係る設定部１２に換えて、設定部１２ｂを備える。

　設定部１２ｂは、外部から入力される利用者の音声を表す音声データの重要期間を設定する。具体的には、設定部１２ｂは、外部から入力される重要単語情報に基づいて、外部から入力される利用者の音声を表す音声データの重要期間を設定する。例えば、設定部１２ｂは、外部から入力されるキーワードが癌や出血等であり、各々の指数が「１０」と「８」の場合、周知の音声パターンマッチング等を用いてキーワードが発せられた期間（区間又は時間）を重要期間に設定する。外部から入力される利用者の音声を表す音声データは、図示しないマイク等の音声入力部によって生成されたものである。なお、設定部１２ｂは、キーワードが発せられた期間の前後、例えば１秒から２秒程度を含むように重要期間を設置してもよい。設定部１２ｂは、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成される。なお、重要単語情報はあらかじめデータベース（音声データ、文字情報）で記憶されているものを使用しても良いし、使用者の入力（音声データ・キーボード入力）によるものでも良い。

　〔情報処理装置の処理〕
　次に、情報処理装置１０ｂが実行する処理について説明する。図１２は、実施の形態３に係る情報処理装置が実行する処理の概要を示すフローチャートである。図１２に示すように、まず、情報処理装置１０ｂは、外部から入力される視線データ、音声データ、キーワード及び画像データを取得する（ステップＳ３０１）。

　続いて、設定部１２ｂは、外部から入力されたキーワードに基づいて、音声データにおいて重要単語であるキーワードが発せられた発声期間を判定し（ステップＳ３０２）、音声データにおいて重要単語が発せられた発声期間を重要期間に設定する（ステップＳ３０３）。ステップＳ３０３の後、情報処理装置１０ｂは、後述するステップＳ３０４へ移行する。

　図１３は、実施の形態３に係る解析部が視線データに重要度を設定する設定方法を模式的に説明する図である。図１３において、横軸が時間を示し、図１３の（ａ）の縦軸が注視度を示し、図１３の（ｂ）の縦軸が音声データ（発音の程度）を示し、図１３の（ｃ）の縦軸が重要度を示す。また、図１３の（ａ）の曲線Ｌ４が注視度の時間変化を示し、図１３の（ｂ）の曲線Ｌ５が音声データの時間変化を示し、図１３の（ｃ）の曲線Ｌ６が重要度の時間変化を示す。

　図１３の（ｂ）に示すように、設定部１２ｂは、利用者の注視度が高いとき（区間Ｄ３）の前後であって、かつ重要単語が発せられた期間の前後を重要期間Ｄ５に設定する。設定部１２ｂは、音声データに対して周知の音声パターンマッチングを用いることによって、外部から入力された重要単語のキーワードが「癌」である場合、この「癌」が発せられた音声データの発声期間（発声時間）の前後を重要度が高い重要期間Ｄ５に設定する。これに対して、設定部１２ｂは、利用者が音声を発声しているが、重要単語のキーワードが含まれていない期間Ｄ４を重要期間に設定しない。なお、設定部１２ｂは、周知の音声パターンマッチング以外に、音声データを文字情報に変換した後に、この文字情報に対してキーワードに対応する期間を重要度が高い重要期間として設定してもよい。また、重要単語が発せられた場合であっても、その前後に利用者の注視度が高い区間がない場合、重要期間は設定されない。

　図１２に戻り、ステップＳ３０４以降の説明を続ける。
　ステップＳ３０４において、図１２は、利用者の視線データであって、音声データと同じ時間軸が対応付けられた視線データに対して、設定部１２ｂが設定した音声データの重要期間に対応する期間（時間）に重要単語のキーワードに割り当てられた指数（例えば「癌」の場合、指数が「１０」）に応じた対応視線期間を割り当てて音声データと視線データとを同期化させて記録部１４に記録する。ステップＳ３０４の後、情報処理装置１０ｂは、後述するステップＳ３０５へ移行する。

　図１３に示すように、解析部１１は、設定部１２ｂによって設定された音声の重要度が設定された期間Ｄ５に基づき、対応する視線データの期間を設定する。

　なお、実施の形態３では、予め利用者の注視度と発音（発声）との時間差を算出し（キャリブレーションデータ）、この算出結果に基づいて利用者の注視度と発音（発声）とのずれを補正するキャリブレーション処理を行ってもよい。単純に音声重要度が高いキーワードが発声された期間を重要期間として、その一定時間の前後、あるいは、シフトした期間を対応視線期間としても良い。

　図１２に戻り、ステップＳ３０５以降の説明を続ける。
　ステップＳ３０５において、注目領域設定部１５ａは、解析部１１が解析した対応視線期間に応じて観察画像に注目領域を設定する。

　ステップＳ３０６において、生成部１３は、画像データに対応する画像上に解析部１１が解析した対応視線期間を関連付けた視線マッピングデータを生成する。

　続いて、表示制御部１５は、画像データに対応する画像上に、注目領域を強調表示した視線マッピングデータを重畳して外部の表示部２０に出力する（ステップＳ３０７）。

　図１４は、実施の形態３に係る表示部が表示する画像の一例を模式的に示す図である。図１４に示すように、表示制御部１５は、画像データに対応する画像上に、注目領域を強調表示した視線マッピングデータに重畳した視線マッピング画像Ｐ３１を表示部２０に表示させる。図１４においては、視線の注視度が高いほど、円の領域が大きい注視度のマークＭ１１～Ｍ１５が重畳された視線マッピング画像Ｐ３１を表示部２０に表示させる。さらに、表示制御部１５は、各対応視線期間の期間（時間）で利用者が発した音声データを、周知の文字変換技術を用いて変換した文字情報（例えばメッセージＱ１１～Ｑ１３）を、マークＭ１１～Ｍ１５の近傍又は重畳して表示部２０に表示させてもよい。また、表示制御部１５は、注目領域を強調表示させる（例えば枠をハイライト表示又は太線で表示）。すなわち、マークＭ１４が表す領域が注目領域であり、利用者がマークＭ１４の示す領域を注視した後、重要単語を発声したことを表す。また、表示制御部１５は、利用者の視線の軌跡Ｋ１及び注視度の順番を数字で表示部２０に表示させてもよい。

　図１２に戻り、ステップＳ３０８以降の説明を続ける。
　ステップＳ３０８において、類似領域抽出部１５ｂは、観察画像において注目領域に類似した類似領域を抽出する（ステップＳ３０８）。

　その後、表示制御部１５は、観察画像Ｐ２１上において類似領域抽出部１５ｂが抽出した類似領域を強調表示した画像を外部の表示部２０に出力する（ステップＳ３０９）。ステップＳ３０９の後、情報処理装置１０は、本処理を終了する。

　以上説明した実施の形態３によれば、注目領域設定部１５ａが重要単語に応じて類似領域を抽出するので、より確実に重要な領域を抽出することができる。その結果、重要な領域の見落しを防止する効果がさらに高い。

（実施の形態４）
　次に、本開示の実施の形態４について説明する。実施の形態１では、外部から視線データ及び音声データの各々が入力されていたが、実施の形態４では、視線データ及び音声データを生成する。以下においては、実施の形態４に係る情報処理装置の構成を説明後、実施の形態４に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システム１と同一の構成には同一の符号を付して詳細な説明は適宜省略する。

　〔情報処理装置の構成〕
　図１５は、実施の形態４に係る情報処理装置の構成を示す概略図である。図１６は、実施の形態４に係る情報処理装置の構成を示す概略図である。図１７は、実施の形態４に係る情報処理装置の機能構成を示すブロック図である。

　図１５～図１７に示す情報処理装置１ｃは、解析部１１と、表示部２０と、視線検出部３０と、音声入力部３１と、制御部３２と、時間計測部３３と、記録部３４と、変換部３５と、抽出部３６と、操作部３７と、設定部３８と、生成部３９と、を備える。

　視線検出部３０は、近赤外線を照射するＬＥＤ光源と、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ等）と、を用いて構成される。視線検出部３０は、利用者Ｕ１が表示部２０を視認可能な情報処理装置１ｃの筐体の側面に設けられる（図１５及び図１６を参照）。視線検出部３０は、制御部３２の制御のもと、表示部２０が表示する画像に対する利用者Ｕ１の視線を検出した視線データを生成し、この視線データを制御部３２へ出力する。具体的には、視線検出部３０は、制御部３２の制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ１の角膜に照射し、光学センサが利用者Ｕ１の角膜上の瞳孔点と反射点を撮像することによって視線データを生成する。そして、視線検出部３０は、制御部３２の制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ１の瞳孔点と反射点のパターンから利用者の視線を連続的に算出することによって所定時間の視線データを生成し、この視線データを後述する視線検出制御部３２１へ出力する。なお、視線検出部３０は、単に光学センサのみで利用者Ｕ１の瞳を周知のパターンマッチングを用いることによって瞳を検出することによって、利用者Ｕ１の視線を検出した視線データを生成してもよいし、他のセンサや他の周知技術を用いて利用者Ｕ１の視線を検出することによって視線データを生成してもよい。

　音声入力部３１は、音声が入力されるマイクと、マイクが入力を受け付けた音声をデジタルの音声データに変換するとともに、この音声データを増幅することによって制御部３２へ出力する音声コーデックと、を用いて構成される。音声入力部３１は、制御部３２の制御のもと、利用者Ｕ１の音声の入力を受け付けることによって音声データを生成し、この音声データを制御部３２へ出力する。なお、音声入力部３１は、音声の入力以外にも、音声を出力することができるスピーカ等を設け、音声出力機能を設けてもよい。

　制御部３２は、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成され、視線検出部３０、音声入力部３１及び表示部２０を制御する。制御部３２は、視線検出制御部３２１と、音声入力制御部３２２と、表示制御部３２３と、を有する。

　視線検出制御部３２１は、視線検出部３０を制御する。具体的には、視線検出制御部３２１は、視線検出部３０を所定のタイミング毎に近赤外線を利用者Ｕ１へ照射させるとともに、利用者Ｕ１の瞳を視線検出部３０に撮像させることによって視線データを生成させる。また、視線検出制御部３２１は、視線検出部３０から入力された視線データに対して、各種の画像処理を行って記録部３４へ出力する。

　音声入力制御部３２２は、音声入力部３１を制御し、音声入力部３１から入力された音声データに対して各種の処理、例えばゲインアップやノイズ低減処理等を行って記録部３４へ出力する。

　表示制御部３２３は、表示部２０の表示態様を制御する。表示制御部３２３は、注目領域設定部３２３ａと、類似領域抽出部３２３ｂと、を有する。

　注目領域設定部３２３ａは、解析部１１が解析した注視度及び設定部３８から入力された重要度に応じて観察画像に注目領域を設定する。

　類似領域抽出部３２３ｂは、観察画像において注目領域に類似した類似領域を抽出する。

　表示制御部３２３は、記録部３４に記録された画像データに対応する画像又は生成部３９によって生成された視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させる。

　時間計測部３３は、タイマーやクロックジェネレータ等を用いて構成され、視線検出部３０によって生成された視線データ及び音声入力部３１によって生成された音声データ等に対して時刻情報を付与する。

　記録部３４は、揮発性メモリ、不揮発性メモリ及び記録媒体等を用いて構成され、情報処理装置１ｃに関する各種の情報を記録する。記録部３４は、視線データ記録部３４１と、音声データ記録部３４２と、画像データ記録部３４３と、プログラム記録部３４４と、を有する。

　視線データ記録部３４１は、視線検出制御部３２１から入力された視線データを記録するとともに、視線データを解析部１１へ出力する。

　音声データ記録部３４２は、音声入力制御部３２２から入力された音声データを記録するとともに、音声データを変換部３５へ出力する。

　画像データ記録部３４３は、複数の画像データを記録する。この複数の画像データは、情報処理装置１ｃの外部から入力されたデータ、又は記録媒体によって外部の撮像装置によって撮像されたデータである。

　プログラム記録部３４４は、情報処理装置１ｃが実行する各種プログラム、各種プログラムの実行中に使用するデータ（例えばキーワードを登録した辞書情報やテキスト変換辞書情報）及び各種プログラムの実行中の処理データを記録する。

　変換部３５は、音声データに対して周知のテキスト変換処理を行うことによって、音声データを文字情報（テキストデータ）に変換し、この文字情報を抽出部３６へ出力する。
　なお、音声の文字変換はこの時点で行わない構成も可能であり、その際には、音声情報のまま重要度を設定し、その後文字情報に変換するようにしても良い。

　抽出部３６は、後述する操作部３７から入力された指示信号に対応する文字や単語（キーワード）を、変換部３５によって変換された文字情報から抽出し、この抽出結果を設定部３８へ出力する。なお、抽出部３６は、後述する操作部３７から指示信号が入力されていない場合、変換部３５から入力されたままの文字情報を設定部３８へ出力する。

　操作部３７は、マウス、キーボード、タッチパネル及び各種スイッチ等を用いて構成され、利用者Ｕ１の操作の入力を受け付け、入力を受け付けた操作内容を制御部３２へ出力する。

　設定部３８は、所定の時間間隔毎に解析部１１が解析した注視度と抽出部３６によって抽出された文字情報とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度及び変換部３５によって変換された文字情報を割り当てて記録部３４へ記録する。

　生成部３９は、表示部２０が表示する画像データに対応する画像上に解析部１１が解析した注視度及び変換部３５が変換した文字情報を関連付けた視線マッピングデータを生成し、この視線マッピングデータを画像データ記録部３４３又は表示制御部３２３へ出力する。

　〔情報処理装置の処理〕
　次に、情報処理装置１ｃが実行する処理について説明する。図１８は、実施の形態４に係る情報処理装置が実行する処理の概要を示すフローチャートである。

　図１８に示すように、まず、表示制御部３２３は、画像データ記録部３４３が記録する画像データに対応する画像を表示部２０に表示させる（ステップＳ４０１）。この場合、表示制御部３２３は、操作部３７の操作に応じて選択された画像データに対応する画像を表示部２０に表示させる。

　続いて、制御部３２は、視線検出部３０が生成した視線データ及び音声入力部３１が生成した音声データの各々と時間計測部３３によって計測された時間とを対応付けて視線データ記録部３４１及び音声データ記録部３４２に記録する（ステップＳ４０２）。

　その後、変換部３５は、音声データ記録部３４２が記録する音声データを文字情報に変換する（ステップＳ４０３）。なお、このステップは後述のＳ４０６の後に行っても良い。

　続いて、操作部３７から表示部２０が表示する画像の観察を終了する指示信号が入力された場合（ステップＳ４０４：Ｙｅｓ）、情報処理装置１ｃは、後述するステップＳ４０５へ移行する。これに対して、操作部３７から表示部２０が表示する画像の観察を終了する指示信号が入力されていない場合（ステップＳ４０４：Ｎｏ）、情報処理装置１ｃは、ステップＳ４０２へ戻る。

　ステップＳ４０５は、上述した図２のステップＳ１０２に対応する。ステップＳ４０５の後、情報処理装置１ｃは、後述するステップＳ４０６へ移行する。

　ステップＳ４０６において、設定部３８は、所定の時間間隔毎に解析部１１が解析した注視度と抽出部３６によって抽出された文字情報とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度及び変換部３５によって変換された文字情報を割り当てて記録部３４へ記録する。この場合、設定部３８は、抽出部３６によって抽出された文字情報に対応する音声データの重要度の重み付けを行って記録部３４へ記録する。例えば、設定部３８は、重要度に、抽出部３６によって抽出された文字情報に基づく係数を注視度に乗じた値を重要度として音声データに割り当てを行って記録部３４へ記録する。

　その後、注目領域設定部３２３ａは、解析部１１が解析した注視度及び設定部３８が設定した重要度に応じて観察画像に注目領域を設定する（ステップＳ４０７）。

　続いて、生成部３９は、表示部２０が表示する画像データに対応する画像上に、解析部１１が解析した注視度、変換部３５が変換した文字情報、及び注目領域設定部３２３ａが設定した注目領域を関連付けた視線マッピングデータを生成する（ステップＳ４０８）。

　続いて、表示制御部３２３は、生成部３９が生成した視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させる（ステップＳ４０９）。

　図１９は、表示部が表示する視線マッピング画像の一例を示す図である。図１９に示すように、表示制御部３２３は、生成部３９が生成した視線マッピングデータに対応する視線マッピング画像Ｐ４１を表示部２０に表示させる。視線マッピング画像Ｐ４１には、視線の注視領域に対応するマークＭ１１～Ｍ１５及び視線の軌跡Ｋ１が重畳されるとともに、この注視度のタイミングで発せされた音声データの文字情報、及び注目領域設定部３２３ａが設定した注目領域が関連付けられている。また、マークＭ１１～Ｍ１５は、番号が利用者Ｕ１の視線の順番を示し、大きさ（領域）が注視度の大きさを示す。さらに、利用者Ｕ１が操作部３７を操作してカーソルＡ１を所望の位置、例えばマークＭ１４に移動させた場合、マークＭ１４に関連付けられた文字情報Ｑ１、例えば「ここに癌があります。」が表示される。そして、マークＭ１４が示す注目領域は強調表示されている（例えば枠をハイライト表示又は太線で表示）。なお、図１９では、表示制御部３２３が文字情報を表示部２０に表示させているが、例えば文字情報を音声に変換することによって音声データを出力してもよい。これにより、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができる。さらに、利用者Ｕ１の観察時における視線の軌跡を直感的に把握することができる。

　図２０は、表示部が表示する視線マッピング画像の別の一例を示す図である。図２０に示すように、表示制御部３２３は、生成部３９が生成した視線マッピングデータに対応する視線マッピング画像Ｐ４２を表示部２０に表示させる。さらに、表示制御部３２３は、文字情報と、この文字情報が発声された時間とを対応付けたアイコンＢ１～Ｂ５を表示部２０に表示させる。さらに、表示制御部３２３は、注目領域であるマークＭ１４を表示部２０に強調表示するとともに、マークＭ１４の時間に対応する文字情報、例えばアイコンＢ４を表示部２０に強調表示させる（例えば枠をハイライト表示又は太線で表示）。これにより、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができるうえ、発声した際の内容を直感的に把握することができる。

　図１８に戻り、ステップＳ４１０以降の説明を続ける。
　ステップＳ４１０において、類似領域抽出部３２３ｂは、観察画像において注目領域に類似した類似領域を抽出する。具体的には、類似領域抽出部３２３ｂは、画像Ｐ４１又は画像Ｐ４２において、注目領域に類似した領域を類似領域として抽出する。

　その後、表示制御部３２３は、画像Ｐ４１又は画像Ｐ４２上において類似領域抽出部３２３ｂが抽出した類似領域を強調表示した画像を外部の表示部２０に出力する（ステップＳ４１１）。

　続いて、操作部３７によって複数の注視領域に対応するマークのいずれか一つが操作された場合（ステップＳ４１２：Ｙｅｓ）、制御部３２は、操作に応じた動作処理を実行する（ステップＳ４１３）。具体的には、表示制御部３２３は、操作部３７によって選択された注視領域に対応するマークに類似した注目領域を表示部２０に強調表示させる（例えば図８を参照）。また、音声入力制御部３２２は、注視度の高い領域に関連付けられた音声データを音声入力部３１に再生させる。ステップＳ４１３の後、情報処理装置１ｃは、後述するステップＳ４１４へ移行する。

　ステップＳ４１２において、操作部３７によって複数の注視度領域に対応するマークのいずれか一つが操作されていない場合（ステップＳ４１２：Ｎｏ）、情報処理装置１ｃは、後述するステップＳ４１４へ移行する。

　ステップＳ４１４において、操作部３７から観察の終了を指示する指示信号が入力された場合（ステップＳ４１４：Ｙｅｓ）、情報処理装置１ｃは、本処理を終了する。これに対して、操作部３７から観察の終了を指示する指示信号が入力されていない場合（ステップＳ４１４：Ｎｏ）、情報処理装置１ｃは、上述したステップＳ４０９へ戻る。

　以上説明した実施の形態４によれば、注目領域設定部３２３ａが利用者の視線の注視度及び発声に基づいて、利用者が注目している領域である注目領域を設定し、類似領域抽出部３２３ｂが注目領域に類似した類似領域を抽出することにより、利用者が検索したい病変等に似た領域を抽出することができる。その結果、効率よく診断を行うことができるとともに、病変の見落しを防止することができる。

　また、実施の形態４によれば、表示制御部３２３は、生成部３９が生成した視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させるので、画像に対する利用者の観察の見逃し防止の確認、利用者の読影等の技術スキルの確認、他の利用者に対する読影や観察等の教育及びカンファレンス等に用いることができる。

（実施の形態５）
　次に、本開示の実施の形態５について説明する。上述した実施の形態４では、情報処理装置１ｃのみで構成されていたが、実施の形態５では、顕微鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態５に係る顕微鏡システムの構成を説明後、実施の形態５に係る顕微鏡システムが実行する処理について説明する。なお、上述した実施の形態４に係る情報処理装置１ｃと同一の構成には同一の符号を付して詳細な説明は適宜省略する。

　〔顕微鏡システムの構成〕
　図２１は、実施の形態５に係る顕微鏡システムの構成を示す概略図である。図２２は、実施の形態５に係る顕微鏡システムの機能構成を示すブロック図である。

　図２１及び図２２に示すように、顕微鏡システム１００は、情報処理装置１ｄと、表示部２０と、音声入力部３１と、操作部３７と、顕微鏡２００と、撮像部２１０と、視線検出部２２０と、を備える。

　〔顕微鏡の構成〕
　まず、顕微鏡２００の構成について説明する。
　顕微鏡２００は、本体部２０１と、回転部２０２と、昇降部２０３と、レボルバ２０４と、対物レンズ２０５と、倍率検出部２０６と、鏡筒部２０７と、接続部２０８と、接眼部２０９と、を備える。

　本体部２０１は、標本ＳＰが載置される。本体部２０１は、略Ｕ字状をなし、回転部２０２を用いて昇降部２０３が接続される。

　回転部２０２は、利用者Ｕ２の操作に応じて回転することによって、昇降部２０３を垂直方向へ移動させる。

　昇降部２０３は、本体部２０１に対して垂直方向へ移動可能に設けられている。昇降部２０３は、一端側の面にレボルバが接続され、他端側の面に鏡筒部２０７が接続される。

　レボルバ２０４は、互いに倍率が異なる複数の対物レンズ２０５が接続され、光軸Ｌ１に対して回転可能に昇降部２０３に接続される。レボルバ２０４は、利用者Ｕ２の操作に応じて、所望の対物レンズ２０５を光軸Ｌ１上に配置する。なお、複数の対物レンズ２０５には、倍率を示す情報、例えばＩＣチップやラベルが添付されている。なお、ＩＣチップやラベル以外にも、倍率を示す形状を対物レンズ２０５に設けてもよい。

　倍率検出部２０６は、光軸Ｌ１上に配置された対物レンズ２０５の倍率を検出し、この検出した検出結果を情報処理装置１ｃへ出力する。倍率検出部２０６は、例えば対物切り替えのレボルバ２０４の位置を検出する手段を用いて構成される。

　鏡筒部２０７は、対物レンズ２０５によって結像された標本ＳＰの被写体像の一部を接続部２０８に透過するとともに、接眼部２０９へ反射する。鏡筒部２０７は、内部にプリズム、ハーフミラー及びコリメートレンズ等を有する。

　接続部２０８は、一端が鏡筒部２０７と接続され、他端が撮像部２１０と接続される。接続部２０８は、鏡筒部２０７を透過した標本ＳＰの被写体像を撮像部２１０へ導光する。接続部２０８は、複数のコリメートレンズ及び結像レンズ等を用いて構成される。

　接眼部２０９は、鏡筒部２０７によって反射された被写体像を導光して結像する。接眼部２０９は、複数のコリメートレンズ及び結像レンズ等を用いて構成される。

　〔撮像部の構成〕
　次に、撮像部２１０の構成について説明する。
　撮像部２１０は、接続部２０８が結像した標本ＳＰの被写体像を受光することによって画像データを生成し、この画像データを情報処理装置１ｄへ出力する。撮像部２１０は、ＣＭＯＳ又はＣＣＤ等のイメージセンサ及び画像データに対して各種の画像処理を施す画像処理エンジン等を用いて構成される。

　〔視線検出部の構成〕
　次に、視線検出部２２０の構成について説明する。
　視線検出部２２０は、接眼部２０９の内部又は外部に設けられ、利用者Ｕ２の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｄへ出力する。視線検出部２２０は、接眼部２０９の内部に設けられ、近赤外線を照射するＬＥＤ光源と、接眼部２０９の内部に設けられ、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ）と、を用いて構成される。視線検出部２２０は、情報処理装置１ｄの制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ２の角膜に照射し、光学センサが利用者Ｕ２の角膜上の瞳孔点と反射点を撮像することによって生成する。そして、視線検出部２２２は、情報処理装置１ｄの制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ２の瞳孔点と反射点のパターンから利用者の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｄへ出力する。

　〔情報処理装置の構成〕
　次に、情報処理装置１ｄの構成について説明する。
　情報処理装置１ｄは、上述した実施の形態４に係る情報処理装置１ｃの制御部３２、記録部３４及び設定部３８に換えて、制御部３２ｃ、記録部３４ｃ、設定部３８ｃと、を備える。

　制御部３２ｃは、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成され、表示部２０、音声入力部３１、撮像部２１０及び視線検出部２２０を制御する。制御部３２ｃは、上述した実施の形態４の制御部３２の視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３に加えて、撮影制御部３２４及び倍率算出部３２５をさらに備える。

　撮影制御部３２４は、撮像部２１０の動作を制御する。撮影制御部３２４は、撮像部２１０を所定のフレームレートに従って順次撮像させることによって画像データを生成させる。撮影制御部３２４は、撮像部２１０から入力された画像データに対して処理の画像処理（例えば現像処理等）を施して記録部３４ｃへ出力する。

　倍率算出部３２５は、倍率検出部２０６から入力された検出結果に基づいて、現在の顕微鏡２００の観察倍率を算出し、この算出結果を設定部３８ｃへ出力する。例えば、倍率算出部３２５は、倍率検出部２０６から入力された対物レンズ２０５の倍率と接眼部２０９の倍率とに基づいて、現在の顕微鏡２００の観察倍率を算出する。

　記録部３４ｃは、揮発性メモリ、不揮発性メモリ及び記録媒体等を用いて構成される。記録部３４ｃは、上述した実施の形態４に係る画像データ記録部３４３に換えて、画像データ記録部３４５を備える。画像データ記録部３４５は、撮影制御部３２４から入力された画像データを記録し、この画像データを生成部３９へ出力する。

　設定部３８ｃは、所定の時間間隔毎に解析部１１が解析した注視度と倍率算出部３２５が算出した算出結果とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度及び変換部３５によって変換された文字情報を割り当てて記録部３４ｃへ記録する。具体的には、設定部３８ｃは、解析部１１が解析した注視度に、倍率算出部３２５が算出した算出結果に基づく係数を乗じた値を、音声データのフレーム毎の重要度（例えば数値）として割り当てて記録部３４ｃへ記録する。すなわち、設定部３８ｃは、表示倍率が大きいほど重要度が高くなるような処理を行う。設定部３８ｃは、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成される。

　〔顕微鏡システムの処理〕
　次に、顕微鏡システム１００が実行する処理について説明する。図２３は、実施の形態５に係る顕微鏡システムが実行する処理の概要を示すフローチャートである。

　図２３に示すように、まず、制御部３２ｃは、視線検出部３０が生成した視線データ、音声入力部３１が生成した音声データ、及び倍率算出部３２５が算出した観察倍率の各々を時間計測部３３によって計測された時間を対応付けて視線データ記録部３４１及び音声データ記録部３４２に記録する（ステップＳ５０１）。ステップＳ５０１の後、顕微鏡システム１００は、後述するステップＳ５０２へ移行する。

　ステップＳ５０２～ステップＳ５０４は、上述した図１８のステップＳ４０３～ステップＳ４０５それぞれに対応する。ステップＳ５０４の後、顕微鏡システム１００は、ステップＳ５０５へ移行する。

　ステップＳ５０５において、設定部３８ｃは、所定の時間間隔毎に解析部１１が解析した注視度と倍率算出部３２５が算出した算出結果とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度及び変換部３５によって変換された文字情報を割り当てて記録部３４ｃへ記録する。ステップＳ５０５の後、顕微鏡システム１００は、ステップＳ５０６へ移行する。

　ステップＳ５０６～ステップＳ５１３は、上述した図１８のステップＳ４０７～ステップＳ４１４それぞれに対応する。

　以上説明した実施の形態５によれば、観察倍率及び注視度に基づいた重要度が音声データに割り当てられるので、観察内容及び注視度を加味して注目領域を設定し、この注目領域に類似した類似領域を効率的に観察することができるとともに、病変等の見逃しを防止することができる。

　なお、実施の形態５では、倍率算出部３２５が算出した観察倍率を記録部１４に記録していたが、利用者Ｕ２の操作履歴を記録し、この操作履歴をさらに加味して音声データの重要度を割り当ててもよい。

（実施の形態６）
　次に、本開示の実施の形態６について説明する。実施の形態６では、内視鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態６に係る内視鏡システムの構成を説明後、実施の形態６に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態４に係る情報処理装置１ｃと同一の構成には同一の符号を付して詳細な説明は適宜省略する。

　〔内視鏡システムの構成〕
　図２４は、実施の形態６に係る内視鏡システムの構成を示す概略図である。図２５は、実施の形態６に係る内視鏡システムの機能構成を示すブロック図である。

　図２４及び図２５に示す内視鏡システム３００は、表示部２０と、内視鏡４００と、ウェアラブルデバイス５００と、入力部６００と、情報処理装置１ｅと、を備える。

　〔内視鏡の構成〕
　まず、内視鏡４００の構成について説明する。
　内視鏡４００は、医者や術者等の利用者Ｕ３が被検体Ｕ４に挿入することによって、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｅへ出力する。内視鏡４００は、撮像部４０１と、操作部４０２と、を備える。

　撮像部４０１は、内視鏡４００の挿入部の先端部に設けられる。撮像部４０１は、情報処理装置１ｅの制御のもと、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｅへ出力する。撮像部４０１は、観察倍率を変更することができる光学系と、光学系が結像した被写体像を受光することによって画像データを生成するＣＭＯＳやＣＣＤ等のイメージセンサ等を用いて構成される。

　操作部４０２は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｅへ出力する。

　〔ウェアラブルデバイスの構成〕
　次に、ウェアラブルデバイス５００の構成について説明する。
　ウェアラブルデバイス５００は、利用者Ｕ３に装着され、利用者Ｕ３の視線を検出するとともに、利用者Ｕ３の音声の入力を受け付ける。ウェアラブルデバイス５００は、視線検出部５１０と、音声入力部５２０と、を有する。

　視線検出部５１０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の視線の注視度を検出することによって視線データを生成し、この視線データを情報処理装置１ｅへ出力する。視線検出部５１０は、上述した実施の形態５に係る視線検出部２２０と同様の構成を有するため、詳細な構成は省略する。

　音声入力部５２０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の音声の入力を受け付けることによって音声データを生成し、この音声データを情報処理装置１ｅへ出力する。音声入力部５２０は、マイク等を用いて構成される。

　〔入力部の構成〕
　入力部６００の構成について説明する。
　入力部６００は、マウス、キーボード、タッチパネル及び各種のスイッチを用いて構成される。入力部６００は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｅへ出力する。

　〔情報処理装置の構成〕
　次に、情報処理装置１ｅの構成について説明する。
　情報処理装置１ｅは、上述した実施の形態５に係る情報処理装置１ｄの制御部３２ｃ、記録部３４ｃ、設定部３８ｃ、生成部３９に換えて、制御部３２ｄ、記録部３４ｄ、設定部３８ｄ及び生成部３９ｄを備える。さらに、情報処理装置１ｄは、画像処理部４０をさらに備える。

　制御部３２ｄは、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成され、内視鏡４００、ウェアラブルデバイス５００及び表示部２０を制御する。制御部３２ｄは、視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３、撮影制御部３２４に加えて、操作履歴検出部３２６を備える。

　操作履歴検出部３２６は、内視鏡４００の操作部４０２が入力を受け付けた操作の内容を検出し、この検出結果を記録部３４ｄに出力する。具体的には、操作履歴検出部３２６は、内視鏡４００の操作部４０２から拡大スイッチが操作された場合、この操作内容を検出し、この検出結果を記録部３４ｄに出力する。なお、操作履歴検出部３２６は、内視鏡４００を経由して被検体Ｕ４の内部に挿入される処置具の操作内容を検出し、この検出結果を記録部３４ｄに出力してもよい。

　記録部３４ｄは、揮発性メモリ、不揮発性メモリ及び記録媒体等を用いて構成される。記録部３４ｄは、上述した実施の形態５に係る記録部３４ｃの構成に加えて、操作履歴記録部３４６をさらに備える。

　操作履歴記録部３４６は、操作履歴検出部３２６から入力された内視鏡４００の操作部４０２に対する操作の履歴を記録する。

　設定部３８ｄは、所定の時間間隔毎に解析部１１が解析した注視度と操作履歴記録部３４６が記録する操作履歴とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度及び変換部３５によって変換された文字情報を割り当てて記録部３４ｄへ記録する。具体的には、設定部３８ｄは、解析部１１が解析した注視度と操作履歴記録部３４６が記録する操作履歴とに基づいて、音声データのフレーム毎に重要度（例えば数値）を割り当てて記録部３４ｄへ記録する。すなわち、設定部３８ｄは、操作履歴の内容に応じて設定された係数が大きいほど重要度が高くなるような処理を行う。設定部３８ｄは、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成される。

　生成部３９ｄは、画像処理部４０が生成した統合画像データに対応する統合画像上に、解析部１１が解析した注視度及び文字情報を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部３４ｄ及び表示制御部３２３へ出力する。

　画像処理部４０は、画像データ記録部３４５が記録する複数の画像データを合成することによって３次元画像の統合画像データを生成し、この統合画像データを生成部３９ｄへ出力する。

　〔内視鏡システムの処理〕
　次に、内視鏡システム３００が実行する処理について説明する。図２６は、実施の形態６に係る内視鏡システムが実行する処理の概要を示すフローチャートである。

　図２６に示すように、まず、制御部３２ｄは、視線検出部５１０が生成した視線データ、音声入力部５２０が生成した音声データ、及び操作履歴検出部３２６が検出した操作履歴の各々を時間計測部３３によって計測された時間と対応付けて視線データ記録部３４１、音声データ記録部３４２及び操作履歴記録部３４６に記録する（ステップＳ６０１）。ステップＳ６０１の後、内視鏡システム３００は、後述するステップＳ６０２へ移行する。

　ステップＳ６０２～ステップＳ６０４は、上述した図１８のステップＳ４０３～ステップＳ４０５それぞれに対応する。ステップＳ６０４の後、内視鏡システム３００は、ステップＳ６０５へ移行する。

　ステップＳ６０５において、設定部３８ｄは、所定の時間間隔毎に解析部１１が解析した注視度と操作履歴記録部３４６が記録する操作履歴とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度及び変換部３５によって変換された文字情報を割り当てて記録部３４ｄへ記録する。

　続いて、画像処理部４０は、画像データ記録部３４５が記録する複数の画像データを合成することによって３次元画像の統合画像データを生成し、この統合画像データを生成部３９ｄへ出力する（ステップＳ６０６）。図２７は、画像データ記録部３４５が記録する複数の画像データに対応する複数の画像の一例を模式的に示す図である。図２８は、画像処理部が生成する統合画像データに対応する統合画像の一例を示す図である。図２７及び図２８に示すように、画像処理部４０は、時間的に連続する複数の画像データＰ１１～Ｐ_Ｎ（Ｎ＝整数）を合成することによって統合画像データに対応する統合画像Ｐ１００を生成する。

　その後、注目領域設定部３２３ａは、解析部１１が解析した注視度及び設定部３８ｄが設定した重要度に応じて、統合画像データに注目領域を設定する（ステップＳ６０７）。

　続いて、生成部３９ｄは、画像処理部４０が生成した統合画像データに対応する統合画像Ｐ１００上に、解析部１１が解析した注視度、視線、文字情報、及び注目領域を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部３４ｄ及び表示制御部３２３へ出力する（ステップＳ６０８）。この場合、生成部３９ｄは、画像処理部４０が生成した統合画像データに対応する統合画像Ｐ１００上に、解析部１１が解析した注視度、視線Ｋ２、文字情報、注目領域に加えて、操作履歴を関連付けてもよい。ステップＳ６０８の後、内視鏡システム３００は、後述するステップＳ６０９へ移行する。

　ステップＳ６０９において、表示制御部３２３は、画像データに対応する画像上に、注目領域を強調表示した視線マッピングデータを重畳して外部の表示部２０に出力する。具体的には、表示制御部３２３は、画像データＰ１１～Ｐ_Ｎの各画像において、注目領域を強調表示して表示部２０に表示させる。

　続いて、類似領域抽出部３２３ｂは、観察画像において注目領域に類似した類似領域を抽出する（ステップＳ６１０）。具体的には、類似領域抽出部３２３ｂは、画像データＰ１１～Ｐ_Ｎの各画像において、注目領域に類似した特徴量を有する領域を類似領域として抽出する。

　その後、表示制御部３２３は、画像データＰ１１～Ｐ_Ｎの各画像上において類似領域抽出部３２３ｂが抽出した類似領域を強調表示した画像を外部の表示部２０に出力する（ステップＳ６１１）。

　図２９は、実施の形態６に係る表示部が表示する画像の一例を模式的に示す図である。図２９に示すように、表示制御部３２３は、例えば画像データＰ_Ｎにおいて、注目領域Ｍ３１及び類似領域Ｍ３２、Ｍ３３を強調表示した画像を表示部２０に表示させる。さらに、表示制御部３２３は、図２８に示す統合画像Ｐ１００において、注目領域及び類似領域を強調表示した画像を表示部２０に表示させてもよい。図３０は、図２８において類似領域を強調表示した様子を表す図である。図３０に示すように、表示制御部３２３は、例えば統合画像Ｐ１００において、注目領域Ｍ３１及び類似領域Ｍ３２～Ｍ３４を強調表示した画像を表示部２０に表示させる。

　ステップＳ６１２～ステップＳ６１４は、上述した図１８のステップＳ４１２～ステップＳ４１４それぞれに対応する。

　以上説明した実施の形態６によれば、注目領域設定部３２３ａが利用者の視線の注視度及び発声に基づいて、利用者が注目している領域である注目領域を設定し、類似領域抽出部３２３ｂが注目領域に類似した類似領域を抽出することにより、内視鏡システムを用いた観察において、利用者が検索したい病変等に似た領域を抽出することができる。その結果、効率よく診断を行うことができるとともに、病変の見落しを防止することができる。

　なお、実施の形態６では、画像データＰ１１～Ｐ_Ｎ及び統合画像Ｐ１００において類似領域を強調表示させたが、画像データＰ１１～Ｐ_Ｎ又は統合画像Ｐ１００Ｐ_Ｎのいずれか一方において類似領域を強調表示させてもよい。

　また、実施の形態６では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話及び撮像機能を有するタブレット型端末であっても適用することができる。

　また、実施の形態６では、軟性の内視鏡を備えた内視鏡システムであったが、硬性の内視鏡を備えた内視鏡システム、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。

　また、実施の形態６では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、副鼻腔内視鏡及び電気メスや検査プローブ等の内視鏡システムであっても適用することができる。

（その他の実施の形態）
　上述した実施の形態１～６に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１～６に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～６で説明した構成要素を適宜組み合わせてもよい。

　また、実施の形態１～６において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

　また、実施の形態１～６に係る情報処理装置に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

　また、実施の形態１～６に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態１～６に係る情報処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供又は配布するようにしてもよい。

　また、実施の形態１～６では、伝送ケーブルを経由して各種機器から信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。

　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

　さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

　１、１ａ、１ｂ　情報処理システム
　１ｃ、１ｄ、１ｅ、１０、１０ａ、１０ｂ　情報処理装置
　１１　解析部
　１２、１２ｂ、３８　設定部
　１３、３９　生成部
　１４、３４　記録部
　１５、３２３　表示制御部
　１５ａ、３２３ａ　注目領域設定部
　１５ｂ、１５ｂａ、３２３ｂ　類似領域抽出部
　２０　表示部
　２１　記録装置
　３０　視線検出部
　３１　音声入力部
　３２　制御部
　３３　時間計測部
　３５　変換部
　３６　抽出部
　３７　操作部
　１００　顕微鏡システム
　３２１　視線検出制御部
　３２２　音声入力制御部
　３４１　視線データ記録部
　３４２　音声データ記録部
　３４３　画像データ記録部
　３４４　プログラム記録部

Claims

　利用者の視線を検出して外部から入力される視線データに基づいて、観察画像に対する前記利用者の視線の注視度を解析する解析部と、
　外部から入力される前記利用者の音声を表す音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記注視度に応じた重要度を割り当てて、前記音声データ及び前記重要度を記録部へ記録する設定部と、
　前記注視度及び前記重要度に応じて前記観察画像に注目領域を設定する注目領域設定部と、
　を備える情報処理装置。
　前記設定部は、前記注視度と、前記音声データに含まれる重要単語とに応じて前記重要度を割り当てる請求項１に記載の情報処理装置。
　前記観察画像において前記注目領域に類似した領域を抽出する類似領域抽出部をさらに備える請求項１又は２に記載の情報処理装置。
　データベースに格納された画像群において前記注目領域に類似した領域を抽出する類似領域抽出部をさらに備える請求項１～３のいずれか１つに記載の情報処理装置。
　前記利用者の視線を連続的に検出することによって前記視線データを生成する視線検出部と、
　前記利用者の音声の入力を受け付けて前記音声データを生成する音声入力部と、
　をさらに備える請求項１～４のいずれか１つに記載の情報処理装置。
　標本を観察する観察倍率を変更可能であり、前記利用者が前記標本の観察像を観察可能な接眼部を有する顕微鏡と、
　前記顕微鏡に接続され、前記顕微鏡が結像した前記標本の観察像を撮像することによって画像データを生成する撮像部と、
　をさらに備え、
　前記視線検出部は、前記顕微鏡の接眼部に設けられ、
　前記注目領域設定部は、前記観察倍率に応じて前記注目領域を設定する請求項５に記載の情報処理装置。
　被検体に挿入可能な挿入部の先端部に設けられ、被検体内の体内を撮像することによって画像データを生成する撮像部と、
　視野を変更するための各種の操作の入力を受け付ける操作部と、
　を有する内視鏡をさらに備える請求項１～５のいずれか１つに記載の情報処理装置。
　情報処理装置が実行する情報処理方法であって、
　利用者の視線を検出して外部から入力される視線データに基づいて、観察画像に対する前記利用者の視線の注視度を解析し、
　外部から入力される前記利用者の音声を表す音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記注視度に応じた重要度を割り当てて、前記音声データ及び前記重要度を記録部へ記録し、
　前記注視度及び前記重要度に応じて前記観察画像に注目領域を設定する情報処理方法。
　情報処理装置が、
　利用者の視線を検出して外部から入力される視線データに基づいて、観察画像に対する前記利用者の視線の注視度を解析し、
　外部から入力される前記利用者の音声を表す音声データであって、前記視線データと同じ時間軸が対応付けられた音声データに対して、前記注視度に応じた重要度を割り当てて、前記音声データ及び前記重要度を記録部へ記録し、
　前記注視度及び前記重要度に応じて前記観察画像に注目領域を設定するプログラム。