JPWO2020152860A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

情報処理装置は、入力部に対する操作入力に応じて、観察対象を撮像することにより生成した撮像データに含まれる画像の少なくとも一部に対応する視野に応じた画像を表示部に表示させる表示制御部と、前記視野の時間変化を解析して、注視度を算出する解析部と、前記注視度に応じて、前記撮像データに含まれる画像に注目領域を設定する注目領域設定部と、を備える。これにより、画像内において利用者が検索したい領域をハンズフリーで精度よく判別することができる情報処理装置を提供する。

Description

本発明は、撮像データを処理する情報処理装置、情報処理方法、及びプログラムに関する。

従来、１又は複数の画像、又は動画内において利用者が所望する領域を検索する情報処理装置において、利用者の視線を検知し、利用者が注目した注目領域を画像検索に用いる技術が知られている（例えば、特許文献１参照）。この技術によれば、利用者は、視線により注目領域を情報処理装置に入力することができるため、ハンズフリーの状態で注目領域の入力を行うことができる。

米国特許第７５９３６０２号明細書

しかしながら、利用者が画像を観察しながら検索対象とする領域を探している場合、必ずしも利用者が注目した領域と利用者が検索したい領域とが一致しない場合がある。

本発明は、上記に鑑みてなされたものであって、画像内において利用者が検索したい領域をハンズフリーで精度よく判別することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理装置は、入力部に対する操作入力に応じて、観察対象を撮像することにより生成した撮像データに含まれる画像の少なくとも一部に対応する視野に応じた画像を表示部に表示させる表示制御部と、前記視野の時間変化を解析して、注視度を算出する解析部と、前記注視度に応じて、前記撮像データに含まれる画像に注目領域を設定する注目領域設定部と、を備える。

また、本発明の一態様に係る情報処理装置は、前記注視度は、前記表示部における前記視野の表示倍率が増加するにしたがい増加する。

また、本発明の一態様に係る情報処理装置は、前記注視度は、前記表示部における前記視野の停留時間が増加するにしたがい増加する。

また、本発明の一態様に係る情報処理装置は、前記注視度は、前記表示部における前記視野の移動速度が低下するにしたがい増加する。

また、本発明の一態様に係る情報処理装置は、前記撮像データに含まれる画像において、前記注目領域に類似した領域を抽出する類似領域抽出部をさらに備える。

また、本発明の一態様に係る情報処理装置は、前記撮像データは、前記観察対象を撮像することにより生成した１枚の画像である。

また、本発明の一態様に係る情報処理装置は、前記撮像データは、前記観察対象を撮像することにより生成した動画である。

また、本発明の一態様に係る情報処理装置は、前記注目領域設定部は、データベースに格納された前記撮像データに含まれる画像に前記注目領域を設定する。

また、本発明の一態様に係る情報処理装置は、前記撮像データに含まれる画像において、前記注目領域に類似した領域を抽出する類似領域抽出部をさらに備える。

また、本発明の一態様に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、入力部に対する操作入力に応じて、観察対象を撮像することにより生成した撮像データに含まれる画像の少なくとも一部に対応する視野に応じた画像を表示部に表示し、前記視野の時間変化を解析して、注視度を算出し、前記注視度に応じて、前記撮像データに含まれる画像に注目領域を設定する。

また、本発明の一態様に係るプログラムは、情報処理装置が、入力部に対する操作入力に応じて、観察対象を撮像することにより生成した撮像データに含まれる画像の少なくとも一部に対応する視野に応じた画像を表示部に表示し、前記視野の時間変化を解析して、注視度を算出し、前記注視度に応じて、前記撮像データに含まれる画像に注目領域を設定する。

本発明によれば、画像内において利用者が検索したい領域をハンズフリーで精度よく判別することができる情報処理装置、情報処理方法、及びプログラムを実現することができる。

図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。 図２は、実施の形態１に係る情報処理装置が実行する処理の概要を示すフローチャートである。 図３は、観察対象の全体を撮像した画像の一例を示す図である。 図４は、視野を生成する様子を表す図である。 図５は、視野に応じた画像を表示部に表示させる様子を示す図である。 図６は、視野に関する情報の一例を示す図である。 図７は、特徴量により領域を分割した様子を示す図である。 図８は、類似領域を含む視野を強調表示した様子を示す図である。 図９は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。 図１０は、実施の形態２に係る情報処理装置が実行する処理の概要を示すフローチャートである。 図１１は、実施の形態３に係る顕微鏡システムの構成を示す概略図である。 図１２は、実施の形態３に係る情報処理システムの機能構成を示すブロック図である。 図１３は、実施の形態３に係る情報処理装置が実行する処理の概要を示すフローチャートである。 図１４は、視野に関する情報の一例を示す図である。 図１５は、座標位置が変化する様子を表す図である。 図１６は、視野が移動する様子を示す図である。

以下に、図面を参照して本発明に係る情報処理装置、情報処理方法、及びプログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、撮像データを用いて画像検索を行う情報処理装置、情報処理方法、及びプログラム一般に適用することができる。

また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

（実施の形態１）
〔情報処理システムの構成〕
図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図１に示す情報処理システム１は、外部から入力される撮像データに対して各種の処理を行う情報処理装置１０と、情報処理装置１０に関する各種情報の操作入力を受け付ける入力部２０と、情報処理装置１０から出力された各種データを表示する表示部３０と、を備える。なお、情報処理装置１０と入力部２０及び表示部３０とは、無線又は有線によって接続されている。

〔情報処理装置の構成〕
まず、情報処理装置１０の構成について説明する。
図１に示す情報処理装置１０は、例えばサーバやパーソナルコンピュータ等にインストールされたプログラムを用いて実現され、ネットワークを経由して各種データが入力される、又は外部の装置で取得された各種データが入力される。図１に示すように、情報処理装置１０は、表示制御部１１と、記録部１２と、解析部１３と、を備える。

表示制御部１１は、入力部２０に対する操作入力に応じて、観察対象を撮像することにより生成した撮像データに含まれる画像の少なくとも一部に対応する視野に応じた画像を、表示部３０に出力することによって表示させる。視野は、絶対座標及び倍率により決定され、利用者の入力部２０に対する操作に応じて、経時的に変化（時間変化）する。そして、時間変化する視野に関する情報は、順次記録部１２に記録される。

利用形態がＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）の場合、撮像データは、観察対象である顕微鏡のスライドサンプルの全体を撮像することにより生成した１枚の画像である。そして、全体を撮像した画像の一部を視野として利用者が観察しており、時間とともに視野が変化する。この場合、絶対座標とは、画像の所定の１点を基準に表記している座標を指しており、倍率とは、全体を撮像した画像を拡大する割合をさしている。

一方で、利用形態が光学顕微鏡の場合、撮像データは、利用者が観察対象であるスライドサンプルの一部を観察する際の視野を順次録画することにより生成した動画である。この場合、絶対座標とは、スライドサンプルの所定の１点を基準に表記している座標を指しており、倍率とは、スライドサンプルを拡大する割合をさしている。

表示制御部１１は、視野生成部１１ａと、注目領域設定部１１ｂと、類似領域抽出部１１ｃと、を有する。表示制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いて構成される。

視野生成部１１ａは、入力部２０に対する操作入力に基づいて、絶対座標及び倍率を取得する。そして、視野生成部１１ａは、取得した絶対座標及び倍率を用いて、撮像データに含まれる画像から視野を生成する。表示制御部１１は、生成した視野に応じた画像を表示部３０に表示させるとともに、視野に関する情報を記録部１２に記録する。

注目領域設定部１１ｂは、解析部１３が算出した注視度に応じて、撮像データに含まれる画像に注目領域を設定する。具体的には、注目領域設定部１１ｂは、注視度が閾値以上である領域を注目領域に設定する。

類似領域抽出部１１ｃは、解析部１３が算出した注目領域の特徴量に基づいて、注目領域に類似した類似領域を抽出する。具体的には、類似領域抽出部１１ｃは、撮像データに含まれる画像全体から注目領域の特徴量との差が所定の閾値以内である領域を類似領域として抽出する。また、類似領域抽出部１１ｃは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を用いた機械学習によって、撮像データに含まれる画像全体から注目領域に類似している領域を類似領域として抽出してもよい。

記録部１２は、視野記録部１２ａを有する。また、記録部１２は、情報処理装置１０が実行する各種プログラム及び処理中のデータを記録する。記録部１２は、揮発性メモリ、不揮発性メモリ及び記録媒体等を用いて構成される。

視野記録部１２ａは、表示制御部１１から入力された視野に関する情報と、解析部１３が算出した注視度と、を対応付けて記録する。

解析部１３は、視野解析部１３ａと、特徴量解析部１３ｂと、を有する。解析部１３は、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成される。なお、上述した表示制御部１１及び解析部１３をＣＰＵ、ＦＰＧＡ及びＧＰＵのいずれか１つを用いて各機能が発揮できるように構成してもよいし、もちろん、ＣＰＵ、ＦＰＧＡ及びＧＰＵを組み合わせて各機能が発揮できるように構成してもよい。

視野解析部１３ａは、視野の時間変化を解析して、注視度を算出する。視野解析部１３ａは、利用者が時間をかけて観察した視野を注視度が高いと判定する。具体的には、注視度は、表示部３０における視野の表示倍率が増加するにしたがい増加する。また、注視度は、表示部３０における視野の停留時間が増加するにしたがい増加する。さらに、注視度は、表示部３０における視野の移動速度が低下するにしたがい増加する。

特徴量解析部１３ｂは、注目領域の色味や形状等の組織性状に基づいた特徴量を算出する。

〔入力部の構成〕
次に、入力部２０の構成について説明する。
入力部２０は、マウス、キーボード、タッチパネル及び各種のスイッチを用いて構成される。また、利用形態が顕微鏡の場合、入力部２０は、顕微鏡の観察位置を操作するステージや、観察光路上に配置される対物レンズを切り換えて倍率を変更するレボルバ等を含む。この入力部２０は、利用者による各種の操作入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１０へ出力する。

〔表示部の構成〕
次に、表示部３０の構成について説明する。
表示部３０は、表示制御部１１から入力された視野に応じた画像や各種情報を表示する。表示部３０は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）や液晶等の表示モニタを用いて構成される。

〔情報処理装置の処理〕
次に、情報処理装置１０の処理について説明する。図２は、情報処理装置１０が実行する処理について説明する。以下においては、利用形態がＷＳＩである場合について説明する。図３は、観察対象の全体を撮像した画像の一例を示す図である。利用者は、入力部２０に対して操作を行うことにより、図３に示す画像Ｐ１の一部を観察する。

図２に示すように、まず、情報処理装置１０は、外部から撮像データである画像Ｐ１のデータを取得する（ステップＳ１）。

続いて、視野生成部１１ａは、入力部２０に対する操作入力に基づいて、視野を生成する（ステップＳ２）。図４は、視野を生成する様子を表す図である。図４に示すように、視野生成部１１ａは、入力部２０に対する操作入力に基づいて、画像Ｐ１内に時間経過とともに視野Ａ１〜Ａ６を生成する。

すると、表示制御部１１は、視野に応じた画像を表示部３０に表示させるとともに、視野に関する情報を記録部１２に記録する（ステップＳ３）。図５は、視野に応じた画像を表示部に表示させる様子を示す図である。図５に示すように、表示制御部１１は、例えば視野生成部１１ａが生成した視野Ａ４に応じた画像を表示部３０に表示させる。

その後、視野解析部１３ａは、記録部１２の視野記録部１２ａに記録された視野の時間変化を解析し、注視度を算出する（ステップＳ４）。図６は、視野に関する情報の一例を示す図である。図６の横軸は時間であり、図６は、視野に関する情報の時間変化を表している。線Ｌ１（実線）の縦軸は、視野の停留時間であり、視野が１箇所に停留する時間が長いほど値が大きくなる。一方、利用者が入力部２０を操作して視野が変更される（観察している位置が移動する）と、値がリセットされ、ゼロになる。線Ｌ２（破線）の縦軸は、視野の倍率であり、利用者の入力部２０に対する操作に応じて２倍〜２０倍の間で変更される。そして、視野解析部１３ａは、視野の停留時間に応じて定まる値と、視野の倍率に応じて定まる値との和又は積によって注視度を算出する。

続いて、注目領域設定部１１ｂは、視野解析部１３ａが算出した注視度に応じて、撮像データに含まれる画像に注目領域を設定する（ステップＳ５）。注目領域設定部１１ｂは、例えば、視野の停留時間が１０秒以上であり、かつ視野の倍率が１０倍以上である時点（図６の時間ｔ＝ｔ１及びｔ２）で利用者が観察している視野を注目領域として設定する。ここでは、例えば図５に図示する視野Ａ４が注目領域に設定されたとする。

その後、特徴量解析部１３ｂは、注目領域設定部１１ｂが設定した注目領域である視野Ａ４の特徴量を算出する（ステップＳ６）。具体的には、特徴量解析部１３ｂは、予め画像Ｐ１の単位領域（例えば画素）毎の特徴量を算出し、画像Ｐ１を特徴量が類似する領域に分割する。図７は、特徴量により領域を分割した様子を示す図である。図７に示す画像Ｐ２のように、特徴量解析部１３ｂは、特徴量に応じて画像Ｐ１を分割する。そして、特徴量解析部１３ｂは、注目領域である視野Ａ４の特徴量を算出する。特徴量解析部１３ｂは、図５に示す視野Ａ４全体の特徴量を算出してもよいし、視野Ａ４に含まれている特徴部分Ａ４１の特徴量を算出してもよい。なお、特徴部分Ａ４１は、特徴量解析部１３ｂが分割した領域の１つに対応する領域であり、特徴量が類似する領域である。

続いて、類似領域抽出部１１ｃは、特徴量解析部１３ｂが算出した注目領域である視野Ａ４の特徴量に基づいて、注目領域に類似する類似領域を抽出する（ステップＳ７）。具体的には、類似領域抽出部１１ｃは、特徴量解析部１３ｂが分割した領域から視野Ａ４又は特徴部分Ａ４１と類似した特徴量を有する領域Ａ４２〜Ａ４６を抽出する。さらに、類似領域抽出部１１ｃは、この領域Ａ４２〜Ａ４６を含む領域を類似領域として設定する。

そして、表示制御部１１は、利用者の入力部２０に対する操作入力に応じて、類似領域抽出部１１ｃが抽出した類似領域を表示部３０に表示させる（ステップＳ８）。図８は、類似領域を含む視野を強調表示した様子を示す図である。まず、表示制御部１１は、図８に示すように、領域Ａ４２〜Ａ４６をそれぞれ含む類似領域である視野Ａ１１〜Ａ１５を強調表示させる。そして、表示制御部１１は、利用者が入力部２０に対して操作を行い、視野Ａ１１〜Ａ１５のいずれかを選択すると、選択された視野を表示部３０に拡大表示させる。

その後、入力部２０から観察の終了を指示する指示信号が入力された場合（ステップＳ９：Ｙｅｓ）、情報処理装置１０は、本処理を終了する。これに対して、入力部２０から観察の終了を指示する指示信号が入力されていない場合（ステップＳ９：Ｎｏ）、情報処理装置１０は、上述したステップＳ９へ戻り、利用者の操作に応じた類似領域を表示部３０に表示させる。

以上説明した実施の形態１によれば、注目領域設定部１１ｂが、視野の停留時間及び倍率に基づいて定まる注視度に基づいて、利用者が注目している領域である注目領域を設定する。その結果、撮像データ内において利用者が検索したい領域をハンズフリーで精度よく判別することができる。さらに、実施の形態１によれば、類似領域抽出部１１ｃが注目領域に類似した類似領域を抽出することにより、利用者が検索したい病変等に似た領域を抽出することができる。その結果、効率よく診断を行うことができるとともに、病変の見落しを防止することができる。

なお、上述した実施の形態１では、注目領域に類似した類似領域を抽出する例を示したがこれに限られない。表示制御部１１は、例えば注目領域に関連する関連領域を抽出して表示部３０に表示させてもよい。関連領域は、例えば注目領域に対応する病変が発見された場合に、その患者が併発している可能性が高い他の病変に対応する領域である。これらの病変の対応関係は、過去の症例から関連づけることができ、各病変部の特徴量とともに記録部１２に記録しておくことにより、利用者は、関連領域を効率よく診断するとともに、関連領域の見落としを防止することができる。

また、実施の形態１では、記録部１２が撮像データに視野と注視度と関連づけて記録するので、ディープラーニング等の機械学習で用いる際の学習データを容易に取得することができる。

（実施の形態２）
次に、本開示の実施の形態２について説明する。上述した実施の形態１では、外部から入力された撮像データに対して注目領域及び類似領域を抽出したが、実施の形態２では、データベースに格納された撮像データにおいて注目領域及び類似領域を抽出する。以下においては、実施の形態２に係る情報処理システムの構成を説明後、実施の形態２に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システムと同一の構成には同一の符号を付して詳細な説明は、省略する。

〔情報処理システムの構成〕
図９は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。図９に示す情報処理システム１ａは、記録装置４０に接続されている。

記録装置４０は、例えばインターネット回線を介在して接続されたサーバである。記録装置４０には、撮像データが格納されたデータベースが構築されている。

注目領域設定部１１ｂは、記録装置４０のデータベースに格納された撮像データに注目領域を設定する。同様に、類似領域抽出部１１ｃは、記録装置４０のデータベースに格納された撮像データに注目領域に類似した領域を抽出する。

〔情報処理装置の処理〕
次に、情報処理システム１ａの情報処理装置１０が実行する処理について説明する。図１０は、実施の形態２に係る情報処理装置が実行する処理の概要を示すフローチャートである。図１０に示すように、まず、情報処理装置１０は、記録装置４０から撮像データである画像Ｐ１のデータを取得する（ステップＳ１１）。

その後、ステップＳ１２〜ステップＳ１９は、上述した図２のステップＳ２〜ステップＳ９それぞれに対応する。ただし、ステップＳ１５において、注目領域設定部１１ｂは、記録装置４０のデータベースに格納された撮像データに注目領域を設定する。また、ステップＳ１７も同様に、類似領域抽出部１１ｃは、記録装置４０のデータベースに格納された撮像データに注目領域に類似した領域を抽出する。

以上説明した実施の形態２によれば、予め撮像されてデータベースに格納された撮像データにおいて、利用者が検索したい領域をハンズフリーで精度よく判別することができる。さらに、実施の形態２によれば、予め撮像されてデータベースに格納された撮像データから病変等を探す場合に、注視した病変部と類似する領域を含む画像が自動的に抽出されるため、効率よく診断を行うことができるとともに、病変の見落としを防止することができる。

（実施の形態３）
次に、本開示の実施の形態３について説明する。上述した実施の形態１では、情報処理装置１０のみで構成されていたが、実施の形態３では、顕微鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態３に係る顕微鏡システムの構成を説明後、実施の形態３に係る顕微鏡システムが実行する処理について説明する。なお、上述した実施の形態１に係る情報処理装置１０と同一の構成には同一の符号を付して詳細な説明は適宜省略する。

〔顕微鏡システムの構成〕
図１１は、実施の形態３に係る顕微鏡システムの構成を示す概略図である。図１２は、実施の形態３に係る情報処理システムの機能構成を示すブロック図である。

図１１及び図１２に示すように、顕微鏡システム１００は、情報処理装置１ｂと、入力部２０と、表示部３０と、顕微鏡２００と、を備える。

〔顕微鏡の構成〕
まず、顕微鏡２００の構成について説明する。
顕微鏡２００は、本体部２０１と、回転部２０２と、昇降部２０３と、ステージ２０４と、レボルバ２０５と、対物レンズ２０６と、倍率検出部２０７と、鏡筒部２０８と、接続部２０９と、接眼部２１０と、撮像部２１１と、を備える。

本体部２０１は、標本ＳＰが載置される。本体部２０１は、略Ｕ字状をなし、回転部２０２を用いて昇降部２０３が接続される。

回転部２０２は、利用者Ｕの操作に応じて回転することによって、昇降部２０３を垂直方向へ移動させる。

昇降部２０３は、本体部２０１に対して垂直方向へ移動可能に設けられている。昇降部２０３は、一端側の面にレボルバが接続され、他端側の面に鏡筒部２０８が接続される。

ステージ２０４は、利用者Ｕの操作に応じて、標本ＳＰと対物レンズ２０６との相対的な位置を移動させることにより、視野を変化させる操作を受け付ける。

レボルバ２０５は、互いに倍率が異なる複数の対物レンズ２０６が接続され、光軸Ｌ１に対して回転可能に昇降部２０３に接続される。レボルバ２０５は、利用者Ｕの操作に応じて、所望の対物レンズ２０６を光軸Ｌ１上に配置する。なお、複数の対物レンズ２０６には、倍率を示す情報、例えばＩＣチップやラベルが添付されている。なお、ＩＣチップやラベル以外にも、倍率を示す形状を対物レンズ２０６に設けてもよい。

倍率検出部２０７は、光軸Ｌ１上に配置された対物レンズ２０６の倍率を検出し、この検出した検出結果を情報処理装置１ｂへ出力する。倍率検出部２０７は、例えば対物切り替えのレボルバ２０５の位置を検出する手段を用いて構成される。

鏡筒部２０８は、対物レンズ２０６によって結像された標本ＳＰの被写体像の一部を接続部２０９に透過するとともに、接眼部２１０へ反射する。鏡筒部２０８は、内部にプリズム、ハーフミラー及びコリメートレンズ等を有する。

接続部２０９は、一端が鏡筒部２０８と接続され、他端が撮像部２１１と接続される。接続部２０９は、鏡筒部２０８を透過した標本ＳＰの被写体像を撮像部２１１へ導光する。接続部２０９は、複数のコリメートレンズ及び結像レンズ等を用いて構成される。

接眼部２１０は、鏡筒部２０８によって反射された被写体像を導光して結像する。接眼部２１０は、複数のコリメートレンズ及び結像レンズ等を用いて構成される。

撮像部２１１は、接続部２０９が結像した標本ＳＰの被写体像を受光することによって画像データを生成し、この画像データを情報処理装置１ｂへ出力する。撮像部２１１は、ＣＭＯＳ又はＣＣＤ等のイメージセンサ及び画像データに対して各種の画像処理を施す画像処理エンジン等を用いて構成される。

〔情報処理装置の構成〕
次に、情報処理装置１ｂの構成について説明する。
情報処理装置１ｂは、上述した実施の形態１に係る情報処理装置１０の表示制御部１１、記録部１２及び入力部２０に換えて、制御部４１ｂ、記録部４２ｂ及び入力部２０ｂを備える。また、情報処理装置１ｂは、時間計測部４３ｂを備える。

制御部４１ｂは、ＣＰＵ、ＦＰＧＡ及びＧＰＵ等を用いて構成され、表示部３０、及び撮像部２１１を制御する。制御部４１ｂは、表示制御部４１１、及び撮影制御部４１２をさらに備える。

表示制御部４１１は、表示部３０の表示態様を制御する。表示制御部４１１は、視野生成部４１１ａと、注目領域設定部４１１ｂと、類似領域抽出部４１１ｃと、を有する。

視野生成部４１１ａは、入力部２０ｂに対する操作入力に基づいて、撮像部２１１が撮像した画像から視野を生成する。

注目領域設定部４１１ｂは、解析部１３が算出した注視度に応じて、撮像部２１１が撮像した画像に注目領域を設定する。

類似領域抽出部４１１ｃは、撮像部２１１が撮像した画像に注目領域に類似した類似領域を抽出する。

撮影制御部４１２は、撮像部２１１の動作を制御する。撮影制御部４１２は、撮像部２１１を所定のフレームレートに従って順次撮像させることによって画像データを生成させる。撮影制御部４１２は、撮像部２１１から入力された画像データに対して処理の画像処理（例えば現像処理等）を施して記録部４２ｂへ出力する。

記録部４２ｂは、揮発性メモリ、不揮発性メモリ及び記録媒体等を用いて構成される。記録部４２ｂは、画像データ記録部４２１、視野記録部４２２、及びプログラム記録部４２３をさらに備える。

画像データ記録部４２１は、撮影制御部４１２から入力された画像データを記録し、この画像データを表示制御部４１１へ出力する。

視野記録部４２２は、表示制御部４１１から入力された視野に関する情報と、解析部１３が算出した注視度と、を対応付けて記録する。

プログラム記録部４２３は、情報処理装置１ｂが実行する各種プログラム、各種プログラムの実行中に使用するデータ、及び各種プログラムの実行中の処理データを記録する。

時間計測部４３ｂは、タイマーやクロックジェネレータ等を用いて構成され、撮像部２１１が撮像した画像、及び視野生成部４１１ａが生成した視野に関する情報等に対して時刻情報を付与する。

入力部２０ｂは、マウス、キーボード、タッチパネル及び各種のスイッチを用いて構成される。また、入力部２０ｂは、顕微鏡２００の視野を移動する操作を受け付けるステージ２０４や、顕微鏡２００の倍率を変更するレボルバ２０５等を含む。この入力部２０ｂは、利用者Ｕが顕微鏡２００の視野を変更する操作を含む利用者Ｕによる各種の操作入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｂへ出力する。

〔顕微鏡システムの処理〕
次に、顕微鏡システム１００が実行する処理について説明する。図１３は、実施の形態３に係る情報処理装置が実行する処理の概要を示すフローチャートである。

図１３に示すように、まず、表示制御部４１１は、視野生成部４１１ａが生成した視野に応じた画像を表示部３０に表示させる（ステップＳ２１）。なお、顕微鏡システム１００は、視野に対応する動画を撮像し、これを撮像データとして記録部４２ｂに順次記録する。

さらに、表示制御部４１１は、視野生成部４１１ａが生成した視野に時間計測部４３ｂによって計測された時間を対応付けて視野記録部４２２に記録する（ステップＳ２２）。

続いて、入力部２０ｂから表示部３０が表示する画像の観察を終了する指示信号が入力された場合（ステップＳ２３：Ｙｅｓ）、顕微鏡システム１００は、後述するステップＳ２４へ移行する。これに対して、入力部２０ｂから表示部３０が表示する画像の観察を終了する指示信号が入力されていない場合（ステップＳ２３：Ｎｏ）、顕微鏡システム１００は、ステップＳ２１へ戻る。

その後、視野解析部１３ａは、記録部４２ｂの視野記録部４２２に記録された視野の時間変化を解析し、注視度を算出する（ステップＳ２４）。図１４は、視野に関する情報の一例を示す図である。図１４の横軸は時間であり、図１４は、視野に関する情報の時間変化を表している。線（実線）Ｌ１１の縦軸は、視野の停留時間であり、視野が１箇所に停留する時間が長いほど値が大きくなる。一方、利用者が入力部２０ｂを操作して視野が変更される（観察している位置が移動する）と、値がリセットされ、ゼロになる。線（太い破線）Ｌ１２の縦軸は、視野の倍率であり、利用者の入力部２０ｂに対する操作に応じて２倍〜２０倍の間で変更される。そして、視野解析部１３ａは、視野の停留時間に応じて定まる値と、視野の倍率に応じて定まる値との和又は積によって注視度を算出する。

図１５は、座標位置が変化する様子を表す図である。図１６は、視野が移動する様子を示す図である。図１５の線（長破線）Ｌ１３の縦軸は、ｘ方向（横方向）の位置を表し、図１６の右側に行くほど値が大きくなる。同様に、線（短破線）Ｌ１４の縦軸は、ｙ方向（縦方向）の座標を表し、図１６の上側に行くほど値が大きくなる。図１５の時間Ｂ１〜Ｂ５において、図１６に示す矢印Ｃ１〜Ｃ５のように、観察対象Ｏに対する視野が変化する。なお、ｘ方向の位置及びｙ方向の位置は、利用者の入力部２０ｂに対する操作に応じて、制御部４１ｂがステージ２０４の位置を制御することにより変化する。

続いて、注目領域設定部４１１ｂは、視野解析部１３ａが算出した注視度に応じて、撮像データである動画に含まれる画像に注目領域を設定する（ステップＳ２５）。注目領域設定部４１１ｂは、例えば、視野の停留時間が１０秒以上であり、かつ視野の倍率が１０倍以上である時点（図１４の時間ｔ＝ｔ１１及びｔ１２）で利用者が観察している視野を注目領域として設定する。

ステップＳ２６において、表示制御部４１１は、注目領域設定部４１１ｂが設定した注目領域を強調表示した画像を表示部３０に表示させる（ステップＳ２６）。

その後、特徴量解析部１３ｂは、注目領域設定部４１１ｂが設定した注目領域の特徴量を算出する（ステップＳ２７）。特徴量解析部１３ｂは、ステップＳ６と同様に、撮像データである動画を合成した合成画像の単位領域（例えば画素）毎の特徴量を算出し、この合成画像を特徴量が類似する領域に分割してもよい。

続いて、類似領域抽出部４１１ｃは、特徴量解析部１３ｂが算出した注目領域の特徴量に基づいて、注目領域に類似する類似領域を抽出する（ステップＳ２８）。具体的には、類似領域抽出部４１１ｃは、合成画像から注目領域に特徴量が類似した領域を類似領域として抽出する。

続いて、表示制御部４１１は、類似領域抽出部４１１ｃが抽出した類似領域を例えば強調線により強調表示した画像を表示部３０に表示させる（ステップＳ２９）。

続いて、入力部２０ｂによって類似領域に対応する強調線のいずれか一つが操作された場合（ステップＳ３０：Ｙｅｓ）、制御部４１ｂは、操作に応じた動作処理を実行する（ステップＳ３１）。具体的には、表示制御部４１１は、入力部２０ｂによって選択された強調線に対応する類似領域を表示部３０に拡大表示させる。ステップＳ３１の後、顕微鏡システム１００は、後述するステップＳ３２へ移行する。

ステップＳ３０において、入力部２０ｂによって類似領域に対応する強調線のいずれか一つが操作されていない場合（ステップＳ３０：Ｎｏ）、顕微鏡システム１００情は、後述するステップＳ３２へ移行する。

ステップＳ３２において、入力部２０ｂから観察の終了を指示する指示信号が入力された場合（ステップＳ３２：Ｙｅｓ）、顕微鏡システム１００は、本処理を終了する。これに対して、入力部２０ｂから観察の終了を指示する指示信号が入力されていない場合（ステップＳ３２：Ｎｏ）、顕微鏡システム１００は、上述したステップＳ２６へ戻る。

以上説明した実施の形態３によれば、顕微鏡システム１００が撮像した動画において、注視度に基づいて注目領域を設定し、この注目領域に類似した類似領域を効率的に観察することができるとともに、病変等の見逃しを防止することができる。

（その他の実施の形態）
上述した実施の形態１〜３に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１〜３に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１〜３で説明した構成要素を適宜組み合わせてもよい。

また、実施の形態１〜３において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

また、実施の形態１〜３に係る情報処理装置に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１〜３に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態１〜３に係る情報処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供又は配布するようにしてもよい。

また、実施の形態１〜３では、伝送ケーブルを経由して各種機器から信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

１、１ａ、１ｂ 情報処理システム
１０ 情報処理装置
１１、４１１ 表示制御部
１１ａ、４１１ａ 視野生成部
１１ｂ、４１１ｂ 注目領域設定部
１１ｃ、４１１ｃ 類似領域抽出部
１２、４２ｂ 記録部
１２ａ、４２２ 視野記録部
１３ 解析部
１３ａ 視野解析部
１３ｂ 特徴量解析部 ２０、２０ｂ 入力部
３０ 表示部
４０ 記録装置
４１ｂ 制御部
４３ｂ 時間計測部
１００ 顕微鏡システム
２００ 顕微鏡
２０１ 本体部
２０２ 回転部
２０３ 昇降部
２０４ ステージ
２０５ レボルバ
２０６ 対物レンズ
２０７ 倍率検出部
２０８ 鏡筒部
２０９ 接続部
２１０ 接眼部
２１１ 撮像部
４１２ 撮影制御部
４２１ 画像データ記録部
４２３ プログラム記録部

Claims (10)

1. 入力部に対する操作入力に応じて、観察対象を撮像することにより生成した撮像データに含まれる画像の少なくとも一部に対応する視野に応じた画像を表示部に表示させる表示制御部と、
   前記視野の時間変化を解析して、注視度を算出する解析部と、
   前記注視度に応じて、前記撮像データに含まれる画像に注目領域を設定する注目領域設定部と、
   を備える情報処理装置。
2. 前記注視度は、前記表示部における前記視野の表示倍率が増加するにしたがい増加する請求項１に記載の情報処理装置。
3. 前記注視度は、前記表示部における前記視野の停留時間が増加するにしたがい増加する請求項１又は２に記載の情報処理装置。
4. 前記注視度は、前記表示部における前記視野の移動速度が低下するにしたがい増加する請求項１〜３のいずれか１つに記載の情報処理装置。
5. 前記撮像データに含まれる画像において、前記注目領域に類似した領域を抽出する類似領域抽出部をさらに備える請求項１〜４のいずれか１つに記載の情報処理装置。
6. 前記撮像データは、前記観察対象を撮像することにより生成した１枚の画像である請求項１〜５のいずれか１つに記載の情報処理装置。
7. 前記撮像データは、前記観察対象を撮像することにより生成した動画である請求項１〜５のいずれか１つに記載の情報処理装置。
8. 前記注目領域設定部は、データベースに格納された前記撮像データに含まれる画像に前記注目領域を設定する請求項１〜７のいずれか１つに記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法であって、
   入力部に対する操作入力に応じて、観察対象を撮像することにより生成した撮像データに含まれる画像の少なくとも一部に対応する視野に応じた画像を表示部に表示し、
   前記視野の時間変化を解析して、注視度を算出し、
   前記注視度に応じて、前記撮像データに含まれる画像に注目領域を設定する情報処理方法。
10. 情報処理装置が、
    入力部に対する操作入力に応じて、観察対象を撮像することにより生成した撮像データに含まれる画像の少なくとも一部に対応する視野に応じた画像を表示部に表示し、
    前記視野の時間変化を解析して、注視度を算出し、
    前記注視度に応じて、前記撮像データに含まれる画像に注目領域を設定するプログラム。

Images