JP6834184B2 - 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、プログラム及び医療用観察システムに関する。

近年、医療分野において、医療用内視鏡や医療用顕微鏡といった各種の医療用観察機器が用いられるようになってきた。また、特に医療用内視鏡においては、以下の特許文献１に開示されているように、通常の可視光帯域での観察画像に加えて、特定の波長帯域の光を照射して観察部位を撮像することで特定の波長帯域での分光画像を生成し、表示画面に分光画像を表示させる試みがなされている。

特開２０１２−８１０８７号公報

しかしながら、上記特許文献１に開示されているような医療用内視鏡において、表示画面に表示させる画像の選択が医療用内視鏡の操作者の判断にゆだねられているために、より適切な画像が存在しているにも関わらず操作者がその旨に気付かないことによって、内視鏡観察下での作業の効率化を図ることができない場合がある。

また、上記のような事情は、医療用内視鏡による観察下のみならず、医療用顕微鏡による観察下において作業を行う場合にも生じうることである。

そこで、本開示では、上記事情に鑑みて、医療用観察機器を用いた作業時に、より適切な生体観察画像を使用者に推奨することが可能な、情報処理装置、情報処理方法プログラム及び医療用観察システムを提案する。

本開示によれば、生体の内部を観察する医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨部を備える、情報処理装置が提供される。

また、本開示によれば、生体の内部を観察する医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定することを含む、情報処理方法が提供される。

また、本開示によれば、生体の内部を観察し、複数の波長帯域で前記生体を撮像することで生成される複数の生体画像を生成する医療用観察機器と相互に通信可能なコンピュータに、前記複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨機能を実現させるためのプログラムが提供される。

また、本開示によれば、生体の内部を観察し、複数の波長帯域で前記生体を撮像することで複数の生体画像を生成する医療用観察機器と、前記医療用観察機器により生成された前記複数の生体画像と、前記生体画像の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨部を有する情報処理装置と、を備える、医療用観察システムが提供される。

本開示によれば、生体の内部を観察する医療用観察機器が複数の波長帯域で生体を撮像することで生成された複数の生体画像と、生体の内部を観察する際の状況に関する状況情報と、に基づいて、複数の生体画像の少なくとも１つ、又は、複数の生体画像から生成される画像の少なくとも何れかが、状況に応じた推奨画像として決定される。

以上説明したように本開示によれば、医療用観察機器を用いた作業時に、より適切な生体観察画像を使用者に推奨することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る医療用観察システムの全体構成を模式的に示した説明図である。 同実施形態に係る医療用観察機器が有する撮像ユニットの一例を模式的に示した説明図である。 同実施形態に係る医療用観察機器が有する撮像ユニットの一例を模式的に示した説明図である。 同実施形態に係る医療用観察機器が有する撮像ユニットの一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の構成の一例を模式的に示したブロック図である。 同実施形態に係る情報処理装置が有する画像推奨処理部の構成の一例を模式的に示したブロック図である。 同実施形態に係る情報処理装置が有する状況特定データベースについて説明するための説明図である。 生体組織中の主な物質の吸収スペクトルの一例を示した説明図である。 同実施形態に係る情報処理装置が有する推奨画像データベースについて説明するための説明図である。 同実施形態に係る情報処理装置における表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置における表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 同実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．医療用観察システムの全体構成について
１．２．医療用観察機器の構成について
１．３．情報処理装置の構成について
１．４．情報処理方法について
１．５．ハードウェア構成について

（実施形態）
＜医療用観察システムの全体構成について＞
まず、図１を参照しながら、本開示の実施形態に係る医療用観察システム１の全体構成について、簡単に説明する。図１は、本実施形態に係る医療用観察システム１の全体構成を模式的に示した説明図である。

本実施形態に係る医療用観察システム１は、図１に示したように、生体の内部を観察するための医療用観察機器１０と、情報処理装置２０と、を有している。

医療用観察機器１０は、その一部が生体Ｓの内部へと挿入されたり、生体Ｓの内部器官の近傍へと配置されたりすることで、生体Ｓの内部を観察する医療用の機器である。このような医療用観察機器１０として、例えば、硬性内視鏡、軟性内視鏡、関節鏡等といった各種の内視鏡装置、及び、各種の顕微鏡装置を挙げることができる。

本実施形態に係る医療用観察機器１０は、観察対象とする生体Ｓの部位に対して所定の観察光を照射するとともに、観察光の照射された生体Ｓの部位を撮像することで、可視光帯域（波長４００ｎｍ〜波長８００ｎｍ程度の範囲に該当する帯域）での生体の撮像画像を含む複数の生体画像を生成する。

かかる生体画像には、上記の可視光帯域での生体の撮像画像以外に、例えば、近赤外帯域（波長８００ｎｍ程度〜波長２．５μｍ程度の範囲に該当する帯域）での生体の撮像画像や、紫外線帯域での生体の撮像画像など、各種の波長帯域での生体の撮像画像が含まれていてもよい。また、生体画像には、例えば、超音波を用いて生体を観察した場合の画像や、光コヒーレンストモグラフィ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ：ＯＣＴ）法により生体を観察した場合の画像など、その他の生体の撮像画像が含まれていてもよい。

医療用観察機器１０により生成された、可視光帯域での生体の撮像画像を含む複数の生体画像は、医療用観察機器１０に有線又は無線で接続されたディスプレイ等の表示装置に随時表示されるほか、以下で詳述する、本実施形態に係る情報処理装置２０へと出力される。

かかる医療用観察機器１０の詳細な構成については、以下で改めて説明する。

本実施形態に係る情報処理装置２０は、医療用観察機器１０により生成された撮像画像について解析を行い、作業に際してより適切な画像を推奨画像として決定した上で、かかる推奨画像を医療用観察機器１０の使用者（例えば、手術を行っている医師等）に推奨する。これにより、本実施形態に係る情報処理装置２０では、使用者が生体の内部を観察する際の状況を把握し、状況に応じた観察画像を、推奨画像として医療用観察機器１０の使用者に推奨することができる。その結果、医療用観察機器１０の使用者は、実施している作業を継続するうえで、より適切な観察画像となりうるものが存在している旨を気付くことができ、医療用観察機器下での作業の効率化を図ることが可能となる。

かかる情報処理装置２０の詳細な構成については、以下で改めて説明する。

なお、図１では、本実施形態に係る医療用観察機器１０と情報処理装置２０とが異なる装置として存在する場合について記載されているが、以下で詳述する情報処理装置２０の機能は、医療用観察機器１０の一機能として実現されてもよいことは言うまでもない。

＜医療用観察機器１０の構成について＞
続いて、図１〜図２Ｃを参照しながら、本実施形態に係る医療用観察機器１０の詳細な構成について、簡単に説明する。図２Ａ〜図２Ｃは、本実施形態に係る医療用観察機器が有する撮像ユニットの一例を模式的に示した説明図である。

本実施形態に係る医療用観察機器１０は、先だって言及したように、その一部が生体Ｓの内部へと挿入されたり、生体Ｓの内部器官の近傍へと配置されたりすることで、生体Ｓの内部を観察する医療用の機器である。この医療用観察機器１０は、図１に模式的に示したように、制御ユニット１０１と、観察ユニット１０３と、光源ユニット１０５と、撮像ユニット１０７と、表示ユニット１０９と、を主に有している。

制御ユニット１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により実現される。制御ユニット１０１は、医療用観察機器１０の全体的な機能を統括して制御するユニットであり、医療用観察機器１０を構成する観察ユニット１０３、光源ユニット１０５、撮像ユニット１０７、及び、表示ユニット１０９の稼働状態を一括して制御する。かかる制御ユニット１０１は、例えば、医療用内視鏡装置や医療用顕微鏡装置のカメラコントロールユニット（ＣＣＵ）に該当するユニットである。また、制御ユニット１０１は、医療用観察機器１０を構成する各ユニットに設定されている設定条件に関する情報や、医療用観察機器１０を構成する各ユニットの稼働状態に関する情報等のような各種の情報を、任意のタイミングで本実施形態に係る情報処理装置２０に出力することができる。

観察ユニット１０３は、制御ユニット１０１による制御のもと、その一部が生体Ｓの内部へと挿入されたり、生体Ｓの内部器官の近傍へと配置されたりするユニットである。かかる観察ユニット１０３は、光源ユニット１０５から照射される観察光を用いて生体Ｓの内部を観察した観察像を、後段の撮像ユニット１０７へと結像させる。かかる観察ユニット１０３は、例えば、医療用内視鏡機器における内視鏡ユニットや、医療用顕微鏡機器における顕微鏡ユニットに該当するものである。本実施形態に係る観察ユニット１０３は、特に限定されるものではなく、公知の内視鏡ユニットや顕微鏡ユニット等を適用することが可能である。

光源ユニット１０５は、制御ユニット１０１による制御のもと、生体の内部を観察するための観察光を射出するユニットであり、観察ユニット１０３に光学的に接続されている。かかる光源ユニット１０５は、可視光帯域での生体の撮像画像を得るための可視光光源（例えば、白色光源等）を少なくとも有している。また、かかる光源ユニット１０５は、かかる可視光光源以外にも、近赤外帯域の生体の撮像画像を得るための近赤外光源や、紫外光源や、特定の可視光を射出する各種のレーザ光源など、公知の様々な光源を有していてもよい。光源ユニット１０５は、制御ユニット１０１による制御のもとで、これら様々な光源から射出される観察光の種別を、任意のタイミングで切り替えることが可能である。また、光源ユニット１０５は、上記のような光源以外にも、例えば、ＯＣＴ用光源や、測距用光源など、特定の機能を実現するための光源を更に有していてもよい。

撮像ユニット１０７は、制御ユニット１０１による制御のもと、光源ユニット１０５からの観察光による生体Ｓの内部の観察像を撮像して、可視光帯域での生体の撮像画像を含む複数の生体画像の画像データを生成するユニットである。かかる撮像ユニット１０７は、観察ユニット１０３に対して光学的に接続されている。本実施形態に係る撮像ユニット１０７は、様々な種類の観察光（例えば、可視光線、近赤外線、紫外線等といった各種の波長帯域の光）を互いに区別しながら撮像することで、複数の生体画像の画像データを生成する。

一般的な医療用観察システムでは、可視光帯域の波長に感度のある撮像素子を用いることで、人間の眼で直接観察する状況に近い画像が撮像され、かかる画像が適切に現像された上で、通常観察画像として、表示装置に観察結果が表示される。また、特殊光観察が可能な一般的な医療用観察システムでは、可視光帯域の撮像画像を表示する通常観察モードの他に、近赤外帯域の波長にも感度のある撮像素子を用いて、生体内で生じる蛍光を観察する蛍光観察モードや、特定の狭波長を複数組み合わせることによって、皮膚表面からの深さの異なる血管を識別しやすくする狭波長画像（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ：ＮＢＩ）観察モードといった、各種の機能を実現していることが多い。

しかしながら、上記のような特殊光観察では、特定の波長を選択的に照射する照明装置、及び、特定の波長を透過又は反射する光学フィルタを組み合わせることで実現されるため、可視の通常観察モードと同時に観察することが困難となる。

そこで、本実施形態に係る医療用観察機器１０では、図２Ａ〜図２Ｃに示したような撮像ユニット１０７を備えることで、可視光帯域での生体の撮像画像と、その他の生体の撮像画像と、を同時に取得することを可能としている。

例えば、かかる撮像ユニット１０７は、例えば図２Ａに示したように、通常のビームスプリッタ又は偏光ビームスプリッタ等のような各種のビームスプリッタと、撮像素子Ａと撮像素子Ｂという２種類の撮像素子と、を有するものであってもよい。図２Ａに示したような撮像ユニット１０７の場合、観察ユニット１０３からの観察像は、ビームスプリッタにより２つの光路へと分岐され、撮像素子Ａ及び撮像素子Ｂにそれぞれ結像する。ここで、例えば撮像素子Ａとして、可視光帯域の光に感度を有する可視光用撮像素子を用い、撮像素子Ｂとして、近赤外帯域の光に感度を有する近赤外用撮像素子を用いることで、可視光帯域での生体の撮像画像と、近赤外帯域での生体の撮像画像と、を生成することができる。また、撮像素子Ｂとして、その他の公知の撮像素子を用いることで、可視光帯域での生体の撮像画像の他に、様々な生体の撮像画像を生成することが可能となる。

なお、図２Ａでは、１つのビームスプリッタを用いた場合について図示しているが、２個以上のビームスプリッタを組み合わせて用いることで、観察像を更に多くの光路へと分岐することが可能となり、より多くの種類の生体の撮像画像を同時に撮像することが可能となる。

また、撮像ユニット１０７は、例えば図２Ｂに示したように、複数（図２Ｂでは３つ）の光学プリズムが互いに接合された分光プリズムと、複数種類の撮像素子（図２Ｂでは、撮像素子Ａ〜撮像素子Ｃの３種類）と、を有するものであってもよい。図２Ｂに示したような撮像ユニット１０７の場合、隣り合う光学プリズムの接合面を、ビームスプリッタ、偏光ビームスプリッタ又は波長選択フィルタの何れかとして機能させることで、観察ユニット１０３からの観察像を、複数の光路（図２Ｂの場合、３つの光路）に分岐することが可能となる。観察ユニット１０３からの観察像は、かかる分光プリズムにより複数の光路へと分岐され、各光路の末端に設けられた各撮像素子へと結像する。ここで、例えば撮像素子Ａとして、可視光帯域の光に感度を有する可視光用撮像素子を用い、撮像素子Ｂとして、近赤外帯域の光に感度を有する近赤外用撮像素子を用いることで、可視光帯域での生体の撮像画像と、近赤外帯域での生体の撮像画像と、を生成することができる。また、必要に応じて、撮像素子Ｃの位置にその他の公知の撮像素子を配設することで、可視光帯域での生体の撮像画像、及び、近赤外帯域での生体の撮像画像の他に、様々な生体の撮像画像を生成することが可能となる。

なお、図２Ｂに示したような分光プリズムは、用いる光学プリズムの個数を増やすことで、観察像を更に多くの光路へと分岐することが可能となり、より多くの種類の生体の撮像画像を同時に撮像することが可能となる。

また、撮像ユニット１０７は、図２Ｃに示したように、いわゆるマルチスペクトルセンサを有するものであってもよい。マルチスペクトルセンサは、図２Ｃに模式的に示したように、複数の波長帯域での光の強度を波長帯域ごとに区別して一度に検出する画素を少なくとも含む、２次元のイメージセンサである。かかるマルチスペクトルセンサを用いることで、画像１ピクセルごとに、複数の狭波長帯域の光の強度であるマルチスペクトルデータを取得することが可能となる。

なお、図２Ｃに模式的に示したような、マルチスペクトルセンサを構成する全ての画素は、複数の波長帯域での光の強度を波長帯域ごとに区別して一度に検出する画素であることが好ましいが、全ての画素が、上記のような複数の波長帯域での光の強度を波長帯域ごとに区別して一度に検出する画素でなくともよい。上記のような、複数の波長帯域での光の強度を波長帯域ごとに区別して一度に検出する画素からの出力を利用して、公知の各種の補間処理を実施することで、上記のような機能を有していない画素の位置であっても、複数の波長帯域での光の強度を波長帯域ごとに算出することが可能だからである。

図２Ｃに示したようなマルチスペクトルセンサを利用することで、図２Ａ及び図２Ｂに示したような撮像ユニット１０７よりも、撮像ユニット１０７をより小型化することが可能となり、医療用観察機器１０のさらなる小型化を図ることが可能となる。

なお、図２Ａ又は図２Ｂに示したようなビームスプリッタ又は分光プリズムと、図２Ｃに示したようなマルチスペクトルセンサと、を互いに組み合わせて、より多くの種類の生体画像を生成するように撮像ユニット１０７を構成してもよいことは、言うまでもない。

例えば図２Ａ〜図２Ｃに示したような撮像ユニット１０７で生成された各種の生体画像は、医療用観察機器１０の使用者のユーザ操作に応じて制御ユニット１０１が適切な制御を行うことで適切な画像が選択され、後段の表示ユニット１０９に設けられた表示画面に表示される。通常、医療用観察機器１０の使用者は、生体の内部の観察像として、可視光帯域での生体の撮像画像に注目することが多いため、後段の表示ユニット１０９の表示画面では、主に、可視光帯域での生体の撮像画像が表示されることが多くなる。

また、撮像ユニット１０７は、以上のようにして生成した複数の生体画像を、制御ユニット１０１の制御のもとで、本実施形態に係る情報処理装置２０に随時出力する。

なお、本実施形態に係る撮像ユニット１０７において、例えば可視光帯域〜近赤外帯域に感度を有する撮像素子が１つしか存在していない、というように、撮像ユニット１０７に１つの撮像素子しか存在していない場合も考えうる。かかる場合であっても、光源ユニット１０５及び撮像ユニット１０７が制御ユニット１０１の制御のもとで互いに連携して、撮像素子に結像する光の波長帯域を切り替えながら撮像を行うことで、複数の波長帯域での生体画像を生成することが可能となる。

表示ユニット１０９は、制御ユニット１０１による制御のもと、撮像ユニット１０７により生成された複数の生体画像のうち少なくとも１つの生体画像を、医療用観察機器１０の使用者に表示するユニットである。かかる表示ユニット１０９に設けられる表示画面の個数は、特に限定されるものではなく、表示ユニット１０９は、１つの表示画面のみを有していてもよいし、複数個の表示画面を有していてもよい。かかる表示ユニット１０９は、特に限定されるものではなく、公知の表示ユニット１０９を利用することが可能である。

また、本実施形態に係る表示ユニット１０９の表示画面には、後述する情報処理装置２０により推奨される推奨画像に関する情報が、適宜表示される。

以上、図１〜図２Ｃを参照しながら、本実施形態に係る医療用観察機器１０の構成の一例について、簡単に説明した。なお、本実施形態に係る医療用観察機器１０は、図１に示したような各種のユニット以外にも、例えば、超音波発振装置及び超音波検出ユニットなど、その他の各種のユニットを有していてもよい。

＜情報処理装置２０の構成について＞
次に、図３〜図９を参照しながら、本実施形態に係る情報処理装置２０について、詳細に説明する。
図３は、本実施形態に係る情報処理装置の構成の一例を模式的に示したブロック図である。図４は、本実施形態に係る情報処理装置が有する画像推奨処理部の構成の一例を模式的に示したブロック図である。図５は、本実施形態に係る情報処理装置が有する状況特定データベースについて説明するための説明図であり、図６は、生体組織中の主な物質の吸収スペクトルの一例を示した説明図である。図７は、本実施形態に係る情報処理装置が有する推奨画像データベースについて説明するための説明図である。図８及び図９は、本実施形態に係る情報処理装置における表示画面の一例を模式的に示した説明図である。

［情報処理装置２０の全体構成について］
本実施形態に係る情報処理装置２０は、先だって言及したように、医療用観察機器１０により生成された撮像画像について解析を行い、作業に際してより適切な画像を推奨画像として決定した上で、かかる推奨画像を医療用観察機器１０の使用者に推奨する装置である。かかる情報処理装置２０は、図３に模式的に示したように、情報取得部２０１と、画像推奨処理部２０３と、出力処理部２０５と、表示制御部２０７と、記憶部２０９と、を主に有している。

情報取得部２０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。情報取得部２０１は、医療用観察機器１０から各種の情報を取得する。例えば、情報取得部２０１は、医療用観察機器１０で生成された、可視光帯域での生体の撮像画像を含む複数の生体画像の画像データを随時取得する。また、情報取得部２０１は、医療用観察機器１０（より詳細には、医療用観察機器１０の制御ユニット１０１等）から、医療用観察機器１０に関する各種の情報を取得することが可能である。更に、情報取得部２０１は、医療用観察機器１０から、本実施形態に係る情報処理装置２０が推奨した画像についての使用者の選択結果等といった、推奨した画像の利用状況に関する情報を取得することも可能である。また、本実施形態に係る情報処理装置２０は、医療用観察機器１０の使用者や情報処理装置２０の操作者等が行った各種のユーザ操作に関する情報を取得することも可能である。

ここで、医療用観察機器１０に関する各種の情報としては、例えば、医療用観察機器１０の各種設定に関する設定情報、医療用観察機器１０の特性に関する特性情報、医療用観察機器１０及び医療用観察機器１０と連携した各種周辺機器の稼働状態に関する稼働情報、等を挙げることができる。医療用観察機器１０の各種設定に関する設定情報としては、例えば、医療用観察機器１０における光源ユニット１０５の設定情報（例えば、観察光の波長に関する情報）や、どのような周辺機器が医療用観察機器１０と連携しているかという情報等を挙げることができる。また、医療用観察機器１０の特性に関する特性情報としては、例えば、医療用観察機器１０における撮像ユニット１０７のセンサ分光特性に関する設定情報等を挙げることができる。また、医療用観察機器１０及び医療用観察機器１０と連携した各種周辺機器の稼働状態に関する稼働情報としては、例えば、光源ユニット１０５としてどのような光源が稼働しているか、電気メス等のエナジーデバイスの稼働状況、体腔内に存在するミストやスモークを体外へと排出するための排煙装置の稼働状況、等を挙げることができる。

情報取得部２０１は、医療用観察機器１０から複数の生体画像に関する画像データを取得すると、取得した画像データを、後述する画像推奨処理部２０３に出力する。また、情報取得部２０１は、取得した画像データに対して、当該画像データを取得した日時等に関する時刻情報を関連付けたうえで、かかる画像データを履歴情報として後述する記憶部２０９に記録してもよい。更に、情報取得部２０１は、医療用観察機器１０から取得した、推奨した画像の利用状況に関する情報に基づき、推奨した画像の利用履歴を、後述する記憶部２０９に記録してもよい。

また、情報取得部２０１は、医療用観察機器１０から上記のような医療用観察機器１０に関する各種の情報を取得すると、取得した各種の情報を、後述する画像推奨処理部２０３に出力する。なお、医療用観察機器１０に関する各種の情報は、複数の生体画像の画像データが情報処理装置２０へと出力されるたびに、医療用観察機器１０の制御ユニット１０１から通知されてもよい。また、医療用観察機器１０の制御ユニット１０１は、医療用観察機器１０に関する各種の情報を、画像データが出力されるたびに通知するのではなく、いずれかの情報の内容が変更となったタイミングで通知するようにしてもよい。

画像推奨処理部２０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画像推奨処理部２０３は、情報取得部２０１が取得した画像データや各種の情報を利用して、生体の内部が観察されている時点での状況に応じた推奨画像を決定するとともに、かかる推奨画像を医療用観察機器１０の使用者に対して推奨する画像推奨処理を実施する処理部である。この画像推奨処理部２０３は、複数の生体画像と、生体の内部を観察する際の状況に関する状況情報と、に基づいて、複数の生体画像の少なくとも１つ、又は、複数の生体画像から生成される画像の少なくとも何れかを、上記状況に応じた推奨画像として決定する推奨部を少なくとも有している。

かかる画像推奨処理部２０３の詳細な構成については、以下で改めて説明する。

画像推奨処理部２０３は、複数の生体画像を利用して、生体の内部が観察されている時点の状況に応じた推奨画像を決定すると、決定した推奨画像に関する情報を、後段の出力処理部２０５に出力する。また、画像推奨処理部２０３は、決定した推奨画像に関する処理結果に対して、当該処理結果が得られた日時等に関する時刻情報と関連付けたうえで、かかる処理結果を、履歴情報として後段の記憶部２０９に格納してもよい。

出力処理部２０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。出力処理部２０５は、画像推奨処理部２０３から出力された、決定した推奨画像に関する処理結果を、医療用観察機器１０に対して出力する。処理結果を取得した医療用観察機器１０の制御ユニット１０１は、取得した処理結果を表示ユニット１０９に表示させることで、医療用観察機器１０の使用者に、状況に応じた生体の観察画像を推奨することが可能となる。また、出力処理部２０５は、後段の表示制御部２０７と連携しながら、医療用観察機器１０の表示ユニット１０９に対して、直接処理結果を出力するようにしてもよい。

なお、出力処理部２０５は、画像推奨処理部２０３から出力された、推奨画像に関する処理結果を、印刷物として出力したり、データとして外部の情報処理装置やサーバ等に出力したりすることが可能である。

表示制御部２０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。表示制御部２０７は、出力処理部２０５から出力された各種の結果を、情報処理装置２０が備えるディスプレイ等の出力装置や、演算処理装置２００の外部に設けられた出力装置（例えば、医療用観察機器１０の表示ユニット１０９）等に表示する際の表示制御を行う。これにより、医療用観察機器１０の使用者は、各種の結果を、その場で把握することが可能となる。

記憶部２０９は、情報処理装置２０が備える記憶装置の一例であり、情報処理装置２０が備えるＲＡＭやストレージ装置等により実現される。記憶部２０９には、本実施形態に係る情報処理装置２０が、以下で詳述する画像推奨処理を実施する際に利用する各種のデータベースが記録されている。また、記憶部２０９には、以下で詳述する画像推奨処理に関連する各種の履歴情報が記録されていてもよい。更に、記憶部２０９には、本実施形態に係る情報処理装置２０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。この記憶部２０９は、情報取得部２０１、画像推奨処理部２０３、出力処理部２０５、表示制御部２０７等が、自由にリード／ライト処理を実施することが可能である。

［画像推奨処理部２０３の構成について］
続いて、図４〜図７を参照しながら、本実施形態に係る情報処理装置２０が備える画像推奨処理部２０３の構成について、詳細に説明する。
本実施形態に係る画像推奨処理部２０３は、先だって言及したように、情報取得部２０１が取得した画像データや各種の情報を利用して、生体の内部が観察されている時点での状況に応じた推奨画像を決定するとともに、かかる推奨画像を医療用観察機器１０の使用者に対して推奨する画像推奨処理を実施する。かかる画像推奨処理部２０３は、図４に模式的に示したように、状況特定部２１１と、推奨部２１３と、推奨画像生成部２１５と、を有している。

状況特定部２１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。状況特定部２１１は、医療用観察機器１０から出力された複数の生体画像に基づき、生体の内部が観察されている際の状況を特定する処理部である。より詳細には、かかる状況特定部２１１は、情報取得部２０１によって取得された、医療用観察機器１０の設定に関する設定情報、医療用観察機器１０の特性に関する特性情報、医療用観察機器１０及び医療用観察機器１０と連携した周辺機器の稼働状態に関する稼働情報、生体画像、又は、生体画像に基づき生成される二次情報の少なくとも何れかに基づき、生体の内部が観察されている際の状況を特定する。

なお、上記の生体画像に基づき生成される二次情報は、特に限定されるものではなく、生体画像に対して各種の画像処理又は情報処理を行うことで二次的に算出される情報であれば、任意のものを利用することが可能である。このような二次情報としては、例えば、ある波長帯域での生体の撮像画像に注目することで算出可能な、生体の内部に存在する器官及び生体物質の分光反射率又は吸光係数に関する情報、並びに、血液の酸素飽和度に関する情報や、生体の内部に存在する器官及び医療行為に用いられる医療器具に関する画像情報を利用して生体画像に対して画像認識処理を実施した認識結果に関する情報、等を挙げることができる。

より具体的には、状況特定部２１１は、医療用観察機器１０の設定に関する設定情報、医療用観察機器１０の特性に関する特性情報、医療用観察機器１０及び医療用観察機器１０と連携した周辺機器の稼働状態に関する稼働情報、生体画像、又は、生体画像に基づき生成される二次情報の少なくとも何れかと、生体画像が生成される際の状況と、が予め互いに関連付けられた状況特定データベースを参照して、生体の内部が観察されている際の状況を特定することが好ましい。

かかる状況特定データベースの一例を、図５に模式的に示した。
本実施形態に係る記憶部２０９等に格納されている状況特定データベースには、図５に模式的に示したように、上記のような各種の情報と状況とが予め関連付けられた状況関連付けデータが格納されている。このような状況関連付けデータのデータ形式については、特に限定されるものではないが、例えば、上記のような各種の情報と状況とがルックアップテーブル等のデータ形式で記録されているものを挙げることができる。取得した上記のような各種の情報を用いて、状況関連付けデータを参照することで、状況特定部２１１は、取得した各種の情報に対応する状況を特定することが可能となる。

例えば、上記のような各種の情報を参照して、例えば電気メスのようなエナジーデバイスが稼働している旨の情報、又は、排煙装置が稼働している旨の情報等が存在する場合、状況特定部２１１は、上記のような情報に着目して状況関連付けデータを参照し、エナジーデバイスに起因して発生するスモークやミストにより、視野の視認性が低下している旨を特定することができる。

また、かかる状況特定データベースには、生体の内部に存在する器官及び生体物質の吸光係数又は分光反射率に関する情報が格納されていてもよい。例えば図６に示したように、生体の内部に存在する生体物質は、各生体物質に特有の吸光係数を有している。従って、複数の生体画像に含まれる、特定の波長帯域での生体の撮像画像に着目することで、得られた生体画像中に存在している生体物質を検出することが可能となる。また、生体の内部に存在する器官及び生体物質は、吸光係数と同様に、それぞれに特有の分光反射率を有している。ここで、複数の生体画像に含まれる特定の波長帯域での生体の撮像画像や、医療用観察機器１０の光源ユニット１０５の光源特性や、撮像ユニット１０７のセンサ特性等に着目することで、得られた生体画像での分光反射率を算出することができる。従って、状況特定部２１１は、得られた情報と、予め記録された分光反射率や吸光係数に関する情報と、を比較することで、生体の内部が観察されている際の状況を特定することができる。

例えば、上記のような情報（特に、生体画像そのものや、生体画像から得られる二次情報など）に着目し、分光反射率又は吸光係数の値から血液に該当する分光反射率又は吸光係数が特定された場合、状況特定部２１１は、血管が存在しており、出血が生じている可能性がある旨を特定することができる。また、上記のような情報（特に、生体画像そのものや、生体画像から得られる二次情報など）に着目し、水に該当するデータが検出された場合、状況特定部２１１は、エナジーデバイスの使用に伴ってミストが発生している旨を推定することが可能となる。

また、かかる状況特定データベースには、生体の内部に存在する器官、及び、医療行為に用いられる医療器具等に関する画像情報が格納されていてもよい。これらの画像情報を用いて、医療用観察機器１０から得られた生体画像を画像認識することで、生体画像中に存在している器官や、血流遮断医療器具又は血管吻合医療器具等といった各種の医療器具等を検出することができる。これにより、状況特定部２１１は、手術部位や手術状況等を推定することが可能となる。なお、状況特定部２１１が実施する画像認識処理については、特に限定されるものではなく、パターン認識や機械学習による認識など、公知の様々な画像認識処理を適宜利用することが可能である。

また、かかる状況特定データベースには、上記のような各種のデータ以外にも、状況を推定するための各種の状況推定用データが適宜格納されていてもよい。

状況特定部２１１は、以上のようにして、状況特定データベース等を適宜利用しながら、生体の内部が観察されている際の状況を特定すると、特定した状況に関する状況情報を、後段の推奨部２１３へと出力する。

なお、図５に示したような状況特定データベースは、各種のネットワークや外部メモリデバイスを経由して、適宜更新することが可能である。また、状況特定部２１１は、かかる状況特定データベースを、公知の機械学習処理等により、自動的に更新していくようにしてもよい。

推奨部２１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。推奨部２１３は、医療用観察機器１０により生成された複数の生体画像と、状況特定部２１１から出力された、生体の内部が観察されている際の状況に関する状況情報と、に基づいて、複数の生体画像の少なくとも１つ、又は、複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する。また、推奨部２１３は、決定した推奨画像を、医療用観察機器１０の使用者に対して推奨する。

より詳細には、推奨部２１３は、生体の内部が観察される際の状況と、それぞれの状況の際に提示可能な推奨画像の種別と、が予め互いに関連付けられた推奨画像データベースを参照し、使用者に対して状況に応じた推奨画像を推奨することが好ましい。

かかる推奨画像データベースの一例を、図７に模式的に示した。
本実施形態に係る記憶部２０９等に格納されている推奨画像データベースには、図７に模式的に示したように、生体の内部が観察される際の状況と、それぞれの状況の際に提示可能な推奨画像の種別と、が、互いに対応づけられて記録されている。推奨部２１３は、状況特定部２１１から出力された状況情報に、ある状況（状況Ａ）が生じている旨が記載されていた場合には、推奨画像データベースにおける状況Ａに関する項目を参照して、推奨画像として、例えば近赤外画像を推奨する旨を決定することができる。

また、推奨画像データベースにおいて、ある状況に対して複数の推奨画像が対応付けられている場合には、推奨部２１３は、複数の推奨画像の中から最適な１つの画像を推奨するのではなく、対応付けられている全ての推奨画像を推奨することが好ましい。また、状況特定部２１１から出力された状況情報に、生じている可能性のある複数の状況が列記されている場合には、推奨部２１３は、複数の状況うちある１つの状況についての推奨画像を推奨するのではなく、状況情報に記載された全ての状況に対応する推奨画像を推奨することが好ましい。どの推奨画像を利用するかといった判断は、医療用観察機器１０の使用者（すなわち、手術を執刀している医師等）に実施してもらう方が好ましいからである。

推奨部２１３は、医療用観察機器１０の使用者に推奨する推奨画像を決定すると、決定した推奨画像に関する情報を、出力処理部２０５に出力する。このような推奨画像に関する情報は、特に限定されるものではないが、例えば、推奨画像の種別を示すテキスト情報、又は、推奨画像のサムネイル画像の少なくとも何れかを挙げることができる。出力処理部２０５は、かかる推奨画像に関する情報を、医療用観察機器１０の使用者又は情報処理装置２０の操作者に出力させる。これにより、医療用観察機器１０の使用者又は情報処理装置２０の操作者は、提示された推奨画像を利用するか否かを、その場で判断することが可能となる。また、出力処理部２０５は、音声や振動などといった、文字や画像以外の手段を利用して、医療用観察機器１０の使用者又は情報処理装置２０の操作者に、推奨画像に関する情報を提示してもよい。

また、推奨部２１３は、医療用観察機器１０の使用者に推奨する推奨画像の種別を決定すると、決定した推奨画像の生成を、必要に応じて、後段の推奨画像生成部２１５に要請する。

医療用観察機器１０の使用者が推奨画像を参照することを選択した場合、推奨部２１３は、出力処理部２０５を介して、選択された推奨画像を医療用観察機器１０の使用者に適切に提示させる。また、推奨部２１３は、医療用観察機器１０の使用者等による選択結果の履歴を、記憶部２０９等に適宜記録しておき、次回の推奨時に履歴情報を併せて表示させることで、医療用観察機器１０の使用者等の選択を補助してもよい。

なお、図７に示したような推奨画像データベースは、各種のネットワークや外部メモリデバイスを経由して、適宜更新することが可能である。また、推奨部２１３は、かかる推奨画像データベースを、公知の機械学習処理等により、自動的に更新していくようにしてもよい。

推奨画像生成部２１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。推奨画像生成部２１５は、複数の生体画像のうち少なくとも一部の画像、又は、複数の生体画像の少なくとも何れかを解析することで生成される二次情報を可視化した画像、の少なくとも何れかを用いて、推奨部２１３が推奨する推奨画像を生成する。

例えば、推奨部２１３により、特定の波長帯域（例えば、近赤外帯域）の観察画像が推奨画像として推奨された場合、推奨画像生成部２１５は、複数の生体画像のうち、対応する波長帯域での生体の撮像画像を利用して、該当する波長帯域の観察画像やそのサムネイル画像等を、推奨画像として生成することができる。また、例えば図７のデータベースに示したような、生体画像の二次情報として特定できる酸素飽和度の分布を可視化した酸素飽和度可視化情報が推奨画像となった場合、かかる二次情報を利用して、該当する推奨画像やそのサムネイル画像等を生成することができる。これらの画像以外にも、ＮＢＩの原理等のような公知の方法を利用して、例えば血管の存在を強調した血管強調画像や、血流の様子を表した画像など、公知の様々な画像やそのサムネイル画像等を適宜生成することができる。

また、複数の生体画像として、可視光帯域での生体の撮像画像と、近赤外帯域での生体の撮像画像（例えば、近赤外帯域での蛍光画像など）と、が含まれている場合に着目する。ここで、近赤外帯域での蛍光画像では、蛍光に対応する部分は、所定の色調で表示されるとともに、蛍光に対応していない部分（輝度値がゼロ又はゼロに近い部分）は、黒く表示されることが多い。このような蛍光画像を推奨画像として提示したとしても、臓器等の位置関係が分かりづらくなる可能性が高い。そこで、推奨画像生成部２１５は、まず、近赤外帯域での生体の撮像画像のうち近赤外帯域の光を検出した領域（例えば、蛍光に対応する部分）の色調を、所定の色調（例えば、生体内に存在しない色調である緑色）へと変更し、かつ、近赤外帯域の光を検出しなかった領域の輝度値をゼロへと変更する。その上で、推奨画像生成部２１５は、変更後の近赤外帯域での生体の撮像画像を、可視光帯域での生体の撮像画像へと重畳させた重畳画像を生成して、推奨画像としてもよい。

以上、本実施形態に係る情報処理装置２０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

［推奨画像の提示例について］
次に、図８及び図９を参照しながら、推奨部２１３によって決定された推奨画像の提示方法について、簡単に説明する。
図８は、医療用観察機器１０の表示ユニット１０９や情報処理装置２０の表示装置（図示せず。）など、医療用観察機器１０の使用者又は情報処理装置２０の操作者が閲覧している表示画面の一例を模式的に示したものである。

通常、手術など各種の医療行為が行われている場合、医療用観察機器１０の制御ユニット１０１、又は、情報処理装置２０の表示制御部２０７によって、図８の左上の図に模式的に示したように、通常表示として、可視光帯域での生体の撮像画像（可視光画像）が表示画面に表示されていると考えられる。ここで、推奨部２１３によって、状況に応じた推奨画像が提案される場合、推奨部２１３は、出力処理部２０５を介して、例えば図８の右上の図に模式的に示したように、推奨画像の種別を示すテキスト情報を可視光画像に重畳させて表示させてもよい。また、推奨部２１３は、テキスト情報だけでなく、例えば図８の左下の図に模式的に示したように、推奨画像の種別を示すテキスト画像と、推奨画像のサムネイル画像と、を併せて表示させてもよく、また、推奨画像のサムネイル画像を、いわゆるＰｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅの表示形式で単独で表示させてもよい。更に、推奨部２１３は、図８の右下の図に模式的に示したように、可視光画像の周囲に、推奨画像に関する情報を表示するための表示領域を設けさせ、かかる表示領域に、推奨画像の種別を示すテキスト情報、推奨画像のサムネイル画像、及び、推奨画像を説明したテキスト情報等を併せて表示させてもよい。

図８に示したような表示画面を生成することで、医療用観察機器１０の使用者に、推奨画像を表示画面に表示させるか否かを選択させることが可能となる。

また、図８に示したような１つの表示画面内ではなく、図９に模式的に示したように、可視光画像が表示されているメインモニタではなく、メインモニタとは別個に設けられたサブモニタに対して、上記のような推奨画像や推奨画像に関連する情報を表示させてもよい。

なお、図８及び図９に示したような推奨画像に関する情報の表示は、医療用観察機器１０の使用者が推奨画像の利用を選択しなかった場合には、その都度消えるようにすればよい。また、図８及び図９に示したような推奨画像に関する情報の表示は、ある一定時間が経過した後は、自動的に消えるようにしてもよい。また、図８及び図９に示したような推奨画像に関する情報の表示を様々な方法で録画しておき、術中又は術後に再生確認できるようにしておいてもよい。

一方、図８及び図９に示したような推奨画像に関する情報の表示の結果、医療用観察機器１０の使用者が推奨画像の利用を選択した場合、表示画面には、選択された推奨画像が表示されることとなる。また、推奨画像から、通常の可視光画像への再切換えのタイミングは、特に限定されるものではなく、医療用観察機器１０の使用者のユーザ操作等に応じて、適宜実施される。

以上、推奨部２１３によって決定された推奨画像の提示方法について、簡単に説明した。

［推奨画像の具体例について］
以下では、推奨画像の具体例について、いくつか例を挙げながら簡単に説明する。

○ケース１
例えば、医療用観察機器１０下での手術時に、出血が発生した場合、医療用観察機器１０の使用者は、出血点をいち早く発見して、止血処理を行うことが重要となる。しかしながら、多量の出血がある場合、周辺が血まみれになって出血点を探すことが困難となる場合がある。

この際、状況特定部２１１による状況特定処理（例えば、特定の波長帯域での撮像画像の解析処理）により、血液が認識されて、出血中という状況が特定されたとする。一方で、近赤外帯域では図６に示したように血液の吸収係数は低く、近赤外帯域の光は血液を透過する。そこで、推奨部２１３は、推奨画像データベース等を参照して、血液の吸収係数が相対的に低い波長帯域の観察画像を推奨画像として選択する。かかる推奨画像を利用することで、医療用観察機器１０の使用者は、血液に埋もれて見えづらい生体表面を視認しやすくなり、出血点を発見しやすくなる。

○ケース２
例えば、電気メス等のエナジーデバイスを使用すると、体腔内がサージカルスモークやミストでおおわれ、視認性が悪くなる場合がある。

この際、状況特定部２１１による状況特定処理（例えば、特定の波長帯域での撮像画像の解析処理や、各種機器の稼働状況に関する情報）により、サージカルスモークやミストが発生中という状況が特定されたとする。この場合、推奨部２１３は、推奨画像データベース等を参照して、サージカルスモークやミストの吸収係数が相対的に低い、近赤外帯域の観察画像を推奨画像として選択する。かかる推奨画像を利用することで、医療用観察機器１０の使用者は、サージカルスモークやミストによって作業を中断することなく、医療行為を継続することが可能となる。

また、上記のような状況がしばらく経過した後、排煙機器等が正常に稼働することでサージカルスモークやミスト等が消えたと判断された場合、推奨部２１３は、近赤外帯域の観察画像から、通常の可視光帯域での観察画像に、表示を切り替えるようにしてもよい。これにより、医療用観察機器１０の使用者は、通常見慣れた画像を用いて、医療行為を継続することが可能となる。

○ケース３
例えば、血管を安全に切除する際には、医師は血管にクリップ等の血流遮断医療器具をかけて血液を完全に遮断してから、所定の術具で血管を切除する。このとき、クリップ等の血流遮断医療器具のかかりが不十分で、血流が完全に遮断されていない場合がある。血流が完全に遮断されていない状況下で血管を切除すると、意図しない出血が発生してしまう。同様に、血管や組織同士をステープラー等の血管吻合医療器具を用いて適切に吻合して、血流が再開されたかを確認する必要がある。

この際、状況特定部２１１による状況特定処理（例えば、クリップやステープラー等の画像認識処理）により、血流遮断医療器具又は血管吻合医療器具が検出された旨の状況情報が生成された場合、推奨部２１３は、生体画像に基づく二次情報として、公知の方法により酸素飽和度を算出し、かかる酸素飽和度の分布を可視化した画像を、推奨画像とすることができる。

また、酸素飽和度の分布を可視化した画像ではなく、血液の分布に対応する近赤外帯域での生体の撮像画像を、推奨画像とすることも可能である。例えば、ＩＣＧ（インドシアニングリーン）と呼ばれる蛍光試薬は、血中の血漿蛋白と結合することで、７６０ｎｍの励起光によって８３０ｎｍの蛍光を発する性質を有している。そこで、上記のような状況を把握した場合、推奨部２１３は、まず、医療用観察機器１０の使用者である医師に対して、蛍光試薬の使用を推奨し、かかる蛍光試薬に起因して生成される、波長８３０ｎｍ近傍の近赤外画像を、血液の分布に対応する近赤外帯域での観察画像として、推奨してもよい。

○ケース４
例えば、医療用観察機器１０下での手術時に、医療用観察機器１０の使用者は、血管の走行や血管の深度に関する情報を知りたい場合が生じうるが、一般的な可視光帯域での撮像画像では、このような情報を十分に得ることができない場合がある。

この際、状況特定部２１１による状況特定処理（例えば、特定の波長帯域での撮像画像の解析処理）により、生体画像中に血管が存在していることが特定されると、推奨部２１３は、ＮＢＩの原理と同様の手段により、血管の視認に適した波長帯域での画像を、血管強調画像として推奨することができる。

以上、推奨画像の具体例について、いくつか例を挙げながら簡単に説明したが、本実施形態に係る情報処理装置２０における推奨画像は、上記の例に限定されるものではなく、公知の様々な画像を推奨画像として利用することが可能である。

＜情報処理方法について＞
次に、図１０を参照しながら、本実施形態に係る情報処理方法の流れについて、簡単に説明する。図１０は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。

本実施形態に係る情報処理方法では、まず、医療用観察機器１０によって、生体画像が生成されて、情報処理装置２０へと出力される。情報処理装置２０の情報取得部２０１は、医療用観察機器１０から出力された生体画像のデータを取得すると（ステップＳ１０１）、取得したデータを、画像推奨処理部２０３へと出力する。

画像推奨処理部２０３の状況特定部２１１は、先だって説明したような方法により、生体の内部が観察されている際の状況を特定して（ステップＳ１０３）、特定した状況に関する状況情報を、推奨部２１３に出力する。

推奨部２１３は、状況特定部２１１から出力された状況情報等を利用して、医療用観察機器１０の使用者等に推奨可能な画像が存在するか否かを判断する（ステップＳ１０５）。推奨可能な画像が存在しない場合（ステップＳ１０５−ＮＯ）には、後述するステップＳ１１５が実施される。一方、推奨可能な画像が存在する場合（ステップＳ１０５−ＹＥＳ）には、推奨部２１３は、推奨画像に関する情報を、先だって説明したような方法により、医療用観察機器１０の使用者に通知させる（ステップＳ１０７）。

ここで、医療用観察機器１０の使用者等が推奨画像を選択しなかった場合（ステップＳ１０９−ＮＯ）には、後述するステップＳ１１５が実施される。一方、医療用観察機器１０の使用者等が推奨画像を選択した場合（ステップＳ１０９−ＹＥＳ）には、推奨画像生成部２１５によって、推奨画像が必要に応じて生成され（ステップＳ１１１）、出力処理部２０５や医療用観察機器１０の制御ユニット１０１等が連携して機能することで、推奨画像が画面表示される（ステップＳ１１３）。その後、ステップＳ１０１に戻って、本実施形態に係る情報処理方法が継続される。

一方、ステップＳ１０５において推奨可能な画像が存在しないと判断された場合や、ステップＳ１０９において推奨画像が選択されなかった場合には、可視光帯域での生体の撮像画像が生成され（ステップＳ１１５）、出力処理部２０５や医療用観察機器１０の制御ユニット１０１等が連携して機能することで、可視光画像が画面表示される（ステップＳ１１７）。その後、ステップＳ１０１に戻って、本実施形態に係る情報処理方法が継続される。

以上、図１０を参照しながら、本実施形態に係る情報処理方法の流れについて、簡単に説明した。

＜ハードウェア構成について＞
次に、図１１を参照しながら、本開示の実施形態に係る情報処理装置２０のハードウェア構成について、詳細に説明する。図１１は、本開示の実施形態に係る情報処理装置２０のハードウェア構成を説明するためのブロック図である。

情報処理装置２０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置２０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置２０内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置２０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。ユーザは、この入力装置９１５を操作することにより、情報処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置２０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置２０が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、情報処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、及び外部から取得した各種データなどを格納する。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置２０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、又は、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート９２３は、機器を情報処理装置２０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置２０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。

通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る情報処理装置２０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
生体の内部を観察する医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨部を備える、情報処理装置。
（２）
前記複数の生体画像は、可視光帯域での前記生体の撮像画像を少なくとも含み、
前記生体画像が表示される表示画面の表示制御を行う表示制御部を更に備え、
前記表示制御部は、前記可視光帯域での生体の撮像画像を前記表示画面に表示させておき、使用者が前記推奨画像の表示を選択した場合に、前記表示画面の表示内容を前記推奨画像に切り替える、（１）に記載の情報処理装置。
（３）
前記推奨部は、生体の内部が観察される際の状況と、それぞれの前記状況の際に提示可能な前記推奨画像の種別と、が予め互いに関連付けられた推奨画像データベースを参照し、前記状況に応じた推奨画像を決定する、（１）又は（２）に記載の情報処理装置。
（４）
前記複数の生体画像のうち少なくとも一部の画像、又は、前記複数の生体画像の少なくとも何れかを解析することで生成される二次情報を可視化した画像、の少なくとも何れかを用いて前記推奨画像を生成する、推奨画像生成部を更に備える、（１）〜（３）の何れか１つに記載の情報処理装置。
（５）
前記複数の生体画像は、可視光帯域での前記生体の撮像画像と、近赤外帯域での前記生体の撮像画像と、を少なくとも含み、
前記推奨画像生成部は、
前記近赤外帯域での生体の撮像画像のうち近赤外帯域の光を検出した領域の色調を所定の色調へと変更し、かつ、当該近赤外帯域の光を検出しなかった領域の輝度値をゼロへと変更した上で、変更後の前記近赤外帯域での生体の撮像画像を、前記可視光帯域での生体の撮像画像へと重畳させた重畳画像を、前記推奨画像として生成する、（４）に記載の情報処理装置。
（６）
前記複数の生体画像は、可視光帯域での前記生体の撮像画像を少なくとも含み、
前記推奨部は、前記可視光帯域での生体の撮像画像が表示されている表示画面に前記推奨画像に関する情報を表示させて、使用者に前記推奨画像を表示させるか否かを選択させる、（１）〜（５）の何れか１つに記載の情報処理装置。
（７）
前記推奨画像に関する情報は、前記推奨画像の種別を示すテキスト情報、又は、前記推奨画像のサムネイル画像の少なくとも何れかである、（６）に記載の情報処理装置。
（８）
前記推奨部は、可視光帯域での前記生体の撮像画像が表示されている表示画面とは別の表示画面に対し、前記推奨画像を表示させる、（１）〜（７）の何れか１つに記載の情報処理装置。
（９）
前記生体の内部が観察されている際の状況を特定する状況特定部を更に備え、
前記状況特定部は、前記医療用観察機器の設定に関する設定情報、前記医療用観察機器の特性に関する特性情報、前記医療用観察機器及び当該医療用観察機器と連携した周辺機器の稼働状態に関する稼働情報、前記生体画像、又は、前記生体画像に基づき生成される二次情報の少なくとも何れかに基づき、前記生体の内部が観察されている際の状況を特定する、（１）〜（８）の何れか１つに記載の情報処理装置。
（１０）
前記状況特定部は、前記医療用観察機器の設定に関する設定情報、前記医療用観察機器の特性に関する特性情報、前記医療用観察機器及び当該医療用観察機器と連携した周辺機器の稼働状態に関する稼働情報、前記生体画像、又は、前記生体画像に基づき生成される二次情報の少なくとも何れかと、前記生体画像が生成される際の状況と、が予め互いに関連付けられた状況特定データベースを参照し、前記生体の内部が観察されている際の状況を特定する、（９）に記載の情報処理装置。
（１１）
前記状況特定データベースには、更に、前記生体の内部に存在する器官及び生体物質の分光反射率又は吸光係数に関する情報が記録されており、
前記状況特定部は、前記生体画像に基づき生成される二次情報として分光反射率に関する情報を生成するか、又は、前記生体画像を参照して特定の波長帯域での吸光係数を特定し、前記生体の内部に存在する器官及び生体物質の分光反射率又は吸光係数に関する情報と比較することで、前記生体の内部が観察されている際の状況を特定する、（１０）に記載の情報処理装置。
（１２）
前記状況特定データベースには、更に、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報が記録されており、
前記状況特定部は、前記生体画像に基づき生成される二次情報として、前記画像情報を利用して前記生体画像に対して画像認識処理を実施した認識結果に関する情報を生成し、
当該認識結果に関する情報を利用して前記生体の内部が観察されている際の状況を特定する、（１０）又は（１１）に記載の情報処理装置。
（１３）
前記生体画像として、可視光帯域での前記生体の撮像画像と、近赤外帯域での前記生体の撮像画像と、が少なくとも含まれており、
前記推奨部は、前記状況情報として血液が検出された旨の情報を取得した場合に、前記近赤外帯域での生体の撮像画像を前記推奨画像として決定する、（１）〜（１２）の何れか１つに記載の情報処理装置。
（１４）
前記生体画像として、可視光帯域での前記生体の撮像画像と、近赤外帯域での前記生体の撮像画像と、が少なくとも含まれており、
前記推奨部は、前記状況情報として、スモークもしくはミストが検出された旨の情報、又は、医療用エナジーデバイスの使用に関する情報の少なくとも何れかを取得した場合に、前記近赤外帯域での生体の撮像画像を前記推奨画像として決定する、（１）〜（１３）の何れか１つに記載の情報処理装置。
（１５）
前記推奨部は、前記状況情報として、スモークもしくはミストが検出されなくなった旨の情報、又は、医療用エナジーデバイスの使用が終了した旨の情報の少なくとも何れかを取得した場合に、表示画面に表示される画像を、前記推奨画像から、前記可視光帯域での生体の撮像画像へと切り替えさせる、（１４）に記載の情報処理装置。
（１６）
前記推奨部は、前記状況情報として、血流遮断医療器具又は血管吻合医療器具が検出された旨の情報を取得した場合に、前記生体画像に基づく二次情報として生成された酸素飽和度の分布を可視化した画像、又は、血液の分布に対応する近赤外帯域での前記生体の撮像画像を、前記推奨画像として決定する、（１）〜（１５）の何れか１つに記載の情報処理装置。
（１７）
前記推奨部は、前記状況情報として、血管の存在が検出された旨の情報を取得した場合に、血管の視認に適した波長帯域での前記生体の撮像画像を前記推奨画像として決定する、（１）〜（１６）の何れか１つに記載の情報処理装置。
（１８）
前記医療用観察機器は、複数の波長帯域での光の強度を波長帯域ごとに区別して一度に検出する画素を少なくとも含むマルチスペクトルセンサを有しており、当該マルチスペクトルセンサの出力結果から、複数の波長帯域での前記生体画像が生成される、（１）〜（１７）の何れか１つに記載の情報処理装置。
（１９）
前記医療用観察機器は、特定の波長帯域に対応した撮像素子を複数有しており、それぞれの前記撮像素子の出力結果から、複数の波長帯域での前記生体画像が生成される、（１）〜（１７）の何れか１つに記載の情報処理装置。
（２０）
前記医療用観察機器は、当該医療用観察機器が有する撮像素子に結像する光の波長帯域を切り替えながら撮像を行うことで、複数の波長帯域での前記生体画像を生成する、（１）〜（１７）の何れか１つに記載の情報処理装置。
（２１）
前記医療用観察機器は、医療用内視鏡又は医療用顕微鏡である、（１）〜（２０）の何れか１つに記載の情報処理装置。
（２２）
生体の内部を観察する医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定することを含む、情報処理方法。
（２３）
生体の内部を観察し、複数の波長帯域で前記生体を撮像することで生成される複数の生体画像を生成する医療用観察機器と相互に通信可能なコンピュータに、
前記複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨機能
を実現させるためのプログラム。
（２４）
生体の内部を観察し、複数の波長帯域で前記生体を撮像することで複数の生体画像を生成する医療用観察機器と、
前記医療用観察機器により生成された前記複数の生体画像と、前記生体画像の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨部を有する情報処理装置と、
を備える、医療用観察システム。

１ 医療用観察システム
１０ 医療用観察機器
２０ 情報処理装置
１０１ 制御ユニット
１０３ 観察ユニット
１０５ 光源ユニット
１０７ 撮像ユニット
１０９ 表示ユニット
２０１ 情報取得部
２０３ 画像推奨処理部
２０５ 出力処理部
２０７ 表示制御部
２０９ 記憶部
２１１ 状況特定部
２１３ 推奨部
２１５ 推奨画像生成部

Claims (8)

1. 生体を撮像することで前記生体を観察する医療用観察機器を用いて前記生体が観察されている際の状況である観察状況を特定する状況特定部と、
   前記観察状況に基づいて、前記医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記観察状況に応じた推奨画像として決定する推奨部と、
   を備え、
   前記状況特定部は、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報を利用して前記生体画像に対して画像認識処理を実施し、前記画像認識処理の認識結果に関する情報を利用して前記観察状況を特定する、
   情報処理装置。
2. 前記生体画像として、可視光帯域での前記生体の撮像画像と、近赤外帯域での前記生体の撮像画像とが含まれており、
   前記推奨部は、前記観察状況に関する状況情報として、スモークもしくはミストが検出された旨の情報、又は、医療用エナジーデバイスの使用に関する情報の少なくとも何れかを取得した場合に、前記近赤外帯域での生体の撮像画像を前記推奨画像として決定する、
   請求項１に記載の情報処理装置。
3. 前記推奨部は、前記状況情報として、スモークもしくはミストが検出されなくなった旨の情報、又は、医療用エナジーデバイスの使用が終了した旨の情報の少なくとも何れかを取得した場合に、表示画面に表示される画像を、前記推奨画像から、前記可視光帯域での生体の撮像画像へと切り替えさせる、
   請求項２に記載の情報処理装置。
4. 前記推奨部は、前記観察状況に関する状況情報として、血流遮断医療器具又は血管吻合医療器具が検出された旨の情報を取得した場合に、前記生体画像に基づく二次情報として生成された酸素飽和度の分布を可視化した画像、又は、血液の分布に対応する近赤外帯域での前記生体の撮像画像を、前記推奨画像として決定する、
   請求項１に記載の情報処理装置。
5. 前記推奨部は、前記観察状況に関する状況情報として、血管の存在が検出された旨の情報を取得した場合に、血管の視認に適した波長帯域での前記生体の撮像画像を前記推奨画像として決定する、
   請求項１に記載の情報処理装置。
6. プロセッサが、
   生体を撮像することで前記生体を観察する医療用観察機器を用いて前記生体が観察されている際の状況である観察状況を特定することと、
   前記観察状況に基づいて、前記医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定することと、
   を含み、
   前記観察状況の特定において、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報を利用して前記生体画像に対して画像認識処理を実施し、前記画像認識処理の認識結果に関する情報を利用して前記観察状況を特定する、
   情報処理装置の作動方法。
7. コンピュータに、
   生体を撮像することで前記生体を観察する医療用観察機器を用いて前記生体が観察されている際の状況である観察状況を特定させ、
   前記観察状況に基づいて、前記医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記観察状況に応じた推奨画像として決定させ、
   前記観察状況の特定において、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報を利用して前記生体画像に対して画像認識処理を実施させ、前記画像認識処理の認識結果に関する情報を利用して前記観察状況を特定させるためのプログラム。
8. 生体を撮像することで前記生体を観察する医療用観察機器と、
   前記医療用観察機器を用いて前記生体が観察されている際の状況である観察状況を特定し、前記観察状況に基づいて、前記医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像の少なくとも１つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記観察状況に応じた推奨画像をとして決定する情報処理装置と、
   を備え、
   前記情報処理装置は、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報を利用して前記生体画像に対して画像認識処理を実施し、前記画像認識処理の認識結果に関する情報を利用して前記観察状況を特定する、
   医療用観察システム。

Images