WO2021095697A1

WO2021095697A1 - 情報処理装置、生成方法及び生成プログラム

Info

Publication number: WO2021095697A1
Application number: PCT/JP2020/041782
Authority: WO
Inventors: 菊地　大介; 穂高橋
Original assignee: ソニーグループ株式会社
Priority date: 2019-11-14
Filing date: 2020-11-09
Publication date: 2021-05-20
Also published as: JPWO2021095697A1; US20220405900A1

Abstract

情報処理装置（１００）は、術中に関する画像である入力画像を取得し、前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する生成部とを備える。

Description

情報処理装置、生成方法及び生成プログラム

　本開示は、情報処理装置、生成方法及び生成プログラムに関する。

　医療現場において、内視鏡を用いた内視鏡手術が広く行われている。また、内視鏡手術に係る種々の装置が開発されている。たとえば、特許文献１では、撮像された内視鏡画像から煙を検出すると、気腹装置を動作させて煙の除去を行う装置が開示されている。

　特許文献２では、撮像された内視鏡画像から煙を検出すると、一律の信号処理によって内視鏡画像から煙除去を施したうえで、煙の検出結果に応じて排煙装置を制御し、煙の除去を行う装置が開示されている。

特開平１１－３１８９０９号公報特開２０１８－１５７９１７号公報

　しかし、特許文献１では、煙の有無を検出していても煙の量までは検出しておらず、煙の発生量によっては、十分に煙を除去できない場合がある。また、特許文献１では、煙を物理的に除外するものであるため、煙が排出されて視野がクリアになるまで時間を要する。

　特許文献２では、煙の発生量によらず、一律の信号処理によって、内視鏡画像から煙除去を施すものであり、煙の発生量によっては信号処理の効果が限定的であり、煙除去の効果は、結局、排煙装置の性能に依存してしまう。

　そこで、本開示では、術中に発生する物質の影響を低減することができる情報処理装置、生成方法及び生成プログラムを提案する。

　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、術中に関する画像である入力画像を取得し、前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する生成部を備える。

本開示に係る技術思想を用いた手術室システムが適用された手術の様子の一例を示す図である。本開示の第１の実施形態に係るシステム構成例を示す図である。本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。煙およびミストそれぞれの特徴を説明するための図である。煙およびミストの発生と輝度および彩度との関係を示す図である。本開示の第１の実施形態に係る煙除去処理部の構成例を示す図である。本開示の第１の実施形態に係るミスト除去処理部の構成例を示す図である。本開示の第１の実施形態に係る生成部の構成例を示す図である。本開示の第１の実施形態に係る情報処理装置の基本動作の流れを示すフローチャートである。本開示の第１の実施形態に係る判定部の動作の流れを示すフローチャートである。本開示の第２の実施形態に係るシステム構成例を示す図である。本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。本開示の第３の実施形態に係る情報処理装置の構成例を示す図である。本開示の第４の実施形態に係る情報処理装置の構成例を示す図である。本開示の第５の実施形態に係るシステム構成例を示す図である。本開示の第５の実施形態に係る情報処理装置の構成例を示す図である。本開示の第５の実施形態に係る煙除去処理の生成する出力画像の一例を示す図である。本開示の第６の実施形態に係る情報処理装置の構成例を示す図である。本開示の第６の実施形態に係る重畳部の処理を説明するための図である。情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

　また、以下に示す項目順序に従って本開示を説明する。
　　１．適用例
　　２．第１の実施形態
　　２．１．第１の実施形態に係るシステムの構成
　　２．２．第１の実施形態に係る情報処理装置の構成
　　２．３．情報処理装置の動作の流れ
　　２．４．第１の実施形態に係る情報処理装置の効果
　　３．第．２の実施形態
　　３．１．第２の実施形態に係るシステムの構成
　　３．２．第２の実施形態に係る情報処理装置の構成
　　３．３．第２の実施形態に係る情報処理装置の効果
　　４．第３の実施形態
　　４．１．第３の実施形態に係るシステムの構成
　　４．２．第３の実施形態に係る情報処理装置の構成
　　４．３．第３の実施形態に係る情報処理装置の効果
　　５．第４の実施形態
　　５．１．第４の実施形態に係るシステムの構成
　　５．２．第４の実施形態に係る情報処理装置の構成
　　５．３．第４の実施形態に係る情報処理装置の効果
　　６．第５の実施形態
　　６．１．第５の実施形態に係るシステムの構成
　　６．２．第５の実施形態に係る情報処理装置の構成
　　６．３．第５の実施形態に係る情報処理装置の効果
　　７．第６の実施形態
　　７．１．第６の実施形態に係るシステムの構成
　　７．２．第６の実施形態に係る情報処理装置の構成
　　７．３．第６の実施形態に係る情報処理装置の効果
　　８．ハードウェア構成
　　９．むすび

＜１．適用例＞
　本開示の各実施形態に共通する技術思想の適用例について説明する。図１は、本開示に係る技術思想を用いた手術室システム５１００が適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

　内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、視聴覚コントローラ及び手術室制御装置（図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

　以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。ここで、チューブ５１３３は、体控内に生じた煙を体腔外に排煙するための構成であってよい。また、一方で、チューブ５１３３は、体控内にガスを注入し体腔を膨らませる機能を有してよい。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

　内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
　支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
　内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

　鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

　カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
　ＣＣＵ５１５３は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、上述した視聴覚コントローラが接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

　表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

　光源装置５１５７は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

　アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

　入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

　入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

　あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

　処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。排煙装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、チューブ５１３３を介して当該体腔内にガスを送り込む。また、排煙装置５１６５は、内視鏡５１１５による視野の確保のため、体腔内に生じた煙を排煙する機能を有する。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

　以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
　支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

　関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

　例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

　また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

　なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
　光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

　また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

　また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

＜２．第１の実施形態＞
＜＜２．１．第１の実施形態に係るシステムの構成＞＞
　次に、本開示の第１の実施形態について詳細に説明する。図２は、本開示の第１の実施形態に係るシステム構成例を示す図である。図２に示すように、このシステムは、撮像装置１０、表示装置５１５５、情報処理装置１００を有する。撮像装置１０、表示装置５１５５、情報処理装置１００は、ネットワーク２０を介して相互に接続される。

　撮像装置１０は、観察対象物の生体内において生体内画像を撮像する装置である。撮像装置１０は、たとえば、図１に説明したように内視鏡５１１５であってもよい。撮像装置１０は、撮像部１１および通信部１２を有する。

　撮像部１１は、観察対象物の生体内において生体内画像を撮像する機能を有する。本実施例に係る撮像部１１は、たとえば、ＣＣＤ（Charge　Coupled　device）やＣＭＯＳ（Complementary　MOS）などの撮像素子を含んで構成される。撮像部１１は、所定のフレームレート（FPS：Frames　Per　Second）で、生体内画像を撮像する。

　ここで、本実施形態に係る生体内画像とは、臨床、医学、および実験用に生物学見地から取得される画像（Biological　Imaging）を広く含み、撮像対象は人間に限定されない。

　通信部１２は、ネットワーク２０を介して、情報処理装置１００との情報通信を行う機能を有する。たとえば、通信部１２は、撮像部１１が撮像した各生体内画像を情報処理装置１００に時系列に送信する。

　情報処理装置１００は、撮像装置１０から、各生体内画像を時系列に受信する。以下の説明において、撮像装置１０から受信する生体内画像を「入力画像」と表記する。情報処理装置１００は、入力画像に、術中に発生する物質が含まれているか否かを判定し、判定結果と入力画像とを基にして、出力画像を生成する。たとえば、術中に発生する物資は、煙、ミストである。入力画像は、「医療画像」や「術中画像」とも呼ばれる。

　情報処理装置１００は、出力画像を、表示装置５１５５に送信する。後述するように、入力画像に、煙またはミストが含まれている場合、情報処理装置１００は、煙またはミストを除外した出力画像を生成する。情報処理装置１００は、たとえば、図１で説明したようにＣＣＵ５１５３であってもよい。

　表示装置５１５５は、情報処理装置１００から出力画像を受信し、受信した出力画像を表示する。その他の表示装置５１５５に関する説明は、図１の表示装置５１５５に関する説明と同様である。

＜＜２．２．第１の実施形態に係る情報処理装置の構成＞＞
　次に、本開示の第１の実施形態に係る情報処理装置１００について詳細に説明する。図３は、本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、この情報処理装置１００は、記憶部１０１、判定部１０２、煙除去処理部１０３、ミスト除去処理部１０４、生成部１０５を有する。

　情報処理装置１００は、撮像装置１０から入力画像を受信する度に、判定部１０２、煙除去処理部１０３、ミスト除去処理部１０４にそれぞれ入力画像を入力する。図３では図示を省略するが、情報処理装置１００は、ネットワーク２０を介して、撮像装置１０、表示装置５１５５と情報通信を行う通信部を有しているものとする。

（（記憶部１０１））
　記憶部１０１は、生成部１０５によって生成される最新の出力画像の情報を記憶する記憶装置である。出力画像は、煙およびミストが発生していない（あるいは、煙およびミストが除去された）画像である。記憶部１０１に記憶される出力画像は、生成部１０５から新たな出力画像が出力される度に、更新される。

　記憶部１０１は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子、ＨＤＤ（Hard　Disk　Drive）などの記憶装置に対応する。記憶部１０１は、揮発性メモリ、不揮発性メモリのどちらかでもよいし、両方使用してもよい。

（（判定部１０２））
　判定部１０２は、入力画像を基にして、入力画像中に煙またはミストが含まれているか否かを判定する処理部である。判定部１０２は、煙またはミストが含まれていると判定した場合、煙およびミストの発生量を判定する。また、判定部１０２は、煙およびミストそれぞれの発生確率を算出する。煙およびミストの発生確率は、煙とミストとの比率に対応する。

　ここで、煙およびミストそれぞれの特徴について説明する。図４は、煙およびミストそれぞれの特徴を説明するための図である。図４において、画像２５は、煙およびミストが発生していない入力画像である。画像２５ａは、煙が発生している入力画像である。画像２５ｂは、ミストが発生している入力画像である。

　煙が発生すると、画像２５ａに示すように、霧と同じく比較的一様に、煙が広がる。煙のかかっている部分は、光の反射が起こると共に透過率が下がるため、全体的に白っぽくなった上で、背景のコントラストが下がるという特徴がある。

　ミストが発生すると、画像２５ｂに示すように、煙と同様にして白っぽくなり、背景のコントラストが下がる。ミストは、基本的に水蒸気や水滴の集まりであるため、水滴のある部分とない部分との透過率の差が大きくなり、まだら模様のように背景の見えない部分ができる。

　続いて、煙およびミストの発生と輝度および彩度との関係について説明する。図５は、煙およびミストの発生と輝度および彩度との関係を示す図である。図５に示すグラフにおいて、横軸は時間に対応する軸である。縦軸は、輝度または彩度のレベル（値）に対応する軸である。線２６ａは、輝度と時間との関係を示すものである。線２６ｂは、彩度と時間との関係を示すものである。

　図５に示すように、時刻ｔにおいて煙（またはミスト）が発生し、時間経過と共に、煙（またはミスト）の発生量が増加すると、発生量の増加に伴って、輝度のレベルが上がり、彩度のレベルが下がる。

　判定部１０２が、入力画像中に煙またはミストが含まれているか否かを判定する処理の一例について説明する。判定部１０２は、記憶部１０１に記憶された出力画像を基にして、輝度の基準値および彩度の基準値を算出しておく。判定部１０２は、出力画像の各画素値を輝度および彩度に変換する。判定部１０２は、出力画像の各輝度の平均値を、輝度の基準値として算出する。判定部１０２は、出力画像の各彩度の平均値を、彩度の基準値として算出する。

　判定部１０２は、入力画像の入力を受け付けると、入力画像に含まれる各画素値を輝度および彩度に変換する。たとえば、判定部１０２は、入力画像の各輝度の平均値が輝度の基準値未満となり、かつ、入力画像の各彩度の平均値が彩度の基準値未満となった場合、入力画像中に煙またはミストが含まれていると判定する。

　判定部１０２が、入力画像中に煙またはミストが含まれていると判定した場合、煙およびミストの発生量を判定する処理と、煙およびミストの発生確率を判定する処理を実行する。

　判定部１０２が、煙およびミストの発生量を判定する処理の一例について説明する。たとえば、判定部１０２は、入力画像を複数のブロックに分割し、ブロック毎に輝度および彩度の時間変化を算出する。

　たとえば、判定部１０２は、出力画像のブロックＢＯ_ｉｊの輝度と、入力画像のブロックＢＩ_ｉｊの輝度との差分を、輝度の時間変化として算出する。ＢＯ_ｉｊは、出力画像の分割されたブロックのうち、ｉ行目ｊ列目のブロックを示す。ＢＩ_ｉｊは、入力画像の分割されたブロックのうち、ｉ行目ｊ列目のブロックを示す。

　判定部１０２は、出力画像のブロックＢＯ_ｉｊの彩度と、入力画像のブロックＢＩ_ｉｊの彩度との差分を、彩度の時間変化として算出する。

　判定部１０２は、出力画像の各ブロックと、入力画像の各ブロックとを比較して、ブロック毎に輝度および彩度の時間変化を算出する。判定部１０２は、入力画像の各ブロックのうち、輝度および彩度の時間変化が閾値以上となるブロックを、煙またはミストの発生したブロックとして判定する。

　たとえば、判定部１０２は、入力画像の全ブロックのうち、煙またはミストの発生したブロックの割合と、輝度および彩度の時間変化と、煙およびミストの発生量との関係を定義した「発生量特定テーブル（図示略）」を基にして、煙およびミストの発生量を特定する。発生量特定テーブルの情報は、事前に設定されているものとする。

　続いて、判定部１０２が、煙およびミストの発生確率（比率）を判定する処理の一例について説明する。判定部１０２は、入力画像のブロック毎に、ダイナミックレンジを算出する。たとえば、判定部１０２は、１つのブロックに含まれる輝度（あるいは画素値）を走査し、輝度の最大値と、輝度の最小値とを特定し、輝度の最大値と輝度の最小値との差分を、ダイナミックレンジとして算出する。

　判定部１０２は、ダイナミックレンジと、煙およびミストの発生確率との関係を定義した「発生比率特定テーブル（図示略）」を基にして、１つのブロックに対する煙およびミストの発生確率を判定する。たとえば、煙に比べてミストは画像のローカルコントラストが大きくなる傾向があるため、ダイナミックレンジが大きいほど、煙の発生確率と比較して、ミストの発生確率が大きくなる。

　判定部１０２は、煙またはミストの発生した各ブロックについて、煙およびミストの発生確率を算出する処理をそれぞれ実行する。判定部１０２は、算出した煙およびミストの発生確率を基にして、煙およびミストの発生確率の代表値を特定する。たとえば、判定部１０２は、煙およびミストの発生確率の平均値または中央値等を、煙およびミストの発生確率の代表値として特定する。

　たとえば、判定部１０２は、煙の発生確率Ｐ１と、ミストの発生確率Ｐ２とを合計した発生確率が、１００％となるように、煙の発生確率Ｐ１と、ミストの発生確率Ｐ２とを調整する。

　判定部１０２は、判定結果を、生成部１０５に出力する。判定結果には、入力画像に、煙またはミストが発生しているか否かの情報が含まれる。煙またはミストが発生している場合には、判定結果には、煙およびミストの発生量と、煙およびミストの発生確率の代表値とが更に含まれる。以下の説明では、煙およびミストの発生確率の代表値を単に、煙およびミストの発生確率と表記する。

（（煙除去処理部１０３））
　煙除去処理部１０３は、入力画像から煙を低減または除去した煙除去画像を生成する処理部である。以下の説明では「入力画像から煙を低減または除去する」ことを、適宜、「入力画像から煙を除去」すると表記する。図６は、本開示の第１の実施形態に係る煙除去処理部の構成例を示す図である。図６に示すように、煙除去処理部１０３は、劣化推定部３１と、劣化補正部３２とを有する。

　劣化推定部３１は、入力画像と出力画像とを基にして、入力画像の劣化を推定する処理部である。劣化推定部３１は、劣化の推定結果を、劣化補正部３２に出力する。たとえば、劣化推定部３１は、ヒストグラム変換処理、補正量マップ算出処理を実行する。以下において、劣化推定部３１が実行するヒストグラム変換処理、補正量マップ算出処理について説明する。

　劣化推定部３１が実行するヒストグラム変換処理の一例について説明する。劣化推定部３１は、入力画像のヒストグラムｈ_Ｓ（ｓ_ｊ）が、出力画像（ターゲット画像）のヒストグラムｈ_Ｔ（ｔ_ｊ）に一致するように変換する。ここで、ｓ_ｊは、入力画像におけるｊ番目の画素値を示すものである。ｔ_ｊは、出力画像におけるｊ番目の画素値を示すものである。たとえば、入力画像および出力画像の画素値は、０から２５５まで値をとる。

　劣化推定部３１は、ヒストグラムを画素数で正規化して確率密度関数を求める。たとえば、入力画像の確率密度関数ｐ_Ｓ（ｓ_ｊ）は、式（１）によって定義される。劣化推定部３１は、式（１）を基にして、入力画像の確率密度関数ｐ_Ｓ（ｓ_ｊ）を算出する。

　出力画像の確率密度関数ｐ_Ｔ（ｔ_ｊ）は、式（２）によって定義される。劣化推定部３１は、式（２）を基にして、確率密度関数ｐ_Ｔ（ｔ_ｊ）を算出する。

　劣化推定部３１は、確率密度関数を求めた後に、確率密度関数の累積分布関数を求める。たとえば、入力画像の累積分布関数Ｆ_Ｓ（ｓ_ｋ）は、式（３）によって定義される。劣化推定部３１は、式（３）を基にして、累積分布関数Ｆ_Ｓ（ｓ_ｋ）を算出する。入力画像の画素値が、０から２５５まで値をとる場合、ｋ＝２５５となる。

　出力画像の累積分布関数Ｆ_Ｔ（ｔ_ｋ）は、式（４）によって定義される。劣化推定部３１は、式（４）を基にして、累積分布関数Ｆ_Ｔ（ｔ_ｋ）を算出する。出力画像の画素値が、０から２５５まで値をとる場合、ｋ＝２５５となる。

　劣化推定部３１は、Ｆ_Ｔ（ｓ_ｋ）の逆関数Ｆ_Ｔ ^－１（ｓ_ｋ）を算出し、Ｆ_Ｓ（ｓ_ｋ）＝Ｆ_Ｔ（ｓ_ｋ）となるように、入力画像の各画素値を変換する。たとえば、劣化推定部３１は、入力画像の各画素値ｓ_ｊ（ｊ＝０～２５５）を、式（５）に基づいて、出力画素値ｏ_ｊにそれぞれ変換することで、ヒストグラム変換画像Ｈ（Ｉ）を生成する。

　ここで、劣化推定部３１は、上記のヒストグラム変換処理を、必ずしも画像全体に対して行う必要はなく、画像の特定領域やグリッド単位で行ってもよい。

　劣化推定部３１が実行する補正量マップ算出処理の一例について説明する。劣化推定部３１は、式（６）を基にして、補正量マップＭを算出する。式（６）に示すように、劣化推定部３１は、ヒストグラム変換画像（Ｉ）と、入力画像Ｉとの差分を算出することで、コントラストの補正量マップＭを算出する。

　Ｍ＝Ｈ（Ｉ）－Ｉ・・・（６）

　また、劣化推定部３１は、コントラストの補正量マップを、入力画像をガイド画像としたガイド付きフィルタで成形することで、成形済み補正量マップＦ（Ｉ，Ｍ）を生成する。成形済み補正量マップＦ（Ｉ，Ｍ）は、補正量マップＭを、入力画像Ｉのエッジに合わせて成形したものである。このように、成形済み補正量マップＦ（Ｉ，Ｍ）を用いることで、補正量マップＭと入力画像Ｉとの位置がずれている場合に発生し得るエッジ周辺での画像劣化を防ぐことができる。

　なお、劣化推定部３１は、以下に示す非特許文献１、２、３のいずれかに記載されたガイド付きフィルタを利用して、成形済み補正量マップＦ（Ｉ，Ｍ）を生成してもよい。

　非特許文献１：Kopf,Johannes,et　al."Joint　bilateral　upsampling."ACM　Transactions　on　Graphics　(ToG).Vol.26.No.3.ACM,2007.
　非特許文献２：He,Kaiming,Jian　Sun,　and　Xiaoou　Tang."Guided　image　filtering."European　conference　on　computer　vision.Springer,Berlin,Heidelberg,2010.
　非特許文献３：Gastal,Eduardo　SL,　and　Manuel　M.Oliveira."Domain　transform　for　edge-aware　image　and　video　processing."ACM　Transactions　on　Graphics　(ToG).Vol.30.No.4.　ACM,2011.

　劣化推定部３１は、劣化の推定結果として、成形済み補正量マップＦ（Ｉ，Ｍ）を、劣化補正部３２に出力する。成形済み補正量マップＦ（Ｉ，Ｍ）は、各画素の画素値が定義される。

　劣化補正部３２は、劣化の推定結果を基にして、入力画像を補正することで、煙除去画像を生成する処理部である。たとえば、劣化補正部３２は、式（７）に基づいて、煙除去画像Ｏ_Ａを生成する。式（７）では、入力画像Ｉの画素の画素値に、成形済み補正量マップＦ（Ｉ，Ｍ）の同位置の画素の画素値を加算する処理を、各画素について実行することを意味する。劣化補正部３２は、煙除去画像の情報を、生成部１０５に出力する。

　Ｏ_Ａ＝Ｆ（Ｉ，Ｍ）＋Ｉ・・・（７）

（（ミスト除去処理部１０４））
　ミスト除去処理部１０４は、入力画像からミストを低減または除去したミスト除去画像を生成する処理部である。以下の説明では「入力画像からミストを低減または除去する」ことを、適宜、「入力画像からミストを除去」すると表記する。図７は、本開示の第１の実施形態に係るミスト除去処理部の構成例を示す図である。図７に示すように、ミスト除去処理部１０４は、発生領域特定部４１と、第１劣化補正部４２と、劣化推定部４３と、第２劣化補正部４４とを有する。

　発生領域特定部４１は、入力画像と出力画像とを比較して、入力画像の領域のうち、ミストの発生している領域を判定する処理部である。たとえば、発生領域特定部４１は、判定部１０２と同様にして、入力画像の各ブロックのうち、輝度および彩度の時間変化が閾値以上となるブロックを、煙またはミストの発生したブロックとして判定する。また、発生領域特定部４１は、煙またはミストの発生したブロックのうち、輝度が閾値Ｔｈ_Ｙ以上となるブロックをミストの発生した領域として特定する。

　なお、発生領域特定部４１は、他の処理によって、ミストの発生している領域を特定してもよい。たとえば、発生領域特定部４１は、入力画像を複数のブロックに分割し、複数のブロックのうち、輝度が閾値Ｔｈ_Ｙ以上となるブロックをミストの発生した領域として特定してもよい。

　発生領域特定部４１は、ミストの発生している領域の情報と、ミストの発生していない領域の情報とを、第１劣化補正部４２に出力する。また、発生領域特定部４１は、入力画像の情報を、第１劣化補正部４２に出力する。

　第１劣化補正部４２は、入力画像において、ミストの発生している領域を、ミストの発生していない領域の情報によって補正する処理部である。第１劣化補正部４２は、入力画像を複数のブロックに分割し、分割した複数のブロックを、ミストが発生しているブロックと、ミストの発生していないブロックに分類する。以下の説明では、ミストが発生しているブロックを、第１ブロックと表記する。ミストが発生していないブロックを、第２ブロックと表記する。

　第１劣化補正部４２は、第１ブロックを選択し、選択した第１ブロックから所定距離以内の位置する第２ブロックを選択する。第１劣化補正部４２は、選択した第２ブロックのコントラストと同一のコントラストとなるように、選択した第１ブロックのコントラストを調整する。第１劣化補正部４２は、選択した第１ブロックから所定距離以内の位置する第２ブロックが複数存在する場合には、複数の第２ブロックのコントラストの平均値を算出し、第１ブロックのコントラストを、複数の第２ブロックのコントラストの平均値と同一となるように調整してもよい。

　第１劣化補正部４２は、入力画像に含まれる各第１ブロックについて、上記処理を繰り返し実行することで、入力画像を補正する。

　第１劣化補正部４２は、補正した入力画像を、第２劣化補正部４４に出力する。以下の説明では、補正された入力画像を「補正画像」と表記する。

　劣化推定部４３は、入力画像と出力画像とを基にして、入力画像の劣化を推定する処理部である。劣化推定部４３は、劣化の推定結果を、第２劣化補正部４４に出力する。劣化推定部４３の処理は、劣化推定部３１の処理と同様である。たとえば、劣化推定部４３が、第２劣化補正部４４に出力する劣化の推定結果は、成形済み補正量マップＦ（Ｉ，Ｍ）となる。

　第２劣化補正部４４は、劣化の推定結果を基にして、補正画像を補正することで、ミスト除去画像を生成する処理部である。たとえば、第２劣化補正部４４は、式（８）に基づいて、ミスト除去画像Ｏ_Ｂを生成する。式（８）では、補正画像Ｉ_Ｂの画素の画素値に、成形済み補正量マップＦ（Ｉ，Ｍ）の同位置の画素の画素値を加算する処理を、各画素について実行することを意味する。第２劣化補正部４４は、ミスト除去画像の情報を、生成部１０５に出力する。

　Ｏ_Ｂ＝Ｆ（Ｉ，Ｍ）＋Ｉ_Ｂ・・・（８）

（（生成部１０５））
　生成部１０５は、判定部１０２による判定結果と入力画像とを基にして、出力画像を生成する処理部である。生成部１０５は、出力画像の情報を、表示装置５１５５に出力する。出力画像の全体から煙またはミストの影響が除外されている。図８は、本開示の第１の実施形態に係る生成部の構成例を示す図である。図８に示すように、生成部１０５は、第１ブレンド比率算出部５１と、第１ブレンド処理部５２と、第２ブレンド比率算出部５３と、第２ブレンド処理部５４とを有する。

　第１ブレンド比率算出部５１は、判定部１０２の判定結果を基にして、煙除去画像と、ミスト除去画像とのブレンド比率αを算出する処理部である。第１ブレンド比率算出部５１は、煙およびミストの発生確率をブレンド比率αとする。たとえば、煙の発生確率Ｐ１と、ミストの発生確率Ｐ２とを合計すると、１００％になるように調整されているものとすると、煙とミストとのブレンド比率αは、Ｐ１：Ｐ２となる。第１ブレンド比率算出部５１は、ブレンド比率αの情報を、第１ブレンド処理部５２に出力する。

　第１ブレンド処理部５２は、ブレンド比率αを基にして、煙除去画像と、ミスト除去画像とをブレンド（合成）することで、処理画像を生成する処理部である。第１ブレンド処理部５２は、処理画像の情報を、第２ブレンド処理部５４に出力する。

　たとえば、処理画像のｉ行ｊ列目の画素の画素値をＳ３_ｉｊとし、煙除去画像のｉ行ｊ列目の画素の画素値をＳ１_ｉｊとし、ミスト除去画像のｉ行ｊ列目の画素の画素値をＳ２_ｉｊとする。この場合、第１ブレンド処理部５２は、処理画素の画素値Ｓ３_ｉｊを、式（９）により、算出する。

　Ｓ１_ｉｊ＝Ｐ１／（Ｐ１＋Ｐ２）×Ｓ１_ｉｊ＋Ｐ２／（Ｐ１＋Ｐ２）×Ｓ２_ｉｊ・・・（９）

　第１ブレンド処理部５２は、式（９）を基にして、処理画像の各画素の画素値をそれぞれ算出することで、処理画像を生成する。

　第２ブレンド比率算出部５３は、判定部１０２の判定結果を基にして、処理画像と、入力画像とのブレンド比率βを算出する処理部である。たとえば、第２ブレンド比率算出部５３は、煙およびミストの発生量と、ブレンド比率βとの関係を定義した「ブレンド比率特定テーブル（図示略）」を基にして、ブレンド比率βを算出する。

　たとえば、処理画像と、入力画像とのブレンド比率βを、Ｐ３：Ｐ４として説明を行う。ブレンド比率特定テーブルでは、煙およびミストの発生量が多いほど、処理画像の比率Ｐ３が、入力画像Ｐ４の比率よりも大きくなるように設定されているものとする。第２ブレンド比率算出部５３は、ブレンド比率βの情報を、第２ブレンド処理部５４に出力する。

　第２ブレンド処理部５４は、ブレンド比率βを基にして、処理画像と、入力画像とをブレンド（合成）することで、出力画像を生成する処理部である。たとえば、処理画像のｉ行ｊ列目の画素の画素値をＳ３_ｉｊとし、入力画像のｉ行ｊ列目の画素の画素値をＳ４_ｉｊとし、出力画像のｉ行ｊ列目の画素の画素値をＳ５_ｉｊとする。この場合、第２ブレンド処理部５４は、出力画像の画素値Ｓ５_ｉｊを、式（１０）により、算出する。

　Ｓ５_ｉｊ＝Ｐ３／（Ｐ３＋Ｐ４）×Ｓ３_ｉｊ＋Ｐ４／（Ｐ３＋Ｐ４）×Ｓ４_ｉｊ・・・（１０）

　第２ブレンド処理部５４は、式（１０）を基にして、処理画像の各画素の画素値をそれぞれ算出することで、出力画像を生成する。

＜＜２．３．情報処理装置１００の動作の流れ＞＞
　次に、本開示の第１の実施形態に係る情報処理装置１００の動作の流れについて説明する。図９は、本開示の第１の実施形態に係る情報処理装置１００の基本動作の流れを示すフローチャートである。

　図９において、情報処理装置１００は、撮像装置１０から入力画像を受信する（ステップＳ１０１）。情報処理装置１００の判定部１０２は、判定処理を実行する（ステップＳ１０２）。

　情報処理装置１００の煙除去処理部１０３は、入力画像に対して煙除去処理を実行し、煙除去画像を生成する（ステップＳ１０３）。情報処理装置１００のミスト除去処理部１０４は、入力画像に対してミスト除去処理を実行し、ミスト除去画像を生成する（ステップＳ１０４）。

　情報処理装置１００の生成部１０５は、ブレンド比率αによって、煙除去画像とミスト除去画像とをブレンドし、処理画像を生成する（ステップＳ１０５）。生成部１０５は、ブレンド比率βによって、処理画像と、入力画像とをブレンドし、出力画像を生成する（ステップＳ１０６）。

　生成部１０５は、出力画像を記憶部１０１に登録すると共に、出力画像を表示装置５１５５に出力する（ステップＳ１０７）。情報処理装置１００は、処理を継続する場合には（ステップＳ１０８，Ｙｅｓ）、ステップＳ１０１に移行する。一方、情報処理装置１００は、処理を継続しない場合には（ステップＳ１０８，Ｎｏ）、処理を終了する。

　次に、図９のステップＳ１０２に示した判定処理の動作の流れについて説明する。図１０は、本開示の第１の実施形態に係る判定部の動作の流れを示すフローチャートである。

　情報処理装置１００の判定部１０２は、入力画像の画素値を輝度および彩度に変換する（ステップＳ２０１）。判定部１０２は、入力画像を複数のブロックに分割する（ステップＳ２０２）。

　判定部１０２は、ブロック毎に輝度および彩度の時間変化を算出する（ステップＳ２０３）。判定部１０２は、輝度および彩度の時間変化および面積から煙およびミストの発生量を推定する（ステップＳ２０４）。

　判定部１０２は、ブロック毎のダイナミックレンジを算出する（ステップＳ２０５）。判定部１０２は、煙およびミストそれぞれの発生確率を推定する（ステップＳ２０６）。判定部１０２は、判定結果を、生成部１０５に出力する（ステップＳ２０７）。

＜＜２．４．第１の実施形態に係る情報処理装置の効果＞＞
　本開示の第１の実施形態に係る情報処理装置１００によれば、入力画像を基にして、入力画像に煙またはミストが含まれているか否かを判定し、判定結果と入力画像とを基にして、煙またはミストを除外した出力画像を生成する。これによって、内視鏡手術において術中に煙あるいはミストが発生して視界が不良になった場合でも、情報処理装置１００を用いることにより、発生した煙あるいはミストの量によらず、よりクリアな視界を確保することが可能となる。

　情報処理装置１００によれば、煙除去処理部１０３が、煙およびミストの発生していない出力画像のコントラストと同一となるように、入力画像のコントラストを調整することで、煙除去画像を生成する。これによって、入力画像に含まれる煙を適切に除外することができる。

　情報処理装置１００によれば、ミスト除去処理部１０４が、ミスト発生領域のコントラストを、ミストの発生していない領域のコントラストと同一となるように入力画像を調整した後に、煙およびミストの発生していない出力画像のコントラストと同一となるように、更に入力画像のコントラストを調整する。このように、２段階で入力画像のコントラストの調整を行うことで、煙と特徴の異なる、まだら模様のようなミストであっても、入力画像から適切に除外することができる。

　情報処理装置１００によれば、入力画像を基にして、煙またはミストの発生確率を判定する。これよって、煙またはミストの発生確率を基にしたブレンド比率αによって、煙除去画像と、ミスト除去画像とを合成することができ、入力画像に含まれる煙およびミストを適切に除外することができる。

　情報処理装置１００によれば、入力画像を基にして、煙またはミストの発生量を判定する。これによって、煙またはミストの発生量を基にしたブレンド比率βによって、処理画像と、入力画像とを合成することができ、入力画像に含まれる煙およびミストを適切に除外することができる。

　また、情報処理装置１００によれば、煙およびミストの除去に関する処理を、入力画像に対して実行するため、煙またはミストが発生した際に、煙またはミストの低減効果を瞬時に得ることができる。

＜３．第２の実施形態＞
＜＜３．１．第２の実施形態に係るシステムの構成＞＞
　次に、本開示の第２の実施形態について詳細に説明する。図１１は、本開示の第２の実施形態に係るシステム構成例を示す図である。図１１に示すように、このシステムは、撮像装置１０、使用デバイス監視装置６０、表示装置５１５５、情報処理装置２００を有する。撮像装置１０、使用デバイス監視装置６０、表示装置５１５５、情報処理装置２００は、ネットワーク２０を介して相互に接続される。

　撮像装置１０および表示装置５１５５に関する説明は、図２で説明した撮像装置１０および表示装置５１５５に関する説明と同様である。

　使用デバイス監視装置６０は、図示を省略する電気メス、超音波凝固切開装置等に接続され、電気メス、超音波凝固切開装置が使用されているか否かを監視する装置である。使用デバイス監視装置６０は、たとえば、図１に説明した処置具制御装置５１６３であってもよい。使用デバイス監視装置６０は、監視部６１と、通信部６２とを有する。

　監視部６１は、電気メス、超音波凝固切開装置の使用状況を監視する処理部である。たとえば、監視部６１は、電気メス、超音波凝固切開装置の使用開始ボタン等から、使用開始の制御信号を受け付けた場合に、電気メス、超音波凝固切開装置が使用中であると判定する。監視部６１は、使用デバイス情報を生成する。使用デバイス情報には、電気メスが使用中であるか否かの情報と、超音波凝固切開装置が使用中であるか否かの情報とを含む。

　たとえば、電気メスは、高周波電流によって発生する熱によって、患者５１８５の患部に対して止血や切開を行う。電気メスは、処置部分を焦がすため、煙が発生しやすいという特徴がある。

　超音波凝固切開装置は、超音波振動による摩擦によって、患者５１８５の患部の凝固や切開を行う。超音波凝固切開装置は、超音波振動によって、ミストが発生しやすいという特徴がある。

　通信部６２は、ネットワーク２０を介して、情報処理装置２００との情報通信を行う機能を有する。たとえば、通信部６２は、監視部６１が生成した使用デバイス情報を情報処理装置２００に送信する。

＜＜３．２．第２の実施形態に係る情報処理装置の構成＞＞
　次に、本開示の第２の実施形態に係る情報処理装置２００について詳細に説明する。図１２は、本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。図１２に示すように、この情報処理装置２００は、記憶部２０１、判定部２０２、煙除去処理部２０３、ミスト除去処理部２０４、生成部２０５を有する。

　情報処理装置２００は、撮像装置１０から入力画像を受信する度に、判定部２０２、煙除去処理部２０３、ミスト除去処理部２０４にそれぞれ入力画像を入力する。情報処理装置２００は、使用デバイス監視装置６０から、使用デバイス情報を受信する度に、判定部２０２に使用デバイス情報を入力する。図１２では図示を省略するが、情報処理装置２００は、ネットワーク２０を介して、撮像装置１０、使用デバイス監視装置６０、表示装置５１５５と情報通信を行う通信部を有しているものとする。

（（記憶部２０１）））
　記憶部２０１は、生成部２０５によって生成される最新の出力画像の情報を記憶する記憶装置である。出力画像は、煙およびミストが発生していない（あるいは、煙およびミストが除去された）画像である。記憶部２０１に記憶される出力画像は、生成部２０５から新たな出力画像が出力される度に、更新される。

　記憶部２０１は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、ＨＤＤなどの記憶装置に対応する。記憶部２０１は、揮発性メモリ、不揮発性メモリのどちらかでもよいし、両方使用してもよい。

（（判定部２０２））
　判定部２０２は、使用デバイス情報および入力画像を基にして、入力画像中に煙またはミストが含まれているか否かを判定する処理部である。判定部２０２は、煙またはミストが含まれていると判定した場合、煙およびミストの発生量を判定する。また、判定部２０２は、煙およびミストそれぞれの発生確率を算出する。煙およびミストの発生確率は、煙とミストとの比率に対応する。

　判定部２０２が、入力画像中に煙またはミストが含まれているか否かを判定する処理の一例について説明する。たとえば、判定部２０２は、使用デバイス情報において、電気メスまたは超音波凝固切開装置が使用されている旨の情報が含まれる場合に、入力画像中に煙またはミストが含まれていると判定する。

　なお、判定部２０２は、入力画像を基にして、入力画像中に煙またはミストが含まれていると判定し、かつ、使用デバイス情報において、電気メスまたは超音波凝固切開装置が使用されている旨の情報が含まれる場合に、入力画像中に煙またはミストが含まれていると判定してもよい。判定部２０２が、入力画像を基にして、入力画像中に煙またはミストが含まれていると判定する処理は、第１の実施形態の判定部１０２の処理と同様である。

　判定部２０２が、入力画像中に煙またはミストが含まれていると判定した場合、煙およびミストの発生量を判定する処理と、煙およびミストの発生確率を判定する処理を実行する。

　判定部２０２が、煙およびミストの発生量を判定する処理は、第１の実施形態の判定部１０２の処理と同様である。

　判定部２０２が、煙およびミストの発生確率（比率）を判定する処理の一例について説明する。判定部２０２は、第１の実施形態の判定部１０２と同様にして、ダイナミックレンジを基にして、煙の発生確率Ｐ１およびミストの発生確率Ｐ２（煙およびミストの発生確率の代表値）を算出する。

　ここで、判定部２０２は、使用デバイス情報を基にして、煙の発生確率Ｐ１およびミストの発生確率Ｐ２を補正する。判定部２０２は、使用デバイス情報において、電気メスが使用中であり、かつ、超音波凝固切開装置が使用中でない場合には、煙の発生確率Ｐ１に、所定の確率値を加算することで、煙の発生確率Ｐ１を更新する。また、判定部２０２は、ミストの発生確率Ｐ２から、所定の確率値を減算することで、ミストの発生確率Ｐ２を更新する。

　判定部２０２は、使用デバイス情報において、電気メスが使用中でなく、かつ、超音波凝固切開装置が使用中である場合には、煙の発生確率Ｐ１から、所定の確率値を減算することで、煙の発生確率Ｐ１を更新する。また、判定部２０２は、ミストの発生確率Ｐ２に、所定の確率値を加算することで、ミストの発生確率Ｐ２を更新する。

　判定部２０２は、使用デバイス情報を基にして、電気メスおよび超音波凝固切開装置が使用中である場合には、煙の発生確率Ｐ１およびミストの発生確率Ｐ２をそのままの発生確率とする。

　判定部２０２は、判定結果を、生成部２０５に出力する。判定結果には、入力画像に、煙またはミストが発生しているか否かの情報が含まれる。煙またはミストが発生している場合には、判定結果には、煙およびミストの発生量と、煙およびミストの発生確率Ｐ１，Ｐ２が更に含まれる。

（（煙除去処理部２０３））
　煙除去処理部２０３は、入力画像から煙を除去した煙除去画像を生成する処理部である。煙除去処理部２０３は、煙除去画像を、生成部２０５に出力する。煙除去処理部２０３に関する説明は、第１の実施形態の煙除去処理部１０３の処理と同様である。

（（ミスト除去処理部２０４））
　ミスト除去処理部２０４は、入力画像からミストを除去したミスト除去画像を生成する処理部である。ミスト除去処理部２０４は、ミスト除去画像を、生成部２０５に出力する。ミスト除去処理部２０４に関する説明は、第１の実施形態のミスト除去処理部１０４の処理と同様である。

（（生成部２０５））
　生成部２０５は、判定部２０２による判定結果と入力画像とを基にして、出力画像を生成する処理部である。生成部２０５は、出力画像の情報を、表示装置５１５５に出力する。生成部２０５に関する説明は、第１の実施形態の生成部１０５の処理と同様である。

＜＜３．３．第２の実施形態に係る情報処理装置の効果＞＞
　本開示の第２の実施形態に係る情報処理装置２００によれば、使用デバイス情報と入力情報とを基にして、入力画像に煙またはミストが含まれているか否かを判定すると共に、煙およびミストの発生確率を、使用デバイス情報を基にして補正する。これによって、入力画像に煙またはミストが含まれているか否かの判定精度を向上させることができる。また、煙およびミストの発生確率を、使用デバイス情報を基にして補正することで、より適切なブレンド比率αによって、煙除外画像と、ミスト除外画像とをブレンドすることができる。

＜４．第３の実施形態＞
＜＜４．１．第３の実施形態に係るシステムの構成＞＞
　次に、本開示の第３の実施形態について詳細に説明する。本開示の第３の実施形態に係るシステム構成は、図１１で説明した、本開示の第２の実施形態に係るシステム構成と同様である。以下の説明では、第３の実施形態に係る情報処理装置を、情報処理装置３００と表記する。図示を省略するが、撮像装置１０と、使用デバイス監視装置６０と、表示装置５１５５と、情報処理装置３００とは、ネットワーク２０を介して相互に接続される。

＜＜４．２．第３の実施形態に係る情報処理装置の構成＞＞
　次に、本開示の第３の実施形態に係る情報処理装置３００について詳細に説明する。図１３は、本開示の第３の実施形態に係る情報処理装置の構成例を示す図である。図１３に示すように、この情報処理装置３００は、記憶部３０１と、判定部３０２と、パラメータ生成部３０３と、煙除去処理部３０４とを有する。

　情報処理装置３００は、撮像装置１０から入力画像を受信する度に、判定部３０２、煙除去処理部２０３にそれぞれ入力画像を入力する。情報処理装置３００は、使用デバイス監視装置６０から、使用デバイス情報を受信する度に、判定部３０２に使用デバイス情報を入力する。図１３では図示を省略するが、情報処理装置３００は、ネットワーク２０を介して、撮像装置１０、使用デバイス監視装置６０、表示装置５１５５と情報通信を行う通信部を有しているものとする。

　なお、情報処理装置３００では、煙とミストとの区別をせずに、煙またはミストを、煙として取り扱うものとする。

（（記憶部３０１））
　記憶部３０１は、煙除去処理部３０４によって生成される最新の出力画像の情報を記憶する記憶装置である。出力画像は、煙が発生していない（あるいは、煙が除去された）画像である。記憶部３０１に記憶される出力画像は、煙除去処理部３０４から新たな出力画像が出力される度に、更新される。

　記憶部３０１は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、ＨＤＤなどの記憶装置に対応する。記憶部３０１は、揮発性メモリ、不揮発性メモリのどちらかでもよいし、両方使用してもよい。

（（判定部３０２））
　判定部３０２は、使用デバイス情報および入力画像を基にして、入力画像中に煙が含まれているか否かを判定する処理部である。判定部３０２は、煙が含まれていると判定した場合、煙の発生量を判定する。

　判定部３０２が、入力画像中に煙が含まれているか否かを判定する処理の一例について説明する。たとえば、判定部３０２は、使用デバイス情報において、電気メスまたは超音波凝固切開装置が使用されている旨の情報が含まれる場合に、入力画像中に煙が含まれていると判定する。

　なお、判定部３０２は、入力画像を基にして、入力画像中に煙が含まれていると判定し、かつ、使用デバイス情報において、電気メスまたは超音波凝固切開装置が使用されている旨の情報が含まれる場合に、入力画像中に煙が含まれていると判定してもよい。判定部２０２が、入力画像を基にして、入力画像中に煙（煙またはミスト）が含まれていると判定する処理は、第１の実施形態の判定部１０２の処理と同様である。

　判定部３０２が、入力画像中に煙が含まれていると判定した場合、煙の発生量を判定する処理と、煙の発生領域を特定する処理を実行する。

　たとえば、判定部３０２は、入力画像を複数のブロックに分割し、ブロック毎に輝度および彩度の時間変化を算出する。

　判定部３０２は、出力画像のブロックＢＯ_ｉｊの輝度と、入力画像のブロックＢＩ_ｉｊの輝度との差分を、輝度の時間変化として算出する。ＢＯ_ｉｊは、出力画像の分割されたブロックのうち、ｉ行目ｊ列目のブロックを示す。ＢＩ_ｉｊは、入力画像の分割されたブロックのうち、ｉ行目ｊ列目のブロックを示す。

　判定部３０２は、出力画像のブロックＢＯ_ｉｊの彩度と、入力画像のブロックＢＩ_ｉｊの彩度との差分を、彩度の時間変化として算出する。

　判定部３０２は、出力画像の各ブロックと、入力画像の各ブロックとを比較して、ブロック毎に輝度および彩度の時間変化を算出する。判定部１０２は、入力画像の各ブロックのうち、輝度および彩度の時間変化が閾値以上となるブロックを、煙の発生領域として特定する。

　判定部３０２は、入力画像の全ブロックのうち、煙の発生領域のブロックの割合と、輝度および彩度の時間変化と、煙の発生量との関係を定義した「発生量特定テーブル（図示略）」を基にして、煙の発生量を特定する。発生量特定テーブルの情報は、事前に設定されているものとする。

　判定部３０２は、判定結果を、パラメータ生成部３０３に出力する。判定結果には、入力画像に煙が発生しているか否かの情報が含まれる。煙が発生している場合には、判定結果には、煙の発生量と、煙の発生領域の情報とが更に含まれる。

（（パラメータ生成部３０３））
　パラメータ生成部３０３は、判定部３０２の判定結果を基にして、煙除去処理のパラメータを生成する処理部である。パラメータ生成部３０３が生成するパラメータには、煙除去処理のオン／オフのタイミング、煙除去処理の強度レベル、煙除去処理の対象となる領域の情報が含まれる。

　判定結果において、入力画像に煙が発生していない旨の情報が含まれる間の、パラメータ生成部３０３の処理の一例について説明する。パラメータ生成部３０３は、判定部３０２の判定結果を取得し、入力画像に煙が発生していない旨の情報が含まれる間は、煙除去処理を「オフ」に設定したパラメータを生成し、パラメータを煙除去処理部３０４に出力する。

　なお、パラメータ生成部３０３は、入力画像に煙が発生していない旨の情報が含まれる間は、煙除去処理の強度レベル、煙除去処理の対象となる領域の情報をパラメータに設定しない。

　続いて、判定結果において、入力画像に煙が発生している旨の情報が含まれる間の、パラメータ生成部３０３の処理の一例について説明する。パラメータ生成部３０３は、判定部３０２の判定結果を取得し、入力画像に煙が発生している旨の情報が含まれる間は、煙除去処理を「オン」に設定したパラメータを生成する。

　パラメータ生成部３０３は、判定結果に含まれる煙の発生量と、強度レベルとの関係を定義した「強度レベル特定テーブル（図示略）」を基にして、強度レベルを特定する。強度レベル特定テーブルでは、煙の発生量が多いほど、強度レベルが大きくなるように予め設定されているものとする。パラメータ生成部３０３は、パラメータに、強度レベルを設定する。

　また、パラメータ生成部３０３は、判定結果に含まれる煙の発生領域の情報を、煙除去処理の対象となる領域の情報として、パラメータに設定する。

　パラメータ生成部３０３は、上記のように、煙除去処理を「オン」に設定し、強度レベル、煙除去処理の対象となる領域の情報を設定したパラメータを、煙除去処理部３０４に出力する。

（（煙除去処理部３０４））
　煙除去処理部３０４は、パラメータを基にして、入力画像から煙を除去した煙除去画像を生成する処理部である。第３の実施形態では、煙除去画像が、出力画像に対応する。煙除去処理部３０４は、煙除去画像（出力画像）を、表示装置５１５５に出力する。また、煙除去処理部３０４は、煙除去画像を、記憶部３０１に登録する。

　煙除去処理部３０４は、パラメータにおいて、煙除去処理が「オフ」に設定されている場合には、煙除去処理を実行しないで、入力画像をそのまま出力する。

　煙除去処理部３０４は、パラメータにおいて、煙除去処理を「オン」に設定されている場合には、次の煙除去処理を実行する。

　煙除去処理部３０４は、入力画像を複数のブロックに分割し、煙除去処理の対象となる領域の情報と、各ブロックとを比較して、煙除去処理の対象となるブロックを選択する。煙除去処理部３０４は、選択したブロックに対して、第１の実施形態の煙除去処理部３０４と同様にして、劣化推定部３１に相当する処理と、劣化補正部３２に相当する処理を実行する。

　ここで、煙除去処理部３０４は、入力画像の画素値を、煙除去画像の画素値に変換する場合に、強度レベルに応じて、変化を許容するコントラストの幅に制限を持たせる。煙除去処理部３０４は、入力画像の画素値に対する、煙除去画像の画素値の変化が、許容されるコントラストの幅を上回る場合には、煙除去画像の画素の画素値が、許容されるコントラストの幅に収まるように調整を行う。強度レベルと、許容するコントラストの幅との関係は、「コントラスト特定テーブル（図示略）」に予め、設定されているものとする。コントラスト特定テーブルでは、強度レベルが大きいほど、コントラストの幅は広くなる。

＜＜４．３．第３の実施形態に係る情報処理装置の効果＞＞
　本開示の第３の実施形態に係る情報処理装置３００によれば、使用デバイス情報と入力情報とを基にして、煙除去処理を行う際のパラメータを生成する。パラメータ生成部３０３によって、パラメータが最適化されるので、かかるパラメータを利用して、煙除去処理を実行することで、入力画像から煙を適切に除外した出力画像を生成することができる。

＜５．第４の実施形態＞
＜＜５．１．第４の実施形態に係るシステムの構成＞＞
　次に、本開示の第４の実施形態について詳細に説明する。本開示の第４の実施形態に係るシステム構成は、図２で説明した、本開示の第１の実施形態に係るシステム構成と同様である。以下の説明では、第４の実施形態に係る情報処理装置を、情報処理装置４００と表記する。図示を省略するが、撮像装置１０と、表示装置５１５５と、情報処理装置４００とは、ネットワーク２０を介して相互に接続される。

　なお、情報処理装置４００では、煙とミストとの区別をせずに、煙またはミストを、煙として取り扱うものとする。

＜＜５．２．第４の実施形態に係る情報処理装置の構成＞＞
　次に、本開示の第４の実施形態に係る情報処理装置４００について詳細に説明する。図１４は、本開示の第４の実施形態に係る情報処理装置の構成例を示す図である。図１４に示すように、この情報処理装置４００は、第１煙除去処理部４０１と、減算部４０２と、判定部４０３と、パラメータ生成部４０４と、第２煙除去処理部４０５とを有する。

　情報処理装置４００は、撮像装置１０から入力画像を受信する度に、第１煙除去処理部４０１、減算部４０２にそれぞれ入力画像を入力する。図１４では図示を省略するが、情報処理装置４００は、ネットワーク２０を介して、撮像装置１０と、表示装置５１５５と情報通信を行う通信部を有しているものとする。

（（第１煙除去処理部４０１））
　第１煙除去処理部４０１は、予め設定された初期のパラメータを基にして、入力画像から煙を除去した煙除去画像を生成する処理部である。第１煙除去処理部４０１は、煙除去画像を、減算部４０２に出力する。第１煙除去処理部４０１がパラメータ（初期のパラメータ）を用いて、煙除去画像を生成する処理は、第３の実施形態に係る煙除去処理部３０４の処理と同様である。

（（減算部４０２））
　減算部４０２は、入力画像と煙除去画像との差分画像を生成する処理部である。たとえば、減算部４０２は、入力画像から煙除去画像を減算することで、差分画像を生成する。減算部４０２は、差分画像の情報を、判定部４０３に出力する。

（（判定部４０３））
　判定部４０３は、差分画像を基にして、入力画像中に煙が含まれるか否かを判定する処理部である。判定部４０３は、煙が含まれていると判定した場合、煙の発生量を判定する。

　判定部４０３が、入力画像中に煙が含まれているか否かを判定する処理の一例について説明する。たとえば、判定部４０３は、差分画像の各画素の画素値を合計し、合計した画素値が、閾値Ｔｈ１以上である場合に、入力画像中に煙が含まれていると判定する。閾値Ｔｈ１は、予め設定されているものとする。

　判定部４０３が、入力画像中に煙が含まれていると判定した場合、煙の発生量を判定する処理と、煙の発生領域を特定する処理を実行する。

　たとえば、判定部４０３は、差分画像を複数のブロックに分割し、ブロック毎に画素値の合計値を算出する。判定部４０３は、複数のブロックのうち、画素値の合計値が閾値Ｔｈ２以上となるブロックを、煙の発生領域として特定する。

　判定部４０３は、入力画像の全ブロックのうち、煙の発生領域のブロックの割合と、ブロックの画素値の合計値と、煙の発生量との関係を定義した「発生量特定テーブル（図示略）」を基にして、煙の発生量を特定する。発生量特定テーブルの情報は、事前に設定されているものとする。

　判定部４０３は、判定結果を、パラメータ生成部４０４に出力する。判定結果には、入力画像に煙が発生しているか否かの情報が含まれる。煙が発生している場合には、判定結果には、煙の発生量と、煙の発生領域の情報とが更に含まれる。

（（パラメータ生成部４０４））
　パラメータ生成部４０４は、判定部４０３の判定結果を基にして、煙除去処理のパラメータを生成する処理部である。パラメータ生成部４０４が生成するパラメータには、煙除去処理のオン／オフのタイミング、煙除去処理の強度レベル、煙除去処理の対象となる領域の情報が含まれる。パラメータ生成部４０４がパラメータを生成する処理は、第４の実施形態で説明したパラメータ生成部３０３と同様である。パラメータ生成部４０４は、パラメータを、第２煙除去処理部４０５に出力する。

（（第２煙除去処理部４０５））
　第２煙除去処理部４０５は、パラメータを基にして、入力画像から煙を除去した煙除去画像を生成する処理部である。第２煙除去処理部４０５は、煙除去画像（出力画像）を、表示装置５１５５に出力する。第２煙除去処理部４０５がパラメータを用いて、煙除去画像を生成する処理は、第３の実施形態に係る煙除去処理部３０４の処理と同様である。

＜＜５．３．第４の実施形態に係る情報処理装置の効果＞＞
　本開示の第４の実施形態に係る情報処理装置４００によれば、一旦、初期のパラメータによって、煙除去画像を生成し、入力画像と煙除去画像との差分画像を生成し、かかる差分画像を基にして、煙の発生量および発生領域を判定する。情報処理装置４００は、係る判定結果を用いることで、煙除去処理のパラメータを最適化でき、かかるパラメータを利用して、煙除去処理を実行することで、入力画像から煙を適切に除外した出力画像を生成することができる。

＜６．第５の実施形態＞
＜＜６．１．第５の実施形態に係るシステムの構成＞＞
　次に、本開示の第５の実施形態について詳細に説明する。図１５は、本開示の第５の実施形態に係るシステム構成例を示す図である。図１５に示すように、このシステムは、撮像装置１０、使用デバイス監視装置６０、表示装置５１５５、入力装置５１６１、情報処理装置５００を有する。撮像装置１０、使用デバイス監視装置６０、表示装置５１５５、入力装置５１６１、情報処理装置５００は、ネットワーク２０を介して相互に接続される。

　撮像装置１０、使用デバイス監視装置６０、表示装置５１５５に関する説明は、図１１で説明した撮像装置１０、使用デバイス監視装置６０、表示装置５１５５に関する説明と同様である。

　入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。たとえば、ユーザは、入力装置５１６１を操作して、煙を除去する領域を指定する。ユーザに指定された煙を除去する領域の情報を「指定情報」と表記する。入力装置５１６１は、指定情報を、ネットワーク２０を介して、情報処理装置５００に送信する。

　また、入力装置５１６１は、カメラを有しており、ユーザの視線位置を検出してもよい。ユーザの視線位置の情報を含んだセンシング情報を、ネットワーク２０を介して、情報処理装置５００に送信する。

＜＜６．２．第５の実施形態に係る情報処理装置の構成＞＞
　次に、本開示の第５の実施形態に係る情報処理装置５００について詳細に説明する。図１６は、本開示の第５の実施形態に係る情報処理装置の構成例を示す図である。図１６に示すように、この情報処理装置５００は、記憶部５０１と、判定部５０２と、パラメータ生成部５０３と、煙除去処理部５０４とを有する。

　情報処理装置５００は、撮像装置１０から入力画像を受信する度に、判定部５０２、パラメータ生成部５０３、煙除去処理部５０４にそれぞれ入力画像を入力する。情報処理装置３００は、使用デバイス監視装置６０から、使用デバイス情報を受信する度に、判定部５０２に使用デバイス情報を入力する。情報処理装置５００は、入力装置５１６１から、指定情報、センシング情報を受信する度に、指定情報、センシング情報を、パラメータ生成部５０３に出力する。図１６では図示を省略するが、情報処理装置５００は、ネットワーク２０を介して、撮像装置１０、使用デバイス監視装置６０、入力装置５１６１、表示装置５１５５と情報通信を行う通信部を有しているものとする。

　なお、情報処理装置５００では、煙とミストとの区別をせずに、煙またはミストを、煙として取り扱うものとする。

（（記憶部５０１））
　記憶部５０１は、煙除去処理部５０４によって生成される最新の出力画像の情報を記憶する記憶装置である。出力画像は、煙が発生していない（あるいは、煙が除去された）画像である。記憶部５０１に記憶される出力画像は、煙除去処理部５０４から新たな出力画像が出力される度に、更新される。

　記憶部５０１は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、ＨＤＤなどの記憶装置に対応する。記憶部５０１は、揮発性メモリ、不揮発性メモリのどちらかでもよいし、両方使用してもよい。

（（判定部５０２））
　判定部５０２は、使用デバイス情報および入力画像を基にして、入力画像中に煙が含まれているか否かを判定する処理部である。判定部５０２は、煙が含まれていると判定した場合、煙の発生量を判定する。判定部５０２の処理は、第３の実施形態で説明した判定部３０２の処理と同様である。

　判定部５０２は、判定結果を、パラメータ生成部５０３に出力する。判定結果には、入力画像に煙が発生しているか否かの情報が含まれる。煙が発生している場合には、判定結果には、煙の発生量と、煙の発生領域の情報とが更に含まれる。

（（パラメータ生成部５０３））
　パラメータ生成部５０３は、判定部５０２の判定結果、指定情報、センシング情報を基にして、煙除去処理のパラメータを生成する処理部である。パラメータ生成部５０３が生成するパラメータには、煙除去処理のオン／オフのタイミング、煙除去処理の強度レベル、煙除去処理の対象となる領域の情報が含まれる。

　判定結果において、入力画像に煙が発生していない旨の情報が含まれる間の、パラメータ生成部５０３の処理の一例について説明する。パラメータ生成部５０３は、判定部５０２の判定結果を取得し、入力画像に煙が発生していない旨の情報が含まれる間は、煙除去処理を「オフ」に設定したパラメータを生成し、パラメータを煙除去処理部５０４に出力する。

　なお、パラメータ生成部５０３は、入力画像に煙が発生していない旨の情報が含まれる間は、煙除去処理の強度レベル、煙除去処理の対象となる領域の情報をパラメータに設定しない。

　続いて、判定結果において、入力画像に煙が発生している旨の情報が含まれる間の、パラメータ生成部５０３の処理の一例について説明する。パラメータ生成部５０３は、判定部４０３の判定結果を取得し、入力画像に煙が発生している旨の情報が含まれる間は、煙除去処理を「オン」に設定したパラメータを生成する。

　パラメータ生成部５０３は、判定結果に含まれる煙の発生量と、強度レベルとの関係を定義した「強度レベル特定テーブル（図示略）」を基にして、強度レベルを特定する。強度レベル特定テーブルでは、煙の発生量が多いほど、強度レベルが大きくなるように予め設定されているものとする。パラメータ生成部５０３は、パラメータに、強度レベルを設定する。

　ここで、パラメータ生成部５０３が、煙除去処理の対象となる領域を特定する処理の一例について説明する。パラメータ生成部５０３は、判定結果に含まれる煙の発生領域であり、かつ、予め設定される入力画像の一部分の領域となる領域を、煙除去処理の対象となる領域として特定する。以下の説明では、予め設定される入力画像の一部分の領域を「注目領域」と表記する。

　パラメータ生成部５０３は、注目領域をどのように設定してもよい。パラメータ生成部５０３は、注目領域を、入力画像の中心部分に設定してもよい。また、パラメータ生成部５０３は、指定情報を受信した場合には、指定情報を基準として、注目領域を設定する。パラメータ生成部５０３は、センシング情報を受信した場合には、ユーザの視線位置を基準として、注目領域を設定する。

　パラメータ生成部５０３は、入力画像を基にして、臓器や術具の位置を特定し、特定した臓器や術具の位置を基準として、注目領域を設定してもよい。パラメータ生成部５０３は、どのような従来技術を用いて、臓器や術具の位置を特定してもよい。たとえば、パラメータ生成部５０３は、入力画像からエッジを抽出し、所定の臓器や、術具の形状を定義したテンプレートを用いてマッチングを行い、臓器や術具の位置を特定する。

　パラメータ生成部５０３は、上記処理を実行することで、パラメータに、煙除去処理のオン／オフのタイミング、煙除去処理の強度レベル、煙除去処理の対象となる領域の情報を設定し、煙除去処理部５０４に出力する。

（（煙除去処理部５０４））
　煙除去処理部５０４は、パラメータを基にして、入力画像から煙を除去した煙除去画像を生成する処理部である。煙除去処理部５０４は、煙除去画像（出力画像）を、表示装置５１５５に出力する。煙除去処理部５０４がパラメータを用いて、煙除去画像を生成する処理は、第３の実施形態に係る煙除去処理部３０４の処理と同様である。

　なお、煙除去処理の対象となる領域は、判定結果に含まれる煙の発生領域であり、かつ、注目領域となる領域となる。図１７は、本開示の第５の実施形態に係る煙除去処理の生成する出力画像の一例を示す図である。図１７に示すように、出力画像７０には、煙の除去処理を行った領域７０ａと、煙の除去処理を行っていない領域７０ｂとが含まれる。

＜＜６．３．第５の実施形態に係る情報処理装置の効果＞＞
　本開示の第５の実施形態に係る情報処理装置５００によれば、煙除去処理の対象となる領域を、判定結果に含まれる煙の発生領域であり、かつ、注目領域となる領域に限定する。これによって、注目領域以外には、煙除去処理が実行されないため、術中で重要な部分からは、煙を除去することができると共に、煙除去の処理が効いているか否かをユーザは容易に確認することができる。また、煙以外のものを誤って除去してしまうことを抑止することができる。

＜７．第６の実施形態＞
＜＜７．１．第６の実施形態に係るシステムの構成＞＞
　次に、本開示の第６の実施形態について詳細に説明する。本開示の第６の実施形態に係るシステム構成は、図２で説明した、本開示の第１の実施形態に係るシステム構成と同様である。以下の説明では、第６の実施形態に係る情報処理装置を、情報処理装置６００と表記する。図示を省略するが、撮像装置１０と、表示装置５１５５と、情報処理装置４００とは、ネットワーク２０を介して相互に接続される。

　なお、情報処理装置６００では、煙とミストとの区別をせずに、煙またはミストを、煙として取り扱うものとする。

＜＜７．２．第６の実施形態に係るシステムの構成＞＞
　次に、本開示の第６の実施形態に係る情報処理装置６００について詳細に説明する。図１８は、本開示の第６の実施形態に係る情報処理装置の構成例を示す図である。図１８に示すように、この情報処理装置６００は、煙除去処理部６０１と、減算部６０２と、判定部６０３と、パラメータ生成部６０４と、重畳部６０５とを有する。

　情報処理装置６００は、撮像装置１０から入力画像を受信する度に、煙除去処理部６０１、減算部４０２にそれぞれ入力画像を入力する。図１８では図示を省略するが、情報処理装置６００は、ネットワーク２０を介して、撮像装置１０と、表示装置５１５５と情報通信を行う通信部を有しているものとする。

（（煙除去処理部６０１））
　煙除去処理部６０１は、パラメータ生成部６０４から取得するパラメータを基にして、入力画像から煙を除去した煙除去画像を生成する処理部である。煙除去処理部６０１は、煙除去画像を、減算部６０２と、重畳部６０５に出力する。煙除去処理部６０１がパラメータを用いて、煙除去画像を生成する処理は、第３の実施形態に係る煙除去処理部３０４の処理と同様である。

（（減算部６０２））
　減算部６０２は、入力画像と煙除去画像との差分画像を生成する処理部である。たとえば、減算部６０２は、入力画像から煙除去画像を減算することで、差分画像を生成する。減算部６０２は、差分画像の情報を、判定部６０３に出力する。

（（判定部６０３））
　判定部６０３は、差分画像を基にして、入力画像中に煙が含まれるか否かを判定する処理部である。判定部６０３は、煙が含まれていると判定した場合、煙の発生量を判定する。判定部６０３の処理は、第４の実施形態に係る判定部４０３の処理と同様である。

　判定部６０３は、判定結果を、パラメータ生成部６０４に出力する。判定結果には、入力画像に煙が発生しているか否かの情報が含まれる。煙が発生している場合には、判定結果には、煙の発生量と、煙の発生領域の情報とが更に含まれる。

（（パラメータ生成部６０４））
　パラメータ生成部６０４は、判定部６０３の判定結果を基にして、煙除去処理のパラメータを生成する処理部である。パラメータ生成部６０４が生成するパラメータには、煙除去処理のオン／オフのタイミング、煙除去処理の強度レベル、煙除去処理の対象となる領域の情報が含まれる。パラメータ生成部６０４がパラメータを生成する処理は、第４の実施形態で説明したパラメータ生成部３０３と同様である。パラメータ生成部６０４は、パラメータを、煙除去処理部６０１に出力する。

　また、パラメータ生成部６０４は、喫煙除去処理の強度レベルの情報を、重畳部６０５に出力する。

（（重畳部６０５））
　重畳部６０５は、出力画像に、煙除去処理の強度レベルの情報を重畳する処理部である。図１９は、本開示の第６の実施形態に係る重畳部の処理を説明するための図である。図１９に示す例では、出力画像７１に、「強度レベル：８０」なる情報７１ａが重畳されている。重畳部６０５は、処理結果の出力画像を、表示装置５１５５に出力する。

＜＜７．３．第６の実施形態に係る情報処理装置の効果＞＞
　本開示の第６の実施形態に係る情報処理装置６００によれば、出力画像に煙除去処理の強度レベルの情報を重畳する。これによって、ユーザは、煙除去処理が効いているのか効いていないのかを判断することができる。また、強度レベルの数値を表示することで、ユーザは、煙の発生量がどの程度であり、煙除去の効果がどの程度であるか判断することができる。

＜＜８．ハードウェア構成＞＞
　上述してきた各実施形態に係る情報処理装置は、例えば図２０に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る情報処理装置１００を例に挙げて説明する。図２０は、情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

　例えば、コンピュータ１０００が第１の実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、判定部１０２、煙除去処理部１０３、ミスト除去処理部１０４、生成部１０５等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る生成プログラムや、記憶部１０１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

＜９．むすび＞
　情報処理装置は、生成部を有する。生成部は、術中に関する画像である入力画像を取得し、前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する。また、情報処理装置は、判定部を有する。判定部は、前記入力画像に、煙またはミストが含まれているか否かを判定する。前記判定部は、前記入力画像を基にして、煙またはミストの発生量を更に判定する。前記判定部は、前記入力画像を基にして、煙とミストとの比率を更に判定する。前記生成部は、前記出力画像の全体から煙またはミストの影響を除外することを特徴とする。これによって、内視鏡手術において術中に煙あるいはミストが発生して視界が不良になった場合でも、情報処理装置を用いることにより、発生した煙あるいはミストの量によらず、よりクリアな視界を確保することが可能となる。

　前記判定部は、前記情報処理装置に接続された電子デバイスの種類および動作状況を更に用いて、前記入力画像に、煙またはミストが含まれているか否かを判定する。これによって、入力画像に煙またはミストが含まれているか否かの判定精度を向上させることができる。

　情報処理装置は、前記入力画像から煙を除去した煙除去画像を生成する煙除去処理部を更に有する。前記生成部は、前記判定結果と、前記入力画像と、前記煙除去画像とを用いて、前記出力画像を生成する。これによって、煙を除去した煙除去画像を生成でき、この煙除去画像を用いて、煙の発生していない出力画像を生成することができる。

　前記煙除去処理部は、前記出力画像と前記入力画像とを基にして、前記入力画像の劣化を推定し、推定した結果を基にして、前記煙除去画像を生成する。これによって、入力画像に含まれる煙を適切に除外することができる。

　情報処理装置は、前記煙除去処理部によって除去された煙に関する情報を、前記出力画像に重畳させる重畳部を更に有する。ここで、煙に関する情報は、煙低減処理の実行有無、低減した煙の度合い、煙低減処理の強度、など低減した煙に関連する情報であればどの様な情報であってもよい。これによって、ユーザは、煙除去処理が効いているのか効いていないのかを判断することができる。また、強度レベルの数値を表示することで、ユーザは、煙の発生量がどの程度であり、煙除去の効果がどの程度であるか判断することができる。

　情報処理装置は、前記入力画像と、前記煙除去画像との差分画像を生成する減算部を更に有し、前記判定部は、前記差分画像を基にして煙の発生量を特定し、前記発生量を基にして、前記煙除去処理部によって除去された煙に関する情報を生成する。また、情報処理装置は、前記判定部の判定結果を基にして、煙除去処理で用いるパラメータを生成するパラメータ生成部を更に有し、前記煙除去処理部は、前記パラメータを基にして、前記入力画像から煙を除去した煙除去画像を生成する。前記パラメータ生成部は、前記判定部の判定結果を基にして、煙除去処理の開始または終了のタイミング、煙除去処理の強度、煙除去処理の対象領域を含んだパラメータを生成する。このように、差分画像を用いることで、煙除去処理のパラメータを最適化でき、かかるパラメータを利用して、煙除去処理を実行することで、入力画像から煙を適切に除外した出力画像を生成することができる。

　情報処理装置は、前記入力画像からミストを除去したミスト除去画像を生成するミスト除去処理部を更に有し、前記生成部は、前記判定結果と、前記入力画像と、前記ミスト除去画像とを用いて、前記出力画像を生成する。前記ミスト除去処理部は、前記入力画像を基にしてミストの発生領域を特定し、前記ミストの発生領域周辺の領域の情報によって、前記ミストの発生領域を補正した補正画像を生成し、前記補正画像と、前記出力画像とを基にして、前記補正画像の劣化を推定し、推定した結果を基にして、前記ミスト除去画像を生成する。このように、２段階で入力画像のコントラストの調整を行うことで、煙と特徴の異なる、まだら模様のようなミストであっても、入力画像から適切に除外することができる。

　前記生成部は、前記発生量と、煙とミストとの比率とを基にして、前記入力画像と、前記煙除去画像と、前記ミスト除去画像とを合成することで、前記出力画像を生成する。これよって、煙またはミストの発生確率を基にしたブレンド比率αによって、煙除去画像と、ミスト除去画像とを合成することができ、入力画像に含まれる煙およびミストを適切に除外することができる。

　前記生成部は、前記出力画像の一部分の領域から煙またはミストの影響を除外することを特徴とする。これによって、注目領域以外には、煙除去処理が実行されないため、術中で重要な部分からは、煙を除去することができると共に、煙除去の処理が効いているか否かをユーザは容易に確認することができる。また、煙以外のものを誤って除去してしまうことを抑止することができる。

　前記生成部は、前記入力画像から特定される臓器または術具の位置を基にして、前記一部分の領域を特定し、前記出力画像の一部分の領域から煙またはミストの影響を除外する。前記生成部は、利用者の視点位置を基準とする前記一部分の領域を特定し、前記出力画像の一部分の領域から煙またはミストの影響を除外する。これによって、ユーザが注目する領域をクリアにすることができる。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　術中に関する画像である入力画像を取得し、前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する生成部、
　を有する情報処理装置。
（２）
　前記入力画像に、煙またはミストが含まれているか否かを判定する判定部を更に備えることを特徴とする前記（１）に記載の情報処理装置。
（３）
　前記判定部は、前記情報処理装置に接続された電子デバイスの種類および動作状況を更に用いて、前記入力画像に、煙またはミストが含まれているか否かを判定することを特徴とする前記（２）に記載の情報処理装置。
（４）
　前記判定部は、前記入力画像を基にして、煙またはミストの発生量を更に判定することを特徴とする前記（２）または（３）に記載の情報処理装置。
（５）
　前記判定部は、前記入力画像を基にして、煙とミストとの比率を更に判定することを特徴とする前記（２）、（３）または（４）に記載の情報処理装置。
（６）
　前記入力画像から煙を除去した煙除去画像を生成する煙除去処理部を更に有し、前記生成部は、前記判定結果と、前記入力画像と、前記煙除去画像とを用いて、前記出力画像を生成することを特徴とする前記（４）に記載の情報処理装置。
（７）
　前記煙除去処理部は、前記出力画像と前記入力画像とを基にして、前記入力画像の劣化を推定し、推定した結果を基にして、前記煙除去画像を生成することを特徴とする前記（６）に記載の情報処理装置。
（８）
　前記煙除去処理部によって除去された煙に関する情報を、前記出力画像に重畳させる重畳部を更に有することを特徴とする前記（７）に記載の情報処理装置。
（９）
　前記入力画像と、前記煙除去画像との差分画像を生成する減算部を更に有し、前記判定部は、前記差分画像を基にして煙の発生量を特定し、前記発生量を基にして、前記煙除去処理部によって除去された煙に関する情報を生成することを特徴とする前記（８）に記載の情報処理装置。
（１０）
　前記入力画像からミストを除去したミスト除去画像を生成するミスト除去処理部を更に有し、前記生成部は、前記判定結果と、前記入力画像と、前記ミスト除去画像とを用いて、前記出力画像を生成することを特徴とする前記（６）、（７）または（８）に記載の情報処理装置。
（１１）
　前記ミスト除去処理部は、前記入力画像を基にしてミストの発生領域を特定し、前記ミストの発生領域周辺の領域の情報によって、前記ミストの発生領域を補正した補正画像を生成し、前記補正画像と、前記出力画像とを基にして、前記補正画像の劣化を推定し、推定した結果を基にして、前記ミスト除去画像を生成することを特徴とする前記（１０）に記載の情報処理装置。
（１２）
　前記生成部は、前記発生量と、煙とミストとの比率とを基にして、前記入力画像と、前記煙除去画像と、前記ミスト除去画像とを合成することで、前記出力画像を生成することを特徴とする前記（１１）に記載の情報処理装置。
（１３）
　前記判定部の判定結果を基にして、煙除去処理で用いるパラメータを生成するパラメータ生成部を更に有し、前記煙除去処理部は、前記パラメータを基にして、前記入力画像から煙を除去した煙除去画像を生成することを特徴とする前記（６）～（１２）のいずれか一つに記載の情報処理装置。
（１４）
　前記パラメータ生成部は、前記判定部の判定結果を基にして、煙除去処理の開始または終了のタイミング、煙除去処理の強度、煙除去処理の対象領域を含んだパラメータを生成することを特徴とする前記（１３）に記載の情報処理装置。
（１５）
　前記生成部は、前記出力画像の全体から煙またはミストの影響を除外することを特徴とする前記（２）～（１４）のいずれか一つに記載の情報処理装置。
（１６）
　前記生成部は、前記出力画像の一部分の領域から煙またはミストの影響を除外することを特徴とする前記（２）～（１４）のいずれか一つに記載の情報処理装置。
（１７）
　前記生成部は、前記入力画像から特定される臓器または術具の位置を基にして、前記一部分の領域を特定し、前記出力画像の一部分の領域から煙またはミストの影響を除外することを特徴とする前記（１６）に記載の情報処理装置。
（１８）
　前記生成部は、利用者の視点位置を基準とする前記一部分の領域を特定し、前記出力画像の一部分の領域から煙またはミストの影響を除外することを特徴とする前記（１６）に記載の情報処理装置。
（１９）
　コンピュータが、
　術中に関する画像である入力画像を取得し、
　前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する
　処理を実行する生成方法。
（２０）
　コンピュータを、
　術中に関する画像である入力画像を取得し、前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する生成部、
　として機能させるための生成プログラム。

　　１０　　撮像装置
　　１１　　撮像部
　　１２，６２　　通信部
　　２０　　ネットワーク
　　３１，４３　　劣化推定部
　　３２　　劣化補正部
　　４１　　発生領域特定部
　　４２　　第１劣化補正部
　　４４　　第２劣化補正部
　　５１　　第１ブレンド比率算出部
　　５２　　第１ブレンド処理部
　　５３　　第２ブレンド比率算出部
　　５４　　第２ブレンド処理部
　　６０　　使用デバイス監視装置
　　６１　　監視部
　１００，２００，３００，４００，５００，６００　　情報処理装置
　１０１，２０１，３０１，５０１　　記憶部
　１０２，２０２，３０２，４０３，５０２，６０３　　判定部
　１０３，２０３，３０４，５０４，６０１　　煙除去処理部
　１０４，２０４　　ミスト除去処理部
　１０５，２０５　　生成部
　３０３，４０４，５０３，６０４　　パラメータ生成部
　４０１　　第１煙除去処理部
　４０２　　減算部
　４０５　　第２煙除去処理部
　６０５　　重畳部

Claims

　術中に関する画像である入力画像を取得し、前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する生成部、
　を有する情報処理装置。
　前記入力画像に、煙またはミストが含まれているか否かを判定する判定部を更に備えることを特徴とする請求項１に記載の情報処理装置。
　前記判定部は、前記情報処理装置に接続された電子デバイスの種類および動作状況を更に用いて、前記入力画像に、煙またはミストが含まれているか否かを判定することを特徴とする請求項２に記載の情報処理装置。
　前記判定部は、前記入力画像を基にして、煙またはミストの発生量を更に判定することを特徴とする請求項２に記載の情報処理装置。
　前記判定部は、前記入力画像を基にして、煙とミストとの比率を更に判定することを特徴とする請求項２に記載の情報処理装置。
　前記入力画像から煙を除去した煙除去画像を生成する煙除去処理部を更に有し、前記生成部は、前記判定結果と、前記入力画像と、前記煙除去画像とを用いて、前記出力画像を生成することを特徴とする請求項４に記載の情報処理装置。
　前記煙除去処理部は、前記出力画像と前記入力画像とを基にして、前記入力画像の劣化を推定し、推定した結果を基にして、前記煙除去画像を生成することを特徴とする請求項６に記載の情報処理装置。
　前記煙除去処理部によって除去された煙に関する情報を、前記出力画像に重畳させる重畳部を更に有することを特徴とする請求項７に記載の情報処理装置。
　前記入力画像と、前記煙除去画像との差分画像を生成する減算部を更に有し、前記判定部は、前記差分画像を基にして煙の発生量を特定し、前記発生量を基にして、前記煙除去処理部によって除去された煙に関する情報を生成することを特徴とする請求項８に記載の情報処理装置。
　前記入力画像からミストを除去したミスト除去画像を生成するミスト除去処理部を更に有し、前記生成部は、前記判定結果と、前記入力画像と、前記ミスト除去画像とを用いて、前記出力画像を生成することを特徴とする請求項６に記載の情報処理装置。
　前記ミスト除去処理部は、前記入力画像を基にしてミストの発生領域を特定し、前記ミストの発生領域周辺の領域の情報によって、前記ミストの発生領域を補正した補正画像を生成し、前記補正画像と、前記出力画像とを基にして、前記補正画像の劣化を推定し、推定した結果を基にして、前記ミスト除去画像を生成することを特徴とする請求項１０に記載の情報処理装置。
　前記生成部は、前記発生量と、煙とミストとの比率とを基にして、前記入力画像と、前記煙除去画像と、前記ミスト除去画像とを合成することで、前記出力画像を生成することを特徴とする請求項１１に記載の情報処理装置。
　前記判定部の判定結果を基にして、煙除去処理で用いるパラメータを生成するパラメータ生成部を更に有し、前記煙除去処理部は、前記パラメータを基にして、前記入力画像から煙を除去した煙除去画像を生成することを特徴とする請求項６に記載の情報処理装置。
　前記パラメータ生成部は、前記判定部の判定結果を基にして、煙除去処理の開始または終了のタイミング、煙除去処理の強度、煙除去処理の対象領域を含んだパラメータを生成することを特徴とする請求項１３に記載の情報処理装置。
　前記生成部は、前記出力画像の全体から煙またはミストの影響を除外することを特徴とする請求項２に記載の情報処理装置。
　前記生成部は、前記出力画像の一部分の領域から煙またはミストの影響を除外することを特徴とする請求項２に記載の情報処理装置。
　前記生成部は、前記入力画像から特定される臓器または術具の位置を基にして、前記一部分の領域を特定し、前記出力画像の一部分の領域から煙またはミストの影響を除外することを特徴とする請求項１６に記載の情報処理装置。
　前記生成部は、利用者の視点位置を基準とする前記一部分の領域を特定し、前記出力画像の一部分の領域から煙またはミストの影響を除外することを特徴とする請求項１６に記載の情報処理装置。
　コンピュータが、
　術中に関する画像である入力画像を取得し、
　前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する
　処理を実行する生成方法。
　コンピュータを、
　術中に関する画像である入力画像を取得し、前記入力画像に、術中に発生する物質が含まれているか否かに基づき、出力画像を生成する生成部、
　として機能させるための生成プログラム。