JPWO2018180573A1 - 手術用画像処理装置、画像処理方法、及び、手術システム - Google Patents

Abstract

本技術は、ソフトウェア更新前と更新後の画像を容易に比較することができるようにする手術用画像処理装置、画像処理方法、及び、手術システムに関する。画像処理部は、術部画像に、ソフトウェアによる画像処理を施し、表示制御部は、画像処理が施された術部画像の表示を制御する。画像処理部は、術部画像にソフトウェア更新前の画像処理を施した更新前処理画像と、術部画像にソフトウェア更新後の画像処理を施した更新後処理画像とを生成し、表示制御部は、更新前処理画像および更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する。本技術は、内視鏡手術システムのＣＣＵに適用することができる。

Description

本技術は、手術用画像処理装置、画像処理方法、及び、手術システムに関し、特に、ソフトウェア更新前と更新後の画像を容易に比較することができるようにする手術用画像処理装置、画像処理方法、及び、手術システムに関する。

内視鏡手術システムにおいては、内視鏡により撮像された信号に各種の画像処理が施される。これらの画像処理はソフトウェアにより実現され、ＧＰＵなどのプロセッサが所定のプログラムに従って動作することにより、これらの画像処理を実行する。

特許文献１には、通信回線を介して、ソフトウェアの更新などのメンテナンスを行う内視鏡システムが開示されている。

このようなソフトウェアの更新によれば、画像処理の更新や追加を容易に行うことができる。

特開２００９−２２６１６９号公報

しかしながら、ソフトウェアの更新により画像処理の更新や追加が行われた場合、ソフトウェアの更新前と更新後とで、画像の画質が変化することがある。このような場合、医師は、画質が変化する前の画像と、画質が変化した後の画像とを比較したいこともある。

本技術は、このような状況に鑑みてなされたものであり、ソフトウェア更新前と更新後の画像を容易に比較するようにするものである。

本技術の手術用画像処理装置は、術部画像に、ソフトウェアによる画像処理を施す画像処理部と、前記画像処理が施された前記術部画像の表示を制御する表示制御部とを備え、前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する。

前記更新前処理画像と前記更新後処理画像の差分を演算する差分演算部をさらに設け、前記表示制御部には、前記差分が所定値より大きい場合、その旨を報知する情報の表示を制御させることができる。

前記画像において所定のシーンを検出するシーン検出部をさらに設け、前記表示制御部には、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのユーザに選択された方を表示させることができる。

検出された前記シーンの特徴量を抽出する特徴量抽出部と、抽出された前記特徴量と、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちの前記ユーザに選択された方を示す選択情報とを対応付けて、履歴情報として記録する記録制御部とをさらに設けることができる。

前記履歴情報に基づいて、前記シーンの前記特徴量毎に、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれが前記ユーザに選択されたかを学習する学習部をさらに設けることができる。

他の画像において検出された所定のシーンの前記特徴量に対応する学習結果を照会する照会部をさらに設け、前記表示制御部には、照会された前記学習結果に基づいて、前記他の画像における前記所定のシーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれかを表示させることができる。

本技術の画像処理方法は、術部画像に、ソフトウェアによる画像処理を施す画像処理部と、前記画像処理が施された前記術部画像の表示を制御する表示制御部とを備える画像処理装置が、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像を生成し、前記更新前処理画像および前記更新後処理画像の少なくともいずれかの少なくとも一部の表示を制御するステップを含む。

本技術の手術システムは、術部画像を取得する手術用撮像装置と、前記術部画像に、ソフトウェアによる画像処理を施す画像処理部と、前記画像処理が施された前記術部画像の表示を制御する表示制御部とを有する手術用画像処理装置とを備え、前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する。

本技術においては、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像が生成され、前記更新前処理画像および前記更新後処理画像の少なくともいずれかの少なくとも一部の表示が制御される。

本技術によれば、ソフトウェア更新前と更新後の画像を容易に比較することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。 第１の実施の形態の画像処理装置の機能構成例を示すブロック図である。 術部画像表示処理について説明するフローチャートである。 更新後処理画像および更新前処理画像の表示例を示す図である。 更新後処理画像および更新前処理画像の表示例を示す図である。 更新後処理画像および更新前処理画像の表示例を示す図である。 更新後処理画像および更新前処理画像の表示例を示す図である。 第２の実施の形態の画像処理装置の機能構成例を示すブロック図である。 第３の実施の形態の画像処理装置の機能構成例を示すブロック図である。 術部画像表示処理について説明するフローチャートである。 更新後処理画像および更新前処理画像の表示例を示す図である。 第４の実施の形態の画像処理装置の機能構成例を示すブロック図である。 術部画像表示処理について説明するフローチャートである。 第５の実施の形態の画像処理装置の機能構成例を示すブロック図である。 術部画像表示処理について説明するフローチャートである。

以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

１．内視鏡手術システムの概要
２．ソフトウェアの更新について
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．第４の実施の形態
７．第５の実施の形態

＜１．内視鏡手術システムの概要＞
まず、本技術が適用される内視鏡手術システムの概要について説明する。

図１は、本開示に係る技術が適用され得る内視鏡手術システム１００の概略的な構成の一例を示す図である。

図１には、術者（医師）１６７が、内視鏡手術システム１００を用いて、患者ベッド１６９上の患者１７１に手術を行っている様子が示されている。内視鏡手術システム１００は、内視鏡１０１、その他の術具１１７、内視鏡１０１を支持する支持アーム装置１２７、および、内視鏡下手術のための各種の装置が搭載されたカート１３７から構成される。

内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカ１２５ａ乃至１２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１２５ａ乃至１２５ｄから、内視鏡１０１の鏡筒１０３や、その他の術具１１７が患者１７１の体腔内に挿入される。図１の例では、その他の術具１１７として、気腹チューブ１１９、エネルギー処置具１２１、および鉗子１２３が、患者１７１の体腔内に挿入されている。エネルギー処置具１２１は、高周波電流や超音波振動により、組織の切開および剥離、または血管の封止等を行う処置具である。ただし、図示する術具１１７はあくまで一例であり、術具１１７として、例えば鑷子やレトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡１０１によって撮影された患者１７１の体腔内の術部の画像が、表示装置１４１に表示される。術者１６７は、表示装置１４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１２１や鉗子１２３を用いて、例えば患部を切除する等の処置を行う。なお、図示はしないが、気腹チューブ１１９、エネルギー処置具１２１および鉗子１２３は、手術中に、術者１６７または助手等によって支持される。

支持アーム装置１２７は、ベース部１２９から延伸するアーム部１３１を備える。アーム部１３１は、関節部１３３ａ，１３３ｂ，１３３ｃ、およびリンク１３５ａ，１３５ｂから構成されており、アーム制御装置１４５の制御により駆動される。アーム部１３１によって内視鏡１０１が支持され、その位置および姿勢が制御される。これにより、内視鏡１０１の安定的な位置の固定が実現される。

内視鏡１０１は、先端から所定の長さの領域が患者１７１の体腔内に挿入される鏡筒１０３と、鏡筒１０３の基端に接続されるカメラヘッド１０５（撮像装置）とから構成される。図１の例では、硬性の鏡筒１０３を有するいわゆる硬性鏡として構成される内視鏡１０１が示されているが、内視鏡１０１は、軟性の鏡筒１０３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０１には光源装置１４３が接続されており、光源装置１４３によって生成された光が、鏡筒１０３の内部に延設されるライトガイドによって鏡筒１０３の先端まで導光され、対物レンズを介して患者１７１の体腔内の観察対象に向かって照射される。なお、内視鏡１０１は、直視鏡であってもよいし、斜視鏡または側視鏡であってもよい。

カメラヘッド１０５の内部には光学系および撮像素子が設けられており、観察対象からの反射光（観察光）が光学系によって撮像素子に集光される。撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１３９に送信される。カメラヘッド１０５には、その光学系を適宜駆動させることにより、倍率および焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１０５には撮像素子が複数設けられてもよい。この場合、鏡筒１０３の内部には、複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

カート１３７には各種の装置が搭載される。

ＣＣＵ１３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、さらにはＧＰＧＰＵ（General Purpose computing on ＧＰＵ）等によって構成され、内視鏡１０１および表示装置１４１の動作を統括的に制御する。具体的には、ＣＣＵ１３９は、カメラヘッド１０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、その画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１３９は、画像処理を施した画像信号を表示装置１４１に提供する。また、ＣＣＵ１３９は、カメラヘッド１０５に対して制御信号を送信し、その駆動を制御する。制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置１４１は、ＣＣＵ１３９からの制御により、ＣＣＵ１３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）または８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、および／または３Ｄ表示に対応したものである場合には、表示装置１４１としては、それぞれに対応して、高解像度の表示が可能なもの、および／または３Ｄ表示可能なものが用いられ得る。４Ｋまたは８Ｋ等の高解像度の撮影に対応したものである場合、表示装置１４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１４１が設けられてもよい。

光源装置１４３は、例えばＬＥＤ（Light Emitting Diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡１０１に供給する。

アーム制御装置１４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１２７のアーム部１３１の駆動を制御する。

入力装置１４７は、内視鏡手術システム１００に対する入力インタフェースである。ユーザは、入力装置１４７を介して、内視鏡手術システム１００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１４７を介して、アーム部１３１を駆動させる旨の指示や、内視鏡１０１による撮像条件（照射光の種類、倍率および焦点距離等）を変更する旨の指示、エネルギー処置具１２１を駆動させる旨の指示等を入力する。

入力装置１４７の種類は限定されず、入力装置１４７は各種の公知の入力装置であってよい。入力装置１４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１５７および／またはレバー等が適用されるようにできる。入力装置１４７としてタッチパネルが用いられる場合には、そのタッチパネルは表示装置１４１の表示面上に設けられてもよい。

また、入力装置１４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであってもよい。この場合、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置１４７は、ユーザの動きを検出可能なカメラを含み、カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われるようにしてもよい。さらに、入力装置１４７は、ユーザの声を収音可能なマイクロフォンを含み、マイクロフォンを介して音声によって各種の入力が行われるようにしてもよい。

このように、入力装置１４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置１４９は、組織の焼灼、切開または血管の封止等のためのエネルギー処置具１２１の駆動を制御する。気腹装置１５１は、内視鏡１０１による視野の確保および術者の作業空間の確保の目的で、患者１７１の体腔を膨らめるために、気腹チューブ１１９を介して体腔内にガスを送り込む。レコーダ１５３は、手術に関する各種の情報を記録可能な装置である。プリンタ１５５は、手術に関する各種の情報を、テキスト、画像またはグラフ等各種の形式で印刷可能な装置である。

次に、図２を参照して、内視鏡１０１のカメラヘッド１０５およびＣＣＵ１３９の機能についてより詳細に説明する。図２は、カメラヘッド１０５およびＣＣＵ１３９の機能構成の一例を示すブロック図である。

図２に示されるように、カメラヘッド１０５は、その機能として、レンズユニット１０７、撮像部１０９、駆動部１１１、通信部１１３、およびカメラヘッド制御部１１５を有する。また、ＣＣＵ１３９は、その機能として、通信部１５９、画像処理部１６１、および制御部１６３を有する。カメラヘッド１０５とＣＣＵ１３９とは、伝送ケーブル１６５によって双方向に通信可能に接続されている。

まず、カメラヘッド１０５の機能構成について説明する。レンズユニット１０７は、鏡筒１０３との接続部に設けられる光学系である。鏡筒１０３の先端から取り込まれた観察光は、カメラヘッド１０５まで導光され、レンズユニット１０７に入射する。レンズユニット１０７は、ズームレンズおよびフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット１０７は、撮像部１０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズおよびフォーカスレンズは、撮像画像の倍率および焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部１０９は撮像素子によって構成され、レンズユニット１０７の後段に配置される。レンズユニット１０７を通過した観察光は、撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部１０９によって生成された画像信号は、通信部１１３に提供される。

撮像部１０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、撮像素子として、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者１６７は、術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部１０９を構成する撮像素子は、３Ｄ表示に対応する右目用および左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されるようにすることもできる。３Ｄ表示が行われることにより、術者１６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１０７も複数系統設けられる。

また、撮像部１０９は、必ずしもカメラヘッド１０５に設けられなくてもよい。例えば、撮像部１０９は、鏡筒１０３の内部に、対物レンズの直後に設けられてもよい。

駆動部１１１は、アクチュエータによって構成され、カメラヘッド制御部１１５からの制御により、レンズユニット１０７のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１０９による撮像画像の倍率および焦点が適宜調整され得る。

通信部１１３は、ＣＣＵ１３９との間で各種の情報を送受信するための通信装置によって構成される。通信部１１３は、撮像部１０９から得た画像信号をＲＡＷデータとして伝送ケーブル１６５を介してＣＣＵ１３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、画像信号は光通信によって送信されることが好ましい。手術の際には、術者１６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部１１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は光電変換モジュールによって光信号に変換された後、伝送ケーブル１６５を介してＣＣＵ１３９に送信される。

また、通信部１１３は、ＣＣＵ１３９から、カメラヘッド１０５の駆動を制御するための制御信号を受信する。制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／または撮像画像の倍率および焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部１１３は、受信した制御信号をカメラヘッド制御部１１５に提供する。なお、ＣＣＵ１３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部１１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部１１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ１３９の制御部１６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能、およびＡＷＢ（Auto White Balance）機能が内視鏡１０１に搭載される。

カメラヘッド制御部１１５は、通信部１１３を介して受信したＣＣＵ１３９からの制御信号に基づいて、カメラヘッド１０５の駆動を制御する。例えば、カメラヘッド制御部１１５は、撮像画像のフレームレートを指定する旨の情報および／または撮像時の露光を指定する旨の情報に基づいて、撮像部１０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部１１５は、撮像画像の倍率および焦点を指定する旨の情報に基づいて、駆動部１１１を介してレンズユニット１０７のズームレンズおよびフォーカスレンズを適宜移動させる。カメラヘッド制御部１１５は、さらに、鏡筒１０３やカメラヘッド１０５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット１０７や撮像部１０９等の構成を、気密性および防水性が高い密閉構造内に配置することで、カメラヘッド１０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ１３９の機能構成について説明する。通信部１５９は、カメラヘッド１０５との間で各種の情報を送受信するための通信装置によって構成される。通信部１５９は、カメラヘッド１０５から、伝送ケーブル１６５を介して送信される画像信号を受信する。ここで、上述したように、画像信号は好適に光通信によって送信されるようにもできる。この場合、光通信に対応して、通信部１５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部１５９は、電気信号に変換した画像信号を画像処理部１６１に提供する。

また、通信部１５９は、カメラヘッド１０５に対して、カメラヘッド１０５の駆動を制御するための制御信号を送信する。制御信号も光通信によって送信されてよい。

画像処理部１６１は、カメラヘッド１０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise Reduction）処理および／または手振れ補正処理等）、並びに／または拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部１６１は、ＡＥ，ＡＦ、およびＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部１６１は、ＣＰＵやＧＰＵ、ＧＰＧＰＵ等のプロセッサによって構成され、プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われる。なお、画像処理部１６１が複数のＧＰＵによって構成される場合には、画像処理部１６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部１６３は、内視鏡１０１による術部の撮像、およびその撮像画像の表示に関する各種の制御を行う。例えば、制御部１６３は、カメラヘッド１０５の駆動を制御するための制御信号を生成する。ここで、撮像条件がユーザによって入力されている場合には、制御部１６３は、ユーザによる入力に基づいて制御信号を生成する。また、内視鏡１０１にＡＥ機能、ＡＦ機能、およびＡＷＢ機能が搭載されている場合には、制御部１６３は、画像処理部１６１による検波処理の結果に応じて、最適な露出値、焦点距離、およびホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部１６３は、画像処理部１６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置１４１に表示させる。このとき、制御部１６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部１６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子１２３等の術具１１７、特定の生体部位、出血、エネルギー処置具１２１使用時のミスト等を認識することができる。制御部１６３は、表示装置１４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者１６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド１０５およびＣＣＵ１３９を接続する伝送ケーブル１６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、またはこれらの複合ケーブルである。

この例では、伝送ケーブル１６５を用いて有線で通信が行われていたが、カメラヘッド１０５とＣＣＵ１３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル１６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が伝送ケーブル１６５によって妨げられる事態が解消される。

＜２．ソフトウェアの更新について＞
ところで、上述した内視鏡手術システムにおいては、内視鏡により撮像された画像に各種の画像処理が施される。これらの画像処理はソフトウェアにより実現され、ＧＰＵなどのプロセッサが所定のプログラムに従って動作することにより、これらの画像処理を実行する。

このようなソフトウェア（ＳＷ）の更新によれば、画像処理の更新や追加を容易に行うことができる。

その一方、ＳＷの更新により画像処理の更新や追加が行われた場合、ＳＷの更新前と更新後とで、画像の画質が変化することがある。このような場合、医師は、画質が変化する前の画像と、画質が変化した後の画像とを比較したいこともある。さらに、このような画質の変化が、医師の術中の診断や術具の操作に影響を与えるリスクもあった。

例えば、手振れ補正処理を追加するＳＷの更新が行われた場合、手術の多くの場面で、術部の画像が安定し、その視認性は向上する。

一方で、素早い術具操作が求められる剥離などの場面で、手振れ補正処理により撮像から表示までのレイテンシが高まることで、術具操作が実際より遅れて見えるおそれがある。また、アフィン変換などの幾何変換により、解像度が若干低下することで、血管や神経などの微細な組織が見えづらくなるおそれもある。

また、階調補正処理を追加するＳＷの更新が行われた場合、光源からの光が届きにくい低階調な部分の視認性を向上させることができる。しかしながら、中間の階調の部分のコントラストが低下し、血管や神経などの微細な組織が見えづらくなるおそれがある。

さらに、構造強調処理を追加するＳＷの更新が行われた場合、血管や神経などの微細な組織が強調されて表示されることで、その部分の視認性を向上させることができるが、場合によっては、その部分が見えづらくなるおそれもある。

このように、ＳＷの更新が行われることで術部が見えづらくなるような場合、術者にとっては、ＳＷの更新が行われる前の画像も必要となる。

そこで、以下においては、ＳＷが更新された後であっても、ソフトウェア更新前と更新後の画像を容易に比較することができ、さらには、医師の術中の診断や術具の操作に影響を与えるリスクを回避することができる実施の形態について説明する。

＜３．第１の実施の形態＞
（画像処理装置の構成例）
まず、図３を参照して、本技術に係る第１の実施の形態の画像処理装置の構成例について説明する。

図３の画像処理装置２０１は、上述したＣＣＵ１３９に対応し、例えばカメラヘッド１０５から入力された術部画像（入力画像）の画像信号に画像処理を施し、表示装置２０２に出力する。

表示装置２０２は、上述した表示装置１４１に対応し、画像処理装置２０１から出力された画像信号に基づいて画像を表示する。

画像処理装置２０１は、画像処理部２１１および表示制御部２１２を有する。

画像処理部２１１は、上述した画像処理部１６１に対応し、入力画像の画像信号に各種の画像処理を施す。これらの画像処理はソフトウェア（ＳＷ）により実現され、ＧＰＵなどのプロセッサが所定のプログラムに従って動作することにより、これらの画像処理を実行する。

これらの画像処理を実現するＳＷは、例えば記録媒体から所定のプログラムがインストールされることで更新される。なお、このようなプログラムは、インターネットなどのネットワークを介してインストールされるようにしてもよい。

画像処理部２１１は、ＳＷ更新後画像処理部２２１とＳＷ更新前画像処理部２２２とを備える。

ＳＷ更新後画像処理部２２１は、入力画像に、ＳＷが更新された後の画像処理、すなわち最新バージョンのＳＷにより実現される画像処理を施した更新後処理画像の画像信号を出力する。

ＳＷ更新前画像処理部２２２は、入力画像に、ＳＷが更新される前の画像処理、すなわち１つ前のバージョンのＳＷにより実現される画像処理を施した更新前処理画像の画像信号を出力する。

ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２を、２つのＧＰＵにより構成した場合、ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２は、ＳＷ更新後の画像処理とＳＷ更新前の画像処理とを並行して、すなわち同時に行うことができる。

また、ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２を、１つのＧＰＵにより構成し、ＳＷ更新後の画像処理とＳＷ更新前の画像処理とがシリアルに行われるようにすることもできる。

表示制御部２１２は、画像処理部２１１（ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２）から出力された画像信号に基づいて、更新後処理画像および更新前処理画像の少なくともいずれか一方の少なくとも一部を、表示装置２０２に表示させる。また、表示制御部２１２は、ユーザの操作に応じて、表示装置２０２における更新後処理画像および更新前処理画像の表示を制御する。

（術部画像表示処理の流れ）
次に、図４のフローチャートを参照して、画像処理装置２０１による術部画像表示処理の流れについて説明する。図４の処理は、内視鏡１０１（カメラヘッド１０５）から、術部を撮影した術部画像（動画像）が画像処理装置２０１に入力されると開始される。

ステップＳ２１において、ＳＷ更新後画像処理部２２１は、入力された術部画像に、ＳＷが更新された後の画像処理（最新バージョンのＳＷにより実現される画像処理）を施す。

ステップＳ２２において、ＳＷ更新前画像処理部２２２は、入力された術部画像に、ＳＷが更新される前の画像処理（１つ前のバージョンのＳＷにより実現される画像処理）を施す。

ステップＳ２１およびＳ２２の処理は、並行して同時に行われるものとするが、上述したようにシリアルに行われるようにしてもよい。ＳＷ更新後の画像処理が施された更新後処理画像の画像信号と、ＳＷ更新前の画像処理が施された更新前処理画像の画像信号は、表示制御部２１２に出力される。

ステップＳ２３において、表示制御部２１２は、ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２から出力された画像信号に基づいて、更新後処理画像および更新前処理画像を、表示装置２０２に表示させる。

以上の処理によれば、内視鏡１０１により撮像された術部の画像として、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像とが表示されるので、内視鏡１０１を用いて手術を行っている術者は、これらの画像を容易に比較することが可能となる。ひいては、ＳＷの更新による画質の変化が、医師の術中の診断や術具の操作に影響を与える可能性を低減することができる。

ここで、表示装置２０２に表示される更新後処理画像および更新前処理画像の表示例について説明する。

（表示例１）
図５は、更新後処理画像および更新前処理画像の第１の表示例を示している。

図５は、更新後処理画像２５１と更新前処理画像２５２とが、１つの画面に同時に表示される様子を示している。画面左上の領域に表示される更新後処理画像２５１は、画面右上の領域に表示されるより大きく表示されている。これにより、内視鏡１０１を用いて手術を行っている術者は、更新後処理画像２５１と更新前処理画像２５２の両方を容易に比較することができる。

なお、図５の例においては、ユーザ（術者）の操作に応じて、画面における更新後処理画像２５１および更新前処理画像２５２の表示サイズが調整されるようにすることができる。具体的には、画面において、更新後処理画像２５１が表示される領域と、更新前処理画像２５２が表示される領域とが入れ替わるようにする。

さらに、図５の例においては、更新後処理画像２５１および更新前処理画像２５２以外にも、ＳＷ更新後の画像処理およびＳＷ更新前の画像処理それぞれにおいてパラメータを変えることで得られる複数の更新後処理画像および更新前処理画像が表示されるようにしてもよい。

（表示例２）
図６は、更新後処理画像および更新前処理画像の第２の表示例を示している。

図６は、更新後処理画像２５１および更新前処理画像２５２のうちユーザ（術者）に選択された方が表示される様子を示している。図６の例では、表示装置２０２には、まず更新前処理画像２５２が表示されるようにする。これにより、術部画像の表示開始の時点で、ユーザが、画質が変化した画像に戸惑うことを避けることができる。そして、ユーザの操作によって、更新前処理画像２５２と更新後処理画像２５１とが切り替わって表示される。

なお、表示を切り替えるためのユーザインタフェースは、内視鏡１０１のカメラヘッド１０５や術具１１７など、術者が手元で瞬時に切り替え操作を行うことができるものに設けられる。

（表示例３）
図７は、更新後処理画像および更新前処理画像の第３の表示例を示している。

図７は、更新後処理画像２５１と更新前処理画像２５２とが、所定の比率で画素毎に加算されて表示される様子を示している。図７の例では、更新前処理画像２５２の各画素の画素値に所定の値α（α＜１）を乗じた値と、更新後処理画像２５１の各画素の画素値に所定の値（１−α）を乗じた値の和を、各画素の画素値とする出力画像２６１が表示されるようになる。

なお、値αは、ユーザ（術者）の操作によって調整されるようにすることができる。

（表示例４）
図８は、更新後処理画像および更新前処理画像の第４の表示例を示している。

図８は、更新後処理画像２５１の第１の領域と、更新前処理画像２５２の第１の領域以外の第２の領域とが、合成されて表示される様子を示している。

まず、図８のＡの例では、画面が左右に分割された右側の領域Ｄ１に、更新後処理画像２５１において領域Ｄ１に対応する部分の画像が表示され、画面が左右に分割された左側の領域Ｄ２に、更新前処理画像２５２において領域Ｄ２に対応する部分の画像が表示される。領域Ｄ１の幅ｗ、言い換えると領域Ｄ１と領域Ｄ２との境界は、ユーザ（術者）の操作によって調整されるものとする。また、ユーザの操作によって、領域Ｄ１および領域Ｄ２に表示される画像が入れ替わるようにしてもよい。

また、図８のＢの例では、画面の中心を含む領域、具体的には、画面の中心をその中心とした円形の領域Ｄ３に、更新後処理画像２５１において領域Ｄ３に対応する部分の画像が表示され、画面の領域Ｄ３より外側の周縁領域Ｄ４に、更新前処理画像２５２において領域Ｄ４に対応する部分の画像が表示される。領域Ｄ３の半径ｒ、言い換えると領域Ｄ３と領域Ｄ４との境界は、ユーザ（術者）の操作によって調整されるものとする。また、ユーザの操作によって、領域Ｄ３および領域Ｄ４に表示される画像が入れ替わるようにしてもよい。さらに、領域Ｄ３の形状は、円形に限らず、矩形などの他の形状であってもよい。

＜４．第２の実施の形態＞
（画像処理装置の構成例）
図９は、本技術に係る第２の実施の形態の画像処理装置の構成例を示している。

図９の画像処理装置２７１は、入力画像の画像信号に画像処理を施し、表示装置２０２−１，２０２−２それぞれに出力する。

表示装置２０２−１，２０２−２はそれぞれ、画像処理装置２０１から出力された画像信号に基づいて画像を表示する。

画像処理装置２７１は、画像処理部２１１および表示制御部２８１を有する。

図９において、画像処理部２１１は、図３に示される構成と同一であるので、その説明は省略する。

表示制御部２８１は、画像処理部２１１（ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２）から出力された画像信号に基づいて、更新後処理画像を表示装置２０２−１に表示させるとともに、更新前処理画像を表示装置２０２−２に表示させる。

このような構成においても、２台の表示装置にそれぞれ、内視鏡１０１により撮像された術部の画像として、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像とが表示されるので、内視鏡１０１を用いて手術を行っている術者は、これらの画像を容易に比較することが可能となる。

＜５．第３の実施の形態＞
（画像処理装置の構成例）
図１０は、本技術に係る第３の実施の形態の画像処理装置の構成例を示している。

図１０の画像処理装置３０１は、画像処理部３１１および表示制御部３１２を有する。

画像処理部３１１は、ＳＷ更新後画像処理部３２１、ＳＷ更新前画像処理部３２２、および差分演算部３２３を備える。

ＳＷ更新後画像処理部３２１は、図３のＳＷ更新後画像処理部２２１と同様、入力画像に、ＳＷが更新された後の画像処理を施した更新後処理画像の画像信号を出力する。

ＳＷ更新前画像処理部３２２は、図３のＳＷ更新前画像処理部２２２と同様、入力画像に、ＳＷが更新される前の画像処理を施した更新前処理画像の画像信号を出力する。

差分演算部３２３は、更新前処理画像と更新後処理画像の差分を演算し、その演算結果を表示制御部３１２に供給する。

表示制御部３１２は、画像処理部３１１（ＳＷ更新後画像処理部３２１およびＳＷ更新前画像処理部３２２）から出力された画像信号に基づいて、更新後処理画像および更新前処理画像の少なくとも一方の少なくとも一部を、表示装置２０２に表示させる。

また、表示制御部３１２は、ＯＳＤ処理部３３１を備える。ＯＳＤ処理部３３１は、画像処理部３１１（差分演算部３２３）からの演算結果に応じた情報を、表示装置２０２の画面上にＯＳＤ表示する。

（術部画像表示処理の流れ）
次に、図１１のフローチャートを参照して、画像処理装置３０１による術部画像表示処理の流れについて説明する。図１１の処理は、内視鏡１０１（カメラヘッド１０５）から、術部を撮影した術部画像（動画像）が画像処理装置３０１に入力されると開始される。

ステップＳ３１において、ＳＷ更新後画像処理部３２１は、入力された術部画像に、ＳＷが更新された後の画像処理（最新バージョンのＳＷにより実現される画像処理）を施す。

ステップＳ３２において、ＳＷ更新前画像処理部３２２は、入力された術部画像に、ＳＷが更新される前の画像処理（１つ前のバージョンのＳＷにより実現される画像処理）を施す。

ステップＳ３１およびＳ３２の処理は、並行して同時に行われるものとするが、上述したようにシリアルに行われるようにしてもよい。ＳＷ更新後の画像処理が施された更新後処理画像の画像信号と、ＳＷ更新前の画像処理が施された更新前処理画像の画像信号は、表示制御部３１２と差分演算部３２３に出力される。

なお、このとき、表示制御部３１２は、ＳＷ更新後画像処理部３２１から出力された画像信号に基づいて、更新後処理画像のみを表示装置２０２に表示させるものとする。

ステップＳ３３において、差分演算部３２３は、更新前処理画像と更新後処理画像の差分を演算する。具体的には、差分演算部３２３は、更新前処理画像および更新後処理画像の各画素の画素値の差を算出しそれらを合計する。演算結果は、表示制御部３１２に供給される。

ステップＳ３４において、表示制御部３１２は、差分演算部３２３からの演算結果に基づいて、差分が所定値より大きいか否かを判定する。

差分が所定値より大きくないと判定されている場合、ステップＳ３４の処理は繰り返され、表示装置２０２には更新後処理画像が表示され続ける。

一方、差分が所定値より大きいと判定された場合、処理はステップＳ３５に進む。

ステップＳ３５において、表示制御部３１２のＯＳＤ処理部３３１は、差分が所定値より大きい旨を報知する情報のＯＳＤ表示を行う。例えば、ＯＳＤ処理部３３１は、図１２の左側に示されるように、表示装置２０２に表示されている更新後処理画像上に、差分が所定値より大きいことを報知する報知画像３６１をＯＳＤ表示する。これにより、ユーザは、いま見ているシーンにおいて、更新後処理画像と更新前処理画像とで画質に差があることを認識することができる。

その後、表示装置２０２の画面において、報知画像３６１の部分がタッチされるなど、ユーザにより所定の操作がなされることで、更新後処理画像と更新前処理画像とを比較するための表示モードを選択するための選択画面が表示されるようにする。表示制御部３１２は、例えば、図１２の右側に示されるように、４つの表示モードのうちのいずれかを選択するためのボタン３８１乃至３８４が設けられた選択画面を表示する。４つの表示モードそれぞれにおいては、例えば、上述した表示例１乃至４で説明した表示が行われる。

以上の処理によれば、内視鏡１０１を用いて手術を行っている術者は、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像との差分が大きい場合に、それぞれを所望の表示形態で表示させて、これらの画像を容易に比較することが可能となる。

＜６．第４の実施の形態＞
（画像処理装置の構成例）
図１３は、本技術に係る第４の実施の形態の画像処理装置の構成例を示している。

図１３の画像処理装置４０１は、画像処理部４１１、表示制御部４１２、シーン検出部４１３、特徴量抽出部４１４、記録制御部４１５、履歴情報記録部４１６、学習部４１７、および学習情報記録部４１８を有する。

画像処理部４１１は、ＳＷ更新後画像処理部４２１およびＳＷ更新前画像処理部４２２を備える。

ＳＷ更新後画像処理部４２１は、図３のＳＷ更新後画像処理部２２１と同様、入力画像に、ＳＷが更新された後の画像処理を施した更新後処理画像の画像信号を出力する。

ＳＷ更新前画像処理部４２２は、図３のＳＷ更新前画像処理部２２２と同様、入力画像に、ＳＷが更新される前の画像処理を施した更新前処理画像の画像信号を出力する。

表示制御部４１２は、画像処理部４１１（ＳＷ更新後画像処理部４２１およびＳＷ更新前画像処理部４２２）から出力された画像信号に基づいて、更新後処理画像および更新前処理画像のうちユーザに選択された方を表示装置２０２に表示させる。

また、表示制御部４１２は、ＯＳＤ処理部４３１を備える。ＯＳＤ処理部４３１は、後述するシーン検出部４１３からの重要フラグに応じた情報を、表示装置２０２の画面上にＯＳＤ表示する。

シーン検出部４１３は、入力画像において重要度の高いシーンを検出する。シーン検出部４１３は、重要度の高いシーンを検出した場合、そのシーンが重要度の高いシーンであることを示す重要フラグを、表示制御部４１２と特徴量抽出部４１４に供給する。

特徴量抽出部４１４は、シーン検出部４１３からの重要フラグに基づいて、入力画像において検出された重要度の高いシーンの特徴量を抽出し、記録制御部４１５に供給する。

記録制御部４１５は、特徴量抽出部４１４からの特徴量と、表示制御部４１２からの選択情報とを対応付けて、履歴情報として履歴情報記録部４１６に記録する。選択情報は、入力画像において検出された重要度の高いシーンについて、更新後処理画像および更新前処理画像のうちのいずれがユーザに選択されたかを示す情報である。

学習部４１７は、履歴情報記録部４１６に記録された履歴情報に基づいて、特徴量毎に、入力画像において検出された重要度の高いシーンについて、更新後処理画像および更新前処理画像のうちのいずれがユーザに選択されたかを学習する。学習により得られた学習結果は、学習情報として学習情報記録部４１８に記録される。

（術部画像表示処理の流れ）
次に、図１４のフローチャートを参照して、画像処理装置４０１による術部画像表示処理の流れについて説明する。図１４の処理は、内視鏡１０１（カメラヘッド１０５）から、術部を撮影した術部画像（動画像）が画像処理装置４０１に入力されると開始される。

ステップＳ４１において、ＳＷ更新後画像処理部４２１は、入力された画像に、ＳＷが更新された後の画像処理（最新バージョンのＳＷにより実現される画像処理）を施す。

ステップＳ４２において、ＳＷ更新前画像処理部４２２は、入力された画像に、ＳＷが更新される前の画像処理（１つ前のバージョンのＳＷにより実現される画像処理）を施す。

ステップＳ４１およびＳ４２の処理は、並行して同時に行われるものとするが、上述したようにシリアルに行われるようにしてもよい。ＳＷ更新後の画像処理が施された更新後処理画像の画像信号と、ＳＷ更新前の画像処理が施された更新前処理画像の画像信号は、表示制御部４１２に出力される。

なお、このとき、表示制御部４１２は、画像処理部４１１から出力された画像信号に基づいて、更新後処理画像および更新前処理画像の両方を表示装置２０２に表示させるものとする。

ステップＳ４３において、シーン検出部４１３は、入力画像において重要度の高いシーンを検出したか否かを判定する。重要度の高いシーンは、例えば、組織の切開や剥離などが行われるシーンとされ、これらは入力画像（術部画像）に映る術具の形状や術部の色などに基づいて検出される。

重要度の高いシーンを検出していないと判定されている場合、ステップＳ４３の処理は繰り返され、表示装置２０２には更新後処理画像および更新前処理画像の両方が表示され続ける。

一方、重要度の高いシーンを検出したと判定された場合、シーン検出部４１３は、重要フラグを表示制御部４１２と特徴量抽出部４１４に供給し、処理はステップＳ４４に進む。

ステップＳ４４において、特徴量抽出部４１４は、シーン検出部４１３からの重要フラグに基づいて、入力画像において検出された重要度の高いシーンの特徴量を抽出し、記録制御部４１５に供給する。重要度の高いシーンの特徴量は、そのシーンの検出の基準となった術具の形状や術部の色などに応じた情報とされる。

ステップＳ４５において、表示制御部４１２のＯＳＤ処理部４３１は、シーン検出部４１３からの重要フラグに基づいて、そのときに表示されているシーンが重要度の高いシーンであることを示す情報のＯＳＤ表示を行う。

なお、ステップＳ４４とステップＳ４５の処理は、並行して行われるようにしてもよい。

さて、ＯＳＤ表示が行われると、画像処理装置４０１は、更新後処理画像および更新前処理画像のうちのいずれを表示するかを、ユーザに選択させる。ユーザにより、更新後処理画像および更新前処理画像のうちのいずれかが選択されると、処理はステップＳ４６に進む。

ステップＳ４６において、表示制御部４１２は、更新後処理画像および更新前処理画像のうちユーザに選択された方のみを表示装置２０２に表示させる。このとき、表示制御部４１２は、更新後処理画像および更新前処理画像のうちユーザに選択された方（表示装置２０２に表示された方）を示す選択情報を記録制御部４１５に供給する。

ステップＳ４７において、記録制御部４１５は、特徴量抽出部４１４からの特徴量と、表示制御部４１２からの選択情報とを対応付けて、履歴情報として履歴情報記録部４１６に記録する。

ステップＳ４８において、学習部４１７は、履歴情報記録部４１６に記録された履歴情報に基づいて、特徴量毎に、入力画像において検出された重要度の高いシーンについて、更新後処理画像および更新前処理画像のうちのいずれがユーザに選択されたかを学習する。ここでは、特徴量毎に、更新後処理画像および更新前処理画像のうちのいずれがユーザによってより多く選択されたかが、機械学習などにより学習される。

以上の処理によれば、内視鏡１０１を用いて手術を行っている術者は、重要度の高いシーンについて、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像とを容易に比較して、より好適な方を選択して表示させることができる。また、重要度の高いシーンについて、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像のいずれの表示態様が、術者にとってより好適であるかを学習することができる。

＜７．第５の実施の形態＞
（画像処理装置の構成例）
図１５は、本技術に係る第５の実施の形態の画像処理装置の構成例を示している。

図１５の画像処理装置５０１は、上述した学習結果を用いて、新たに入力された術部画像における重要度の高いシーンについて、更新後処理画像および更新前処理画像のうち、術者にとってより好適な方を自動的に選択して表示させる。

画像処理装置５０１は、画像処理部４１１、表示制御部４１２、シーン検出部４１３、特徴量抽出部４１４、学習情報記録部４１８、および学習情報照会部５１１を有する。

図１５において、画像処理部４１１、表示制御部４１２、シーン検出部４１３、特徴量抽出部４１４、および学習情報記録部４１８は、図１３に示される構成それぞれと同一であるので、その説明は省略する。

学習情報照会部５１１は、学習情報記録部４１８に記録された学習情報の中から、新たに入力された入力画像において検出された重要度の高いシーンの特徴量に対応する学習情報を照会する。学習情報照会部５１１は、照会した学習情報に基づいて、その特徴量と対応付けられている選択情報を、表示制御部４１２に供給する。

（術部画像表示処理の流れ）
次に、図１６のフローチャートを参照して、画像処理装置５０１による術部画像表示処理の流れについて説明する。図１６の処理は、内視鏡１０１（カメラヘッド１０５）から、術部を撮影した術部画像（動画像）が画像処理装置５０１に入力されると開始される。

なお、図１６のステップＳ５１乃至Ｓ５４における処理は、図１５のステップＳ４１乃至Ｓ４４における処理と基本的には同様であるので、その説明は省略する。

ステップＳ５４で、入力画像において検出された重要度の高いシーンの特徴量が抽出されると、その特徴量が学習情報照会部５１１に供給される。

ステップＳ５５において、学習情報照会部５１１は、学習情報記録部４１８に記録された学習情報の中から、特徴量抽出部４１４からの特徴量に対応する学習情報を照会する。学習情報照会部５１１は、照会した学習情報に基づいて、特徴量抽出部４１４からの特徴量と対応付けられている選択情報を、表示制御部４１２に供給する。

ステップＳ５６において、表示制御部４１２は、学習情報照会部５１１からの選択情報に基づいて、更新後処理画像および更新前処理画像のうち、その選択情報で示される方のみを表示装置２０２に表示させる。

以上の処理によれば、重要度の高いシーンについて、学習結果に基づいて、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像のうち、術者にとってより好適な方を表示することができる。

以上においては、本開示に係る技術を内視鏡手術システムに適用した例について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は以下のような構成をとることができる。
（１）
術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
前記画像処理が施された前記術部画像の表示を制御する表示制御部と
を備え、
前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、
前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する
手術用画像処理装置。
（２）
前記画像処理部は、前記ソフトウェア更新前の前記画像処理と前記ソフトウェア更新後の前記画像処理とを並行して行う
（１）に記載の手術用画像処理装置。
（３）
前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、１つの画面に同時に表示させる
（１）または（２）に記載の手術用画像処理装置。
（４）
前記表示制御部は、ユーザの操作に応じて、前記画面における前記更新前処理画像および前記更新後処理画像の表示サイズを調整する
（３）に記載の手術用画像処理装置。
（５）
前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、それぞれ異なる表示装置に表示させる
（１）または（２）に記載の手術用画像処理装置。
（６）
前記表示制御部は、前記更新前処理画像および前記更新後処理画像のうちユーザに選択された方を表示させる
（１）または（２）に記載の手術用画像処理装置。
（７）
前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、所定の比率で画素毎に加算して表示させる
（１）または（２）に記載の手術用画像処理装置。
（８）
前記表示制御部は、前記更新前処理画像の第１の領域と、前記更新後処理画像の前記第１の領域以外の第２の領域とを合成して表示させる
（１）または（２）に記載の手術用画像処理装置。
（９）
前記第１の領域は、画面が左右に２分割された一方の領域であり、
前記第２の領域は、前記画面が左右に２分割された他方の領域である
（８）に記載の手術用画像処理装置。
（１０）
前記第１の領域は、画面の中心を含む中心領域であり、
前記第２の領域は、前記画面における前記中心領域より外側の周縁領域である
（８）に記載の手術用画像処理装置。
（１１）
前記第１の領域と前記第２の領域との境界は、ユーザの操作により決定される
（８）乃至（１０）のいずれかに記載の手術用画像処理装置。
（１２）
前記更新前処理画像と前記更新後処理画像の差分を演算する差分演算部をさらに備え、
前記表示制御部は、前記差分が所定値より大きい場合、その旨を報知する情報の表示を制御する
（１）または（２）に記載の手術用画像処理装置。
（１３）
前記画像において所定のシーンを検出するシーン検出部をさらに備え、
前記表示制御部は、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのユーザに選択された方を表示させる
（１）または（２）に記載の手術用画像処理装置。
（１４）
検出された前記シーンの特徴量を抽出する特徴量抽出部と、
抽出された前記特徴量と、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちの前記ユーザに選択された方を示す選択情報とを対応付けて、履歴情報として記録する記録制御部とをさらに備える
（１３）に記載の手術用画像処理装置。
（１５）
前記履歴情報に基づいて、前記シーンの前記特徴量毎に、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれが前記ユーザに選択されたかを学習する学習部をさらに備える
（１４）に記載の手術用画像処理装置。
（１６）
他の画像において検出された所定のシーンの前記特徴量に対応する学習結果を照会する照会部をさらに備え、
前記表示制御部は、照会された前記学習結果に基づいて、前記他の画像における前記所定のシーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれかを表示させる
（１５）に記載の手術用画像処理装置。
（１７）
術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
前記画像処理が施された前記術部画像の表示を制御する表示制御部と
を備える手術用画像処理装置が、
前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像を生成し、
前記更新前処理画像および前記更新後処理画像の少なくともいずれかの少なくとも一部の表示を制御する
ステップを含む画像処理方法。
（１８）
術部画像を取得する手術用撮像装置と、
前記術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
前記画像処理が施された前記術部画像の表示を制御する表示制御部と
を有する手術用画像処理装置と
を備え、
前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、
前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する
手術システム。

２０１ 画像処理装置， ２１１ 画像処理部， ２１２ 表示制御部， ２２１ ＳＷ更新後画像処理部， ２２２ ＳＷ更新前画像処理部， ２８１ 表示制御部， ３０１ 画像処理装置， ３１１ 画像処理部， ３１２ 表示制御部， ３２１ ＳＷ更新後画像処理部， ３２２ ＳＷ更新前画像処理部， ３２３ 差分演算部， ３３１ ＯＳＤ処理部， ４０１ 画像処理装置， ４１１ 画像処理部， ４１２ 表示制御部， ４１３ シーン検出部， ４１４ 特徴量抽出部， ４１５ 記録制御部， ４１６ 履歴情報記録部， ４１７ 学習部， ４１８ 学習情報記録部， ４２１ ＳＷ更新後画像処理部， ４２２ ＳＷ更新前画像処理部， ４３１ ＯＳＤ処理部， ５１１ 学習情報照会部

Claims (18)

1. 術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
   前記画像処理が施された前記術部画像の表示を制御する表示制御部と
   を備え、
   前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、
   前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する
   手術用画像処理装置。
2. 前記画像処理部は、前記ソフトウェア更新前の前記画像処理と前記ソフトウェア更新後の前記画像処理とを並行して行う
   請求項１に記載の手術用画像処理装置。
3. 前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、１つの画面に同時に表示させる
   請求項１に記載の手術用画像処理装置。
4. 前記表示制御部は、ユーザの操作に応じて、前記画面における前記更新前処理画像および前記更新後処理画像の表示サイズを調整する
   請求項３に記載の手術用画像処理装置。
5. 前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、それぞれ異なる表示装置に表示させる
   請求項１に記載の手術用画像処理装置。
6. 前記表示制御部は、前記更新前処理画像および前記更新後処理画像のうちユーザに選択された方を表示させる
   請求項１に記載の手術用画像処理装置。
7. 前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、所定の比率で画素毎に加算して表示させる
   請求項１に記載の手術用画像処理装置。
8. 前記表示制御部は、前記更新前処理画像の第１の領域と、前記更新後処理画像の前記第１の領域以外の第２の領域とを合成して表示させる
   請求項１に記載の手術用画像処理装置。
9. 前記第１の領域は、画面が左右に２分割された一方の領域であり、
   前記第２の領域は、前記画面が左右に２分割された他方の領域である
   請求項８に記載の手術用画像処理装置。
10. 前記第１の領域は、画面の中心を含む中心領域であり、
    前記第２の領域は、前記画面における前記中心領域より外側の周縁領域である
    請求項８に記載の手術用画像処理装置。
11. 前記第１の領域と前記第２の領域との境界は、ユーザの操作により決定される
    請求項８に記載の手術用画像処理装置。
12. 前記更新前処理画像と前記更新後処理画像の差分を演算する差分演算部をさらに備え、
    前記表示制御部は、前記差分が所定値より大きい場合、その旨を報知する情報の表示を制御する
    請求項１に記載の手術用画像処理装置。
13. 前記画像において所定のシーンを検出するシーン検出部をさらに備え、
    前記表示制御部は、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのユーザに選択された方を表示させる
    請求項１に記載の手術用画像処理装置。
14. 検出された前記シーンの特徴量を抽出する特徴量抽出部と、
    抽出された前記特徴量と、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちの前記ユーザに選択された方を示す選択情報とを対応付けて、履歴情報として記録する記録制御部とをさらに備える
    請求項１３に記載の手術用画像処理装置。
15. 前記履歴情報に基づいて、前記シーンの前記特徴量毎に、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれが前記ユーザに選択されたかを学習する学習部をさらに備える
    請求項１４に記載の手術用画像処理装置。
16. 他の画像において検出された所定のシーンの前記特徴量に対応する学習結果を照会する照会部をさらに備え、
    前記表示制御部は、照会された前記学習結果に基づいて、前記他の画像における前記所定のシーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれかを表示させる
    請求項１５に記載の手術用画像処理装置。
17. 術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
    前記画像処理が施された前記術部画像の表示を制御する表示制御部と
    を備える手術用画像処理装置が、
    前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像を生成し、
    前記更新前処理画像および前記更新後処理画像の少なくともいずれかの少なくとも一部の表示を制御する
    ステップを含む画像処理方法。
18. 術部画像を取得する手術用撮像装置と、
    前記術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
    前記画像処理が施された前記術部画像の表示を制御する表示制御部と
    を有する手術用画像処理装置と
    を備え、
    前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、
    前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する
    手術システム。

Images