JP6020950B1

JP6020950B1 - 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム

Info

Publication number: JP6020950B1
Application number: JP2016537591A
Authority: JP
Inventors: 岳志宮井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-11-25
Filing date: 2015-11-12
Publication date: 2016-11-02
Anticipated expiration: 2035-11-12
Also published as: US20170251901A1; JPWO2016084608A1; CN105916430A; WO2016084608A1; JP6794747B2; US9986890B2; CN105916430B; US20180263462A1; JP2017000839A; US10799087B2

Abstract

本技術は、撮像条件に応じて、解像度と、S/N比とがバランスよく調整されるとともに、さらに、撮像条件に応じて、処理負荷を変化させることができる内視鏡システム、および内視鏡システムの動作方法、並びにプログラムに関する。内視鏡装置により撮像された体腔内の画像信号より低域成分からなる低域画像と、高域成分からなる高域画像が抽出される。低域画像は、所定の縮小率で縮小されて、高画質化処理がなされると、縮小率に対応する拡大率で拡大される。このとき、撮像状態を示す条件情報に基づいて、撮像時の明るさが十分であって、高域成分にノイズ成分が多く含まれない場合、低域画像と高域画像とが加算されて出力画像として出力される。また、条件情報に基づいて、撮像時の明るさが十分ではなく、高域成分にノイズ成分が多く含まれる場合、低域画像のみを出力画像として出力する。本技術は、内視鏡システムに適用することができる。

Description

本技術は、内視鏡システム、および内視鏡システムの作動方法、並びにプログラムに関し、特に、内視鏡システムを構成する内視鏡装置により撮像された画像の高画質化処理において、撮像条件に応じて、処理負荷の低減と、解像度の向上とをバランスよく調整できるようにした内視鏡システム、および内視鏡システムの作動方法、並びにプログラムに関する。

内視鏡システムによる撮像においては、一般的な白色光に加えて、IR（赤外光）観察や、PDD（光線力学的診断）観察のために狭帯域光や近赤外光といった特殊光を利用した撮像がある。

このような特殊光を用いた撮像技術について、例えば、周波数分離を用いた処理により、特殊光を用いて撮像された入力画像を用いる技術が提案されている（特許文献１参照）。

特開２０１２−０７５５４５号公報

ところで、内視鏡システムなどでは、全ての画像処理を撮像された入力画像のサイズのまま行うと、リアルタイムで処理可能な構成が必要となるため、処理コスト（処理時間や、処理を行うハードウェアの規模）が大きくなる。特に、近年撮像される画像サイズがHD（High Definition）や4K（水平4000×垂直2000前後）など、解像度が高くなることで、この傾向は顕著である。

上述した様に、この内視鏡システムにおける撮像には、照明光として白色光を用いた通常撮像と、狭帯域光や近赤外光などの特殊光を用いた特殊光撮像とがある。これらは光量が異なるため入力される信号の性質が異なるにもかかわらず、いずれの照明光を用いた場合でも、その画像処理は同一であるため、それぞれの画像信号の特性には必ずしも適さないことがあり、処理に無駄が生じることがあった。

本技術は、このような状況に鑑みてなされたものであり、特に、照明光の種別やレンズ口径などの明るさに係る撮像条件に応じて、画像処理に係る処理負荷の低減と、高画質化といった相反する効果をバランスよく調整できるようにするものである。

本技術の一側面の内視鏡システムは、体腔に挿入される硬性の挿入部の先端に対物レンズが設けられている内視鏡装置と、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部と、前記画像信号より低域成分である低域画像を抽出する低域成分抽出部と、前記画像信号より高域成分である高域画像を抽出する高域成分抽出部と、前記低域画像に高画質化処理を施す高画質化処理部と、少なくとも、前記高画質化処理部により高画質化された前記低域画像を出力画像として出力する出力部とを含み、前記出力部は、前記撮像部における撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する。

前記条件情報は、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるか否かを示す情報とすることができる。

前記条件情報における、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるか否かを示す情報には、前記撮像部が撮像する際の照明光を発する光源装置により発せられる光の種別を示す情報、並びに、内視鏡装置における前記対物レンズの口径、および前記撮像部と、前記対物レンズとの間に設けられたリレーレンズの口径の情報を含ませるようにすることができる。

前記低域画像を所定の縮小率で縮小する縮小部と、前記縮小率に対応する拡大率で画像を拡大する拡大部とをさらに含ませるようにすることができ、前記高画質化処理部には、前記縮小された低域画像に高画質化処理を施すようにさせることができる。

前記縮小部には、前記条件情報に応じた縮小率で前記低域画像を縮小させ、前記拡大部には、前記条件情報に応じた前記縮小率に対応する縮大率で、前記高画質化処理されている、前記低域画像の縮小画像を拡大させるようにすることができる。

前記高画質化処理部には、空間方向ノイズ除去、時間方向ノイズ除去、色補正、および帯域強調の処理を含ませるようにすることができる。

前記撮像部における撮像時の条件情報に応じて、前記高域成分抽出部には、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるとき、前記画像信号からの前記高域画像の抽出を停止させるようにすることができる。

本技術の一側面の内視鏡システムの作動方法は、体腔に挿入される硬性の挿入部の先端に対物レンズが設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力し、前記画像信号より低域成分である低域画像を抽出し、前記画像信号より高域成分である高域画像を抽出し、前記低域画像に高画質化処理を施し、少なくとも、前記高画質化処理により高画質化された前記低域画像を出力画像として出力し、撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する。

本技術の一側面のプログラムは、コンピュータを、体腔に挿入される硬性の挿入部の先端に対物レンズが設けられている内視鏡装置と、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部と、前記画像信号より低域成分である低域画像を抽出する低域成分抽出部と、前記画像信号より高域成分である高域画像を抽出する高域成分抽出部と、前記低域画像に高画質化処理を施す高画質化処理部と、少なくとも、前記高画質化処理部により高画質化された前記低域画像を出力画像として出力する出力部として機能させ、前記出力部は、前記撮像部における撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する。

本技術の一側面においては、体腔に挿入される硬性の挿入部の先端に対物レンズが設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像が撮像され、画像信号として出力され、前記画像信号より低域成分である低域画像が抽出され、前記画像信号より高域成分である高域画像が抽出され、前記低域画像に高画質化処理が施され、少なくとも、高画質化された前記低域画像が出力画像として出力され、撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値が加算された画素値からなる画像信号が前記出力画像として出力される。

本技術の一側面の内視鏡システムの各構成は、それぞれ独立した装置であっても良いし、内視鏡システムの各構成のそれぞれとして機能するブロックであっても良い。

本技術の一側面によれば、内視鏡装置における撮像時の明るさに係る条件情報に応じて、画像の高画質化処理に係る処理負荷の低減と、高解像度化といった相反する効果をバランスよく調整することが可能となる。

腹腔鏡下手術の概要を示す図である。本技術を適用した内視鏡システムの構成例を示すブロック図である。図２の内視鏡装置の他の構成例を示すブロック図である。図２の画像処理装置の第１の実施の形態の構成例を説明する図である。図４の画像処理装置による画像処理を説明するフローチャートである。低高域合成部の動作を説明する図である。図２の画像処理装置における画像処理による効果を説明する図である。図２の画像処理装置における画像処理による効果を説明する図である。図２の画像処理装置の第２の実施の形態の構成例を説明する図である。図９の画像処理装置による画像処理を説明するフローチャートである。汎用のパーソナルコンピュータの構成例を説明する図である。

＜内視鏡システムの概要＞
図１は、本技術を適用した内視鏡システムの概要を説明する図である。

この内視鏡システムは、近年、医療現場において従来の開腹手術に代わって行われる腹腔鏡下手術において利用される。

すなわち、図１で示されるように、腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ２と称される開孔器具が腹壁１に数か所取り付けられ、トロッカ２に設けられている孔から腹腔鏡（以下、内視鏡装置または内視鏡とも称する）１１と処置具３が体内に挿入される。そして、内視鏡装置１１によってビデオ撮像された患部（腫瘍等）４の画像をリアルタイムに見ながら、処置具３によって患部４を切除するなどの処置が行われる。

図１に示されるような直線棒状の内視鏡装置１１では、ヘッド部２４を術者、助手、スコピスト、またはロボットなどが保持している。

＜内視鏡システムの構成例＞
ここで、図２を参照して、本技術の実施の形態である内視鏡システムの構成例について説明する。この内視鏡システム１０は、内視鏡装置１１、画像処理装置１２、および表示装置１３から構成される。

内視鏡装置１１と画像処理装置１２は、ケーブルを介して接続する他、無線で接続してもよい。また、画像処理装置１２を手術室から離れた場所に配置し、構内LANやインターネットなどのネットワークを介して接続するようにしてもよい。画像処理装置１２と表示装置１３の接続についても同様とする。

内視鏡装置１１は、直線棒状の鏡筒部２１とヘッド部２４から構成される。鏡筒部２１は、光学視管または硬性管とも称され、その長さが数１０センチ程度であり、体内に挿入される側の一端には対物レンズ２２が設けられており、他端はヘッド部２４に接続されている。鏡筒部２１の内部にはリレー光学系の光学レンズ部２３が設けられている。なお、鏡筒部２１の形状は、直線棒状に限定されるものではない。

鏡筒部２１には、大きく分類して、図２の鏡筒軸と光軸が等しい直視鏡と、鏡筒軸と光軸とが所定の角度をなす斜視鏡がある。図２の鏡筒部２１は、このうち直視鏡を例にしたものである。

ヘッド部２４には、撮像部２５が内蔵されている。撮像部２５は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有し、鏡筒部２１から入力される患部の光学像を所定のフレームレートで画像信号に変換する。また、内視鏡装置１１には、光源装置１４が接続されており、撮像に必要とされる光源の供給を受けて、患部４を照射する。この際、光源装置１４は、さまざまな波長の光を切り替えて発することができ、通常光に加えて、患部４を特に識別できるような特殊光を発することもできる。したがって、撮像部２５により撮像される画像は、通常光による画像信号の他、特殊光による画像信号を撮像することも可能である。

内視鏡装置１１においては、対物レンズ２２により集光される患部４の光学像が光学レンズ部２３を介してヘッド部２４の撮像部２５に入射され、撮像部２５によって所定のフレームレートの画像信号に変換されて後段の画像処理装置１２に出力される。また、ヘッド部２４は、光源装置１４により発せられている光の種別、対物レンズ２２の口径、光学レンズ部２３の口径といった情報を条件情報として、画像処理装置１２に供給する構成であるものとする。この条件情報については、ヘッド部２４の図示せぬ部位にユーザが予め入力する構成を設けて、この部位から条件情報として画像処理装置１２に供給するようにしても良い。また、条件情報は、画像処理装置１２において、撮像される画像信号を解析することにより、画像処理装置１２が、自ら認識する構成とするようにしてもよい。ここでは、いずれかの方法により画像処理装置１２に、条件情報が入力されることを前提として説明を進めるものとする。尚、光源装置１４から画像処理装置１２に供給される光の種別の情報については、光源装置１４から画像処理装置１２に直接供給される構成にしてもよい。

図３は、内視鏡装置１１の他の構成例を示している。同図に示されるように、対物レンズ２２の直後に撮像部２５を配置し、鏡筒部２１の内部の光学レンズ部２３を省略するようにしてもよい。

＜画像処理装置の第１の実施の形態＞
次に、図４のブロック図を参照して、画像処理装置１２の第１の実施の形態の構成例について説明する。

画像処理装置１２は、低域抽出部５１、高域抽出部５２、縮小部５３、ノイズ除去部５４、色補正部５５、拡大部５６、低高域合成部５７、構造強調部５８、および電子ズーム部５９を備えている。

低域抽出部５１は、入力画像における低域成分を抽出し、高域抽出部５２、および縮小部５３に出力する。より詳細には、低域抽出部５１は、例えば、LPF（Low Pass Filter）より構成されており、入力画像における低域成分を抽出し、低域画像として高域抽出部５２、および縮小部５３に出力する。

高域抽出部５２は、入力画像の各画素について、高域成分を抽出し、低高域合成部５７に出力する。より詳細には、高域抽出部５２は、例えば、入力画像の各画素について、低域抽出部５１より供給されてくる低域成分を減算することで、高域成分を抽出して、低高域合成部５７に出力する。高域抽出部５２は、光源装置１４において発せられる光源の種別、並びに対物レンズ２２、および光学レンズ部２３の口径などからなる条件情報に応じて、高域成分が不要となる場合、高域成分の抽出を停止する。

縮小部５３は、低域成分からなる画像信号を、低解像度の画像に縮小し、縮小画像としてノイズ除去部５４に出力する。より詳細には、縮小部５３は、例えば、低域成分からなる画像信号の画素信号を、所定の間隔で間引くなどにより画素解像度を低下させて縮小する。

ノイズ除去部５４は、縮小画像のノイズ除去処理を施す。より具体的には、ノイズ除去部５４は、例えば、縮小画像に対して、2D NR（2Dimension Noise Reduction）処理（２次元ノイズ除去処理）および3D NR（3Dimension Noise Reduction）処理（３次元ノイズ除去処理）を施し、ノイズを除去して拡大部５６に出力する。ここでいう２次元ノイズ除去処理とは、縮小画像内における画像内の信号を用いた、いわゆる空間方向ノイズ除去処理であり、３次元ノイズ除去処理とは、時間方向に複数の画像を用いた、いわゆる時間方向ノイズ除去処理である。

色補正部５５は、ノイズ除去処理が施された縮小画像に色補正を施し、拡大部５６に出力する。

拡大部５６は、縮小部５３により縮小処理したときの縮小率に対応した拡大率で、帯域強調が施された縮小画像を拡大し、入力画像のサイズと同一の画像サイズに変換して低域成分の画像信号からなる低域画像として低高域合成部５７に出力する。

低高域合成部５７は、光源装置１４からの光源の種別、内視鏡装置１１における光学レンズ部２３、および、光学レンズ部２３の口径サイズといった撮像に係る明るさを特定する条件情報に基づいて、内蔵する加算部５７ａ（図６）を制御して、高域成分の画像信号と、低域成分の画像信号とを加算した画像信号、または、低域成分のみの画像信号のいずれかを高画質化した画像信号として構造強調部５８に出力する。

すなわち、条件情報として、光源装置１４の発する光が特殊光であることを示す情報、対物レンズ２２の口径サイズが所定のサイズより小さいことを示す情報、および、光学レンズ部２３の口径サイズが所定のサイズより小さいといった情報のいずれかが含まれているような場合、撮像に係る明るさが比較的暗い状態であることが示されることになる。このような場合、入力画像における、特に高域成分にはノイズ成分が多く含まれることになる。そこで、このような条件情報の場合について、低高域合成部５７は、加算部５７ａ（図６）の動作を停止させて、高画質化された低域成分のみからなる低域画像を、高画質化処理結果として出力する。すなわち、特殊光撮像の場合、高域成分にはノイズ成分が多く含まれることから、低域画像のみを出力することで、低解像度ながらS/N（信号対ノイズ比率）に優れた画像を出力することが可能となる。

一方、条件情報として、光源装置１４の発する光が白色光からなる通常光であることを示す情報、対物レンズ２２の口径サイズが所定のサイズよりも大きいといった情報、および光学レンズ部２３の口径サイズが所定のサイズより大きいといった情報がいずれも揃っているような場合、撮像に係る明るさが比較的明るい状態であることが示されることになる。このような場合、高域成分においてもノイズ成分が比較的少ない。そこで、低高域合成部５７は、加算部５７ａ（図６）を制御して、各画素について高画質化された低域成分に高域成分を加算した結果を高画質化処理結果として出力する。このように、撮像時の明るさに係る条件情報に基づいて処理を切り替えるようにすることで、適切に高画質化された画像を、適切な解像度で後段に出力する。すなわち、通常光撮像の場合、高域成分にはノイズ成分が比較的少ないので、高画質化された低域画像に、高域画像を加算することで、高解像度で、かつ、高画質の画像を出力することが可能となる。

構造強調部５８は、高画質化された画像信号に構造強調処理を施して、電子ズーム部５９に出力する。

電子ズーム部５９は、構造強調部５８より供給されてきた、構造強調処理された画像信号を、表示装置１３に対して適切なサイズに電子的に拡大し、出力する。

＜図４の画像処理装置による画像処理＞
次に、図５のフローチャートを参照して、図４の画像処理装置１２による画像処理について説明する。尚、ここでは画像処理装置１２に対して光源装置１４から、通常光である白色光を発して通常撮像している状態であるか、または、特殊光を発して特殊光撮像している状態であるかを示す条件情報が供給されることを前提とする。さらに、内視鏡装置１１における対物レンズ２２、および光学レンズ部２３の口径に係る情報についても画像処理装置１２に条件情報として供給されることを前提とする。

ステップＳ１１において、低域抽出部５１は、入力画像の各画素に対して、LPFによる低域成分抽出処理を施して低域成分を抽出して高域抽出部５２、および縮小部５３に出力する。

ステップＳ１２において、高域抽出部５２は、光源装置１４からの条件情報が通常光撮像や、所定のサイズよりも口径の大きな対物レンズ２２および光学レンズ部２３が使用されているといった比較的明るい、通常光における撮像状態を示す条件情報であるか否かを判定する。ステップＳ１２において、例えば、条件情報が比較的明るい状態での撮像状態であることを示すものである場合、処理は、ステップＳ１３に進む。

ステップＳ１３において、高域抽出部５２は、入力画像の各画素について、低域成分を減算することで、高域成分を抽出し、高域成分を低高域合成部５７に出力する。尚、ステップＳ１２において、条件情報が比較的暗い状態での撮像状態を示す場合、ステップＳ１３の処理はスキップされる。すなわち、この場合、後述する様に、後段において高域成分は不要となるため、高域成分からなる画像信号の抽出がなされない。結果として、高域成分を抽出するための処理負荷を低減することが可能となる。

ステップＳ１４において、縮小部５３は、入力画像の低域成分からなる画像信号の画像サイズを縮小し、低域成分からなる縮小画像としてノイズ除去部５４に出力する。

ステップＳ１５において、ノイズ除去部５４は、低域成分からなる縮小画像に対してノイズ除去処理を施して、色補正部５５に出力する。

ステップＳ１６において、色補正部５５は、ノイズ除去処理された、低域成分からなる縮小画像に対して、色補正を施して拡大部５６に出力する。

ステップＳ１７において、拡大部５６は、縮小部５３において縮小されたときの縮小率に対応する拡大率で、ノイズ除去された縮小画像を拡大し、入力画像と同一の画像サイズに戻して低高域合成部５７に出力する。

ステップＳ１８において、低高域合成部５７は、条件情報に基づいて、比較的明るい状態での撮像状態であるか否かを判定し、比較的明るい状態での撮像状態であることが示されている場合、処理は、ステップＳ１９に進む。

ステップＳ１９において、低高域合成部５７は、拡大部５６より供給されてくるノイズ除去処理された低域成分の画像信号（低域画像）と、高域抽出部５２より供給されてくる高域成分の画像信号（高域画像）とを加算して合成し、高画質化された画像（出力画像）として構造強調部５８に出力する。すなわち、低高域合成部５７は、図６の上部で示されるように、その内部における加算部５７ａを制御して、拡大部５６より供給されてくるノイズ除去処理された低域成分の画像信号（低域画像）と、高域抽出部５２より供給されてくる高域成分の画像信号（高域画像）とを加算させる。そして、低高域合成部５７は、加算結果となる画像信号を高解像度で、かつ、高画質化された画像信号（出力画像）として構造強調部５８に出力する。

一方、ステップＳ１８において、条件情報に基づいて、比較的暗い状態による撮像状態であることを示す場合、処理は、ステップＳ２０に進む。

ステップＳ２０において、低高域合成部５７は、拡大部５６より供給されてくる低域成分からなる画像信号（低域画像）のみを、そのままノイズ除去処理された画像信号（出力画像）として構造強調部５８に出力する。すなわち、低高域合成部５７は、図６の下部で示されるように、内蔵する加算部５７ａにおける動作を停止させ、拡大部５６より供給されてくるノイズ除去処理された低域成分の画像信号（低域画像）のみを高画質化された画像信号（出力画像）として構造強調部５８に出力する。

ステップＳ２１において、構造強調部５８は、低高域合成部５７より供給されてくる画像信号に構造強調処理を施して電子ズーム部５９に出力する。

ステップＳ２２において、電子ズーム部５９は、構造強調処理が施された画像信号を表示装置１３において適合する、解像度に変換処理し、表示装置１３に出力して表示させる。

以上の処理により、条件情報に基づいて、白色光からなる通常光における撮像や、大口径の対物レンズ２２、および光学レンズ部２３からなる条件となる撮像などの明るさが十分な通常撮像の場合（鏡筒部（光学スコープ）２１の直径が大きく、太い場合）、撮像される画像信号の高域成分には、ノイズ信号の割合が低いことから高域成分と高画質化された低域成分とを加算した画像をノイズ除去処理された画像として出力するようにした。

一方、特殊光における撮像や、小口径の光学レンズ部２３など明るさが不足しているような撮像の場合（鏡筒部（光学スコープ）２１の直径が小さく、細い場合）、画像信号の高域成分には、ノイズ信号の割合が高いことから、低域成分に高域成分を加算せず、高画質化された低域成分の画像をそのまま出力画像として出力するようにした。

これにより、図７の左側で示されるように、白色光撮像（通常撮像）においては、高域成分においてノイズ成分が少ないため、図中右側で示される特殊光撮像に対して、高画質で、かつ、高解像度の画像を出力することが可能となる。一方、図中右側で示されるように、特殊光撮像においては、高域成分においてノイズ成分が多いため、図中右側で示される白色光撮像（通常撮像）に対して、低解像度ながら、図中の矢印で示される分だけS/N比をより高い状態にすることが可能となる。

尚、図７では、左部に高域成分が加算された画像における解像度とS/N比が示されており、右部に高域成分が加算されていない画像における解像度とS/N比が示されている。

すなわち、高域成分にノイズが少ない通常撮像に対しては、図８の左上部の画像で示されるように、図８の右上部の画像より高解像度化でき、より鮮明な画像を提供することが可能となる。また、高域成分にノイズが多い特殊光撮像に対しては、図８の右下部の画像で示されるように、図８の左下部の画像よりも、S/N比を向上させることで、感度を向上させ、より認識し易い画像を提供することが可能となる。

尚、図８では、左部に高域成分が加算された画像が示されており、右部には高域成分が加算されていない画像が示されている。さらに、図８においては、それぞれ上段が通常撮像における画像であり、下段が特殊光撮像における画像が示されている。

また、低域成分については、画像を縮小して、ノイズ除去、および色補正がなされた後、拡大して、入力画像のサイズに戻すようにしているので、ノイズ除去、および色補正の各処理における処理負荷を低減させることが可能となる。

結果として、撮像状態に応じて、適切に、高画質化、または、S/N比の改善を施した画像を表示することが可能となる。

また、以上においては、撮像条件がノイズ成分を多く含む比較的暗い環境下の撮像状況の場合については、高域抽出部５２における動作を停止させる例について説明してきたが、低高域合成部５７において、低域成分と加算されないので、常に高域抽出部５２が動作していても、同様の効果を奏することが可能である。

＜画像処理装置の第２の実施の形態＞
以上においては、入力画像の低域成分については、一律のサイズの画像に縮小された後、ノイズ除去、および色補正がなされた後、拡大する例について説明してきた。しかしながら、高域成分に含まれるノイズ成分の割合の高さ、すなわち、S/N比は、暗くなるほど低減し、ノイズの割合が高くなる。そこで、例えば、入力画像や撮像時の明るさといった撮像条件に応じて、縮小サイズを変更させるようにしてもよい。

図９は、入力画像や撮像時の明るさといった撮像条件に応じて、縮小サイズを変更させるようにした画像処理装置１２の第２の実施の形態の構成例を示している。尚、図９における画像処理装置１２において、図４における画像処理装置１２と異なるのは、縮小部５３、および拡大部５６に代えて、縮小部８１、および拡大部８２を設けた点である。

縮小部８１は、基本的な構成は、縮小部５３と同様であるが、さらに、撮像条件に応じて、縮小率を変化させて入力画像を縮小して出力する。すなわち、撮像条件に応じて、より暗く、ノイズ成分が高いS/N比の低い画像については、より高い縮小率に設定し、通常撮像に近い、明るい条件であるほど、縮小率を小さくする。

拡大部８２は、撮像条件に応じて、縮小部８１の縮小率に対応する拡大率で画像信号を拡大して低高域合成部５７に出力する。

すなわち、このような構成により、撮像条件に応じた縮小率で縮小された画像に対して、ノイズ除去、および色補正を施した後、拡大して低高域合成部５７に出力するため、入力画像のノイズレベルに応じた適切な処理を施すことが可能となり、合わせて、適切に処理負荷を低減させることが可能となる。

＜図９の画像処理装置における画像処理＞
次に、図１０のフローチャートを参照して、図９の画像処理装置１２における画像処理について説明する。尚、図１０のフローチャートにおけるステップＳ４１乃至Ｓ４３，Ｓ４５，Ｓ４６，Ｓ４８乃至Ｓ５２の処理は、図５におけるステップＳ１１乃至Ｓ１３，Ｓ１５，Ｓ１６，Ｓ１８乃至Ｓ２２における処理と同様であるので、その説明は省略する。

すなわち、図１０におけるステップＳ４１乃至Ｓ４３において、低域成分と高域成分の画像信号が抽出された後、ステップＳ４４において、縮小部８１は、条件情報に基づいて、通常撮像に近い条件であるほど、縮小率を小さくし、より元画像に近いサイズのままに縮小し、特殊撮像などの高域成分にノイズ成分が多く含まれるような画像については、より小さいサイズにまで縮小する。

ステップＳ４５，Ｓ４６において、ノイズ除去、および色補正がなされると、ステップＳ４７において、拡大部８２は、条件情報に基づいて、縮小部８１における縮小率に対応した拡大率で画像を拡大して、低高域合成部５７に出力する。

そして、ステップＳ４８乃至Ｓ５２において、高低域合成、構造強調、および電子ズーム処理がなされる。

結果として、上述した処理と同様に、撮像条件に応じて、解像度と、S/N比とがバランスよく調整されるとともに、さらに、撮像条件に応じて、処理負荷を適切に低減させることが可能となる。

＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本技術は、以下のような構成も取ることができる。
（１）体腔に挿入される硬性の挿入部の先端に対物レンズが設けられている内視鏡装置と、
前記内視鏡装置から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部と、
前記画像信号より低域成分である低域画像を抽出する低域成分抽出部と、
前記画像信号より高域成分である高域画像を抽出する高域成分抽出部と、
前記低域画像に高画質化処理を施す高画質化処理部と、
少なくとも、前記高画質化処理部により高画質化された前記低域画像を出力画像として出力する出力部とを含み、
前記出力部は、前記撮像部における撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する
内視鏡システム。
（２）前記条件情報は、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるか否かを示す情報である
（１）に記載の内視鏡システム。
（３）前記条件情報における、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるか否かを示す情報は、前記撮像部が撮像する際の照明光を発する光源装置により発せられる光の種別を示す情報、並びに、内視鏡装置における前記対物レンズの口径、および前記撮像部と、前記対物レンズとの間に設けられたリレーレンズの口径の情報を含む
（２）に記載の内視鏡システム。
（４）前記低域画像を所定の縮小率で縮小する縮小部と、
前記縮小率に対応する拡大率で画像を拡大する拡大部とをさらに含み、
前記高画質化処理部は、前記縮小された低域画像に高画質化処理を施す
（１）乃至（３）のいずれかに記載の内視鏡システム。
（５）前記縮小部は、前記条件情報に応じた縮小率で前記低域画像を縮小し、
前記拡大部は、前記条件情報に応じた前記縮小率に対応する縮大率で、前記高画質化処理されている、前記低域画像の縮小画像を拡大する
（４）に記載の内視鏡システム。
（６）前記高画質化処理部は、空間方向ノイズ除去、時間方向ノイズ除去、色補正、および帯域強調の処理を含む
（１）乃至（５）のいずれかに記載の内視鏡システム。
（７）前記撮像部における撮像時の条件情報に応じて、前記高域成分抽出部は、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるとき、前記画像信号からの前記高域画像の抽出を停止する
（１）乃至（６）のいずれかに記載の内視鏡システム。
（８）体腔に挿入される硬性の挿入部の先端に対物レンズが設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力し、
前記画像信号より低域成分である低域画像を抽出し、
前記画像信号より高域成分である高域画像を抽出し、
前記低域画像に高画質化処理を施し、
少なくとも、前記高画質化処理により高画質化された前記低域画像を出力画像として出力し、
撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する
内視鏡システムの作動方法。
（９）コンピュータを、
体腔に挿入される硬性の挿入部の先端に対物レンズが設けられている内視鏡装置と、
前記内視鏡装置から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部と、
前記画像信号より低域成分である低域画像を抽出する低域成分抽出部と、
前記画像信号より高域成分である高域画像を抽出する高域成分抽出部と、
前記低域画像に高画質化処理を施す高画質化処理部と、
少なくとも、前記高画質化処理部により高画質化された前記低域画像を出力画像として出力する出力部として機能させ、
前記出力部は、前記撮像部における撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する
プログラム。

２トロッカ，１０内視鏡システム，１１内視鏡装置，１２画像処理装置，１３表示装置，１４光源装置，２１鏡筒部，２２対物レンズ，２３光学レンズ部，２４ヘッド部，２５撮像部，５１低域抽出部，５２高域抽出部，５３縮小部，５４ノイズ除去部，５５色補正部，５６拡大部，５７低高域合成部，５８構造強調部，５９電子ズーム，８１縮小部，８２拡大部

Claims

体腔に挿入される挿入部の先端に対物レンズが設けられている内視鏡と、
前記内視鏡から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部と、
前記画像信号より低域成分である低域画像を抽出する低域成分抽出部と、
前記画像信号より高域成分である高域画像を抽出する高域成分抽出部と、
前記低域画像に高画質化処理を施す高画質化処理部と、
少なくとも、前記高画質化処理部により高画質化された前記低域画像を出力画像として出力する出力部とを含み、
前記出力部は、前記撮像部における撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する
内視鏡システム。
前記条件情報は、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるか否かを示す情報である
請求項１に記載の内視鏡システム。
前記条件情報における、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるか否かを示す情報は、前記撮像部が撮像する際の照明光を発する光源装置により発せられる光の種別を示す情報、並びに、内視鏡装置における前記対物レンズの口径、および前記撮像部と、前記対物レンズとの間に設けられたリレーレンズの口径の情報を含む
請求項２に記載の内視鏡システム。
前記低域画像を所定の縮小率で縮小する縮小部と、
前記縮小率に対応する拡大率で画像を拡大する拡大部とをさらに含み、
前記高画質化処理部は、前記縮小された低域画像に高画質化処理を施す
請求項１に記載の内視鏡システム。
前記縮小部は、前記条件情報に応じた縮小率で前記低域画像を縮小し、
前記拡大部は、前記条件情報に応じた前記縮小率に対応する縮大率で、前記高画質化処理されている、前記低域画像の縮小画像を拡大する
請求項４に記載の内視鏡システム。
前記高画質化処理部は、空間方向ノイズ除去、時間方向ノイズ除去、色補正、および帯域強調の処理を含む
請求項１に記載の内視鏡システム。
前記撮像部における撮像時の条件情報に応じて、前記高域成分抽出部は、前記撮像部において撮像される前記画像信号のノイズ成分の割合が高くなる条件であるとき、前記画像信号からの前記高域画像の抽出を停止する
請求項１に記載の内視鏡システム。
体腔に挿入される挿入部の先端に対物レンズが設けられている内視鏡から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力し、
前記画像信号より低域成分である低域画像を抽出し、
前記画像信号より高域成分である高域画像を抽出し、
前記低域画像に高画質化処理を施し、
少なくとも、前記高画質化処理により高画質化された前記低域画像を出力画像として出力し、
撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する
内視鏡システムの作動方法。
コンピュータを、
体腔に挿入される挿入部の先端に対物レンズが設けられている内視鏡と、
前記内視鏡から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部と、
前記画像信号より低域成分である低域画像を抽出する低域成分抽出部と、
前記画像信号より高域成分である高域画像を抽出する高域成分抽出部と、
前記低域画像に高画質化処理を施す高画質化処理部と、
少なくとも、前記高画質化処理部により高画質化された前記低域画像を出力画像として出力する出力部として機能させ、
前記出力部は、前記撮像部における撮像時の条件情報に応じて、前記高画質化された前記低域画像の各画素の画素値に、前記高域画像の各画素の画素値を加算した画素値からなる画像信号を前記出力画像として出力する
プログラム。