JPWO2016072237A1 - 内視鏡システム - Google Patents

Abstract

内視鏡システム１は、挿入部６と、挿入部６に設けられ、前方視野画像を取得する観察窓８と、挿入部６に設けられ、側方視野画像を取得する観察窓８ａ、８ｂと、 画像処理部２２を有する。画像処理部２２は、側方視野画像において、設定された検出対象を検出し、前方視野画像の画像信号と側方視野画像の画像信号を生成すると共に、検出対象が検出された場合、前方視野画像の画像信号と側方視野画像の画像信号を出力する。

Description

本発明は、内視鏡システムに関し、特に、少なくとも２方向に照明光を照射し、その少なくとも２方向からの被写体像を取得する内視鏡システムに関する。

従来、内視鏡が、医療分野及び工業分野において広く用いられている。内視鏡は、挿入部の先端側に照明手段及び観察手段を備え、被検体内に挿入されて被検体内の観察及び検査をすることができる。

近年、２以上の方向を観察できる広角の視野を有する内視鏡が提案されており、例えば日本特開２０１１−１５２２０２号公報や日本特開２０１２−２４５１５７号公報に開示のように、挿入部の前方側を観察視野とする前方視野の他に、挿入部の側面側を観察視野とする側方視野を備え、前方視野画像と側方視野画像の両方をモニタに表示する内視鏡装置が提案されている。このような内視鏡装置を用いれば、術者あるいは検査者は、前方と側方の２方向を同時に観察することができる。

しかし、前方視野と側方視野の両方画像がモニタに表示されるため、術者あるいは検査者は、従来に比べて広い範囲に渡って注視しなければならず、注意力を長い時間維持しなければならず、術者などの負担が大きい。
術者は、表示されている両方の画像を同様の注意力で注視するため、検査に掛かる時間も長くなってしまうという問題もある。

そこで、本発明は、広角視野の内視鏡画像を観察するときの術者の負担を軽減することができる内視鏡システムを提供することを目的とする。

本発明の一態様の内視鏡システムは、被検体の内部に挿入される挿入部と、前記挿入部に設けられ、第１の領域から主画像を取得する第１の画像取得部と、前記挿入部に設けられ、前記第１の領域とは異なる領域を含む第２の領域から副画像を取得する第２の画像取得部と、前記副画像から、設定された検出対象を検出する対象検出部と、前記主画像に基づく第１の画像信号と前記副画像に基づく第２の画像信号を生成すると共に、前記対象検出部において前記検出対象が検出された場合、前記第１の画像信号と前記第２の画像信号を出力する画像処理部と、を有する。

本発明の第１の実施の形態に関わる内視鏡システムの構成を示す構成図である。 本発明の第１の実施の形態に関わる画像処理部２２の構成を示すブロック図である。 本発明の第１の実施の形態に関わる、検出対象設定部３２において設定される検出対象を設定する検出対象設定画面４１の例を示す図である。 本発明の第１の実施の形態に関わる、所定のモード時における、表示部４の３つの表示装置４ａ、４ｂ、４ｃの表示状態を示す図である。 本発明の第１の実施の形態に関わる、第１側方視野画像中に病変部PAが検出されたときの表示部４の表示状態を示す図である。 本発明の第１の実施の形態の変形例１に関わる、第１側方視野画像中に病変部PAが検出されたときの表示部４の表示状態の他の例を示す図である。 本発明の第１の実施の形態の変形例２に関わる、第１側方視野画像中に病変部PAが検出されたときの表示部４の表示状態の他の例を示す図である。 本発明の第１の実施の形態の変形例３に関わる、１つの表示装置を有する表示部４Ａによる３つの画像の表示例を示す図である。 本発明の第１の実施の形態の変形例４に関わる、側方観察用のユニットが取り付けられた挿入部６の先端部６ａの斜視図である。 本発明の第２の実施の形態に関わる内視鏡システムの構成を示す構成図である。 本発明の第２の実施の形態に関わる挿入部６の先端部６ａの断面図である。 本発明の第２の実施の形態に関わる画像処理部２２Ａの構成を示すブロック図である。 本発明の第２の実施の形態に関わる、表示部４Ａに表示される内視鏡画像の表示画面の例を示す図である。 本発明の第２の実施の形態に関わる、所定のモード時における、表示部４Ａの表示状態を示す図である。 本発明の第２の実施の形態に関わる、側方視野画像中に病変部PAが検出されたときの表示部４Ａの表示状態を示す図である。 本発明の第２の実施の形態の変形例２に関わる、側方視野画像中に病変部PAが検出されたときの表示部４Ａの表示状態の例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
（構成）
図１は、本実施の形態に関わる内視鏡システムの構成を示す構成図である。内視鏡システム１は、内視鏡２と、プロセッサ３と、表示部４とを含んで構成されている。

内視鏡２は、被検体の内部に挿入される挿入部６と、図示しない操作部とを有し、図示しないケーブルにより、プロセッサ３に接続されている。内視鏡２の挿入部６の先端部６ａには、前方視野用の照明窓７と観察窓８と、側方視野用の２つの照明窓７ａ、７ｂと２つの観察窓８ａ、８ｂが設けられている。

すなわち、内視鏡２は、照明窓７の他に、２つの照明窓７ａと７ｂを有し、観察窓８の他に、２つの観察窓８ａと８ｂとを有する。照明窓７ａと観察窓８ａは、第１の側方視野用であり、照明窓７ｂと観察窓８ｂは、第２の側方視野用である。そして、複数の、ここでは２つの観察窓８ａと８ｂは、挿入部６の周方向に略均等な角度で配置されている。
挿入部６の先端部６ａは、図示しない先端硬性部材を有し、照明窓７が、先端硬性部材の先端面に設けられ、照明窓７ａと７ｂは、先端硬性部材の側面に設けられている。
観察窓８ａの後ろ側には、第１の側方視野用の撮像ユニット１１ａが先端部６ａ内に配設され、観察窓８ｂの後ろ側には、第２の側方視野用の撮像ユニット１１ｂが先端部６ａ内に配設されている。前方視野用の観察窓８の後ろ側には、前方視野用の撮像ユニット１１ｃが配設されている。

撮像部である３つの撮像ユニット１１ａ，１１ｂ，１１ｃの各々は、撮像素子を有し、プロセッサ３と電気的に接続され、プロセッサ３により制御されて、撮像信号をプロセッサ３へ出力する。各撮像ユニット１１ａ，１１ｂ，１１ｃは、画像（被写体像）を光電変換する撮像部である。

よって、観察窓８は、挿入部６の先端部６ａに、挿入部６が挿入される方向に向けて配置され、観察窓８ａと８ｂは、挿入部６の側面部に、挿入部６の外径方向に向けて配置されている。

すなわち、観察窓８は、挿入部６に設けられ、第１の方向である前方から第１の被写体の画像を取得する第１の画像取得部を構成し、観察窓８ａと８ｂの各々は、挿入部６に設けられ、前方とは異なる第２の方向である側方から第２の被写体像の画像を取得する第２の画像取得部を構成する。言い換えれば、第１の被写体の画像は、挿入部６の長手方向に略平行な挿入部前方を含む、第１の領域の被写体像であり、第２の被写体の画像は、挿入部６の長手方向に略直交する挿入部側方を含む、第２の領域の被写体像である。

撮像ユニット１１ｃは、観察窓８からの画像を光電変換する撮像部であり、撮像ユニット１１ａと１１ｂは、それぞれ観察窓８ａと８ｂからの２つの画像を光電変換するそれぞれ異なる、つまり別個の撮像部である。

照明窓７ａの後ろ側には、第１の側方視野用の照明用発光素子１２ａが先端部６ａ内に配設され、照明窓７ｂの後ろ側には、第２の側方視野用の照明用発光素子１２ｂが先端部６ａ内に配設されている。前方視野用の照明窓７の後ろ側には、前方視野用の照明用発光素子１２ｃが配設されている。照明用発光素子（以下、発光素子という）１２ａ、１２ｂ、１２ｃは、例えば発光ダイオード（LED）である。
よって、発光素子１２ｃに対応する照明窓７は、前方に照明光を出射する照明部であり、発光素子１２ａと１２ｂの各々に対応する照明窓７ａと７ｂは、側方に照明光を出射する照明部である。

プロセッサ３は、制御部２１と、画像処理部２２と、撮像ユニット駆動部２３と、照明制御部２４と、画像記録部２５を有する。
制御部２１は、中央処理装置（CPU）と、ROM、RAM等を含み、内視鏡装置全体の制御を行う。

画像処理部２２は、制御部２１の制御の下、３つの撮像ユニット１１ａ，１１ｂ，１１ｃからの３つの撮像信号に基づき得られた３つの画像から３つの内視鏡画像の画像信号を生成して、これらの画像信号を表示信号に変換して表示部４へ出力する。
さらに、画像処理部２２は、制御部２１の制御の下、画像処理、設定処理などを行う。

撮像ユニット駆動部２３は、図示しない信号線により撮像ユニット１１ａ、１１ｂ、１１ｃと接続されている。撮像ユニット駆動部２３は、制御部２１の制御の下、撮像ユニット１１ａ、１１ｂ、１１ｃを駆動する。駆動された撮像ユニット１１ａ、１１ｂ、１１ｃは、それぞれ撮像信号を生成して、画像処理部２２へ供給する。

照明制御部２４は、図示しない信号線により発光素子１２ａ、１２ｂ、１２ｃと接続されている。照明制御部２４は、制御部２１の制御の下、発光素子１２ａ、１２ｂ、１２ｃを制御する回路であり、発光素子毎に、オン／オフの制御を行う。さらに、照明制御部２４は、制御部２１からの調光信号に基づいて、各発光素子の光量を制御する。
画像記録部２５は、制御部２１の制御の下、画像処理部２２において生成された３つの内視鏡画像を記録する記録部であり、ハードディスク装置などの不揮発性メモリを有する。

表示部４は、３つの表示装置４ａ、４ｂ、４ｃを有している。各表示装置４ａ、４ｂ、４ｃには、表示すべき画像の画像信号がプロセッサ３から供給される。表示装置４ａの画面上には、前方視野画像が表示され、表示装置４ｂの画面上には、第１側方視野画像が表示され、表示装置４ｃの画面上には、第２側方視野画像が表示される。

プロセッサ３には、図示しない各種操作ボタン、マウスなどが設けられており、ユーザである術者等（以下、ユーザという）は、各種機能の実行のための指示、例えば観察モードの設定、内視鏡画像の記録、後述する検出対象設定画面の表示等の指示、をプロセッサ３に与えることができる。

図２は、画像処理部２２の構成を示すブロック図である。画像処理部２２は、画像生成部３１と、検出対象設定部３２と、特徴量算出部３３と、画像表示判定部３４と、を含んでいる。画像処理部２２には、３つの撮像ユニット１１ａ，１１ｂ，１１ｃからの３つの撮像信号が入力される。

画像生成部３１は、各撮像ユニット１１ａ、１１ｂ、１１ｃからの撮像信号に基づき、画像信号を生成し、生成した各画像信号を特徴量算出部３３と画像表示判定部３４へ出力する。

検出対象設定部３２は、撮像ユニット１１ａと１１ｂにより撮像して得られた第１側方視野画像と第２側方視野画像中において、画像処理により検出する検出対象を設定する処理部である。例えば、検出対象は、病変、処置具、管腔、出血などである。

図３は、検出対象設定部３２において設定される検出対象を設定する検出対象設定画面４１の例を示す図である。
図３に示す検出対象設定画面４１は、ユーザがプロセッサ３の所定の操作ボタンを操作することによって、例えば、表示部４のいずれかの表示装置の画面上に表示される。ユーザは、表示された検出対象設定画面４１を利用して、検出対象の設定を行うことができる。

グラフィカルユーザインターフェース（GUI）である検出対象設定画面４１は、検出対象を指定する検出対象指定部４２と、指標表示を指定する指標表示設定部４３と、設定の完了を指示するボタンであるOKボタン４４とを含んでいる。

検出対象指定部４２は、検出対象を示す検出対象名表示部４２ａと、複数のチェックボックス群４２ｂとを有している。ユーザは、プロセッサ３のマウスなどを利用して、検出したい対象に対応するチェックボックス４２ｂにチェックマークを入れることによって、所望の検出対象を指定することができる。

例えば、図３は、「病変」、「管腔」及び「出血」に対応するチェックボックス４２ｂにチェックマークが入れられているので、「病変」、「管腔」及び「出血」が検出対象として指定されていることを示している。図３の状態で、ユーザがOKボタン４４を押すと、すなわちクリックなどすると、画像処理部２２に、「病変」、「管腔」及び「出血」が検出対象として設定される。

検出対象設定部３２は、検出対象が設定されると、設定された検出対象の情報を画像表示判定部３４へ出力し、設定された１又は２以上の検出対象について予め設定された検出すべき特徴量の情報を、特徴量算出部３３へ出力して指示する。

また、指標表示設定部４３は、指標表示の文字を表示する指標文字表示部４３ａと、指標表示指示用のチェックボックス４３ｂを含んでいる。後述するように、チェックボックス４３ｂは、検出対象の位置を示す指標を表示するか否かを指定するためのものであり、チェックボックス４３ｂにチェックマークを入れることによって、設定された検出対象が検出されると、検出された検出対象の位置を示す指標が表示される。すなわち、指標表示設定部４３は、表示部４に指標の表示をするか否かを設定する設定部である。

図２に戻り、特徴量算出部３３は、各側方視野画像信号について、検出対象設定部３２から指示された検出すべき特徴量を算出し、算出した特徴量の情報を、画像表示判定部３４へ出力する。

特徴量算出部３３は、複数の特徴量を算出可能であり、指定された特徴量を算出して、画像表示判定部３４へ出力する。
特徴量算出部３３は、所定の、色調、輝度、空間周波数、エッジの有無、等々を検出可能であり、検出対象設定部３２から指定された特徴量を算出し、算出された特徴量の情報を画像表示判定部３４へ出力する。

所定の色調の検出は、ここでは、赤みの強い画素があるか否かを検出するための色調検出である。
所定の輝度の検出は、ここでは、管腔領域があるか否かを検出するための輝度、すなわち暗い画素の有無を検出するための輝度検出である。

所定の空間周波数の検出は、ここでは、病変部があるか否かを検出するために所定の空間周波数の画素領域の有無を検出するための空間周波数検出である。
エッジの有無の検出は、ここでは、処置具の画像の有無を検出するためのエッジの画素領域の有無を検出するためのエッジ検出である。

特徴量算出部３３は、指定された特徴量を有する画素あるいは画素領域の検出結果の情報を画像表示判定部３４に出力する。
画像表示判定部３４は、画像生成部３１からの３つの画像信号を入力し、前方視野画像は、表示部４の表示装置４ａへ出力する。画像表示判定部３４は、２つの側方視野画像については、特徴量算出部３３からの各画像についての特徴量情報に基づいて、２つの側方視野画像の１つあるいは両方を表示部４において表示するかを判定し、その判定結果に基づいて、２つの側方視野画像の１つあるいは両方を表示部４へ出力する。

具体的には、画像表示判定部３４は、検出対象設定部３２により指定された検出対象について、特徴量算出部３３において算出された特徴量が所定の条件を満たすか否かを判定し、その判定結果に基づいて、画像生成部３１で生成された２つの側方視野画像の両方又は１つを表示部４に表示するための表示信号を出力するか否かを判定する。

例えば、検出対象として病変が指定されたとき、検出対象設定部３２は、検出対象が病変であることを示す情報を画像表示判定部３４へ出力し、かつ、検出すべき特徴量が所定の空間周波数であることを示す情報を、特徴量算出部３３へ出力する。

画像表示判定部３４は、各検出対象について閾値情報などの判定基準情報を予め記憶している。よって、画像表示判定部３４は、検出対象が病変の場合、所定の空間周波数を有する画素領域のサイズが、所定の閾値TH1以上であるか否かに基づいて、病変の有無を判定する。

また、検出対象として処置具が指定されたとき、検出対象設定部３２は、検出対象が処置具であることを示す情報を画像表示判定部３４へ出力し、かつ、検出すべき特徴量が所定のエッジであることを示す情報を、特徴量算出部３３へ出力する。

処置具は、金属であり、表面は光沢を有し、生体組織とは、全く異なる色と輝度を有するので、画像中に処置具の画像があると、画像中にエッジが検出される。よって、画像表示判定部３４は、検出対象が処置具の場合、所定のエッジの画素領域が、所定の閾値TH2以上あるか否かに基づいて、処置具の有無を判定する。その結果、例えば、処置具が処置具チャンネルから出てくると、処置具の画像が表示部４に表示される。

同様に、管腔が検出対象として指定されたとき、管腔部分は、画像中、暗部領域となるので、輝度が閾値TH3以下である画素領域が所定の閾値TH4以上あるか否かによって、管腔の検出が行われる。

また、出血が検出対象として指定されたとき、赤色の画素領域が、所定の閾値TH5以上であるか否かによって、出血の検出が行われる。
なお、ここでは、検出対象の検出のために、画素あるいは画素領域の輝度、空間周波数、色及びエッジの特徴量を用いているが、これら以外の特徴量を用いてもよい。
よって、特徴量算出部３３と画像表示判定部３４は、各側方視野画像において、設定された検出対象を、画像処理により検出する対象検出部を構成する。

画像表示判定部３４は、設定された検出対象が検出されると、その検出対象を含む側方視野画像の画像信号を表示部４へ出力する。
すなわち、画像生成部３１と画像表示判定部３４は、前方視野画像の画像信号と２つの側方視野画像の画像信号を生成すると共に、特徴量算出部３３と画像表示判定部３４において検出対象が検出された場合、前方視野画像の画像信号と検出対象が検出された側方視野画像の画像信号を表示信号に変換して表示部４へ出力する。その結果、前方視野画像は表示部４の表示装置４ａに表示され、検出対象が検出された側方視野画像は表示装置４ｂ又は４ｃに表示される。

また、画像記録部２５は、検査中の内視鏡画像を記録する処理部であり、検査が開始されると、画像表示判定部３４で判定されて表示部４において表示されている１又は２以上の画像を記録すると共に、画像生成部３１で生成された３つの画像、すなわち前方視野画像、第１及び第２の側方視野画像も記録する。

ここでは、表示部４に表示された１以上の画像、すなわち前方視野画像に加えて検出対象が検出された１又は２の側方視野画像に加えて、画像生成部３１で生成された３つの画像も画像記録部２５に記録されているので、検査後に、再度検査中の全ての画像を再生して見ることができるので、病変などの見逃しの発生を防止している。

なお、画像記録部２５は、表示部４において表示されている１又は２以上の画像と、画像生成部３１で生成された全て画像のいずれか一方を記録するようにしてもよい。

（作用）
図４は、所定のモード時における、表示部４の３つの表示装置４ａ、４ｂ、４ｃの表示状態を示す図である。

ユーザが、内視鏡システム１を所定のモードに設定すると、はじめに、前方視野画像のみが表示装置４ａに表示され、第１側方視野画像と第２側方視野画像は、図４において斜線で示すように、表示装置４ｂと４ｃに表示されない。図４では、ユーザが大腸内に挿入部を挿入して検査を行っており、前方視野画像には、管腔Lが表示されている。

画像処理部２２は、前方視野画像の画像信号のみを出力しているとき、第１側方視野画像と第２側方視野画像における検出対象の有無を検出する。検出対象設定部３２において設定された検出対象が、第１側方視野画像と第２側方視野画像において検出されていないときは、画像処理部２２は、前方視野画像の画像信号のみを出力する。

すなわち、検出対象が検出されていない場合に画像処理部２２が前方視野画像の画像信号のみを出力しているとき、画像処理部２２は、第１側方視野画像と第２側方視野画像における検出対象の有無を検出する。

前方視野画像以外の第１又は第２側方視野画像中に、上述した検出対象設定部３２で設定された検出対象が検出されると、その検出された検出対象を含む側方視野画像を、対応する表示装置に表示する。

図５は、第１側方視野画像中に病変部PAが検出されたときの表示部４の表示状態を示す図である。
検出対象設定部３２において、例えば図３に示すように、「病変」、「管腔」及び「出血」が検出対象として設定されているときに、病変が検出されると、病変部PAを含む側方視野画像が、表示部４に表示される。

図５は、それまで何も表示されていなかった表示装置４ｂに第１側方視野画像が表示されていることを示している。さらに、図３に示すように、指標表示も設定されているので、検出された病変部PAの近傍に、矢印マークである指標Mが表示されている。

すなわち、画像処理部２２は、側方視野画像の画像信号を出力しているとき、側方視野画像中の検出対象の位置を示す指標Mを表示部４の対応する表示装置４ｂ又は４ｃに表示するための指標情報を出力する。

ユーザは、挿入部６の先端部６ａを挿入方向あるいは抜去方向に進めながら管腔内検査を実施するが、通常は、前方視野画像が表示部４の表示装置４ａに表示され、その前方視野画像のみを注視して観察を行い、病変などの設定した検出対象が画像処理により検出されると、その検出対象が含まれる側方視野画像が表示部４の対応する表示装置４ｂ又は４ｃに表示される。設定した検出対象が検出されなければ、前方視野画像のみを見て、すなわち前方視野画像のみに注力して検査を行うことができるので、ユーザは、３つの全ての画像を見る必要がなく、負担が少なく迅速に検査を進めることができる。

しかし、設定された検出対象が２つの側方視野画像の少なくとも１つ中に検出されると、検出された検出対象を含む側方視野画像が、表示部４に表示される。
以上のように、側方視野画像は、２つあり、画像処理部２２は、表示部４おいて前方視野画像を中心に配置し２つの側方視野画像が前方視野画像を挟むように表示されるように、前方視野画像の画像信号と２つの側方視野画像の画像信号を出力すると共に、２つの側方視野画像の一方に検出対象が検出されたときには、その検出対象が検出された側方視野画像のみを表示するように、側方視野画像の画像信号を出力する。

よって、設定された検出対象が検出された場合、ユーザは１つ又は２つの側方視野画像も見ることができるので、新たに表示された側方視野画像を見て、病変を確認することができる。設定された検出対象が検出された場合だけ、ユーザは、２つ又は３つの画像を注意深く見ればよいので、検査全体では、負担が少なく迅速に検査を行うことができる。

以上のように、上述した実施の形態によれば、広角視野の内視鏡画像を観察するときの術者の負担を軽減することができる内視鏡システムを提供することができる。

結果として、病変などの観察すべき部位の見落としを防ぐことができる。

本実施の形態及び後述する他の実施の形態において、第１の方向である前方からの第１の被写体の画像（第１の被写体像、前方視野画像）は、内視鏡システム１の動作時、ほぼ常に観察することが要求されるため、主要に表示する画像である主画像として定義される。

また、第２の方向である側方からの第２の被写体の画像（第２の被写体像、側方視野画像）は、前記の主画像に対しては常に主要に表示する必要があるとは限らないため、副画像として定義される。

尚、上記の主画像及び副画像の定義に基づけば、例えば主要な観察窓が挿入部６の側方を常に向くような側視型内視鏡において、挿入軸方向である前方への挿入性を向上させるために前方を向く簡易な観察窓を配置するような場合、側方視野画像を主画像として、前方視野画像を副画像として定義し、上記第１の実施の形態に準じた処理を行うようにしてもよい。

つまり、主画像を取得する領域(第１の方向)は、前記挿入部の長手方向に略平行な挿入部前方を含む領域または前記挿入部の長手方向に略直交する挿入部側方を含む領域の一方であり、副画像を取得する領域(第2の方向)は、挿入部前方又は挿入部側方の他方であればよい。

（変形例１）
上述した実施の形態では、検出対象が検出されると、検出対象を含む側方視野画像が表示部４に表示されるが、検出対象を含まない側方視野画像も表示するようにしてもよい。

図６は、変形例１に関わる、第１側方視野画像中に病変部PAが検出されたときの表示部４の表示状態の他の例を示す図である。
図６の表示部４は、第１側方視野画像中に病変部PAが検出されたときに、病変部PAが検出された第１側方視野画像だけでなく、病変部PAが検出されていない第２側方視野画像も表示されている。

すなわち、何らかの検出対象が表示されたときには、周辺領域の画像も確認したい場合もあるので、図６のように、２つの側方視野画像を表示するようにしてもよい。
なお、この場合、検出対象を含む側方視野画像と、検出対象を含まない側方視野画像とを簡単に識別できるようにするために、検出対象を含まない側方視野画像の輝度を、検出対象を含む側方視野画像の輝度よりも低くして表示するようにしてもよい。

（変形例２）
上述した実施の形態では、検出対象が検出されると、検出対象を含む側方視野画像全体が表示部４に表示されるが、側方視野画像中、検出対象の近傍の画像領域だけを表示するようにしてもよい。

図７は、変形例２に関わる、第１側方視野画像中に病変部PAが検出されたときの表示部４の表示状態の他の例を示す図である。
第１側方視野画像中に病変部PAが検出されたときに、図７の表示部４では、病変部PAが検出された第１側方視野画像中、病変部PAが検出された領域を含む半分の領域のみを表示されている。

すなわち、画像処理部２２の画像表示判定部３４は、病変部PAが検出された第１側方視野画像の一部を表示するための画像信号を表示信号に変換して表示装置４ｂへ出力する。その結果、設定された検出対象が表示されたときには、ユーザが、検出対象を含む側方視野画像中、検出対象を迅速に視認できるようにするために、検出対象を含む画像領域以外の領域HAは、表示されない。

なお、この場合、検出対象を含む画像領域以外の領域HAの輝度を、検出対象を含む画像領域の輝度よりも低くして表示するようにしてもよい。

（変形例３）
上述した実施の形態及び変形例１と２では、表示部４は、３つの表示装置から構成されているが、１つの表示装置に、３つの画像を表示するようにしてもよい。

図８は、変形例３に関わる、１つの表示装置を有する表示部４Ａによる３つの画像の表示例を示す図である。表示部４Ａは、１つの表示装置からなり、３つの画像、すなわち、それぞれが上述した図４の前方視野画像４aと、２つの側方視野画像４bA、４cAに対応する、前方視野画像４aA及び２つの側方視野画像４bA、４cAが、表示装置の１つの画面上に表示される。

図８においても、上述したような表示形態で３つの内視鏡画像を表示することができる。

（変形例４）
上述した実施の形態及び各変形例において、側方を照明及び観察する機能を実現する機構は、前方を照明及び観察する機能を実現する機構と共に、挿入部６に内蔵されているが、側方を照明及び観察する機能を実現する機構は、挿入部６に対して着脱可能な別体にしてもよい。

図９は、側方観察用のユニットが取り付けられた挿入部６の先端部６ａの斜視図である。挿入部６の先端部６ａは、前方視野用ユニット６００を有している。側方視野用ユニット５００は、前方視野用ユニット６００に対して着脱自在な構成を有している。

側方視野用ユニット５００は、左右方向の画像を取得するための２つの観察窓５０１と、左右方向を照明するための２つの照明窓５０２を有している。
プロセッサ３等は、側方視野用ユニット５００の各照明窓５０２の点灯と消灯を、前方視野のフレームレートに合わせて行うようにして、上述した実施の形態に示したような観察画像の取得と表示を行うことができる。
以上のように、上述した実施の形態及び各変形例によれば、広角視野の内視鏡画像を観察するときの術者の負担を軽減することができる内視鏡システムを提供することができる。

結果として、病変などの観察すべき部位の見落としを防ぐことができる。

さらに、内視鏡画像の保存も、表示している画像と、全ての画像の両方を保存するので、後で見直す場合においても、見落としを防ぐことができる。

（第２の実施の形態）
第１の実施の形態の内視鏡の挿入部６の先端部６ａには、少なくとも２方向からの被写体像を取得するために、２以上の撮像素子が内蔵されているが、本実施の形態の内視鏡の挿入部６の先端部６ａには、少なくとも２方向からの被写体像を取得するために１つの撮像素子が内蔵されている。

図１０は、本実施の形態に関わる内視鏡システムの構成を示す構成図である。本実施の形態の内視鏡システム１Ａは、第１の実施の形態の内視鏡システム１と略同様の構成を有しているので、内視鏡システム１と同じ構成要素については、同じ符号を付して説明は省略し、異なる構成について説明する。

内視鏡２Ａの挿入部６の先端部６ａには、前方視野用の照明窓７と観察窓８と、側方視野用の２つの照明窓７ａ、７ｂと観察窓１０が設けられている。画像取得部である観察窓１０は、画像取得部である観察窓８よりも、挿入部６の基端側に配置されている。

また、照明のために、発光素子の代わりに、光ファイバ束からなるライトガイド５１が用いられている。ライトガイド５１の基端部には、３つの照明窓７，７ａ、７ｂ用の照明光が入射される。ライトガイド５１の先端部は、３等分されて、３つの照明窓７、７ａ、７ｂの後ろ側に配置される。

図１１は、挿入部６の先端部６ａの断面図である。なお、図１１は、側方視野用の照明窓７ａと、前方照明用の照明窓７と、前方視野用の観察窓８の断面が分かるように、先端部６ａが切られた断面を示している。

照明窓７の後ろ側には、ライトガイド５１の一部の先端面が配設されている。観察窓８が、先端硬性部材６１の先端面に設けられている。観察窓８の後ろ側には、対物光学系１３が配設されている。

対物光学系１３の後ろ側には、撮像ユニット１４が配設されている。なお、先端硬性部材６１の先端部には、カバー６１ａが取り付けられている。また、挿入部６には、外皮６１ｂが被せられている。

よって、前方用照明光は照明窓７から出射し、被検体内の観察部位である被写体からの反射光は、観察窓８に入射する。
先端硬性部材６１の側面には、２つの照明窓７ａ、７ｂが配設されており、各照明窓７ａ、７ｂの後ろには、反射面が曲面のミラー１５を介して、ライトガイド５１の一部の先端面が配設されている。

よって、照明窓７と複数の照明窓７ａ、７ｂは、被検体の内部において、第１の領域としての前方領域に第１の照明光を、かつ第１の領域とは異なる第２の領域としての側方領域に第２の照明光を出射する照明光出射部を構成する。

第１の領域とは異なる第２の領域とは、光軸が異なる方向を向いている向きの視野の領域を指し、第１の領域（第１の被写体像）と第２の領域（第２の被写体像）との一部が重なっても重なっていなくてもよく、さらに、第１の照明光の照射範囲と第２の照明光の照射範囲が一部において重なっていても重なっていなくても良い。

先端硬性部材６１の側面には、観察窓１０が配設されており、観察窓１０の後ろ側には、対物光学系１３が配設されている。対物光学系１３は、観察窓８を通った前方からの反射光と、観察窓１０を通った側方からの反射光を撮像ユニット１４へ向けるように構成されている。図１１では、対物光学系１３は、２つの光学部材１７と１８を有する。光学部材１７は、凸面１７ａを有するレンズであり、光学部材１８は、光学部材１７の凸面１７ａからの光を、光学部材１７を介して撮像ユニット１４へ向けて反射させる反射面１８ａを有する。

すなわち、観察窓８は、挿入部６に設けられ、第１の領域である前方から第１の被写体の画像を取得する第１の画像取得部を構成し、観察窓１０は、挿入部６に設けられ、前方とは異なる第２の領域である側方から第２の被写体の画像を取得する第２の画像取得部を構成する。

より具体的には、第１の領域である前方領域からの画像は、挿入部６の長手方向に略平行な挿入部６の前方を含む第１の領域の被写体像であり、第２の領域である側方領域からの画像は、挿入部６の長手方向に略直交する挿入部６の側方を含む第２の領域の被写体像であり、観察窓８は、挿入部６の前方を含む第１の領域の被写体像を取得する前方画像取得部であり、観察窓１０は、挿入部６の側方を含む第２の領域の被写体像を取得する側方画像取得部である。

そして、画像取得部である観察窓８は、挿入部６の先端部６ａに、挿入部６が挿入される方向に向けて配置され、画像取得部である観察窓１０は、挿入部６の側面部に、挿入部６の外径方向に向けて配置されている。撮像部である撮像ユニット１４は、観察窓８からの被写体像と観察窓１０からの被写体像とを、同じ撮像面で光電変換するように配置され、画像処理部２２を有するプロセッサ３に電気的に接続されている。

すなわち、観察窓８は、挿入部６の長手方向における先端部に、挿入部６が挿入される方向から第１の被写体像を取得するように、配置され、観察窓１０は、第２の方向から第２の被写体像を取得するように、挿入部６の周方向に沿って配置される。そして、プロセッサ３と電気的に接続されている撮像ユニット１４は、第１の被写体像と第２の被写体像を１つの撮像面において光電変換して、撮像信号をプロセッサ３へ供給する。

よって、前方用照明光は照明窓７から出射し、被写体からの反射光は、観察窓８を通って撮像ユニット１４へ入射すると共に、側方用照明光は２つの照明窓７ａ、７ｂから出射し、被写体からの反射光は、観察窓１０を通って撮像ユニット１４へ入射する。撮像ユニット１４の撮像素子１４ａは、被写体の光学像を光電変換して、撮像信号をプロセッサ３Ａへ出力する。

図１０に戻り、撮像ユニット１４からの撮像信号は、画像生成部であるプロセッサ３Ａへ供給され、内視鏡画像が生成される。プロセッサ３Ａは、観察画像である内視鏡画像の信号を表示信号に変換して表示部４Ｂに出力する。

プロセッサ３Ａは、制御部２１Ａと、画像処理部２２Ａと、撮像ユニット駆動部２３Ａと、照明制御部２４Ａと、画像記録部２５を有する。
図１２は、画像処理部２２Ａの構成を示すブロック図である。画像処理部２２Ａは、画像生成部３１Ａと、検出対象設定部３２と、特徴量算出部３３Ａと、画像表示判定部３４Ａと、を含んでいる。画像処理部２２Ａには、撮像ユニット１４からの撮像信号が入力される。

画像生成部３１Ａは、上述した画像生成部３１と同様の機能を有し、撮像ユニット１４からの撮像信号に基づき、画像信号を生成し、生成した画像信号を特徴量算出部３３Ａと画像表示判定部３４Ａへ出力する。

検出対象設定部３２は、第１の実施の形態と同様の構成であり、図３において示したような設定画面により、撮像ユニット１４により撮像して得られた側方視野画像中において、画像処理により検出する検出対象を設定する処理部である。

図１２に戻り、特徴量算出部３３Ａは、側方視野画像信号について、検出対象設定部３２から指示された検出すべき特徴量を算出し、算出した特徴量の情報を、画像表示判定部３４Ａへ出力する。

特徴量算出部３３Ａは、上述した特徴量算出部３３と同様の機能を有し、側方視野画像中に、検出対象設定部３２から指定された特徴量を算出し、算出された特徴量の情報を画像表示判定部３４Ａへ出力する。

画像表示判定部３４Ａは、上述した画像表示判定部３４と同様の機能を有し、画像生成部３１Ａからの画像を入力し、前方視野画像は、表示信号に変換して表示部４の表示部４Ｂへ常時出力する。画像表示判定部３４Ａは、側方視野画像については、特徴量算出部３３Ａからの画像についての特徴量情報に基づいて、側方視野画像を表示部４Ｂにおいて表示するかを判定し、その判定結果に基づいて、側方視野画像を表示信号に変換して表示部４Ｂへ出力する。
画像表示判定部３４Ａは、設定された検出対象が検出されると、側方視野画像を表示部４Ｂに表示させる。

すなわち、画像表示判定部３４Ａは、検出対象設定部３２において設定された検出対象が、側方視野画像中に検出されると、側方視野画像を、前方視野画像と共に表示部４Ｂに表示する。

また、画像表示判定部３４Ａは、検出対象設定部３２において設定された検出対象が側方視野画像中に検出されないときは、側方視野画像を表示せず、前方視野画像を拡大して、表示部４Ｂに表示する。
画像記録部２５の動作は、第１の実施の形態と同様である。

図１３は、本実施の形態に関わる、表示部４Ｂに表示される内視鏡画像の表示画面の例を示す図である。
表示部４の画面上に表示される内視鏡画像である表示画像８１は、略矩形の画像であり、２つの領域８２と８３を有する。中央部の円形の領域８２は、前方視野画像を表示する領域であり、中央部の領域８２の周囲のＣ字状の領域８３は、側方視野画像を表示する領域である。図１３は、前方視野画像と側方視野画像の両方を表示したときの状態を示し、画像処理部２２Ａは、表示部４Ｂにおいて前方視野画像の周囲に側方視野画像が表示されるように、前方視野画像の画像信号と側方視野画像の画像信号を出力する。

すなわち、前方視野画像は、略円形状になるように表示部４の画面上に表示され、側方視野画像は、前方視野画像の周囲の少なくとも一部を囲む略円環状になるように画面上に表示される。よって、表示部４には、広角の内視鏡画像が表示される。

図１３に示す内視鏡画像は、撮像素子１４ａにより取得された取得画像から生成される。前方視野画像と側方視野画像は、撮像素子１４ａにおいて得られた画像から切り出されて生成される。表示画像８１は、図１１に示した光学系により、撮像素子１４ａの撮像面に投影された被写体像を光電変換して、マスク領域としての黒く塗りつぶされた領域８４を除く、領域８２に対応する中央の前方視野画像領域と、領域８３に対応する側方視野画像領域とを合成して生成される。

（作用）
図１４は、所定のモード時における、表示部４Ｂの表示状態を示す図である。

ユーザが、内視鏡システム１を所定のモードに設定すると、はじめに、撮像素子１４ａにおいて撮像して得られた画像から領域８２が切り出されて表示部４Ｂに拡大表示され、側方視野画像は表示されない。ユーザは、例えば大腸内に挿入部を挿入して、検査を行っているとすれば、前方視野画像には、管腔Lが表示されている。

しかし、側方視野画像中に、上述した検出対象設定部３２で設定された検出対象が検出されると、その検出された検出対象を含む側方視野画像を、表示部４Ｂに表示する。

図１５は、側方視野画像中に病変部PAが検出されたときの表示部４Ｂの表示状態を示す図である。
第１の実施の形態と同様に、検出対象設定部３２では、図３に示すように、「病変」、「管腔」及び「出血」が検出対象として設定され、指標表示も設定されているときに、病変が検出されると、病変部PAを含む側方視野画像が、指標Mと共に、表示部４に表示されている。図１４では、前方視野画像は、図１４のように拡大されていない。

すなわち、ユーザは、挿入部の先端部を挿入方向あるいは抜去方向に進めながら管腔内検査を実施するが、通常は、前方視野画像が表示部４Ｂに表示され、その前方視野画像のみを注視して観察を行い、病変などの設定した検出対象が画像処理により検出されると、その検出対象が含まれる側方視野画像が表示部４Ｂに表示される。

設定した検出対象が検出されなければ、拡大された前方視野画像のみを見て、すなわち前方視野画像のみに注力して検査を行うことができるので、ユーザは、前方視野画像と側方視野画像の両方の画像を見る必要がなく、負担が少なく迅速に検査を進めることができる。

しかし、設定された検出対象が側方視野画像中に検出されると、検出された検出対象を含む側方視野画像が、表示部４Ｂに表示される。設定された検出対象が検出された場合、ユーザは側方視野画像も見ることができるので、新たに表示された側方視野画像を見て、病変を確認することができる。設定された検出対象が検出された場合だけ、ユーザは、側方視野画像を注意深く見ればよいので、検査全体では、負担が少なく迅速に検査を行うことができる。

以上のように、上述した実施の形態によれば、広角視野の内視鏡画像を観察するときの術者の負担を軽減することができる内視鏡システムを提供することができる。

結果として、病変などの観察すべき部位の見落としを防ぐことができる。

（変形例１）
上述した第２の実施の形態は、側方視野画像が表示されないときは、前方視野画像は、拡大されて表示されているが、拡大しないで表示するようにしてもよい。

（変形例２）
上述した第２の実施の形態では、検出対象が検出されると、検出対象を含む側方視野画像全体が表示部４Ｂに表示されるが、側方視野画像中、検出対象の近傍の画像領域だけを表示するようにしてもよい。

図１６は、変形例２に関わる、側方視野画像中に病変部PAが検出されたときの表示部４Ｂの表示状態の例を示す図である。
側方視野画像中に病変部PAが検出されたときに、図１６の表示部４Ｂでは、病変部PAが検出された側方視野画像中、病変部PAが検出された領域を含む半分の領域のみを表示されている。

すなわち、何らかの検出対象が表示されたときには、ユーザが、検出対象を含む側方視野画像中、検出対象を迅速に視認できるようにするために、検出対象を含む画像領域以外の領域HAは、表示されない。
なお、この場合、検出対象を含む画像領域以外の領域HAの輝度を、検出対象を含む画像領域の輝度よりも低くして表示するようにしてもよい。

以上のように、上述した第２の実施の形態及び各変形例によれば、広角視野の内視鏡画像を観察するときの術者の負担を軽減することができる内視鏡システムを提供することができる。
結果として、病変などの観察すべき部位の見落としを防ぐことができる。

さらに、内視鏡画像の保存も、表示している画像と、全ての画像の両方を保存するので、後で見直す場合においても、見落としを防ぐことができる。

なお、上述した２つの実施の形態では、検出対象が検出されると、検出対象の近傍に指標を表示しているが、指標の表示は、検出対象毎に設定できるようにしてもよい。すなわち、病変の検出時には、指標を表示させ、処置具の検出時には、指標は表示させないようにできるようにしてもよい。

さらになお、上述した各実施の形態では、検出対象が検出されていないとき、側方視野画像は表示されていないが、検出対象が検出されていないとき、側方視野画像にグレーマスクなどをかけて、側方視野画像を暗く表示するようにしてもよい。

すなわち、検出対象が検出されていないときは、画像処理部２２及び２２Ａは、側方視野画像の輝度を低下させて、前方視野画像を側方視野画像とは識別可能になるように、前方視野画像の画像信号と側方視野画像の画像信号を出力するようにしてもよい。

また、各実施の形態では、撮像ユニットから生成される撮像信号に基づき生成された画像信号の側方画像（副画像、第２の画像）に基づき、検出対象を検出しているが、撮像ユニットから生成される側方（第２の領域）に関する撮像信号の中から直接検出対象を検出するようにしてもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１４年１１月６日に日本国に出願された特願２０１４−２２６２０８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

本発明の一態様の内視鏡システムは、被検体の内部に挿入される挿入部と、前記挿入部に設けられ、第１の領域から主画像を取得する第１の画像取得部と、前記挿入部に設けられ、前記第１の領域とは異なる領域を含む第２の領域から副画像を取得する第２の画像取得部と、前記主画像に基づく第１の画像信号と前記副画像に基づく第２の画像信号とを生成する画像生成部と、前記副画像から、設定された検出対象を検出する対象検出部と、前記対象検出部において前記検出対象が検出されていないときは前記第１の画像信号のみを出力し、前記対象検出部において前記検出対象が検出されたときは前記第１の画像信号と前記第２の画像信号とを出力する画像処理部と、を有する。
本発明の一態様の内視鏡システムは、被検体の内部に挿入される挿入部と、前記挿入部に設けられ、第１の領域から主画像を取得する第１の画像取得部と、前記挿入部に設けられ、前記第１の領域とは異なる領域を含む第２の領域から副画像を取得する第２の画像取得部と、前記主画像に基づく第１の画像信号と前記副画像に基づく第２の画像信号とを生成する画像生成部と、前記副画像から、設定された検出対象を検出する対象検出部と、前記対象検出部において前記検出対象が検出されたときは前記第１の画像信号と前記第２の画像信号とを出力し、前記対象検出部において前記検出対象が検出されていないときは前記副画像の輝度を低下させて、前記主画像と前記副画像とが識別可能になるように、前記第１の画像信号と前記第２の画像信号を出力する画像処理部と、を有する。

Claims (19)

1. 被検体の内部に挿入される挿入部と、
   前記挿入部に設けられ、第１の領域から主画像を取得する第１の画像取得部と、
   前記挿入部に設けられ、前記第１の領域とは異なる領域を含む第２の領域から副画像を取得する第２の画像取得部と、
   前記副画像から、設定された検出対象を検出する対象検出部と、
   前記主画像に基づく第１の画像信号と前記副画像に基づく第２の画像信号を生成すると共に、前記対象検出部において前記検出対象が検出された場合、前記第１の画像信号と前記第２の画像信号を出力する画像処理部と、
   を有することを特徴とする内視鏡システム。
2. 前記第１の領域は、前記挿入部の長手方向に略平行な挿入部前方を含む領域または前記挿入部の長手方向に略直交する挿入部側方を含む領域の一方であり、
   前記第２の領域は、前記挿入部の長手方向に略平行な挿入部前方を含む領域または前記挿入部の長手方向に略直交する挿入部側方を含む領域の他方であることを特徴とする請求項１に記載の内視鏡システム。
3. 前記第１の領域は、前記挿入部の長手方向に略平行な挿入部前方を含む領域であり、
   前記第２の領域は、前記挿入部の長手方向に略直交する挿入部側方を含む領域であることを特徴とする請求項２に記載の内視鏡システム。
4. 前記画像処理部は、前記第１の画像信号、又は前記第１の画像信号と前記第２の画像信号との両方を表示信号に変換すると共に、画像を表示するための表示部へ出力することを特徴とする請求項１に記載の内視鏡システム。
5. 前記検出対象が前記対象検出部において検出されていないときは、前記画像処理部は、前記主画像に基づく前記第１の画像信号のみを出力することを特徴とする請求項１に記載の内視鏡システム。
6. 前記検出対象が前記対象検出部において検出されていない場合に前記画像処理部が前記主画像に基づく前記表示信号のみを出力しているとき、前記対象検出部は、前記副画像における前記検出対象の有無を検出することを特徴とする請求項５に記載の内視鏡システム。
7. 前記検出対象が前記対象検出部において検出されていないときは、前記画像処理部は、前記副画像の輝度を低下させて、前記主画像と前記副画像とが識別可能になるように、前記第１の画像信号と前記第２の画像信号を出力することを特徴とする請求項１に記載の内視鏡システム。
8. 前記対象検出部において検出する前記検出対象を設定する検出対象設定部を有することを特徴とする請求項１に記載の内視鏡システム。
9. 前記画像処理部は、前記第２の画像信号を出力しているとき、前記副画像中の前記検出対象の位置を示す指標を前記表示部に表示するための指標情報を出力する指標表示設定部を有することを特徴とする請求項４に記載の内視鏡システム。
10. 前記画像処理部は、前記表示部において前記主画像を中心に配置し２つの前記副画像が前記主画像を挟むように表示されるように、前記第１の画像信号と前記第２の画像信号を出力すると共に、前記対象検出部において前記２つの前記副画像の一方に前記検出対象が検出されたときには、前記検出対象が検出された副画像のみを表示するように前記第２の画像信号を出力することを特徴とする請求項４に記載の内視鏡システム。
11. 前記画像処理部は、前記表示部において前記主画像を中心に配置し２つの前記副画像が前記主画像を挟むように表示されるように、前記第１の画像信号と前記第２の画像信号を出力することを特徴とする請求項４に記載の内視鏡システム。
12. ２つの前記副画像を取得するための前記第２の画像取得部は、複数あり、
    複数の前記第２の画像取得部は、前記挿入部の周方向に略均等な角度で配置されていることを特徴とする請求項１１に記載の内視鏡システム。
13. 前記検出対象は、病変、処置具、管腔又は出血の少なくとも１つであることを特徴とする請求項１に記載の内視鏡システム。
14. 前記画像処理部は、前記表示部において前記主画像の周囲に前記副画像が表示されるように、前記第１の画像信号と前記第２の画像信号を出力することを特徴とする請求項４に記載の内視鏡システム。
15. 前記第１の画像取得部は、前記挿入部の長手方向における先端部に、前記挿入部が挿入される方向である第１の方向から前記主画像を取得するように、配置され、
    前記第２の画像取得部は、第２の方向から前記副画像を取得するように、前記挿入部の周方向に沿って配置されていることを特徴とする請求項１４に記載の内視鏡システム。
16. 前記第１の画像取得部は、前記主画像を光電変換する第１の撮像部を有し、
    前記第２の画像取得部は、前記副画像を光電変換する前記第１の撮像部とは異なる第２の撮像部を有することを特徴とする請求項１４に記載の内視鏡システム。
17. 前記第１の画像取得部からの前記主画像と前記第２の画像取得部からの前記副画像とを１つの撮像面において光電変換する撮像部を有し、
    前記第１の画像信号と前記第２の画像信号は、前記撮像部において得られた画像から生成されることを特徴とする請求項１６に記載の内視鏡システム。
18. 前記第２の画像取得部は、前記第１の画像取得部よりも、前記挿入部の基端側に配置されていることを特徴とする請求項１７に記載の内視鏡システム。
19. 前記第１の被写体像は、略円形であり、
    前記第２の被写体像は、前記第１の被写体像の周囲の少なくとも一部を囲む略円環状であることを特徴とする請求項１８に記載の内視鏡システム。

Images