JP5647996B2 - 内視鏡装置 - Google Patents

Description

本発明は、特殊な画像処理が施された特殊観察画像と、通常の画像処理が施された通常観察画像とを同時に表示可能な内視鏡装置に関する。

内視鏡装置は、被験者の体内に挿入される内視鏡スコープと被験者の体外に設けられて画像処理を行う内視鏡プロセッサとを備える。内視鏡スコープは、遠位端部に設けられる撮像素子と、内視鏡スコープの近位端側に開口する鉗子挿入口から遠位端部に開口する鉗子口まで貫通する鉗子管路を備える。術者は鉗子挿入口から鉗子などの術具を挿入し、鉗子管路を経て鉗子口から観察対象物に向けて術具を突出させる。撮像素子が撮像した観察画像は内視鏡プロセッサに送られ、表示装置に表示される。術者は観察画像に含まれる術具や観察対象物の画像を参照しながら術具を操作する（特許文献１）。

特開２００９−１０６４２４号公報

しかし、観察対象物の特徴、例えば病変部を明らかにするために、特定の色やコントラストを強調する等の特殊な画像処理を観察画像に施すことがある。このような処理が施された観察画像を参照しながら術具を操作する場合、観察画像中の術具の色が本来の色とは異なるものとなったり、観察画像上における術具と観察対象物との境界がわかりにくくなったりするおそれがある。

本発明はこれらの問題に鑑みてなされたものであり、観察画像を参照することにより術具の状態を的確に把握可能な内視鏡装置を得ることを目的とする。

本願発明による内視鏡装置は、１フレームの画像を第１の方向に沿って伸びる複数の行に分割して得られるライン画像信号を、第１の方向とは異なる第２の方向に対して順番に出力する撮像部と、ライン画像信号を画像処理する画像処理部と、互いに異なるライン画像信号を記憶する複数のラインメモリと、ラインメモリのうちの１つに記憶されたライン信号により形成される画像を表示する表示領域を、ラインメモリごとに設ける表示部とを備え、１又は２以上のラインメモリは、画像処理部が画像処理したライン画像信号を記憶し、画像処理されたライン信号を記憶しないラインメモリは、画像処理部が画像処理しないライン画像信号を記憶することを特徴とする。

ラインメモリは、ライン画像信号を記憶する第１及び第２のラインメモリを有し、表示部は、第１のラインメモリに記憶されたライン信号により形成される第１の画像を表示する第１の表示領域、及び第２のラインメモリに記憶されたライン信号により形成される第２の画像を表示する第２の表示領域を有し、画像処理部が画像処理したライン画像信号を第１のラインメモリが記憶し、画像処理部が画像処理しないライン画像信号を第２のラインメモリが記憶することが好ましい。

ライン画像信号は、第１の方向に沿って並ぶ複数の画像信号から成り、第１及び第２のラインメモリは、第２の方向において所定の周期に従って決定される位置にあるライン画像信号を記憶し、第１の表示領域は、第１の方向において所定の周期に従って決定される位置にある画像信号により形成される画像を表示することが好ましい。

ライン画像信号は、第１の方向に沿って並ぶ複数の画像信号から成り、第１及び第２のラインメモリは、第２の方向において偶数番目のライン画像信号を記憶し、第１の表示領域は、第１の方向において偶数番目の画像信号により形成される画像を表示することが好ましい。

ライン画像信号は、第１の方向に沿って並ぶ複数の画像信号から成り、第１及び第２のラインメモリは、第２の方向において奇数番目のライン画像信号を記憶し、第１の表示領域は、第１の方向において奇数番目の画像信号により形成される画像を表示してもよい。

ライン画像信号は、第１の方向に沿って並ぶ複数の画像信号から成り、表示領域は、所定の条件に合致した画像信号により形成される画像を表示することが好ましい。

複数のラインメモリは、所定の分配比率に従って周期的にライン画像信号を各々記録することが好ましい。

撮像部は、１フレームの画像を水平方向に伸びる複数のラインに分割して得られるライン画像信号を、垂直方向に対して順番に出力することが好ましい。

画像処理部は、画像に含まれる病変部を強調する画像処理を行ってもよい。

画像処理部は、画像のコントラストを強調する画像処理を行ってもよい。

画像処理部は、画像の一部を拡大する処理を行ってもよい。

第２の方向は、第１の方向と直交することが好ましい。

本発明によれば、観察画像を参照することにより術具の状態を的確に把握可能な内視鏡装置を得る。

第１の実施形態による内視鏡装置を概略的に示した図である。 撮像素子が出力する画像を示した図である。 モニタに表示された観察画像を示した図である。 セレクタによるライン画像信号の出力タイミングチャートである。 第２の実施形態によるモニタに表示された観察画像を示した図である。 ライン画像信号の出力タイミングチャートである。

１００ 内視鏡装置
２００ 内視鏡スコープ
２１０ 可撓部
２１１ 遠位端部
２１４ イメージセンサ
２１５ タイミングジェネレータ
２２０ 操作コネクタ部
２２１ ＡＦＥ
２２２ 変換部
３００ 内視鏡プロセッサ
３１０ フレームメモリ
３１１ フレームメモリコントローラ
３２０ 特殊画像処理部
３３０ ラインメモリ
３３１ 第１のラインメモリ
３３２ 第２のラインメモリ
３３４ セレクタ
３３５ ラインメモリコントローラ
４００ モニタ
４１０ 画面
４１１ 第１の表示領域
４１２ 第２の表示領域
５００ プリンタ

以下、本発明における第１の実施形態について添付図面を参照して説明する。まず、図１及び２を用いて内視鏡装置１００の構成について説明する。

内視鏡装置１００は、被験者の体内に挿入される内視鏡スコープ２００と、被験者の体外に設けられて画像処理を行う内視鏡プロセッサ３００と、内視鏡プロセッサ３００に接続されるモニタ４００及びプリンタ５００とを主に備える。モニタ４００は表示部を成す。

内視鏡スコープ２００は、被験者の体内に挿入される可撓部２１０と、術者が保持し、かつ可撓部２１０を内視鏡プロセッサ３００に接続する操作コネクタ部２２０とを主に備える。

可撓部２１０の遠位端部２１１は被験者の体内に挿入され、他端は操作コネクタ部２２０に接続される。

可撓部２１０の遠位端部２１１には、撮像部を成すＣＣＤであるイメージセンサ２１４、イメージセンサ２１４に動作タイミングを送信するタイミングジェネレータ２１５が主に設けられる。操作コネクタ部２２０には、画像処理を行うＡＦＥ（アナログ・フロント・エンド）２２１と色空間変換処理を行う変換部２２２とが主に設けられる。

イメージセンサ２１４は、ｍ列×ｎ行、例えば１２８０×９６０ピクセルの画素により構成される。ｉ（０≦ｉ≦ｎ−１）行は水平方向に伸び、ｌ（０≦ｌ≦ｍ−１）列は垂直方向に伸びる。１つの行は、第０列から第ｍ−１列まで合計ｍ列の画素から成り、１つの列は、第０行から第ｎ−１行まで合計ｎ列の画素から成る。図示しない撮像レンズを介して被写体を撮像したイメージセンサ２１４は、第０行から第ｎ−１行まで１行ごとにアナログライン画像信号を出力する。１つのアナログライン画像信号は、１つの行を構成するｍ個の画素が出力した画像信号から成る。第０行から第ｎ−１行まで合計ｎ個のアナログライン画像信号により１つの観察画像が構成される。すなわち、観察画像は、ｎ行×ｍ列の画素により構成される（図２参照）。アナログライン画像信号はＡＦＥ２２１に送信される。以下、図２において左上隅を原点として、水平方向に０からｍ−１まで列番号が増加し、垂直方向に０からｎ−１まで行番号が増加するものとして説明する。

ＡＦＥ２２１は、アナログライン画像信号をデジタルライン画像信号に変換すると共に、所定の画像処理を行って、変換部２２２に送信する。デジタルライン画像信号は、アナログライン画像信号をデジタル変換したものであって、アナログライン画像信号と同様に、１つの行を構成するｍ個の画素が出力した画像信号から成る。

変換部２２２はデジタルライン画像信号が有する画像の色空間をＹＣｒＣｂ空間に変換した後に、内視鏡プロセッサ３００に送信する。

内視鏡プロセッサ３００は、デジタルライン画像信号を記憶するフレームメモリ３１０及びラインメモリ３３０と、特殊な画像処理を行う特殊画像処理部３２０と、セレクタ３３４とを主に備える。

フレームメモリ３１０は、フレームメモリコントローラ３１１により制御される。フレームメモリコントローラ３１１は、デジタルライン画像信号をフレームメモリ３１０に受信させ、１フレームを構成する全ての行のデジタルライン画像信号を記憶する。１フレームとは、１枚の観察画像をいう。すなわち、フレームメモリ３１０は、１枚の観察画像を構成する第０行から第ｎ−１行までのデジタルライン画像信号を記憶する。

フレームメモリ３１０は、ラインメモリ３３０及び特殊画像処理部３２０にデジタルライン画像信号を出力する。このとき、フレームメモリコントローラ３１１は、フレームメモリ３１０がデジタルライン画像信号を所定の周期で出力するようにフレームメモリ３１０を制御する。例えば、第０行から第ｎ−１行まで全ての行をフレームメモリ３１０が出力したり、奇数行、すなわち隔行ごとに出力したりする。出力されたデジタルライン画像信号は、特殊画像処理部３２０及びラインメモリ３３０に入力される。

特殊画像処理部３２０は、ラインメモリ３３０から受信したデジタルライン画像信号に対して、術者が注目する部位の画像を強調する処理を行う。このような処理は、例えば観察画像に含まれる青色を強調する青色強調処理、観察画像のコントラストを上げるＨ−エンハンス処理、又は観察画像の一部分を拡大する部分拡大処理などである。

ラインメモリ３３０は、第１のラインメモリ３３１と第２のラインメモリ３３２とを有する。第１のラインメモリ３３１は、特殊画像処理部３２０に接続され、１行分のデジタルライン画像信号を受信して記憶する。第２のラインメモリ３３２は、フレームメモリ３１０に接続されて、１行分のデジタルライン画像信号を記憶する。ラインメモリ３３０は、ラインメモリコントローラ３３５により制御される。ラインメモリコントローラ３３５は、デジタルライン画像信号に含まれるｍ個の画像信号の全て、あるいはｍ個の画像信号のいずれかを所定の周期に従ってセレクタ３３４に出力させる。

例えば、フレームメモリ３１０が全ての行を特殊画像処理部３２０及び第２のラインメモリ３３２に出力するとき、デジタルライン画像信号に含まれるｍ列の画像信号全てがセレクタ３３４に出力される。また、フレームメモリ３１０が偶数行のデジタルライン画像信号を特殊画像処理部３２０及び第２のラインメモリ３３２に出力するとき、第１のラインメモリ３３１及び第２のラインメモリ３３２は、１行分のデジタルライン画像信号のうち偶数列の画像信号をセレクタ３３４に出力する。

セレクタ３３４は、ラインメモリコントローラ３３５により制御されて、第１のラインメモリ３３１及び第２のラインメモリ３３２が出力した画像信号を交互に受信する。そして、モニタ４００又はプリンタ５００のいずれか一方に画像信号を出力する。言い換えると、ラインメモリコントローラ３３５は、１行分のデジタルライン画像信号を第１のラインメモリ３３１に出力させてセレクタ３３４に受信させた後、１行分のデジタルライン画像信号を第２のラインメモリ３３２に出力させてセレクタ３３４に受信させる。これを１フレームの観察画像を構成する全てのデジタルライン画像信号について行う。

以上の処理を行うことにより、例えばフレームメモリ３１０が全ての行を出力する場合、観察画像は面積比において等倍でセレクタ３３４に出力され、フレームメモリ３１０が隔行ごとに出力する場合、観察画像は面積比において１／４の大きさでセレクタ３３４に出力される。

すなわち、フレームメモリ３１０及びラインメモリ３３０が出力する画像信号を制御することにより、セレクタ３３４が受信する観察画像の大きさを調節できる。

図３を参照すると、モニタ４００は、画面４１０を有し、画面４１０上には第１の表示領域４１１及び第２の表示領域４１２が設けられる。図３は、フレームメモリ３１０が偶数行のデジタルライン画像信号を特殊画像処理部３２０及び第２のラインメモリ３３２に出力するときの画面４１０を示した図である。

第１の表示領域４１１には、第２のラインメモリ３３２を経た観察画像が表示され、第２の表示領域４１２には特殊画像処理部３２０及び第１のラインメモリ３３１を経た観察画像が表示される。第２のラインメモリ３３２を経た観察画像は、特殊な画像処理を施されていない通常観察画像であり、第１のラインメモリ３３１を経た観察画像は、特殊な画像処理が施された特殊観察画像である。

通常観察画像及び特殊観察画像は、前述のように隔行ごと及び隔列ごとの画像信号から成るため、（ｎ／２）行×（ｍ／２）列の大きさ、すなわちイメージセンサが出力した観察画像に対して面積比１／４の大きさである。

次に、図４を用いて、ラインメモリコントローラ３３５による制御について説明する。

図４は、通常観察画像と特殊観察画像とを同じ大きさで、かつイメージセンサが出力した観察画像に対して面積比１／４の大きさで画面４１０に表示する場合のタイミングを示した図である。この制御は、ラインメモリ３３０、ラインメモリコントローラ３３５、及びセレクタ３３４により実行される。

この制御が開始される前に、第１のラインメモリ３３１は特殊な画像処理が施された第０行のデジタルライン画像信号を記憶し、第２のラインメモリ３３２は特殊な画像処理が施されない第０行のデジタルライン画像信号を記憶している。

まず、セレクタ３３４が第１のラインメモリ３３１に接続され、第１のラインメモリ３３１が出力を開始する。第１のラインメモリ３３１は、第０列、第２列、第４列というように、１列おきに画像信号をセレクタ３３４に出力する。そして、最終アドレスの列が画像信号を出力すると、セレクタ３３４は、第２のラインメモリ３３２に接続を切り換える。次に、第２のラインメモリ３３２が出力を開始する。第２のラインメモリ３３２は、第０列、第２列、第４列というように、１列おきに画像信号をセレクタ３３４に出力する。そして、最終アドレスの列が画像信号を出力すると、セレクタ３３４は、第１のラインメモリ３３１に接続を切り換える。

第２のラインメモリ３３２が画像信号をセレクタ３３４に出力する間、第１のラインメモリ３３１は、次の第１行のデジタルライン画像信号を記憶する。そして、第１のラインメモリ３３１は、同様にして第０列、第２列、第４列というように、１列おきに画像信号をセレクタ３３４に出力する。

第１のラインメモリ３３１が画像信号をセレクタ３３４に出力する間、第２のラインメモリ３３２は、次の第１行のデジタルライン画像信号を記憶する。そして、第２のラインメモリ３３２は、同様にして第０列、第２列、第４列というように、１列おきに画像信号をセレクタ３３４に出力する。そして、セレクタ３３４は、画像信号を受信する度に、モニタ４００に画像信号を送信する。

これらの処理をｎ／２回反復することにより、通常観察画像と特殊観察画像とが同じ大きさで、かつイメージセンサ２１４が出力した観察画像に対して面積比１／４の大きさでモニタ４００に表示される。

本実施形態によれば、観察画像と特殊画像とを同時に観察することが可能となる。また、容易に画像を縮小することが可能となる。

なお、第１の実施形態において、第１のラインメモリ３３１及び第２のラインメモリ３３２は偶数行及び列を記憶しなくても良く、奇数行及び列を記憶しても良い。

次に、第２の実施形態について図５及び６を用いて説明する。第１の実施形態と同様の構成については同じ符号を付して説明を省略する。

第２の実施形態は、第１の実施形態に対して、フレームメモリコントローラ３１１及びラインメモリコントローラ３３５による制御の点で異なる。

本実施形態によるラインメモリコントローラ３３５は、行番号を３で除した余りが０及び１となる行のデジタルライン画像信号をフレームメモリ３１０から第２のラインメモリ３３２に出力させる。そして、行番号を３で除した余りが２となる行のデジタルライン画像信号をフレームメモリ３１０から特殊画像処理部３２０に出力させる。特殊画像処理部３２０は、デジタルライン画像信号を画像処理し、第１のラインメモリ３３１は画像処理されたデジタルライン画像信号を記憶する。

第１のラインメモリ３３１は、列番号を３で除した余りが２となる列の画像信号をセレクタ３３４に出力する。第２のラインメモリ３３２は、列番号を３で除した余りが０及び１となる列の画像信号をセレクタ３３４に出力する。

図５は、本実施形態による画面４１０を示した図である。第１の表示領域４１１には、第２のラインメモリ３３２を経た観察画像が表示され、第２の表示領域４１２には特殊画像処理部３２０及び第１のラインメモリ３３１を経た観察画像が表示される。第２のラインメモリ３３２を経た観察画像は、特殊な画像処理を施されていない通常観察画像であり、第１のラインメモリ３３１を経た観察画像は、特殊な画像処理が施された特殊観察画像である。通常観察画像は、イメージセンサ２１４が出力した観察画像と比較して４／９の大きさで表示され、特殊観察画像は、イメージセンサ２１４が出力した観察画像と比較して１／９の大きさで表示される。

次に、図６を用いて、ラインメモリコントローラ３３５による制御について説明する。

図６は、通常観察画像と特殊観察画像とを異なる大きさで画面４１０に表示する場合のタイミングを示した図である。この制御は、ラインメモリ３３０、ラインメモリコントローラ３３５、及びセレクタ３３４により実行される。

この制御が開始される前に、第１のラインメモリ３３１は特殊な画像処理が施された第２行のデジタルライン画像信号を記憶し、第２のラインメモリ３３２は特殊な画像処理が施されない第０行のデジタルライン画像信号を記憶している。

まず、セレクタ３３４が第１のラインメモリ３３１に接続され、第１のラインメモリ３３１が出力を開始する。第１のラインメモリ３３１は、第２列、第５列、第８列というように、列番号を３で除した余りが２となる列の画像信号をセレクタ３３４に出力する。そして、最終アドレスの列が画像信号を出力すると、セレクタ３３４は、第２のラインメモリ３３２に接続を切り換える。次に、第２のラインメモリ３３２が出力を開始する。第２のラインメモリ３３２は、第０列、第１列、第３列、第４列というように、列番号を３で除した余りが０及び１となる列の画像信号をセレクタ３３４に出力する。そして、最終アドレスの列が画像信号を出力すると、セレクタ３３４は、第１のラインメモリ３３１に接続を切り換える。

第２のラインメモリ３３２が画像信号をセレクタ３３４に出力する間、第１のラインメモリ３３１は、次の第５行のデジタルライン画像信号を記憶する。そして、第１のラインメモリ３３１は、同様にして第２列、第５列、第８列というように、列番号を３で除した余りが２となる列の画像信号をセレクタ３３４に出力する。

第１のラインメモリ３３１が画像信号をセレクタ３３４に出力する間、第２のラインメモリ３３２は、次の第１行のデジタルライン画像信号を記憶する。そして、第２のラインメモリ３３２は、同様にして第０列、第１列、第３列、第４列というように、列番号を３で除した余りが０及び１となる列の画像信号をセレクタ３３４に出力する。そして、セレクタ３３４は、画像信号を受信する度に、モニタ４００に画像信号を送信する。

これらの処理を全ての行について行うことにより、通常観察画像が特殊観察画像よりも大きく、イメージセンサ２１４が出力した観察画像と比較すると通常観察画像が面積比４／９の大きさで、特殊観察画像が面積比１／９の大きさでモニタ４００に表示される。

本実施形態によれば、術者が注目したい画像をより大きく表示することができる。

なお、第２の実施形態において、通常観察画像よりも特殊観察画像を大きく表示しても良い。

なお、全ての実施形態において、イメージセンサ２１４の画素は、水平方向に伸びる行と垂直方向に伸びる列により構成されなくても良く、斜め方向に伸びる行と列であってもよい。また、行と列は直交しなくても良い。

また、前述したラインメモリ３３０が記憶する行番号及び出力する列は単なる例示であって、前記の値に限定されない。

イメージセンサ２１４は、ＣＣＤでなくても良く、ＣＭＯＳ等の撮像素子であっても良い。

ここに付随する図面を参照して本発明の複数の実施形態が説明されたが、記載された発明の範囲と精神から逸脱することなく、変形が各部の構造と関係に施されることは、当業者にとって自明である。

本開示は、ここに参照としてその全体が含まれる、日本国特許出願特願２００９−２７７３３８号（２００９年１２月７日出願）に含まれる主題に関連する。

Claims (7)

1. １フレームの画像を第１の方向に沿って伸びる複数の行に分割して得られるライン画像信号を、前記第１の方向とは異なる第２の方向に対して順番に出力する撮像部と、
   前記ライン画像信号に特殊な画像処理を施す画像処理部と、
   前記ライン画像信号を記憶する複数のラインメモリと、
   前記ラインメモリのうちの１つに記憶されたライン信号により形成される画像を表示する表示領域を、前記ラインメモリごとに設ける表示部とを備え、
   前記複数のラインメモリは、所定の分配比率に従って周期的に前記ライン画像信号を各々記録し、
   前記複数のラインメモリは、前記特殊な画像処理を施したライン画像信号を記憶する第１のラインメモリと、前記特殊な画像処理を施さないライン画像信号を記憶する第２のラインメモリを有し、
   前記表示部は、前記第２のラインメモリに記憶されたライン信号により形成される通常観察画像を表示する第１の表示領域、及び前記第１のラインメモリに記憶されたライン信号により形成される特殊光観察画像を表示する第２の表示領域を有し、
   前記所定の分配比率は、前記表示部に異なる大きさで表示される前記通常観察画像と前記特殊光観察画像の大きさに応じた分配比率である内視鏡装置。
2. 前記ライン画像信号は、前記第１の方向に沿って並ぶ複数の画像信号から成り、
   前記表示領域は、所定の条件に合致した前記画像信号により形成される画像を表示する請求項１に記載の内視鏡装置。
3. 前記撮像部は、１フレームの画像を水平方向に伸びる複数のラインに分割して得られるライン画像信号を、垂直方向に対して順番に出力する請求項１又は２に記載の内視鏡装置。
4. 前記画像処理部は、画像に含まれる病変部を強調する画像処理を行う請求項１から３のいずれかに記載の内視鏡装置。
5. 前記画像処理部は、画像のコントラストを強調する画像処理を行う請求項１から３のいずれかに記載の内視鏡装置。
6. 前記画像処理部は、画像の一部を拡大する処理を行う請求項１から３のいずれかに記載の内視鏡装置。
7. 前記第２の方向は、前記第１の方向と直交する請求項１から６のいずれかに記載の内視鏡装置。

Images