JP5179259B2 - 内視鏡用プロセッサ装置、および内視鏡用プロセッサ装置の作動方法 - Google Patents

Description

本発明は、内視鏡画像の表示画面への表示制御処理を行う表示制御手段を備える内視鏡用プロセッサ装置、および内視鏡用プロセッサ装置の作動方法に関する。

従来、医療分野において、内視鏡、例えば電子内視鏡を利用した検査が広く普及している。電子内視鏡は、被検体内に挿入される挿入部の先端に、ＣＣＤイメージセンサ等の固体撮像素子を有する。電子内視鏡は、コードやコネクタを介して内視鏡用プロセッサ装置（以下、プロセッサ装置と略す）に接続される。プロセッサ装置は、固体撮像素子から出力された撮像信号に対して各種処理を施し、診断に供する内視鏡画像を生成する。内視鏡画像は、プロセッサ装置に接続されたモニタに表示される。

プロセッサ装置は、撮像信号から画像データを形成し、さらに形成した画像データにノイズ軽減やブレ補正、色補正、ホワイトバランス補正などの画像処理、あるいは電子変倍、輪郭強調、色強調などの特殊な画像処理を行う。また、プロセッサ装置は、内視鏡画像の無効画素領域を隠して有効画素領域のみを表示させる表示用マスク、検査日時、あるいは患者や検査医の情報等の文字情報、グラフィカルユーザインターフェース（ＧＵＩ；Graphical User Interface）といったものを内視鏡画像に合成し、内視鏡画像の表示画面への表示制御処理を行う。

プロセッサ装置では、上述した画像データの形成や画像処理を実行するために、ＦＰＧＡ（Field Programmable Ｇate Array）等のプログラマブル集積回路を用いている（特許文献１参照）。プログラマブル集積回路は、画像データの形成や画像処理を実行するために独自の回路を設計する必要が無く、予め記憶された論理回路プログラムを読み込むことで論理回路が自由に書き換えられ、上述した複数種の処理をワンチップで実行することができる。また、プロセッサ装置の仕様に合わせた論理回路の変更も容易に行うことができる。従って、複数種の処理を行う非プログラマブルな専用の集積回路を開発する場合に比べて、装置の開発コストを抑えることができる。

特許文献１では、プロセッサ装置全体を統括制御するＣＰＵと画像処理回路とをＦＰＧＡで構成している。ＣＰＵの不具合が検出されたときには、画像処理回路の論理回路プログラムが書き換えられ、画像処理回路が画像処理の機能だけでなくＣＰＵの機能も担う。ＣＰＵに不具合が発生した場合でも、制御機能を保つことができる。
特開２００５−３４２１４７号公報

ところで、従来のプロセッサ装置は、高機能なグラフィックエンジンを積んでいないため、内視鏡画像とともに表示画面に合成されるＧＵＩは、文字を並べただけの貧弱なものであった。近年のオペレーティングシステム等の高性能化に伴い、内視鏡画像の表示画面に合成されるＧＵＩにも、高機能且つ高装飾（デザイン）性が求められている。

ＧＵＩの高機能化且つ高装飾化の要望に応えるためには、内視鏡画像とＧＵＩの合成処理や、合成された画面の描画処理を行う表示制御専用のグラフィック集積回路（ＬＳＩ；Large Scale Integration）を用いればよい。しかしながら、内視鏡のプロセッサ装置にグラフィックＬＳＩを用いる場合、留意すべき点がある。すなわち、グラフィックＬＳＩは、動画出力される内視鏡画像の垂直同期（一フレーム）毎に、設定データを書き換える動作（以下、単にキャプチャ設定という）が必要となる。汎用のグラフィックＬＳＩは、仕様上、ＣＰＵの制御下でソフトウェア的にキャプチャ設定をする。このため、ＣＰＵに不具合が生じてキャプチャ設定ができなくなると、内視鏡画像の動画出力が停止してしまう。

内視鏡画像の動画出力が停止すると、被検体内の観察ができない状況になる。このような状況に陥った場合、検査を中止して挿入部を被検体内から抜去しなければならないが、挿入部先端の状況を把握することができないため、抜去作業に支障を来たしていた。また、被検体内の視野が確保されていないと、不測の事態に対処することができないため、重大な事故に繋がるおそれもある。

本発明は、上記課題を鑑みてなされたものであり、その目的は、被検体内の観察ができない状況に陥るといったリスクを回避しつつ、ＧＵＩの高機能化、高装飾化を実現させることにある。

上記目的を達成するために、本発明の内視鏡用プロセッサ装置は、内視鏡画像の表示画面への表示制御処理を行う表示制御手段と、内視鏡画像の動画出力の垂直同期毎に前記表示制御手段に与えられる設定データを出力するデータ出力手段と、前記データ出力手段から出力された設定データを一旦保持し、一旦保持した設定データを前記表示制御手段に与えるデータ保持・付与手段とを備えることを特徴とする。

前記データ保持・付与手段は、固体撮像素子から出力された撮像信号に画像処理を施して、内視鏡画像を生成する画像処理手段である。

前記画像処理手段は、論理回路プログラムを読み込むことにより論理回路の書き換えが可能なプログラマブル集積回路を有する。前記プログラマブル集積回路は、設定データを保持するためのレジスタ領域をもつ。

なお、前記プログラマブル集積回路は、例えば、ＦＰＧＡ（Field Programmable Ｇate Array）、ＣＰＬＤ（Complex Programmable Logic Device）等である。

前記表示制御手段は、汎用の表示制御用集積回路である。

本発明の内視鏡用プロセッサ装置の動作方法は、内視鏡画像の表示画面への表示制御処理を行う表示制御手段に、内視鏡画像の動画出力の垂直同期毎に与えられる設定データを出力するデータ出力ステップと、前記データ出力ステップで出力された設定データを、データ保持・付与手段に一旦保持するデータ保持ステップと、前記データ保持ステップで一旦保持した設定データを、データ保持・付与手段から表示制御手段に与えるデータ付与ステップとを備えることを特徴とする。

本発明によれば、内視鏡画像の動画出力の垂直同期毎にデータ出力手段から出力される設定データを、データ保持・付与手段に一旦保持し、一旦保持した設定データをデータ保持・付与手段から表示制御手段に与えるので、データ出力手段に不具合が発生しても、動画出力が停止することがない。従って、被検体内の観察ができない状況に陥るといったリスクを回避しつつ、ＧＵＩの高機能化、高装飾化を実現させることができる。

図１において、内視鏡システム２は、電子内視鏡１０、プロセッサ装置１１、および光源装置１２からなる。電子内視鏡１０は、周知の如く、患者の体腔内に挿入される可撓性の挿入部１３と、挿入部１３の基端部分に連設された操作部１４と、プロセッサ装置１１および光源装置１２に接続されるコネクタ１５と、操作部１４、コネクタ１５間を繋ぐユニバーサルコード１６とを有する。

挿入部１３の先端には、観察窓２０、照明窓２１（ともに図２参照）等が設けられている。観察窓２０の奥には、対物光学系２２を介して、体腔内撮影用の固体撮像素子２３が配されている（いずれも図２参照）。照明窓２１は、ユニバーサルコード１６や挿入部１３に配設されたライトガイド５３、および照明レンズ２４（ともに図２参照）で導光される光源装置１２からの照明光を、被観察部位に照射する。

操作部１４には、挿入部１３の先端を上下左右方向に湾曲させるためのアングルノブや、挿入部１３の先端からエアー、水を噴出させるための送気・送水ボタンの他、内視鏡画像を静止画記録するためのレリーズボタン等が設けられている。

また、操作部１４の先端側には、電気メス等の処置具が挿通される鉗子口が設けられている。鉗子口は、挿入部１３内の鉗子チャンネルを通して、挿入部１３の先端に設けられた鉗子出口に連通している。

プロセッサ装置１１は、光源装置１２と電気的に接続され、内視鏡システム２の動作を統括的に制御する。プロセッサ装置１１は、ユニバーサルコード１６や挿入部１３内に挿通された伝送ケーブルを介して、電子内視鏡１０に給電を行い、固体撮像素子２３の駆動を制御する。また、プロセッサ装置１１は、伝送ケーブルを介して、固体撮像素子２３から出力された撮像信号を受信し、受信した撮像信号に各種処理を施して画像データを生成する。プロセッサ装置１１で生成された画像データは、プロセッサ装置１１にケーブル接続されたモニタ１７に内視鏡画像として表示される。

図２において、電子内視鏡１０は、前述の観察窓２０、照明窓２１、対物光学系２２、固体撮像素子２３、および照明レンズ２４が挿入部１３の先端に設けられ、アナログ信号処理回路（以下、ＡＦＥと略す）２５が操作部１４に設けられている。

固体撮像素子２３は、インターライントランスファ型のＣＣＤイメージセンサや、ＣＭＯＳイメージセンサ等からなる。固体撮像素子２３は、観察窓２０、対物光学系２２（レンズ群およびプリズムからなる）を経由した体腔内の被観察部位の像光が、撮像面に入射するように配置されている。固体撮像素子２３の撮像面には、複数の色セグメントからなるカラーフィルタ（例えば、ベイヤー配列の原色カラーフィルタ）が形成されている。

ＡＦＥ２５は、相関二重サンプリング回路（以下、ＣＤＳと略す）２６、自動ゲイン制御回路（以下、ＡＧＣと略す）２７、およびアナログ／デジタル変換器（以下、Ａ／Ｄと略す）２８から構成されている。ＣＤＳ２６は、固体撮像素子２３から出力される撮像信号に対して相関二重サンプリング処理を施し、固体撮像素子２３で生じるリセット雑音およびアンプ雑音の除去を行う。ＡＧＣ２７は、ＣＤＳ２６によりノイズ除去が行われた撮像信号を、プロセッサ装置１１から指定されるゲイン（増幅率）で増幅する。Ａ／Ｄ２８は、ＡＧＣ２７により増幅された撮像信号を、所定のビット数のデジタル信号に変換する。Ａ／Ｄ２８でデジタル化された撮像信号は、ユニバーサルコード１６、コネクタ１５を介してプロセッサ装置１１に入力される。

プロセッサ装置１１は、電子内視鏡１０の動作制御を行うサブＣＰＵ３０、各種タイミングパルスを発生するタイミングジェネレータ（以下、ＴＧと略す）３１、電子内視鏡１０をプロセッサ装置１１から絶縁分離するためのフォトカプラ等からなるアイソレーションデバイス３２、およびプロセッサ装置１１の全体の動作制御を行うメインＣＰＵ３３等を有する。サブＣＰＵ３０やＴＧ３１と、メインＣＰＵ３３とは、アイソレーションデバイス３２を界にして、別々の基板に実装されている。

サブＣＰＵ３０は、電子内視鏡１０とプロセッサ装置１１とが接続された後、メインＣＰＵ３３からの動作開始指示に基づいてＴＧ３１を駆動させるとともに、ＡＧＣ２７のゲインを調整する。

ＴＧ３１は、固体撮像素子２３の駆動パルス（垂直／水平走査パルス、リセットパルス等）とＡＦＥ２５用の同期パルスとを発生する。ＴＧ３１で発生したパルスは、コネクタ１５、ユニバーサルコード１６を介して電子内視鏡１０に入力される。固体撮像素子２３は、ＴＧ３１からの駆動パルスに応じて撮像動作を行い、撮像信号を出力する。ＡＦＥ２５の各部２６〜２８は、ＴＧ３１からの同期パルスに基づいて動作する。また、ＴＧ３１は、アイソレーションデバイス３２を介して、メインＣＰＵ３３等の各部へ信号処理用の同期パルスを供給する。

ＡＦＥ２５から出力された撮像信号は、デジタル信号処理回路（以下、ＤＳＰと略す）３４の作業用メモリ（図示せず）に一旦格納される。

ＤＳＰ３４は、ＡＦＥ２５からの撮像信号を作業用メモリから読み出す。ＤＳＰ３４は、読み出した撮像信号に対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の各種信号処理を施し、画像データを生成する。ＤＳＰ３４で生成された画像データは、デジタル画像処理回路（以下、ＤＩＰと略す）３５の作業用メモリ（図示せず）に一旦格納される。

図３において、ＤＩＰ３５は、画像処理部６０と、表示制御部６１と、フレームメモリ６２とを有する。画像処理部６０は、論理回路プログラムを読み込むことにより論理回路の書き換えが可能なプログラマブル集積回路、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＣＰＬＤ（Complex Programmable Logic Device）等からなる。画像処理部６０は、ＤＳＰ３４で処理された画像データを作業用メモリから読み出す。画像処理部６０は、読み出した画像データに対して、電子変倍、あるいは色強調、エッジ強調、分光特性抽出等の各種画像処理を施す。

画像処理部６０には、表示制御部６１の設定データを保持するレジスタ領域６３が設けられている。画像処理部６０は、内視鏡画像の動画出力の垂直同期（一フレーム）毎にメインＣＰＵ３３から出力される設定データを、メインＣＰＵ３３から受け取る。画像処理部６０は、メインＣＰＵ３３から受け取った設定データを、レジスタ領域６３に書き込む。画像処理部６０は、レジスタ領域６３に書き込まれた設定データを、内視鏡画像の動画出力の垂直同期毎に表示制御部６１に受け渡す。

設定データは、表示制御部６１がフレームメモリ６２から画像データを読み出す際の読み出し開始アドレス等、垂直同期毎に設定しなければならないものである。つまり、表示制御部６１は、垂直同期毎に設定データを読み込む（以下、キャプチャ設定という）必要がある。画像処理部６０は、このキャプチャ設定の役割を担う。

表示制御部６１は、汎用のグラフィック集積回路（ＬＳＩ；Large Scale Integration）からなる。表示制御部６１は、画像処理部６０から各種画像処理が施された画像データを受け取る。また、表示制御部６１は、画像処理部６０を介して、メインＣＰＵ３３からグラフィックデータを受け取る。グラフィックデータには、内視鏡画像の無効画素領域を隠して有効画素領域のみを表示させる表示用マスク、検査日時、あるいは患者や検査医の情報等の文字情報、グラフィカルユーザインターフェース（ＧＵＩ；Graphical User Interface）といったものがある。表示制御部６１は、画像処理部６０からの画像データに対して、表示用マスク、文字情報、ＧＵＩの合成処理、モニタ１７の表示画面への描画処理といった各種表示制御処理を施す。

表示制御部６１は、設定データやグラフィックデータをメインＣＰＵ３３から直接受け取らず、画像処理部６０を介して受け取る。つまり、表示制御部６１は、画像処理部６０の処理を肩代わりするアクセラレータ（付随回路）のように振る舞う。キャプチャ設定は、メインＣＰＵ３３の制御下でソフトウェア的に行われるのではなく、ハードウェアである画像処理部６０によって行われる。

フレームメモリ６２は、表示制御部６１用のＶＲＡＭであり、二フレーム分の画像データを格納する。表示制御部６１は、画像処理部６０からの設定データに応じて、フレームメモリ６２を通じた画像データの書き込み・読み出しを繰り返しながら、上記表示制御処理を実行する。

表示制御部６１は、設定データに従ってフレームメモリ６２から画像データを読み出し、読み出した画像データをモニタ１７の表示形式に応じたビデオ信号（コンポーネント信号、コンポジット信号等）に変換する。これにより、モニタ１７に内視鏡画像が表示される。

なお、画像処理部６０、および表示制御部６１は、実際には、高解像度モニタ用、低解像度モニタ用等、複数種設けられている。

メインＣＰＵ３３は、データバス３６、および図示しないアドレスバスや制御線を介して、各部と接続している。メインＣＰＵ３３には、前述のサブＣＰＵ３０に加えて、ＲＯＭ３７、ＲＡＭ３８、および操作部３９が接続されている。ＲＯＭ３７には、プロセッサ装置１１の動作を制御するための各種プログラム（オペレーティングシステム等）やデータ（前述の設定データ、グラフィックデータ等）が記憶されている。メインＣＰＵ３３は、ＲＯＭ３７から必要なプログラムやデータを読み出して、作業用メモリであるＲＡＭ３８に展開し、読み出したプログラムを逐次処理する。

操作部３９は、プロセッサ装置１１の筐体に設けられる操作パネル、あるいは、マウスやキーボード等の周知の入力デバイスである。メインＣＰＵ３３は、操作部３９からの操作信号に応じて、各部を動作させる。

プロセッサ装置１１には、上記の他にも、画像データに所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す圧縮処理回路や、圧縮された画像データを、ＣＦカード、光磁気ディスク（ＭＯ）やＣＤ−Ｒ等のリムーバブルメディアに記憶するメディアＩ／Ｆ、ＬＡＮ等のネットワークとの間で各種データの伝送制御を行うネットワークＩ／Ｆ等が設けられている。これらはデータバス３６を介してメインＣＰＵ３３と接続されている。

光源装置１２は、キセノンランプやハロゲンランプからなる光源５０を有する。光源５０は、光源ドライバ５１によって駆動される。集光レンズ５２は、光源５０から発せられた照明光を集光して、ライトガイド５３の入射端に導光する。ＣＰＵ５４は、プロセッサ装置１１のメインＣＰＵ３３と通信し、光源ドライバ５１の制御を行う。ライトガイド５３の入射端に導かれた照明光は、照明レンズ２４で集光され、照明窓２１を介して体腔内の被観察部位に照射される。

次に、上記のように構成された内視鏡システム２の作用について説明する。電子内視鏡１０で患者の体腔内を観察する際には、検査医は、電子内視鏡１０と各装置１１、１２とを繋げ、各装置１１、１２の電源をオンする。そして、操作部３９を操作して、患者に関する情報等を入力し、検査開始を指示する。

検査開始を指示した後、検査医は、挿入部１３を体腔内に挿入し、光源装置１２からの照明光で体腔内を照明しながら、固体撮像素子２３による体腔内の内視鏡画像をモニタ１７で観察する。

固体撮像素子２３から出力された撮像信号は、ＡＦＥ２５の各部２６〜２８で各種処理を施された後、プロセッサ装置１１のＤＳＰ３４に入力される。ＤＳＰ３４では、入力された撮像信号に対して各種信号処理が施され、画像データが生成される。ＤＳＰ３４で生成された画像データは、ＤＩＰ３５に出力される。

ＤＩＰ３５では、画像処理部６０によって画像データに各種画像処理が施され、表示制御部６１によって各種表示制御処理が施される。このとき、画像処理部６０のレジスタ領域６３には、メインＣＰＵ３３から垂直同期毎に入力される設定データが書き込まれる。レジスタ領域６３の設定データは、垂直同期毎に表示制御部６１に入力される。また、表示制御部６１には、画像処理部６０を介して、メインＣＰＵ３３からグラフィックデータが入力される。表示制御部６１は、入力された設定データ、およびグラフィックデータに応じて、各種表示制御処理を実行する。

メインＣＰＵ３３が正常に動作している間は、設定データに応じてモニタ１７の表示画面が更新される。メインＣＰＵ３３に不具合が発生した場合は、メインＣＰＵ３３から画像処理部６０に新たに設定データは受け渡らないが、不具合が発生する直前の設定データがレジスタ領域６３に保持されているため、表示制御部６１には、レジスタ領域６３に保持された同じ設定データが供給され続ける。従って、メインＣＰＵ３３に不具合が発生する直前のままでＧＵＩ等の画面表示は更新されないが、内視鏡画像の動画出力は可能となる。

ＤＩＰ３５で処理を施された画像データは、モニタ１７に内視鏡画像として表示される。

以上説明したように、汎用のグラフィックＬＳＩである表示制御部６１のキャプチャ設定を、メインＣＰＵ３３といったソフトウェアではなく、ハードウェア（プログラマブル集積回路）である画像処理部６０に担わせるので、メインＣＰＵ３３に不具合が発生しても、内視鏡画像を動画出力し続けることができる。従って、患者の体腔内の視野を確保することができ、挿入部１３を体腔外へ安全に引き抜くことができる。

表示制御部６１のキャプチャ設定を、専用のハードウェアではなく、ＤＩＰ３５に標準装備される既存の画像処理部６０に担わせるので、装置の改造が少なくて済む。

表示制御部６１に汎用のグラフィックＬＳＩを用いているので、従来のＧＵＩに比べて、高機能且つ高装飾性のＧＵＩを合成することができる。ユーザーの使い勝手が向上し、また、製品の付加価値が増す。

上記実施形態では、画像処理部６０のレジスタ領域６３に表示制御部６１の設定データを書き込み、これを垂直同期毎に表示制御部６１に受け渡して、表示制御部６１のキャプチャ設定をしているが、本発明はこれに限定されない。画像処理部６０とは切り離して、設定データを保持する専用のメモリを用意しておいてもよい。要するに、ハードウェアに表示制御部６１のキャプチャ設定を担わせる態様であれば、如何なるものでもよい。

上記実施形態では、内視鏡として電子内視鏡１０を例示したが、超音波内視鏡であってもよい。また、上記実施形態では、患者を被検体とする医療用の電子内視鏡１０を例示したが、配管等を被検体とする工業用のものでもよい。さらに、上記実施形態では、プロセッサ装置１１と光源装置１２が別体である例を挙げたが、プロセッサ装置１１と光源装置１２とは一体であってもよい。

内視鏡システムの構成を示す外観図である。 内視鏡システムの構成を示すブロック図である。 デジタル画像処理回路の内部構成およびデータの流れを示すブロック図である。

符号の説明

２ 内視鏡システム
１０ 電子内視鏡
１１ プロセッサ装置
１７ モニタ
２３ 固体撮像素子
２５ アナログ信号処理回路（ＡＦＥ）
３０ サブＣＰＵ
３３ メインＣＰＵ
３４ デジタル信号処理回路（ＤＳＰ）
３５ デジタル画像処理回路（ＤＩＰ）
６０ 画像処理部
６１ 表示制御部
６３ レジスタ領域

Claims (5)

1. 内視鏡画像の表示画面への表示制御処理を行う表示制御手段と、
   内視鏡画像の動画出力の垂直同期毎に前記表示制御手段に与えられ、前記表示制御手段がフレームメモリから前記内視鏡画像を読み出す際の読み出し開始アドレスを出力するデータ出力手段と、
   前記データ出力手段から出力された読み出し開始アドレスを一旦保持し、一旦保持した読み出し開始アドレスを前記表示制御手段に与えるデータ保持・付与手段とを備え、
   前記データ保持・付与手段は、前記データ出力手段に不具合が発生した場合、不具合が発生する直前に保持した読み出し開始アドレスを前記表示制御手段に与え続けることを特徴とする内視鏡用プロセッサ装置。
2. 前記データ保持・付与手段は、固体撮像素子から出力された撮像信号に画像処理を施して、内視鏡画像を生成する画像処理手段であることを特徴とする請求項１に記載の内視鏡用プロセッサ装置。
3. 前記画像処理手段は、論理回路プログラムを読み込むことにより論理回路の書き換えが可能なプログラマブル集積回路を有し、
   前記プログラマブル集積回路は、読み出し開始アドレスを保持するためのレジスタ領域をもつことを特徴とする請求項２に記載の内視鏡用プロセッサ装置。
4. 前記表示制御手段は、汎用の表示制御用集積回路であることを特徴とする請求項１ないし３のいずれかに記載の内視鏡用プロセッサ装置。
5. 内視鏡画像の表示画面への表示制御処理を行う表示制御手段に、内視鏡画像の動画出力の垂直同期毎に与えられ、前記表示制御手段がフレームメモリから前記内視鏡画像を読み出す際の読み出し開始アドレスをデータ出力手段から出力するデータ出力ステップと、
   前記データ出力ステップで出力された読み出し開始アドレスを、データ保持・付与手段に一旦保持するデータ保持ステップと、
   前記データ保持ステップで一旦保持した読み出し開始アドレスを、データ保持・付与手段から表示制御手段に与えるデータ付与ステップとを備え、
   前記データ付与ステップでは、前記データ出力手段に不具合が発生した場合、不具合が発生する直前に前記データ保持ステップで保持した読み出し開始アドレスを前記表示制御手段に与え続けることを特徴とする内視鏡用プロセッサ装置の作動方法。

Images