JP6332524B2 - 内視鏡システム、内視鏡画像処理装置、および画像処理方法 - Google Patents

Description

本開示は、内視鏡システム、内視鏡画像処理装置、および画像処理方法に関し、特に、例えば、腹腔鏡下手術などで用いられる内視鏡装置によってビデオ撮像された画像の振れを補正できるようにした内視鏡システム、内視鏡画像処理装置、および画像処理方法に関する。

近年、医療現場においては従来の開腹手術に代わって腹腔鏡下手術が行われることがある。

図１は、腹腔鏡下手術の概要を示している。腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ２と称される開孔器具が腹壁に数か所取り付けられ、トロッカ２に設けられている孔から腹腔鏡（以下、内視鏡装置または内視鏡とも称する）３と処置具４が体内に挿入される。そして、内視鏡３によってビデオ撮像された患部（腫瘍等）５の画像をリアルタイムに見ながら、処置具４によって患部５を切除するなどの処置が行われる。

なお、内視鏡３によりビデオ撮像される画像には画像振れが生じ得るので、それを補正する仕組みが必要となる。

例えば、特許文献１には、先端部分を湾曲させることにより撮像位置を調整できる内視鏡が記載されており、該先端部分の湾曲方向および湾曲角速度を検出し、それらに基づいて振れ補正を行うことが記載されている。

特開平５−４９５９９号公報

一方、図１に示されるような直線棒状の内視鏡３では、ヘッド部６を術者、助手、スコピスト、またはロボットなどが保持しているが、ヘッド部６を保持する手などが振れた場合、その振れの動きが、トロッカ２を支点（回転センタ）として対物レンズ７に伝わるので、ヘッド部６を保持する手の振れに起因する画像振れが発生し得る。なお、ヘッド部６にジャイロを搭載し、その移動角速度を検出するものは従来存在するが、この移動角速度は例えば３次元表示を実現するに際して必要となるカメラの向きを検出するために用いられており、画像振れの補正には利用されていない。

本開示はこのような状況に鑑みてなされたものであり、ヘッド部の角速度に基づいて画像を補正できるようにするものである。

本開示の第１の側面である内視鏡システムは、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置と、前記内視鏡装置から入力される画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を備える画像処理装置とを含む。

本開示の第２の側面である内視鏡装置は、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を備える。

本開示の第２の側面である内視鏡方法は、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号を処理する内視鏡画像処理装置の画像処理方法において、前記内視鏡画像処理装置による、前記画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成するステップを含む。

本開示の第１および第２の側面においては、画像信号に対応する画像の動きと、動き検出部により検出されたヘッド部の動きとに基づいて、画像信号の振れが補正された振れ補正画像信号が生成される。

本開示の第１および第２の側面によれば、内視鏡装置のヘッド部の角速度に基づいて、内視鏡装置によって撮像された画像を補正することができる。

腹腔鏡下手術の概要を示す図である。 本開示を適用した内視鏡システムの構成例を示すブロック図である。 図２の内視鏡装置の他の構成例を示すブロック図である。 図画像補正装置による補正処理の概要を説明する図である。 画像補正装置の構成例を示すブロック図である。 グローバル動きベクトル算出部の構成例を示すブロック図である。 内視鏡装置における対物レンズ、回転センタ、およびジャイロ部の位置関係を示す図である。 ジャイロ部の角速度と対物レンズの移動量の関係を示す図である。 画像補正処理を説明するフローチャートである。 手振れ補正後の画像を用いたスティッチング合成を説明する図である。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜内視鏡システムの構成例＞
図２は、本開示の実施の形態である内視鏡システムの構成例を示している。この内視鏡システム１０は、内視鏡装置１１、画像補正装置（画像処理装置）１２、および表示装置１３から構成される。

内視鏡装置１１と画像補正装置１２は、ケーブルを介して接続する他、無線で接続してもよい。また、画像補正装置１２を手術室から離れた場所に配置し、構内LANやインターネットなどのネットワークを介して接続するようにしてもよい。画像補正装置１２と表示装置１３の接続についても同様とする。

内視鏡装置１１は、直線棒状の鏡筒部２１とヘッド部２４から構成される。鏡筒部２１は、光学視管または硬性管とも称され、その長さが数１０センチ程度であり、体内の挿入される側の一端には対物レンズ２２が設けられており、他端はヘッド部２４に接続されている。鏡筒部２１の内部にはリレー光学系の光学レンズ部２３が設けられている。なお、鏡筒部２１の形状は、直線棒状に限定されるものではない。

ヘッド部２４には、撮像部２５およびジャイロ部２６が内蔵されている。撮像部２５は、CMOSなどの撮像素子を有し、鏡筒部２１から入力される患部の光学像を所定のフレームレートで画像信号に変換する。

ジャイロ部２６は、ヘッド部２４が動かされる時の角速度（Yaw回転軸に対するYaw角速度ｗｙ、およびPitch回転軸に対するPitch角速度ｗｐ）を検出して後段の画像補正装置１２に出力する。

内視鏡装置１１においては、対物レンズ２２により集光される患部の光学像が光学レンズ部２３を介してヘッド部２４の撮像部２５に入射され、撮像部２５によって所定のフレームレートの画像信号に変換されて後段の画像補正装置１２に出力される。また、内視鏡装置１１においては、ジャイロ部２６により、ヘッド部２４の動きの角速度が検出されて後段の画像補正装置１２に出力される。

図３は、内視鏡装置１１の他の構成例を示している。同図に示されるように、対物レンズ２２の直後に撮像部２５を配置し、鏡筒部２１の内部の光学レンズ部２３を省略するようにしてもよい。

次に、図４は画像補正装置１２による補正処理の概要を示している。画像補正装置１２は、内視鏡装置１１の撮像部２５から所定のフレームレートで入力される画像信号の全領域（有効画素エリア）から、有効画素エリアよりも小さなサイズの切り出しエリアを切り出すことにより得られる画像信号を後段の表示装置１３に出力する。この時、切り出しエリアの位置を手振れに応じたシフト量だけ移動させることによって手振れを補正することができる。また、内視鏡装置１１の撮像部２５のシャッタ機構がローリングシャッタである場合、それに起因したローリングシャッタ歪を除去することができる。

図５は、画像補正装置１２の構成例を示している。画像補正装置１２は、グローバル動きベクトル算出部３１、回転センタ位置推定部３２、回転センタ位置平準化部３３、角速度平準化部３４、シフト量決定部３５、画像切り出し部３６、歪除去部３７、および画像出力部３８から構成される。

グローバル動きベクトル算出部３１は、内視鏡装置１１の撮像部２５から入力される所定のフレームレートの画像信号に基づき、画像全体としての動きベクトル（以下、グローバル動きベクトルと称する）とその信頼度を算出して回転センタ位置推定部３２に出力する。

図６は、グローバル動きベクトル算出部３１の構成例を示している。グローバル動きベクトル算出部３１は、ローカル動き検出部４１およびグローバル動き平準化部４２から構成される。

ローカル動き検出部４１は、撮像部２５から入力される画像信号の画面を所定のサイズのブロックに区切り、ブロック毎に１フレーム前の画像信号と比較することによってブロック単位の動きベクトル（以下、ローカル動きベクトルとも称する）と、その信頼度をグローバル動き平準化部４２に出力する。

グローバル動き平準化部４２は、各フレームのブロック毎のローカル動きベクトルのうち、信頼度が高いものを積分することにより、該フレームのグローバル動きベクトルを決定する。さらに、グローバル動き平準化部４２は、該フレームの前の数フレーム分のグローバル動きベクトルを平準化することにより瞬時エラーを除去する。なお、後段の回転センタ位置推定部３２における回転センタ位置の推定の頻度が画像信号のフレームレートよりも低い場合、該フレームの後の数フレーム分のグローバル動きベクトルも用いて平準化するようにしてもよい。

図５に戻る。回転センタ位置推定部３２は、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度、および、グローバル動きベクトルとその信頼度に基づいて、内視鏡装置１１のヘッド部２４を動かしたことによって対物レンズ２２が動くときの回転センタ（支点）の位置を推定し、その信頼度とともに回転センタ位置平準化部３３に出力する。なお、回転センタ位置推定は、所定の時間間隔で連続的に実行する。

回転センタ位置平準化部３３は、推定された回転センタの位置を時間方向に積分することによって平準化し、瞬時エラーを除去した回転センタの位置をシフト量決定部３５に出力する。

角速度平準化部３４は、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化し、瞬時エラーを除去した角速度をシフト量決定部３５および歪除去部３７に出力する。

シフト量決定部３５は、平準化された回転センタの位置と、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３６に通知する。なお、対物レンズ２２の移動量に対応する画像切り出しエリアのシフト量は、対物レンズ２２の倍率に応じて変化する。そこで、シフト量決定部３５には、対物レンズ２２の倍率と移動量からシフト量を算出する関数を保持させておくか、これらの対応を表すテーブルを予め保持させるようにする。

画像切り出し部３６は、内視鏡装置１１の撮像部２５から順次入力される所定のフレームレートの画像信号から、シフト量決定部３５からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３７に出力する。

歪除去部３７は、画像切り出し部３６からの手振れ補正画像信号にローリングシャッタ歪（撮像部２５のシャッタ機構がローリングシャッタである場合に生じ得る）が生じている場合、それを除去して画像出力部３８に出力する。なお、ローリングシャッタ歪の除去については既存の任意の方法を適用すればよい。

画像出力部３８は、歪除去部３７を介して入力される手振れ補正画像信号を後段（今の場合、表示装置１３）に出力する。

次に、回転センタの位置の推定と、切り出しエリアの位置のシフト量について、図７および図８を参照して詳述する。

図７は、内視鏡装置１１の対物レンズ２２、ジャイロ部２６、および回転センタの位置の関係を示している。図８は、対物レンズ２２の移動量とジャイロ部２６の角速度の関係を示している。

図７に示されるように、対物レンズ２２とジャイロ部２６の距離をｄ、対物レンズ２２と回転センタの距離をａ、回転センタとジャイロ部２６の距離をｂとする。なお、該内視鏡装置１１を図１に示された状態の腹腔鏡化手術に用いた場合、トロッカ２が回転センタとなる。

一方、対物レンズ２２の移動量（Ｄｘ，Ｄｙ，Ｄｚ）とジャイロ部２６の角速度（Yaw角速度ｗ_y、Pitch角速度ｗ_p）の関係は次式（１）（近似式）のとおりとなる。
Ｄｘ＝ａ sin（ｗ_yｔ）
Ｄｙ＝ａ sin（ｗ_Pｔ）
Ｄｚ＝ａ（１−cos（ｗ_yｔ））（１−cos（ｗ_Pｔ）） （１）
ｔは１フレーム時間を表す。

また、検出されるグローバル動きベクトル（Ｖｘ，Ｖｙ）とジャイロ部２６の角速度（Yaw角速度ｗ_y、Pitch角速度ｗ_p）の関係は次式（２）（近似式）のとおりとなる。
Ｖｘ＝ａ sin（ｗ_yｔ）
Ｖｙ＝ａ sin（ｗ_Pｔ） （２）
ｔは１フレーム時間を表す。

回転センタ位置推定部３２では、逐次入力される角速度と、平準化されたグローバル動きベクトルを式(２)に適用して、回転センタの位置ａの値を算出する。

シフト量決定部３５では、平準化された回転センタの位置ａと、平準化された角速度を式(１)に適用して対物レンズ２２の移動量Ｄｘ，Ｄｙ，Ｄｚを算出し、これらに基づいて切り出しエリアのシフト量を決定する。

＜動作説明＞
次に、図９は、画像補正装置１２による画像補正処理を説明するフローチャートである。

ステップＳ１において、内視鏡装置１１から画像補正装置１２に対して、所定のフレームレートの画像信号の入力と、ヘッド部２４の動きを表す角速度信号の入力が開始される。画像信号はグローバル動きベクトル算出部３１および画像切り出し部３６に、角速度信号は、回転センタ位置推定部３２および角速度平準化部３４に入力される。

ステップＳ２において、グローバル動きベクトル算出部３１では、ローカル動き検出部４１が、前段から入力される画像信号の画面を所定のサイズのブロックに区切り、ブロック毎に１フレーム前の画像信号と比較することによってブロック単位のローカル動きベクトルと、その信頼度を算出する。ステップＳ３において、グローバル動きベクトル算出部３１のグローバル動き平準化部４２は、各フレームのブロック毎のローカル動きベクトルのうち、信頼度が高いものを積分することにより、該フレームのグローバル動きベクトルを決定し、該フレームの前の数フレーム分のグローバル動きベクトルを平準化して回転センタ位置推定部３２に出力する。

ステップＳ４において、回転センタ位置推定部３２では、逐次入力される角速度と、平準化されたグローバル動きベクトルを式(２)に適用して、回転センタの位置ａの値を算出する。ステップＳ５において、回転センタ位置平準化部３３は、推定された回転センタの位置を時間方向に積分することによって平準化してシフト量決定部３５に出力する。

一方、角速度平準化部３４では、ステップＳ６として、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化してシフト量決定部３５および歪除去部３７に出力する。ステップＳ７において、シフト量決定部３５は、平準化された回転センタの位置と、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、さらに、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３６に通知する。

ステップＳ８において、画像切り出し部３６は、内視鏡装置１１から順次入力される所定のフレームレートの画像信号から、シフト量決定部３５からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３７に出力する。

ステップＳ９において、歪除去部３７は、画像切り出し部３６からの手振れ補正画像信号にローリングシャッタ歪が生じている場合、それを除去して画像出力部３８に出力する。画像出力部３８は、歪除去部３７を介して入力される手振れ補正画像信号を表示装置１３に出力する。以上で、画像補正処理の説明を終了する。

以上に説明したように、本実施の形態である内視鏡システム１０は、内視鏡装置１１によって撮像したビデオ画像に生じ得る手振れを補正することができる。

また、本実施の形態である内視鏡システム１０は、例えば、推定した回転センタ（トロッカ）の位置ａの値を医師等のユーザに通知することができる。これによりユーザは、腹腔に挿入されている部分の長さを把握することができる。

また、例えば内視鏡装置１１に３Ｄ測定機能を付加すれば、回転センタ（トロッカ）から被写体となる患部との位置関係を容易に算出することができる。

さらに、例えば、トロッカを回転センタとして内視鏡装置１１を大きく動かして撮像を行い、その結果得られる複数の画像を、図１０に示されるように、回転センタの位置と角速度に基づいてスティッチング合成すれば、比較的少ない処理量で高精度の高視野角画像を得ることができる。

ところで、上述した画像補正装置１２の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１００（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

２ トロッカ， １０ 内視鏡システム， １１ 内視鏡装置， １２ 画像補正装置， １３ 表示装置， ２１ 鏡筒部， ２２ 対物レンズ， ２３ 光学レンズ部， ２４ ヘッド部， ２５ 撮像部， ２６ ジャイロ部， ３１ グローバル動きベクトル算出部， ３２ 回転センタ位置推定部， ３３ 回転センタ位置平準化部， ３４ 角速度平準化部， ３５ シフト量決定部， ３６ 画像切り出し部， ３７ 歪除去部， ３８ 画像出力部， ４１ ローカル動き検出部， ４２ グローバル動き平準化部， １００ コンピュータ， １０１ CPU

Claims (18)

1. 対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置と、
   前記内視鏡装置から入力される画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を備える画像処理装置と
   を含む内視鏡システム。
2. 前記内視鏡装置は、前記画像信号を生成する撮像部をさらに有し、
   前記撮像部は、前記ヘッド部に設けられている
   請求項１に記載の内視鏡システム。
3. 前記内視鏡装置は、前記画像信号を生成する撮像部をさらに有し、
   前記撮像部は、前記鏡筒部に設けられている
   請求項１に記載の内視鏡システム。
4. 前記画像処理装置は、前記画像信号に対応する画像の動きとして、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部をさらに備える
   請求項１乃至３のいずれかに記載の内視鏡システム。
5. 前記補正部は、前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記振れ補正画像信号を生成する
   請求項１乃至４のいずれかに記載の内視鏡システム。
6. 前記画像処理装置は、前記対物レンズの移動量を算出する対物レンズ移動量算出部をさらに備え、
   前記補正部は、前記対物レンズの移動量に基づいて決定された切り出しエリアのシフト量に応じて前記切り出しエリアの位置を調整することにより、前記振れ補正画像信号を生成する
   請求項５に記載の内視鏡システム。
7. 前記内視鏡装置は、前記画像信号を生成する撮像部をさらに有し、
   前記撮像部のシャッタ機構は、ローリングシャッタである
   請求項１に記載の内視鏡システム。
8. 前記画像処理装置は、前記振れ補正画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
   請求項７に記載の内視鏡システム。
9. 前記補正部は、前記内視鏡装置を動かして撮像された複数の画像を合成し、前記画像より画角の広い画像を生成する
   請求項１乃至８のいずれかに記載の内視鏡システム。
10. 前記画像処理装置は、前記画像信号に対応する画像の動きと、検出された前記ヘッド部の動きとに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部を備え、
    推定された前記回転センタの位置に基づく値をユーザに通知するように構成される
    請求項１乃至９のいずれかに記載の内視鏡システム。
11. 対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を
    備える内視鏡画像処理装置。
12. 前記画像信号に対応する画像の動きとして、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部をさらに備える
    請求項１１に記載の内視鏡画像処理装置。
13. 前記補正部は、前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記振れ補正画像信号を生成する
    請求項１１または１２に記載の内視鏡画像処理装置。
14. 前記対物レンズの移動量を算出する対物レンズ移動量算出部をさらに備え、
    前記補正部は、前記対物レンズの移動量に基づいて決定された切り出しエリアのシフト量に応じて前記切り出しエリアの位置を調整することにより、前記振れ補正画像信号を生成する
    請求項１３に記載の内視鏡画像処理装置。
15. 前記振れ補正画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
    請求項１１乃至１４のいずれかに記載の内視鏡画像処理装置。
16. 前記補正部は、前記内視鏡装置を動かして撮像された複数の画像を合成し、前記画像より画角の広い画像を生成する
    請求項１１乃至１５のいずれかに記載の内視鏡画像処理装置。
17. 前記画像信号に対応する画像の動きと、検出された前記ヘッド部の動きとに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部を備え、
    推定された前記回転センタの位置に基づく値をユーザに通知するように構成された
    請求項１１乃至１６のいずれかに記載の内視鏡画像処理装置。
18. 対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号を処理する内視鏡画像処理装置の画像処理方法において、
    前記内視鏡画像処理装置による、
    前記画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成するステップを
    含む画像処理方法。

Images