WO2015190319A1

WO2015190319A1 - 画像処理装置、画像処理方法、プログラム、および内視鏡システム

Info

Publication number: WO2015190319A1
Application number: PCT/JP2015/065535
Authority: WO
Inventors: 一木　洋
Original assignee: ソニー株式会社
Priority date: 2014-06-11
Filing date: 2015-05-29
Publication date: 2015-12-17
Also published as: US10229480B2; US20170206640A1; JP2016000065A; EP3155951A1; EP3155951A4

Abstract

　本開示は、リトラクタに対して内視鏡を固定せず自由度を持たせた状態で配置し、かつ、その場合に発生し得るぶれなどの画像劣化を補正することができるようにする画像処理装置、画像処理方法、プログラム、および内視鏡システムに関する。　本開示の一側面である画像処理装置は、所定のフレームレートの動画像をフレーム毎に補正する画像処理装置において、処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出部と、検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部とを備える。本開示は、内視鏡システムに適用できる。

Description

画像処理装置、画像処理方法、プログラム、および内視鏡システム

　本開示は、画像処理装置、画像処理方法、プログラム、および内視鏡システムに関し、特に、例えば、内視鏡や手術顕微鏡により患部（手術部位）を見ながら手術を行う場合に用いて好適な画像処理装置、画像処理方法、プログラム、および内視鏡システムに関する。

　脊椎の手術を行なう疾病には、ヘルニア、骨粗鬆症、変形性関節症などある。従来、ヘルニアや軽微な骨粗鬆症に対しては、細い針を用いた非常に低侵襲な術式が採用されている。重度の骨粗鬆症や変形性関節症に対しては、患者の背中を大きく切開する術式が採用されている（例えば、特許文献１参照）。

　近年、従来では大きく切開する必要があった疾病に対しても、必要最小限の箇所だけを切開する術式が広まってきている。該術式の場合、小さく切開した個所に、金属から成る円筒型のリトラクタ（一般的には、スリーブとも称される）を挿し込み、リトラクタ内に手術部位を観察するための内視鏡（または手術顕微鏡）と、手術部位を処置するための鉗子等が入れられて手術が行われる。

　図１は、小さく切開した個所に挿し込まれたリトラクタと、そこに入れられた内視鏡の上面図、図２は、その断面図、図３は、リトラクタの中に鉗子が入れられた状態の断面図を示している。

　図示するように、従来において、内視鏡２は、リトラクタ１の内壁に固定される。この場合、リトラクタ１の先端の正面に存在する手術部位を撮像できるように、内視鏡２には長手方向の正面から可視範囲３が側方にずらされた斜視鏡が採用される。

特表２０１１－５０２５５０

　上述したように、リトラクタ１の内壁に内視鏡２を固定した場合、手術部位のごく近くまで内視鏡を接近させることができるので、鉗子４が視界に入りにくく、手術部位を間近で観察できる。

　しかしながら、リトラクタ１に内視鏡２が固定されているために、図３に示されるように、内視鏡２が鉗子４の可動範囲を狭めてしまうことがある。また、内視鏡２の可視範囲（撮像範囲）３を調整するには、人体に挿し込まれた状態のリトラクタ１を回転させることになるので、人体に対するリトラクタ１の回転の影響を最も少なくするためにも、リトラクタ１の形状を円筒型に限定する必要があった。

　本開示はこのような状況に鑑みてなされたものであり、リトラクタに対して内視鏡を固定せず自由度を持たせた状態で配置し、かつ、その場合に発生し得るぶれなどの画像劣化を補正できるようにするものである。

　本開示の第１の側面である画像処理装置は、所定のフレームレートの動画像をフレーム毎に補正する画像処理装置において、処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出部と、検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部とを備える。

　前記動画像は、筒型のリトラクタの内側に自由度を持って保持されている撮像装置によって撮像されたものとすることができ、前記マーカは、前記術具としての前記リトラクタの内壁に設けられているようにすることができる。

　前記マーカは、前記リトラクタの内壁の端側に帯状に設けられているようにすることができる。

　前記撮像装置は、内視鏡とすることができる。

　本開示の第１の側面である画像処理装置は、処理対象の前記フレームよりも前のぶれ補正済みのフレームと、前記処理対象の前記フレームとの間の動きベクトルを検出する動きベクトル検出部をさらに備えることができ、前記算出部は、前記検出された前記マーカの位置に基づいてぶれ補正量を算出し、算出した前記ぶれ補正量を、検出された前記動きベクトルを用いて微調整することができる。

　前記動きベクトル検出部は、処理対象の前記フレームよりも前のぶれ補正済みのフレームと、前記処理対象の前記フレームとの間の画素マッチングにより、前記動きベクトルを検出することができる。

　本開示の第１の側面である画像処理装置は、前記撮像装置の動き情報を取得する動き情報取得部をさらに備えることができ、前記動きベクトル検出部は、取得された前記動き情報を用いて、前記画素マッチングの探索範囲を制限することができる。

　本開示の第１の側面である画像処理装置は、処理対象の前記フレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、処理対象のぶれ補正済みの前記フレームにおける前記物体領域の画素値を、処理対象の前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部とをさらに備えることができる。

　本開示の第１の側面である画像処理方法は、所定のフレームレートの動画像をフレーム毎に補正する画像処理装置の画像処理方法において、前記画像処理装置による、処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出ステップと、検出された前記マーカの位置に基づいてぶれ補正量を算出する算出ステップと、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正ステップとを含む。

　本開示の第１の側面であるプログラムは、所定のフレームレートの動画像をフレーム毎に補正するコンピュータを、処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出部と、前記検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部として機能させる。

　本開示の第１の側面である内視鏡システムは、内視鏡と画像処理装置を有する内視鏡システムにおいて、前記内視鏡が、筒型のリトラクタの内側に自由度を持って保持された状態で、所定のフレームレートの動画像を撮像してフレーム毎に前記画像処理装置に供給し、前記画像処理装置が、処理対象の前記フレームに写し込まれている、前記リトラクタの内壁に設けられたマーカを検出するマーカ検出部と、検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部とを備える。

　本開示の第１の側面においては、処理対象のフレームに写し込まれているマーカが検出され、検出された前記マーカの位置に基づいてぶれ補正量が算出され、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正が行われる。

　本開示の第２の側面である画像処理装置は、所定のフレームレートの動画像をフレーム毎に補正する画像処理装置において、処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、処理対象の前記フレームのぶれ補正を行うぶれ補正部と、前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部とを備える。

　前記動画像は、筒型のリトラクタの内側に自由度を持って保持されている撮像装置によって撮像されたものとすることができる。

　前記撮像装置は、内視鏡とすることができ、前記所定の物体は、鉗子とすることができる。

　本開示の第２の側面である画像処理装置は、処理対象の前記フレームに写し込まれている、前記リトラクタの内壁に設けられたマーカを検出するマーカ検出部と、検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部とをさらに備えることができ、前記ぶれ補正部は、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うことができる。

　本開示の第２の側面である画像処理装置は、前記動画像を撮像する撮像装置の動き情報を取得する動き情報取得部をさらに備えることができ、前記ぶれ補正部は、前記動き情報に基づき、処理対象の前記フレームのぶれ補正を行うことができる。

　本開示の第２の側面である画像処理方法は、所定のフレームレートの動画像をフレーム毎に補正する画像処理装置の画像処理方法において、前記画像処理装置による、処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出ステップと、処理対象の前記フレームのぶれ補正を行うぶれ補正ステップと、前記ぶれ補正済みの前記フレームにおける前記物体領域の画素値を、前記ぶれ補正済みのフレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換ステップとを含む。

　本開示の第２の側面であるプログラムは、所定のフレームレートの動画像をフレーム毎に補正するコンピュータを、処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、処理対象の前記フレームのぶれ補正を行うぶれ補正部と、前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部として機能させる。

　本開示の第２の側面である内視鏡システムは、内視鏡と画像処理装置を有する内視鏡システムにおいて、前記内視鏡が、筒型のリトラクタの内側に自由度を持って保持された状態で、所定のフレームレートの動画像を撮像してフレーム毎に前記画像処理装置に供給し、前記画像処理装置が、処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、処理対象の前記フレームのぶれ補正を行うぶれ補正部と、前記ぶれ補正済みの前記フレームにおける前記物体領域の画素値を、前記ぶれ補正済みのフレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部とを備える。

　本開示の第２の側面においては、処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域が検出されて、処理対象の前記フレームのぶれ補正が行われ、ぶれ補正済みのフレームにおける前記物体領域の画素値が、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換される。

　本開示の第１の側面によれば、リトラクタに対して固定せず自由度を持たせた状態で配置された撮像装置などによって撮像された動画像のぶれを補正できる。

　本開示の第２の側面によれば、リトラクタに対して固定せず自由度を持たせた状態で配置された撮像装置などによって撮像された動画像に写り込み得る鉗子などを目立たなくなるように補正できる。

従来のリトラクタに内視鏡を固定した場合の上面図である。従来のリトラクタに内視鏡を固定した場合の断面図である。従来のリトラクタに内視鏡を固定した場合の鉗子の可動範囲を示す断面図である。本開示に採用するトラクタと内視鏡の上面図である。本開示に採用するリトラクタと内視鏡の断面図である。本開示に採用するリトラクタに鉗子を入れた状態の断面図である。本開示を適用した内視鏡システムの構成例を示すブロック図である。図７の画像処理装置の詳細な構成例を示すブロック図である。動画像データの１フレームの表示例を示す図である。マーカ中心点、患部画像中心点などの位置関係を示す図である。補正処理を説明するフローチャートである。他の補正処理を説明するフローチャートである。さらに他の補正処理を説明するフローチャートである。コンピュータの構成例を示すブロック図である。

　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

　＜リトラクタに対する内視鏡の配置＞
　初めに、本開示に採用するリトラクタ（術具）と内視鏡の配置について、図４乃至図６を参照して説明する。

　図４は、本開示に採用するリトラクタと内視鏡の上面図、図５は、その断面図、図６は、リトラクタの中に鉗子が入れられた状態の断面図を示している。

　図４に示すように、内視鏡１１は、伸縮可能な素材から成る支持部１２を介してリトラクタ１０の内側に自由度を持った状態で保持されている。これにより、ユーザ（手術を行う医師等）は、内視鏡１１をリトラクタ１０の内側で任意の位置に平行移動させることができる。ただし、内視鏡１１が平行移動されることにより、その可視範囲（撮像範囲）１３が移動することになるので、撮像される動画像に対して補正が必要となる。

　図５に示されるように、リトラクタ１０の下端側の内壁には幅L0の帯状のマーカ２０が設けられている。マーカ２０は、リトラクタ１０の内壁が、印刷または蒸着などにより、例えば黒色で彩色されたものであり、内壁のマーカ２０以外の部分は無彩色、またはマーカ２０と区別できる色で彩色されている。特に、マーカ２０の上端をマーカエッジ２１と称する。なお、マーカエッジ２１のみを設けるようにしてもよい。

　内視鏡１１については、リトラクタ１０の内側に保持された状態でその下端が、マーカエッジ２１よりも上側に位置する長さのものを採用する。これにより、内視鏡１１の下端に配置されているレンズと手術部位との距離が離れるので、該レンズの画角を狭くすることができ、これにより光量と画質の両面で有利な内視鏡１１を採用することができる。

　なお、マーカエッジ２１の位置を表すマーカ情報、具体的には、リトラクタ１０の下端からマーカエッジ２１までの距離L0と、内視鏡１１の下端からマーカエッジ２１までの距離L1は予め計測されており、後述する画像処理装置５１のマーカ情報保持部６７（図７）に保持されているものとする。

　また、図６に示すように、リトラクタ１０の中に鉗子４を入れた場合、鉗子４を移動させるに際して、リトラクタ１０の内側で内視鏡１１をずらすことができる。よって、鉗子４の可動範囲が内視鏡１１の存在によって狭められることを抑止できる。また、比較的径の狭いリトラクタ１０を採用することができる。

　さらに、内視鏡１１の可視範囲１３を調整するに際し、従来のように人体に挿し込まれている状態のリトラクタ１０自体を回転させることなく、内視鏡１１を移動させることができるので、リトラクタ１０の形状を円筒型に限定する必要がない。すなわち、リトラクタ１０の形状は筒状であればよく、例えば、楕円筒型、角筒型等であってもよい。

　＜本開示を適用した内視鏡システム５０の構成例＞
　次に、図７は、本開示を適用した内視鏡システム５０の構成例を示している。この内視鏡システム５０は、内視鏡１１、画像処理装置５１、および画像表示装置５２から構成される。

　内視鏡１１は、図４乃至図６に示されたように、リトラクタ１０の内側に自由度を持った状態で保持される。

　内視鏡１１は、撮像部４１および位置センサ４２を有する。撮像部４１は、撮像の結果得られる所定のフレームレート（例えば、30乃至120fps）の動画像をフレーム単位で画像処理装置５１に出力する。位置センサ４２は、内視鏡１１の動きを検知し、内視鏡１１の動きを表す位置センサ情報を画像処理装置５１に出力する。

　画像処理装置５１は、内視鏡１１から入力された動画像の各フレームに対してぶれ補正などを行い、補正済みのフレームを画像表示装置５２に出力する。画像表示装置５２は、液晶ディスプレイなどから成り、画像処理装置５１から順次入力されるフレームの画面をユーザに提示する。

　＜本開示の実施の形態である画像処理装置５１の構成例＞
　次に、図８は、本開示の実施の形態である画像処理装置５１の構成例を示している。

　画像処理装置５１は、鉗子領域検出部６１、鉗子領域保持部６２、マーカエッジ検出部６３、中心推定部６４、位置センサ情報取得部６５、トラッキング処理部６６、マーカ情報保持部６７、ぶれ補正部６８、画像保持部６９、および置換部７０から構成される。

　画像処理装置５１においては、内視鏡１１の撮像部４１から入力される動画像の各フレームが、鉗子領域検出部６１、マーカエッジ検出部６３、およびトラッキング処理部６６に供給される。

　鉗子領域検出部６１は、図９に示されるような前段から供給されるフレームから、鉗子４が写り込んでいる鉗子領域３１を検出し、その座標情報を鉗子領域保持部６２に通知する。鉗子領域３１の検出には、既存の任意の技術を適用できる。例えば、人体の手術部位ともリトラクタ１０の内壁とも異なる色相（例えば、青色）で鉗子３１を表面加工し、その色相に基づいて鉗子領域３１を検出するクロマキ技術を適用することができる。なお、鉗子領域３１は、全てのフレームから検出してもよいし、数フレーム間隔で検出するようにしてもよい。

　鉗子領域保持部６２は、鉗子領域３１の座標情報を一時的に保持し、後段からの要求に応じてそれを供給する。

　マーカエッジ検出部６３は、図９に示されるような前段から供給されるフレームから、マーカエッジ２１を検出し、その座標情報を中心推定部６４に通知する。なお、マーカエッジ２１は、リトラクタ１０の内壁におけるマーカ２０と、その他の領域の色や輝度の急激な変化に基づいて検出できる。

　中心推定部６４は、検出されたマーカエッジ２１の座標を補間、連結することによりフレーム上に、マーカエッジ２１に対応する円（または楕円）を検出する。円等の検出には、最小二乗法、ハフ変換などを用いることができる。このとき、検出されたマーカエッジ２１の座標のうち、鉗子領域に含まれるものを除外してもよい。また、中心推定部６４は、検出した円等の中心座標（以下、マーカ中心点７１と称する）を推定し、フレームの中心座標（以下、画像中心点７２）とともに、ぶれ補正部６８に通知する。

　ところで、内視鏡１１がリトラクタ１０の中心に位置している場合、マーカ中心点７１と画像中心点７２は一致するが、内視鏡１１がリトラクタ１０の中心から変位している場合、マーカ中心点７１と画像中心点７２にはズレが生じる。したがって、マーカ中心点７１と画像中心点７２とのズレ量に基づいて、フレームにおける手術部位の位置を一定に保つためのぶれ補正を行えば、内視鏡１１をリトラクタ１０の中心に固定した状態で撮像された状態のフレームを得ることができる。このぶれ補正は、後述するぶれ補正部６８にて行われる。

　位置センサ情報取得部６５は、内視鏡１１に内蔵されている位置センサ４２から位置センサ情報を取得し、位置センサ情報に基づいて内視鏡１１の位置を推定してトラッキング処理部６６に出力する。トラッキング処理部６６は、内視鏡１１の撮像部４１から入力される現在のフレームと、画像保持部６９に保持されている過去のぶれ補正済みのフレームとの画像中心点７２付近の画素マッチングを行う。この画素マッチングに際しては、鉗子領域３１を除外することができる。また、画素マッチングの探索範囲は、内視鏡１１の位置に基づいて制限することができる。位置センサ情報を用いて画素マッチングを行うことにより、画素マッチングを速やかに実行することができる。トラッキング処理部６６は、画素マッチングの結果得られる動きベクトルと現在のフレームをぶれ補正部６８に出力する。なお、位置センサ情報を用いずに画素マッチングを行うようにしてもよい。反対に、画素マッチングを行わず、位置センサ情報のみに基づいて動きベクトルを推定してもよい。

　マーカ情報保持部６７は、リトラクタ１０におけるマーカ２０の位置を表すマーカ情報（具体的には、図１０に示す距離L0,L1）を保持しており、ぶれ補正部６８からの要求に応じてそれを供給する。なお、リトラクタ１０と内視鏡１１の種類が複数存在する場合、マーカ情報保持部６７には、それらの組み合わせに応じた複数のマーカ情報が保持されており、使用されるリトラクタ１０と内視鏡１１の組み合わせに応じたマーカ情報を中心推定部６４に供給することができる。

　ぶれ補正部６８は、中心推定部６４から通知されるマーカ中心点７１、および画像中心点７２、並びにマーカ情報保持部６７から取得するマーカ情報に基づいて、ぶれ補正量を算出する。ぶれ補正量の算出について図１０を参照して説明する。

　図１０は、マーカ中心点７１、画像中心点７２、距離L0,L1、および、ぶれ補正量の関係を示している。

　同図に示されるように、
　ぶれ補正量：（マーカ中心点７１と画像中心点７２のずれ量）＝L1：（L1＋L0）
の関係があるので、ぶれ補正量は次式（１）により算出される。
　ぶれ補正量＝（マーカ中心点７１と画像中心点７２のずれ量）×L1／（L1＋L0）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）

　さらに、ぶれ補正部６８は、トラッキング処理部６６から入力される動きベクトルに基づき、ぶれ補正量を微調整する。動きベクトルに基づくぶれ補正量の微調整は、マーカ中心点７１などに基づいて算出したぶれ補正量に動きベクトルを加算してもよいし、動きベクトルに０乃至１．０の係数を乗算する重み付けを行ってから加算するようにしてもよい。ぶれ補正部６８は、決定したぶれ補正量に従い、現在のフレームをシフトすることによってぶれ補正を行い、ぶれ補正後のフレームを画像保持部６９および置換部７０に出力する。なお、ぶれ補正部６８において、位置センサ情報のみに基づいてぶれ補正を行うようにしてもよい。

　画像保持部６９は、ぶれ補正後のフレームを一時的に保持し、保持するフレームをトラッキング処理部６６および置換部７０からの要求に応じて供給する。

　置換部７０は、ぶれ補正後の現在のフレームにおける鉗子領域３１の座標情報を鉗子領域保持部６２から取得し、鉗子領域３１の画素値を、対応する領域が鉗子領域３１ではなかった過去のフレームの画素値を用いて置換する。具体的には、現在のぶれ補正後のフレームにおける鉗子領域３１の画素値を、該画素値と、画像保持部６９に保持されている過去のフレームのうち、対応する領域が鉗子領域３１ではないものの画素値との加重平均値で置換することにより、後段に出力するフレームを生成する。なお、加重平均に際しては、加重平均するフレーム間の間隔に応じて係数を変更する。

　例えば、１フレーム前の画素値と加重平均する場合、
　加重平均値＝0.1×現在のフレームの画素値＋0.9×１フレーム前の画素値
　例えば、２フレーム前の画素値と加重平均する場合、
　加重平均値＝0.2×現在のフレームの画素値＋0.8×２フレーム前の画素値
　例えば、３フレーム前の画素値と加重平均する場合、
　加重平均値＝0.3×現在のフレームの画素値＋0.7×３フレーム前の画素値
等とする。これにより、鉗子領域３１が目立たず、手術部位に溶け込んでいるようなフレームを得ることができる。

　ただし、現在のぶれ補正後のフレームにおける鉗子領域３１に対応する領域が鉗子領域ではない過去のフレームが画像保持部６９に保持されていない場合、鉗子領域３１の置換は行わない。

　＜画像処理装置５１による補正処理＞
　図１１は、画像処理装置５１による補正処理（以下、第１の補正処理と称する）を説明するフローチャートである。

　この第１の補正処理は、画像処理装置５１に対して、内視鏡１１の撮像部４１から入力される動画像の各フレームに対して実行される。

　ステップＳ１において、鉗子領域検出部６１は、前段から入力された現在のフレームにおける鉗子領域３１を検出し、その座標情報を鉗子領域保持部６２に保持させる。ステップＳ２において、位置センサ情報取得部６５は、内視鏡１１の位置センサ４２から位置センサ情報を取得し、位置センサ情報に基づいて内視鏡１１の位置を推定してトラッキング処理部６６に出力する。ステップＳ３において、トラッキング処理部６６は、内視鏡１１の撮像部４１から入力される現在のフレームと、画像保持部６９に保持されている過去（例えば、１フレーム前）のぶれ補正済みのフレームとの画像中心点７２付近の画素マッチングを行って、過去のフレームに対する現在のフレームの動きベクトルを検出し、動きベクトルと現在のフレームをぶれ補正部６８に出力する。

　ステップＳ４において、マーカエッジ検出部６３は、前段から入力されたフレームにおけるマーカエッジ２１を検出し、その座標情報を中心推定部６４に通知する。中心推定部６４は、検出されたマーカエッジ２１の座標を補間、連結することによりフレーム上に、マーカエッジ２１に対応する円（または楕円）を検出し、その中心座標を表すマーカ中心点７１を推定する。ステップＳ５において、マーカエッジ検出部６３は、マーカ中心点７１とフレームの中心座標を表す画像中心点７２をぶれ補正部６８に通知する。

　なお、上述したステップＳ１乃至Ｓ３の処理と、ステップＳ４およびＳ５の処理とは、実際には、平行して実行される。

　ステップＳ６において、ぶれ補正部６８は、マーカ情報保持部６７からマーカ情報を取得し、取得したマーカ情報、並びに、中心推定部６４から通知されたマーカ中心点７１、および画像中心点７２を式（１）に適用してぶれ補正量を算出する。また、ぶれ補正部６８は、トラッキング処理部６６から入力された動きベクトルに基づき、ぶれ補正量を微調整してから、現在のフレームのぶれ補正を行い、ぶれ補正後のフレームを画像保持部６９および置換部７０に出力する。

　ステップＳ７において、置換部７０は、ぶれ補正後の現在のフレームにおける鉗子領域３１の画素値を、対応する領域が鉗子領域３１ではなかった過去のフレームの画素値を用いて置換して後段に出力する。以上で、順次入力される動画像の１フレームに対する第１の補正処理の説明を終了する。

　以上に説明した第１の補正処理によれば、検出したマーカエッジ２１に基づいて算出したぶれ補正量を、時間的に前後するフレーム間の動きベクトルを用いて微調整してから補正するので、高い精度でぶれ補正を行うことができる。

　次に、図１２は、画像処理装置５１による他の補正処理（以下、第２の補正処理と称する）を説明するフローチャートである。

　この第２の補正処理は、図１１を参照して上述した第１の補正処理から、ステップＳ４，Ｓ５およびＳ７の処理を省略したものである。すなわち、第２の補正処理では、マーカエッジ２１の検出とそれに基づくぶれ補正量の算出、および、ぶれ補正済みのフレームにおける鉗子領域３１の置換が省略される。

　第２の補正処理によれば、トラッキング処理部６６が出力する、時間的に前後するフレーム間の動きベクトルのみに基づいて、簡易なぶれ補正を行うことができる。

　次に、図１３は、画像処理装置５１によるさらに他の補正処理（以下、第３の補正処理と称する）を説明するフローチャートである。

　この第３の補正処理は、図１１を参照して上述した第１の補正処理から、ステップＳ２乃至Ｓ６の処理を省略したものである。すなわち、第３の補正処理によれば、現在のフレームにおける鉗子領域３１の置換が行われる。

　なお、上述した画像処理装置５１が処理対象とする動画像は、内視鏡１１が出力するものに限らず、例えば、手術顕微鏡が出力するものであってもよい。

　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　このコンピュータ１００は、内視鏡１１および画像表示装置５２が配置されている手術室などに配置してもよいし、内視鏡１１および画像表示装置５２と、インターネットに代表されるネットワークを介して接続可能な遠隔地に配置してもよい。

　コンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。

　入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

　以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

　なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　本開示は以下のような構成も取ることができる。
（１）
　所定のフレームレートの動画像をフレーム毎に補正する画像処理装置において、
　処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出部と、
　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、
　前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部と
　を備える画像処理装置。
（２）
　前記動画像は、筒型のリトラクタの内側に自由度を持って保持されている撮像装置によって撮像されたものであり、
　前記マーカは、前記術具としての前記リトラクタの内壁に設けられている
　前記（１）に記載の画像処理装置。
（３）
　前記マーカは、前記リトラクタの内壁の端側に帯状に設けられている
　前記（２）に記載の画像処理装置。
（４）
　前記撮像装置は、内視鏡である
　前記（２）または（３）に記載の画像処理装置。
（５）
　処理対象の前記フレームよりも前のぶれ補正済みのフレームと、前記処理対象の前記フレームとの間の動きベクトルを検出する動きベクトル検出部をさらに備え、
　前記算出部は、前記検出された前記マーカの位置に基づいてぶれ補正量を算出し、算出した前記ぶれ補正量を、検出された前記動きベクトルを用いて微調整する
　前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
　前記動きベクトル検出部は、処理対象の前記フレームよりも前のぶれ補正済みのフレームと、前記処理対象の前記フレームとの間の画素マッチングにより、前記動きベクトルを検出する
　前記（５）に記載の画像処理装置。
（７）
　前記撮像装置の動き情報を取得する動き情報取得部をさらに備え、
　前記動きベクトル検出部は、取得された前記動き情報を用いて、前記画素マッチングの探索範囲を制限する
　前記（６）に記載の画像処理装置。
（８）
　処理対象の前記フレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、
　処理対象のぶれ補正済みの前記フレームにおける前記物体領域の画素値を、処理対象の前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部と
　をさらに備える前記（１）から（７）のいずれかに記載の画像処理装置。
（９）
　所定のフレームレートの動画像をフレーム毎に補正する画像処理装置の画像処理方法において、
　前記画像処理装置による、
　　処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出ステップと、
　　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出ステップと、
　　前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正ステップと
　を含む画像処理方法。
（１０）
　所定のフレームレートの動画像をフレーム毎に補正するコンピュータを、
　処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出部と、
　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、
　前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部と
　して機能させるプログラム。
（１１）
　内視鏡と画像処理装置を有する内視鏡システムにおいて、
　前記内視鏡は、
　　筒型のリトラクタの内側に自由度を持って保持された状態で、所定のフレームレートの動画像を撮像してフレーム毎に前記画像処理装置に供給し、
　前記画像処理装置は、
　　処理対象の前記フレームに写し込まれている、前記リトラクタの内壁に設けられたマーカを検出するマーカ検出部と、
　　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、
　　前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部と
　を備える
　内視鏡システム。
（１２）
　所定のフレームレートの動画像をフレーム毎に補正する画像処理装置において、
　処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、
　処理対象の前記フレームのぶれ補正を行うぶれ補正部と、
　前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部と
　を備える画像処理装置。
（１３）
　前記動画像は、筒型のリトラクタの内側に自由度を持って保持されている撮像装置によって撮像されたものである
　前記（１２）に記載の画像処理装置。
（１４）
　前記撮像装置は、内視鏡であり、
　前記所定の物体は、鉗子である
　前記（１３）に記載の画像処理装置。
（１５）
　処理対象の前記フレームに写し込まれている、前記リトラクタの内壁に設けられたマーカを検出するマーカ検出部と、
　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と
　をさらに備え、
　前記ぶれ補正部は、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行う
　前記（１２）から（１４）のいずれかに記載の画像処理装置。
（１６）
　前記動画像を撮像する撮像装置の動き情報を取得する動き情報取得部をさらに備え、
　前記ぶれ補正部は、前記動き情報に基づき、処理対象の前記フレームのぶれ補正を行う
　前記（１２）から（１４）のいずれかに記載の画像処理装置。
（１７）
　所定のフレームレートの動画像をフレーム毎に補正する画像処理装置の画像処理方法において、
　前記画像処理装置による、
　　処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出ステップと、
　　処理対象の前記フレームのぶれ補正を行うぶれ補正ステップと、
　　前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換ステップと
　を含む画像処理方法。
（１８）
　所定のフレームレートの動画像をフレーム毎に補正するコンピュータを、
　処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、
　処理対象の前記フレームのぶれ補正を行うぶれ補正部と、
　前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部と
　して機能させるプログラム。
（１９）
　内視鏡と画像処理装置を有する内視鏡システムにおいて、
　前記内視鏡は、
　　筒型のリトラクタの内側に自由度を持って保持された状態で、所定のフレームレートの動画像を撮像してフレーム毎に前記画像処理装置に供給し、
　前記画像処理装置は、
　　処理対象の前記フレームのぶれ補正を行うぶれ補正部と、
　前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部と
　を備える
　内視鏡システム。

　１０　リトラクタ，　１１　内視鏡，　１２　保持部，　２０　マーカ，　２１　マーカエッジ，　４１　撮像部，　４２　位置センサ，　５０　内視鏡システム，　５１　画像処理装置，　５２　画像表示装置，　６１　鉗子領域検出部，　６２　鉗子領域保持部，　６３　マーカエッジ検出部，　６４　中心推定部，　６５　位置センサ情報取得部，　６６　トラッキング処理部，　６７　マーカ情報保持部，　６８　ぶれ補正部，　６９　Ｇ像保持部，　７０　置換部，　１００　コンピュータ，　１０１　CPU

Claims

　所定のフレームレートの動画像をフレーム毎に補正する画像処理装置において、
　処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出部と、
　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、
　前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部と
　を備える画像処理装置。
　前記動画像は、筒型のリトラクタの内側に自由度を持って保持されている撮像装置によって撮像されたものであり、
　前記マーカは、前記術具としての前記リトラクタの内壁に設けられている
　請求項１に記載の画像処理装置。
　前記マーカは、前記リトラクタの内壁の端側に帯状に設けられている
　請求項２に記載の画像処理装置。
　前記撮像装置は、内視鏡である
　請求項２に記載の画像処理装置。
　処理対象の前記フレームよりも前のぶれ補正済みのフレームと、前記処理対象の前記フレームとの間の動きベクトルを検出する動きベクトル検出部をさらに備え、
　前記算出部は、前記検出された前記マーカの位置に基づいてぶれ補正量を算出し、算出した前記ぶれ補正量を、検出された前記動きベクトルを用いて微調整する
　請求項２に記載の画像処理装置。
　前記動きベクトル検出部は、処理対象の前記フレームよりも前のぶれ補正済みのフレームと、前記処理対象の前記フレームとの間の画素マッチングにより、前記動きベクトルを検出する
　請求項５に記載の画像処理装置。
　前記撮像装置の動き情報を取得する動き情報取得部をさらに備え、
　前記動きベクトル検出部は、取得された前記動き情報を用いて、前記画素マッチングの探索範囲を制限する
　請求項６に記載の画像処理装置。
　処理対象の前記フレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、
　処理対象のぶれ補正済みの前記フレームにおける前記物体領域の画素値を、処理対象の前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部と
　をさらに備える請求項２に記載の画像処理装置。
　所定のフレームレートの動画像をフレーム毎に補正する画像処理装置の画像処理方法において、
　前記画像処理装置による、
　　処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出ステップと、
　　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出ステップと、
　　前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正ステップと
　を含む画像処理方法。
　所定のフレームレートの動画像をフレーム毎に補正するコンピュータを、
　処理対象の前記フレームに写し込まれている、術具に設けられたマーカを検出するマーカ検出部と、
　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、
　前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部と
　して機能させるプログラム。
　内視鏡と画像処理装置を有する内視鏡システムにおいて、
　前記内視鏡は、
　　筒型のリトラクタの内側に自由度を持って保持された状態で、所定のフレームレートの動画像を撮像してフレーム毎に前記画像処理装置に供給し、
　前記画像処理装置は、
　　処理対象の前記フレームに写し込まれている、前記リトラクタの内壁に設けられたマーカを検出するマーカ検出部と、
　　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と、
　　前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行うぶれ補正部と
　を備える
　内視鏡システム。
　所定のフレームレートの動画像をフレーム毎に補正する画像処理装置において、
　処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、
　処理対象の前記フレームのぶれ補正を行うぶれ補正部と、
　前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部と
　を備える画像処理装置。
　前記動画像は、筒型のリトラクタの内側に自由度を持って保持されている撮像装置によって撮像されたものである
　請求項１２に記載の画像処理装置。
　前記撮像装置は、内視鏡であり、
　前記所定の物体は、鉗子である
　請求項１３に記載の画像処理装置。
　処理対象の前記フレームに写し込まれている、前記リトラクタの内壁に設けられたマーカを検出するマーカ検出部と、
　検出された前記マーカの位置に基づいてぶれ補正量を算出する算出部と
　をさらに備え、
　前記ぶれ補正部は、前記ぶれ補正量に従い、処理対象の前記フレームのぶれ補正を行う
　請求項１２に記載の画像処理装置。
　前記動画像を撮像する撮像装置の動き情報を取得する動き情報取得部をさらに備え、
　前記ぶれ補正部は、前記動き情報に基づき、処理対象の前記フレームのぶれ補正を行う
　請求項１２に記載の画像処理装置。
　所定のフレームレートの動画像をフレーム毎に補正する画像処理装置の画像処理方法において、
　前記画像処理装置による、
　　処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出ステップと、
　　処理対象の前記フレームのぶれ補正を行うぶれ補正ステップと、
　　前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換ステップと
　を含む画像処理方法。
　所定のフレームレートの動画像をフレーム毎に補正するコンピュータを、
　処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、
　処理対象の前記フレームのぶれ補正を行うぶれ補正部と、
　前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部と
　して機能させるプログラム。
　内視鏡と画像処理装置を有する内視鏡システムにおいて、
　前記内視鏡は、
　　筒型のリトラクタの内側に自由度を持って保持された状態で、所定のフレームレートの動画像を撮像してフレーム毎に前記画像処理装置に供給し、
　前記画像処理装置は、
　　処理対象のフレーム上に存在し得る所定の物体が写し込まれている領域を検出する物体領域検出部と、
　　処理対象の前記フレームのぶれ補正を行うぶれ補正部と、
　前記ぶれ補正済みのフレームにおける前記物体領域の画素値を、前記ぶれ補正済みの前記フレームよりも前のぶれ補正済みのフレームの対応する領域の画素値を用いて置換する置換部と
　を備える
　内視鏡システム。