JP3762512B2 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP3762512B2 JP3762512B2 JP08483097A JP8483097A JP3762512B2 JP 3762512 B2 JP3762512 B2 JP 3762512B2 JP 08483097 A JP08483097 A JP 08483097A JP 8483097 A JP8483097 A JP 8483097A JP 3762512 B2 JP3762512 B2 JP 3762512B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- marker
- extraction
- circuit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Endoscopes (AREA)
- Surgical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は内視鏡装置に関する。
【０００２】
【従来の技術】
従来より、手術器具としての処置具の先端に設けられた色マーカの位置を検出し、この検出位置に基づいて内視鏡の視野変換を行なう内視鏡装置が知られている。
【０００３】
特開平６−３０８９６号公報は色マーカが設けられた処置具で対象組織を指し示し、このときの画像中の色マーカの位置を画像処理により検出し、検出位置に基づいて内視鏡を保持している電動マニピュレータを移動させて色マーカが画面中央に移動するように視野変換を行っている。
【０００４】
また、特願平７−１４２１３３号明細書や特願平７−１４３６６７号明細書は、色マーカの位置検出方法は特源平６−３０８９６号公報と同一であるが、内視鏡で得られた像を撮像するＴＶカメラに接続された視野変換手段を備え、内視鏡を固定した状態で視野変換を行なう内視鏡装置を開示している。
【０００５】
上記した画像処理は色抽出処理と位置検出処理とから構成される。色抽出処理は撮像した映像信号を色空間データに変換し、そのデータがあらかじめ設定された色マーカの特定色を表すしきい値の範囲内にあるかどうかを判断し、判断結果として２値画像（例えば抽出部を白とし、それ以外を黒とする）を出力している。
【０００６】
【発明が解決しようとする課題】
ところで、体腔内の画像は内視鏡と観察対象との距離変化や、内視鏡から出射される照明光の配光ムラ等の照明条件によって明るさ（輝度）が変化する。この変化する輝度と色（色度、彩度）が独立している色空間を用いれば、理論的には輝度が変化しても色分布は不変である。しかしながら、実際には輝度が上がると彩度も上昇する。また、撮像素子のダイナミックレンジを越える高輝度像が入力されると、色度も変化してしまう。また、しきい値が固定されているので、色度の変化に対応できず色抽出能力が低下してしまう。一方、この変動を見越してしきい値の範囲を大きくすると、色マーカ以外の部分までノイズとして抽出されてしまうという問題があった。
【０００７】
本発明の内視鏡装置はこのような課題に着目してなされたものであり、その目的とするところは、撮影画像の輝度変化による色分布変化が起こっても、色抽出能力が低下したり、ノイズを拾ったりすることなく、色マーカを確実に抽出可能な画像処理手段を備えた内視鏡装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の内視鏡装置は、内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、前記位置検出手段は、前記画像信号の輝度を検出する輝度検出手段と、検出された輝度情報に応じて色抽出しきい範囲を設定するしきい範囲設定手段と、設定されたしきい範囲に基づき画像中の特定色を抽出する色抽出手段と、この色抽出結果に基づき前記色マーカの位置を特定する色マーカ位置特定手段とを具備する。
【０００９】
すなわち、本発明は、内視鏡の観察像を撮像して得られる画像信号に基づいて手術器具に設けられた色マーカの位置を検出し、この位置情報に基づいて内視鏡の視野変換を行なう内視鏡装置において、色マーカの位置を検出するにあたって、まず、前記画像信号の輝度を検出して、検出された輝度情報に応じて色抽出しきい範囲を設定する。そして、この設定されたしきい範囲に基づき画像中の特定色を抽出し、この色抽出結果に基づき前記色マーカの位置を特定するようにする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１１】
図１（ａ）は本実施形態に係る内視鏡装置全体の概略構成を示す図である。この内視鏡装置には患者の体腔内を観察する例えば腹腔鏡等の直視型の硬性のスコープ（内視鏡）１が設けられている。このスコープ１には患者の体腔内に挿入される挿入部２と、この挿入部２の基端部に配設された接眼部３とが設けられている。
【００１２】
また、スコープ１の挿入部２は予め例えば患者の腹壁１０等に穿刺されたトラカール９内に挿通され、体腔内に挿入されている。ここで、スコープ１の挿入部２の接眼部３側は多関節構造、本実施例では３関節構造のスコープ保持具８によって移動可能に保持されている。なお、このスコープ保持具（内視鏡保持手段）８には定位置に固定される基台部８ａと、回動可能に連結されたスコープホルダ８ｂとが設けられている。
【００１３】
また、患者の腹壁１０等には処置具である鉗子１１がスコープ１の挿入場所とは別の挿入場所から体腔内に挿入されている。この鉗子１１には体腔内に挿入される挿入部１２の先端部に処置部１３が配設されている。この処置部１３には後述する色マーカ１４が設けられている。なお、処置具としては鉗子１１の代わりに剥離鉗子、ハサミ、レーザープローブ、縫合器、電気メス、持針器、超音波吸引器等の他の構成の処置具を使用してもよい。
【００１４】
また、スコープ１の接眼部３にはこのスコープ１の観察像の一部又は全部を撮像するＴＶカメラ（撮像手段）４が取付けられている。このＴＶカメラ４のケーシング内にはレンズ、プリズム、ミラー、ズームレンズ等からなる光学素子５や、固体撮像素子であるＣＣＤ６等の撮像光学系の各光学部品が設けられている。ズームレンズは図示しないズーム駆動部により光軸方向に進退される。このズームレンズの移動により、スコープ１の接眼部３で得られるスコープ１の観察像の一部又は全部が光学素子５を経てＣＣＤ６に撮像されるようになっている。
【００１５】
さらに、ＴＶカメラ４内にはＣＣＤ６をその光軸方向に対して直交する平面内に沿って直交する２方向、例えば上下方向および左右方向に駆動するＣＣＤ駆動部７が設けられている。
【００１６】
また、ＴＶカメラ４には画像処理を行なう鉗子追尾装置（位置検出手段）１６が接続されている。この鉗子追尾装置１６には例えばフットスイッチ、ハンドスイッチ等の操作スイッチ１５および例えばＴＶモニタ、ＨＭＤ（ＨＥＡＤ ＭＯＵＴＥＤ ＤＩＳＰＬＡＹ：頭部装着型ディスプレー）等の表示モニタ１７がそれぞれ接続されている。
【００１７】
さらに、鉗子追尾装置３７にはＣＣＤ６および表示モニタ１７がそれぞれ接続されている。
【００１８】
また、操作スイッチ１５には鉗子１１の先端の追尾機能のオン／オフの切り換え操作を行う操作ボタンが設けられている。そして、この操作スイッチ１５は例えば、操作ボタンの押下操作時のみ、鉗子追尾装置１６の画像演算処理により検出された鉗子１１の先端位置が表示モニタ１７の概ね中央に配置されるように、鉗子１１の先端位置に追従してＣＣＤ６の移動位置が制御されるようになっている。ここで、図１（ｂ）に示すように表示モニタ１７の概ね中央位置に鉗子１１の先端位置が表示されていない状態で、操作スイッチ１５の操作ボタンを押した場合には、鉗子１１の先端部分が予め指定された速度で表示モニタ１７の中央位置に移動するように、ＣＣＤ６の移動制御が行われるようになっている。
【００１９】
次に、上記構成の作用について説明する。まず、本実施例の内視鏡装置の使用時には図１（ａ）に示すように予め例えば患者の腹壁１０等に穿刺されたトラカール９内にスコープ１の挿入部２が挿通され、体腔内に挿入される。さらに、患者の腹壁１０等にはスコープ１の挿入場所とは別の挿入場所から鉗子１１が体腔内に挿入される。このとき、鉗子１１の先端の処置部１３がスコープ１の接眼部３による視野範囲Ｒ1 内に挿入される状態にセットされる。
【００２０】
そして、スコープ１の観察像の一部がＴＶカメラ４によって撮像され、表示モニタ１７に表示される。ここで、ＴＶカメラ４の光学素子５を経てＣＣＤ６に撮像される観察像の視野範囲Ｒ2 はスコープ１の接眼部３による視野範囲Ｒ1 より小さくなっており、スコープ１の接眼部３による視野範囲Ｒ1 の一部の観察像がＣＣＤ６によって撮像される。
【００２１】
そして、ＴＶカメラ４によるスコープ１の観察像の撮像中、操作スイッチ１５の操作ボタンが押下操作された場合には鉗子追尾装置１６による鉗子１１の先端の追尾機能が作動する。この鉗子追尾機能の作動時にはＣＣＤ６からの画像信号が鉗子追尾装置１６に送られ、この鉗子追尾装置１６で画像処理が行われ、鉗子１１の先端の位置が求められる。
【００２２】
ここでは、鉗子１１の位置を検出するために鉗子１１の処置部１３の先端に色マーカ１４を設けている。
【００２３】
以下に本発明の第１実施形態を説明する。まず、第１実施形態の概略を説明する。
【００２４】
画像処理による色マーカ１４の色抽出を行なう場合、画像を色空間と呼ばれる特徴空間に変換し、この特徴空間で特定色の領域を抽出する方法がしばしば用いられる。色空間としては、輝度と２つの色度とで表わすもの（ＹＩＱ、ＨＳＩ色空間など）がよく用いられる。これら色空間における色度、色相等の要素は輝度に対する独立性が高いために照明条件の変化に対して抽出範囲を設定して色抽出を行なうのが一般的である。図２はＹＩＱ色空間を用いた場合の色抽出設定の様子を示している。
【００２５】
ところが実際には、輝度に完全に独立した要素を持つ色空間は存在しない。従って、色度及び色相は輝度変化に伴って変化する。ＹＩＱ色空間における色度Ｉ及びＱも通常、図３に示すように変化する。すなわち、輝度が高くなるとＩ、Ｑ色度平面上で原点から遠い方向へシフトする（色飽和度、すなわち彩度が高くなる）。
【００２６】
図３の場合、色相角は不変で、色飽和度だけが変化している。しかし、撮像系のダイナミックレンジの影響等によって図４に示すように色相も変化する場合がある。したがって、従来のように固定の色抽出範囲を用いる方法では色抽出性能が低下してしまう。そこで、第１実施形態では、色抽出しきい範囲を図５に示すように輝度に応じて変化させるようにする。ここで輝度毎の色抽出範囲はあらかじめ設定しておく。このような方法を用いることによって、色マーカ１４の色変化に応じて最適な色抽出しきい範囲の設定が可能となり、色抽出性能が向上する。
【００２７】
図６は図１に示す鉗子追尾装置１６の第１実施形態に係る構成とその周辺を示すブロック図である。ＣＣＵ１８の出力は表示モニタ１７の他に、Ａ／Ｄ変換部１９を介して、輝度検出手段としての輝度推定回路２０と色変換回路２２とに接続されている。輝度推定回路２０はしきい範囲設定手段としての色抽出しきい範囲選択回路２１を介して色抽出回路２３の第１の入力に接続されている。また、色変換回路２２は色抽出回路２３の第２の入力に接続されている。色変換回路２２及び色抽出回路２３は色抽出手段を構成する。色抽出回路２３の出力は色マーカ位置特定手段としての重心位置算出回路２４と、視野変換手段としてのＣＣＤ駆動部制御回路２５とを介してＴＶカメラ４に接続されている。
【００２８】
上記した構成において、ＴＶカメラ４からの画像信号はＣＣＵ１８でＴＶ信号化されてＡ／Ｄ変換部１９でデジタル信号に変換される。このデジタル信号は輝度推定回路２０と色変換回路２２に同時に入力されて処理される。輝度推定回路２０はデジタル信号から画像の輝度を検出して色抽出しきい範囲選択回路２１に出力する。色抽出しきい範囲選択回路２１は検出された輝度に対応するしきい範囲を選択して色抽出回路２３に出力する。一方、色変換回路２２は入力されたデジタル信号を色空間に変換して色抽出回路２３に出力する。色抽出回路２３は選択されたしきい範囲に基づいて色空間中の特定色を抽出し、例えば抽出された部分を黒、それ以外は白とする２値画像を作成する。重心位置算出回路２４は抽出された黒の部分の重心位置を求めて、黒の画像の中心と、この重心位置との距離を求める。ＣＣＤ駆動部制御回路２５はこの距離情報に基づいてＣＣＤ駆動部７へＣＣＤ６の駆動量に関する制御信号を送る。
【００２９】
以下に上記した輝度推定回路２０の輝度推定方法について説明する。第１の推定方法では、まず、画像をブロックに分割して、各ブロックの平均輝度を算出する。この算出結果に基づいてブロック毎に色抽出しきい範囲選択回路２１で色抽出しきい範囲を選択する。
【００３０】
図７は５１２×５１２画素の画像をそれぞれが１２８×１２８画素からなる１６個のブロックに分割した例を示している。さらに、細かく輝度の推定を行なうためには、６４×６４画素のブロックを６４個、３２×３２画素のブロックを２５６個、…というように細かく分割していけばよい。
【００３１】
第２の推定方法として、図８に示すように、着目する１画素ごとに周囲の画素を参照して輝度を算出し、この算出結果に基づいて色抽出しきい範囲選択回路２１で色抽出しきい範囲を選択するようにする。参照画素としては、例えば図９に示すように着目画素を中心にして５×５の近傍画素を参照して、合計２５画素の平均輝度を算出する。
【００３２】
上記した第１の推定方法ではブロック内の色抽出領域は固定であるのに対して、第２の推定方法では画素毎に最適な色抽出範囲を選択できるため、色抽出能がより向上する。
【００３３】
上記した第１実施形態によれば、撮影画像の輝度変化による色分布変化が起こっても、色抽出能力が低下したり、ノイズを拾ったりすることなく、色マーカを確実に抽出することができる。
【００３４】
以下に本発明の第２実施形態を説明する。色マーカの色は色マーカ自体の劣化や、ＣＣＵ１８でのユーザによる色設定、生体内の色特性等によって変化するものである。このことより、実際の画像中の色マーカの色に基づいて色抽出範囲を定めるのが望ましい。そこで第２実施形態では図１０に示すような構成を用いる。図１０の構成は、図６に示す第１実施形態の構成において、Ａ／Ｄ変換部１９の後段に切替回路２６をさらに設け、輝度推定回路２０及び色抽出しきい範囲選択回路２１を、マーカ色分析回路（色分析手段）２７と色抽出しきい範囲設定回路（しきい範囲設定手段）２８とからなるキャリブレーション部（キャリブレーション手段）２９に置き換えた点が異なっているが、他の構成は図６の構成と同様である。
【００３５】
第２実施形態では装置の動作に先だってマーカ色分析回路２７で処置具先端の色マーカ部分の色分析を行い、その結果に基づいて色抽出しきい範囲設定回路２８で色抽出しきい範囲を設定するものである。すなわち、まず、Ａ／Ｄ変換部１９から出力されるデジタル映像信号（例えば、Ｒ、Ｇ、Ｂ、ＮＴＳＣ）がキャリブレーション部２９に入力されるように切替回路２６を手動で切り替えた後、マーカ色分析回路２７で色分析対象を指摘する。第１の指摘方法では、図１１に示すような表示モニタ１７中のカーソル１００を色マーカ１０１へと移動して、この移動した位置を中心とする例えば５×５などの近傍エリア内の画像信号から色分析を行なう。
【００３６】
また、第２の指摘方法では、図１２に示すような表示モニタ１７中にあらかじめ設定されたウィンドウ１０２（図では画面の中心に設定されている）に色マーカ１０１を移動させるようにする。
【００３７】
次に、色抽出しきい範囲設定回路２８での色抽出しきい範囲の設定は以下のようにして行なう。ここでは簡単のためにＩＱ２次元平面を考える。
【００３８】
第１の設定方法では、ＩＱ平面図により色分布を表示モニタ１７上に表示させた状態で、色抽出しきい範囲を定める直線の傾き及び円の直径をマウス操作や数値入力により変更して、分析したマーカー部がノイズ成分を含まず適切に抽出されるようにする。すなわち、図１３（ａ）に示すような色分布１０３において、この色分布１０３を包含するような２つの直線Ａ、Ｂに挟まれるとともに、図１３（ｂ）に示すように、ＩＱ座標の原点からの径方向距離を半径とする下限円１０４（この部分は低彩度領域であり、ノイズを含んでいる）を除去した部分を色抽出しきい範囲１０５として定める。
【００３９】
第２の設定方法は、図１４（ａ）に示すようにエリア内の画像信号についての画素ごとの分布を表示モニタ１７上に表示させた状態で、分布１０６の輪郭線１０７を検出する（図１４（ｂ））。そして、この輪郭線１０７で囲まれた範囲を色抽出しきい範囲１０８として定める（図１４（ｃ））。第２の設定方法においてもノイズを含む下限円１０の部分を除去する。
【００４０】
第２の設定方法によれば、第１の設定方法よりもさらに色分布形状に適応した色抽出しきい範囲を自動的に設定することができる。
【００４１】
なお、上記した第１、第２の設定方法においては、実際は輝度Ｙを含む３次元色空間で色抽出しきい範囲の設定を行なうものとする。これによって、輝度変化に頑健な色抽出が可能となる。
【００４２】
第３の設定方法では、複数の色抽出しきい範囲をテンプレートとしてあらかじめ用意しておき、その中から最適なものを選択するようにする。例えば、図１５において、複数の色抽出しきい範囲１１０〜１１５において、表示されている色分布１０９の領域を最も多く含む色抽出しきい範囲（図では１１０）を最適なものとして選択する。あるいは、色分布１０９の全分布数のうち、どの色抽出しきい範囲が最も多く色分布１０９の分布数を含んでいるかを計算により求めて最適なものを選択するようにしてもよい。第３の設定方法においてもノイズを含む下限円１０の部分を除去する。
【００４３】
なお、エリア内の色分析結果が全て色抽出しきい範囲外になった場合にはその色分布はノイズを発生する下限円１０４に含まれていると判断して抽出不可の警告を出力するようにする。
【００４４】
第３の設定方法によれば、あらかじめ色抽出しきい範囲を複数用意しておいて選択するので、しきい範囲の計算処理のための回路構成が簡単である効果がある。
【００４５】
次に、切替回路２６を切り替えてＡ／Ｄ変換部１９からの出力が色変換回路２２に入力されるようにする。この後の処理は上記した第１実施形態と同様である。なお、切替回路２６での切替えは自動で行なってもよい。
【００４６】
上記した第２実施形態によれば、色マーカの劣化、光学系のバラツキ、映像信号処理系の設定等による色マーカの色変化が起こっても、色抽出能力を落とすことなく色マーカを抽出することができる。
【００４７】
以下に本発明の第３実施形態を説明する。第３実施形態では上記した第１、第２実施形態のように色抽出しきい範囲を変更するのではなく、色抽出をより確実に行うために複数の色をもつマーカを用い、複数の色の抽出結果に基づいて色マーカ位置を特定するものである。図１６は本発明の第３実施形態に係る鉗子追尾装置１６の構成を示す図であり、ＣＣＵ１８からのＴＶ信号が入力されるＡ／Ｄ変換部１９と、色変換回路２２と、色抽出回路３０と、マーカ位置検出回路３１と、ＣＣＤ駆動部制御回路２５とが順に接続されている。
【００４８】
図１７（ａ）はマーカ配置の第１の例として、色の異なる２つのマーカ１２０（マーカ１）とマーカ１２１（マーカ２）を交互に配置した例を示している。ここで、色抽出領域を無彩度領域にまで拡大して抽出すると、色抽出結果は図１７（ｂ）に示すように色マーカが確実に検出される反面、マーカ１の誤抽出によるノイズ１２２やマーカ２の誤抽出によるノイズ１２３も検出されてしまう。
【００４９】
そこで、マーカ位置検出回路３１は、色抽出回路３０によって抽出された抽出色１、２、３、…ｎに基づいて、マーカ１とマーカ２の抽出領域が交互に並んたパターンであるか否かを判断し、この判断に基づいて色マーカの検出を行なう。このような判断では、マーカ１の誤抽出によるノイズ１２２やマーカ２の誤抽出によるノイズ１２３は当該パターンであるとはみなされないので除去され（図１７（ｃ））、これによって色マーカのみを確実に検出することができる。
【００５０】
図１８（ａ）は図１８（ｂ）に示すようなマンセル表色系の色相環上で、１０Ｇから１０ＧＹまでの５種類の色相を色マーカに配置したマーカ配置の第２の例を示す図である。
【００５１】
以下にこのような色マーカを用いた場合の利点を説明する。色マーカが１種類の色からなる場合には、その色に対応して図１９（ａ）に示す色相環上のあるマーカ色相が抽出しきい範囲となるが、色調が変化した場合には、図１９（ｂ）に示すように、マーカ色相は抽出しきい範囲からはずれた位置にシフトしてしまい、色の抽出ができなくなってしまう。
【００５２】
これに対して、図１９（ｃ）に示すように５種類の色相をもつ色マーカを用いることにより、色調が変化して図１９（ｄ）に示すようにマーカ色相がシフトしても、いずれかのマーカ色相が抽出しきい範囲に属している可能性が高いので色マーカの抽出が可能である。
【００５３】
図２０は第３のマーカ配置例として、１０Ｇ、５Ｇ、１０ＧＹの３種類の色相を配置し、各色相について２種類の異なる明度を色マーカとして用いた例を示している。このような構成によれば、色調の変化とともに輝度が変化した場合でも頑健な色の抽出が可能である。
【００５４】
上記した第３実施形態によれば、ノイズ抽出を防いで高精度で色マーカを抽出でき、色マーカ位置を検出できる。
【００５５】
以下に本発明の第４実施形態を説明する。第４実施形態では色マーカ検出画像処理において、色情報の加えて色情報以外の画像情報をも用いることにより検出精度をさらに上げることを意図している。
【００５６】
図２１は第４実施形態に係る鉗子追尾装置１６の構成を示す図であり、Ａ／Ｄ変換部１９の後段には色抽出回路２３と直線抽出回路（直線抽出手段）４４とが並列に接続され、これらの後段にはマーカ位置決定回路４５を介して重心位置算出回路２４が接続されている。重心位置算出回路２４はＴＶカメラ４に接続されているＣＣＤ駆動部制御回路２５に接続されている。
【００５７】
上記した構成において、色抽出回路２３は図２２（ａ）に示すような色マーカ１４を有する処置部の原画像から色マーカ１４の色の抽出を行って図２２（ｂ）に示すような画像を得る。同時に直線抽出回路４４は原画像から色マーカ１４のエッジ部の２直線を抽出して図２２（ｃ）に示すような画像を得る。マーカ位置決定回路４５は色抽出回路２３で抽出された画像のうち、直線抽出回路４４で抽出された２直線に挟まれる画像のみをマーカ位置決定のための画像とする（図２２（ｄ））。
【００５８】
また、色マーカ１４は処置部の先端より多少手前の位置に設けられているが、処置部の最先端に設けたい場合がある。このような場合は図２３（ａ）に示すように直線抽出回路４４で求めた２直線の相対角度θ、及び２直線間の距離などの情報に基づいて先端位置を求めることができる。
【００５９】
また、色マーカ１４の形状の変形例として、図２３（ｂ）に示すように、鉗子軸方向に平行な直線を用いてマーカを形成することにより、上記した２直線の情報に鉗子方向の直線情報を追加する。これによって鉗子方向を表す直線情報の検出がより確実になる。
【００６０】
上記した第４実施形態によれば、ノイズ抽出を防いで高精度で色マーカを抽出でき、色マーカ位置を検出できる。
【００６１】
図２４は本発明の第５実施形態に係る鉗子追尾装置１６及び鉗子１１の構成を示す図であり、Ａ／Ｄ変換部１９の後段には順に色変換回路２２、色抽出回路２３、重心位置算出回路５３、ＣＣＤ駆動部制御回路２５が接続されている。また、鉗子１１の柄の部分にはジャイロ及び加速度センサからなるマーカ位置センサ５１が設けられ、このマーカ位置センサ５１はマーカ位置候補領域設定回路（候補領域設定手段）５２を介して重心位置算出回路５３に接続されている。
【００６２】
上記した構成において、図２５（ａ）に示すような原画像から色抽出回路２３で色抽出を行って図２５（ｂ）に示すような画像を得る。同時にマーカ位置センサ５１によって色マーカ１４の位置が検出されたとき、マーカ位置候補領域設定回路５２は検出されたマーカ位置に対応するマーカ位置候補領域を設定する（図２５（ｃ））。重心位置算出回路５３はこのマーカ位置候補領域に入る画像のみを色マーカ１４の領域とし、その他の画像はノイズとして除去する（図２５（ｄ））。
【００６３】
上記した第５実施形態によれば、ノイズ抽出を防いで高精度で色マーカを抽出でき、色マーカ位置を検出できる。また、マーカ位置センサ５１によって検出されるのが点ではなく範囲でよく、高い検出精度が必要ではないため、センサのコストを低減することができる。
【００６４】
以下に本発明の第６実施形態を説明する。画面中における処置部の先端に設けられた色マーカの大きさはスコープからの鉗子の距離によって変化する。例えば、鉗子が遠くにあるときには鉗子に設けられた色マーカからの反射光量が微弱になり色の検出ができなくなってしまう。そこで、色マーカの大きさを大きくすることが考えられるが、今度は鉗子が近くにある場合に画面に占める面積が大きくなって適切な視野変換ができなくなってしまう。
【００６５】
第６実施形態ではこのような問題を考慮して、図２６に示すように大きさの異なる複数のマーカ（マーカ１、マーカ２）を用いて、スコープと鉗子との距離に応じて、視野変換の目標として最適なものを選択するようにする。
【００６６】
図２７は第６実施形態に係る鉗子追尾装置１６の構成を示す図であり、ＣＣＵ１８からのＴＶ信号が入力されるＡ／Ｄ変換部１９と、色変換回路２０と、色抽出回路３２と、マーカ選択回路３３と、重心位置算出回路２４と、ＣＣＤ駆動部制御回路２５とが順に接続されている。
【００６７】
色抽出回路３２はマーカ１及びマーカ２の色を抽出し、位置・面積検出手段としてのマーカ選択回路３３はこの色抽出結果に基づいてマーカ１とマーカ２の位置及び面積を検出する。そして、目標位置決定手段としての重心位置算出回路２４は、抽出された各マーカの面積から鉗子−スコープ間距離を求め、図２８に示すように、その距離がしきい値よりも大きい場合には面積の小さいマーカ２をターゲットして選択し、その距離がしきい値よりも小さい場合には面積の大きいマーカ１をターゲットして選択する。
【００６８】
すなわち、鉗子−スコープ間距離が小さく近接している場合には、図２９（ａ）に示すように面積の小さいマーカ２をターゲットとすることにより、重心位置算出回路２４で算出されるマーカ重心位置と、鉗子先端位置との誤差が小さくなるようにする。また、鉗子−スコープ間距離が大きく鉗子が遠点にある場合には、図２９（ｂ）に示すように面積の大きいマーカ１をターゲットとすることにより、十分なマーカ抽出面積を確保して先端位置の推定を確実に行なうようにする。
【００６９】
上記した第６実施形態によれば、内視鏡と色マーカとの距離が大きく変化する場合でも、適切な面積の色マーカを抽出でき、これによって安定した色抽出、色マーカ位置の検出が可能となる。
【００７０】
以下に、本発明の第７実施形態を説明する。第７実施形態は色マーカとして蛍光マーカを用い、色マーカの検出をより確実に行なうことを目的としている。蛍光マーカは、特定波長の光が照射されている間に吸収した光エネルギーを変換して可視光を発光する蛍光体を用いたマーカである。蛍光体の例としては、ローダミンＢ、ブリリアントスルホフラビンＦＦなどがある。
【００７１】
図３０は本発明の第７実施形態の構成を示す図である。図３０において、画像処理装置４０は観察画像生成回路（観察画像生成手段）４２と、切替回路（信号経路切替手段）４１と、マーカ位置検出回路４３とから構成される。また、照明手段としての光源３５は、ランプ３４と、回転フィルタ３６と、モータ３８と、タイミングコントローラ３７とから構成される。画像処理装置４０の観察画像生成回路４２は表示モニタ１７に接続され、画像処理装置４０の切替回路４１は光源３５のタイミングコントローラ３７に接続されている。
【００７２】
また、光学素子５とＣＣＤ６とＣＣＤ駆動部７とから構成されるＴＶカメラ４には、スコープ１が接続されるとともに、画像処理回路４０が接続されている。さらに、光源３５はライトガイドケーブル３４を介してスコープ１に接続されている。
【００７３】
図３１（ａ）は上記した回転フィルタ３６の構成を示す図である。図３１（ａ）に示すように、３／４円領域の通常照明光用フィルタ３６ａと、蛍光マーカを有して励起光のみを透過する１／４円領域のフィルタ３６ｂとから構成される。以下に上記した構成の作用を図３２のタイミングチャートに基づいて説明する。タイミングコントローラ３７による制御の下にモータ３８が駆動され、これによって回転フィルタ３６が４フレームの画像につき１回転される。この回転によってフィルタ３６ａ、３６ｂからは図３２の（ａ）、（ｂ）で示すような光が出力される。したがって、ランプ３４からの照明光がフィルタ３６ａを通過したときには、通常照明光が色マーカ１４に、フィルタ３６ｂを通過したときには励起光が色マーカ１４に時分割的に供給される。本実施形態では色マーカ１４として図３１（ｂ）に示す蛍光マーカを用いているので、図３１（ｃ）に示すような特性により、色マーカ１４は励起光が供給されたときにのみ蛍光を発する。
【００７４】
信号経路切替手段としての切替回路４１の切替え動作はタイミングコントローラ３７によって以下のように制御される。すなわち、ＴＶカメラ４による撮像により得られる画像信号（図３２の（ｃ））は、通常照明光の供給時には観察画像生成回路４２に送信され、励起光供給時（色マーカ１４から蛍光が発生されているとき）には位置検出手段としてのマーカ位置検出回路４３に送信されるように制御される。
【００７５】
マーカ位置検出回路４３は励起光供給のタイミングで入力される画像信号（図３２の（ｆ））に基づいて色マーカ１４の位置を検出して、検出された位置に基づいて内視鏡の視野を変換すべく図３２の（ｇ）に示すようなＣＣＤ駆動制御信号を生成してＴＶカメラ４のＣＣＤ駆動部７に供給する。
【００７６】
また、観察画像生成回路４２には切替回路４１の切替動作により図３２の（ｄ）に示すように一部が欠落した画像信号が入力されるので、観察画像生成回路４２はこの欠落画像を予測生成（この実施形態では１つ前の画像信号を用いて補間）する（図３２の（ｅ））。これによって表示モニタ１７には画像の切れ目のない表示がなされる。
【００７７】
上記した第７実施形態によれば、照明条件、体腔内組織の状態によらず、確実に色マーカの抽出、色マーカの位置検出が可能となる。
【００７８】
以下に本発明の第８実施形態を説明する。第８実施形態の基本的回路構成は第７実施形態と同様であるが、回転フィルタ３６と色マーカ１４の構成が異なっている。すなわち、第６実施形態の回転フィルタ３６′は図３３（ａ）に示すように、３／４円領域の通常照明用フィルタ３６ａ′と１／４円領域の遮光部３６ｂ′とから構成される。また、第８実施形態では色マーカとして図３３（ｂ）に示すような発光マーカ１４′を用いることを特徴とする。発光マーカ１４′は光照射後も発光を持続する燐光体を用いたマーカである。ここでは図３３（ｃ）に示すように、発光期間が画像１フレームに相当する１／３０秒よりも長い燐光材料を用いる。燐光体の例としては、硫化カルシウム系（ＣａＳ／Ｂｉ、Ｃａ・Ｓｒ・Ｓ／Ｂｉ）や、硫化亜鉛系（ＺｎＳ／Ｃｕ、Ｚｎ・Ｃｄ・Ｓ／Ｃｕ）などがある。
【００７９】
なお、発光マーカ１４′を用いた場合の信号処理の流れは、上記した図２３のタイミングチャートにおいて、蛍光励起用照明を除いたものと同一である。
【００８０】
上記した第８実施形態によれば、照明条件、体腔内組織の状態によらず、確実に色マーカの抽出、色マーカの位置検出が可能となる。
【００８１】
以下に本発明の第９実施形態を説明する。画像中に色マーカが存在しない状態でノイズを誤抽出してしまうことがある。このような状況において操作スイッチを誤って押してしまうと、抽出されたノイズを色マーカであるとみなして誤動作を起こしてしまう。第８実施形態はこのような不具合を防止することを意図している。
【００８２】
図３４は本発明の第９実施形態に係る鉗子追尾装置１６の構成を示す図であり、Ａ／Ｄ変換部１９の後段には、色変換回路２２を介して色抽出回路２３が接続されている。色抽出回路２２は色マーカ認識手段としての抽出画素数計数回路４６を介してＣＣＤ駆動部制御回路４７の第１の入力に接続されるとともに、重心位置算出回路（色マーカ位置特定手段）２４を介してＣＣＤ駆動部制御回路４７の第２の入力に接続されている。
【００８３】
この実施形態では抽出画素数計数回路４６は、色抽出回路２３にて抽出された色に基づいて画素数を計数して、所定の画素数以上である場合に色マーカが存在するものと認識してＣＣＤ駆動部制御回路４７に信号を送って視野変換動作を行なう。また、色マーカが存在しないと判断された場合には視野変換動作を行わないようにする。
【００８４】
図３５は色マーカが存在しない場合の誤動作を防止する第２の構成を示す図であり、Ａ／Ｄ変換部１９の後段には、色変換回路２２を介して色抽出回路２３が接続されている。色抽出回路２２は重心位置算出回路２４を介してＣＣＤ駆動部制御回路４７の第１の入力に接続されている。ＣＣＤ駆動部制御回路４７の第２の入力にはマーカ存在判定回路４９を介して鉗子１１の柄の部分に設けられ、ジャイロと加速度センサとからなる鉗子先端位置センサ（色マーカ位置センサ）４８が接続されている。
【００８５】
この構成では鉗子の先端位置がどこにあるのかを鉗子先端位置センサ４８によって検出して、検出された位置情報に基づいてマーカ存在判定回路４９で色マーカ１４が視野内にあるか否かを判定する。そして、色マーカ１４が視野内にあるときのみＣＣＤ駆動部制御回路５０に視野変換動作のための信号を送るようにする。
【００８６】
上記した第９実施形態によれば、ノイズ抽出を防ぎ、高精度での色マーカの抽出、色マーカ位置の検出が可能となる。
【００８７】
以下に本発明の第１０実施形態を説明する。第１０実施形態はノイズの誤抽出は、輝度が高く白とびの部分（ハイライト部）において発生しやすいので、これを抑制することを意図している。
【００８８】
図３６は本発明の第１０実施形態の構成を示す図であり、ＴＶカメラ４とスコープ１との間には偏光フィルタ５５ｂが設けられている。また、スコープ１にはランプ３４と偏光フィルタ５５ａを備えた照明手段としての光源５４が接続されている。さらに、ＴＶカメラ４は鉗子追尾装置１６を介して表示モニタ１７に接続されている。
【００８９】
上記した構成において、光源５４の偏光フィルタ５５ａとＴＶカメラ４とスコープ１の間の偏光フィルタ５５ｂの位相を、調節手段としての偏光フィルタ回転操作部６を手動操作することにより調節してハイライト部の発生を抑制する。
【００９０】
上記した第１０実施形態によれば、特にハイライト部のノイズ抽出を防ぎ、高精度での色マーカの抽出、色マーカ位置の検出が可能となる。
【００９１】
以下に、本発明の第１１実施形態を説明する。第１１実施形態では、上記した実施形態のようにすべての画像について色抽出を行なうのではなく、予測によって得られるマーカ位置領域についてのみ色抽出を行なう。これによって色抽出画像処理における画像操作方法を色抽出処理に最適なものとすることにより、色抽出性能を向上することを意図している。
【００９２】
図３７は第１１実施形態に係る鉗子追尾装置１６の構成を示す図であり、Ａ／Ｄ変換部１９の後段には、フレームメモリ５７、メモリ読み出し回路５８、色変換回路２２、色抽出回路２３が順に接続されている。色抽出回路２３は重心位置算出回路（位置算出手段）５９とデータバッファ１（６１）とを介して重心位置予測回路（位置予測手段）６３に接続されるとともに、面積算出回路（面積算出手段）６０とデータバッファ２（６２）とを介して面積予測回路６４に接続されている。重心位置予測回路（面積予測回路）６３はメモリ読み出し回路５８に接続されている。
【００９３】
面積比較回路６５の入力は面積算出回路６０と面積予測回路６４とに接続されるとともに、その出力はメモリ読み出し回路５８とＣＣＤ駆動部制御回路６６とに接続されている。さらに、このＣＣＤ駆動部制御回路６６は重心位置算出回路５９とデータバッファ１（６１）の接続点に接続されている。
【００９４】
以下に上記した構成の作用を説明する。
【００９５】
まず、例えば図３８に示すような過去の３枚のフレーム、ｎ−３、ｎ−２、ｎ−１をあらかじめデータバッファ１（６１）に記憶し、これら３枚のフレームから重心位置予測回路６３でマーカ重心位置を予測する。同様に、過去の３枚のフレーム、ｎ−３、ｎ−２、ｎ−１をあらかじめデータバッファ２（６２）に記憶し、これら３枚のフレームから面積予測回路６４でマーカ面積を予測する。次に、メモリ読み出し回路５８は重心位置予測回路６３によって予測された重心位置に対応する読み出し位置指示信号に基づいて、予測マーカ重心位置に近い所定エリアの画素を読み出す（図３９（ａ））。読み出された画素に対して色変換回路２２で色変換を行い、色抽出回路２３で色抽出を行った後、重心位置算出回路５９で重心位置を算出するとともに、面積算出回路６０で面積の算出を行なう。
【００９６】
面積比較回路６５はこの算出された面積と面積予測回路６４で予測された面積とを比較して予測マーカ面積に到達したか否かを判断する。到達していなければ、さらに読み出し画素領域を増やして再度色抽出回路２３で色抽出を行って（図３９（ｂ））、面積算出回路６０で面積を算出し、面積比較回路６５で面積予測回路６４で予測した面積と比較する。このように、予測マーカ位置に近い画素から順に色抽出処理を行って面積を算出し、算出面積が予測マーカ面積に達したときに（図３９（ｃ））、メモリ読み出し回路５８に処理終了信号を供給してマーカ抽出を終了する。
【００９７】
上記した第１１実施形態によれば、背景のノイズを誤抽出することなく、高精度での色マーカの抽出、色マーカ位置の検出が可能となる。
【００９８】
以下に本発明の第１２実施形態を説明する。上記した実施形態では色変換回路と色抽出回路と別個に構成している。このような構成では色空間を変更する場合には双方の回路を変更する必要がある。また、色変換回路と色空間回路とを各々ＬＵＴによって構成した場合も双方のテーブルを書き換える必要がある。
【００９９】
そこで、第１２実施形態では図４０（ａ）に示すようなルックアップテーブル（ＬＵＴ）を用いて、ＲＧＢの映像信号をＹＩＱの色空間に変換する処理と、しきい値を用いた色抽出処理とを１つの素子で行なうことを意図している。この場合、ＬＵＴ１００はＲＯＭで構成される。
【０１００】
また、従来では色変換回路をハードウェアで構成する場合、特定の色空間に対してそのハードウェア構成が特定されてしまい、複数の異なる色空間に対してそれぞれのハードウェア構成が必要になる。そこで、第１２実施形態では、ＬＵＴ１００に不揮発性のメモリを用い、図４０（ｂ）に示すようにＹＩＱ、ＨＣＶ、Ｌ* ａ* ｂ* などの各色空間に応じて書き換えるようにする。このようにすれば、いかなる色空間でもＬＵＴ１００の入出力パターンを書き換えるだけで用いることができる。
【０１０１】
なお、上記した具体的実施形態には以下の構成１乃至４２を有する発明が含まれている。
【０１０２】
１．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、
前記画像信号の輝度を検出する輝度検出手段と、
検出された輝度情報に応じて色抽出しきい範囲を設定するしきい範囲設定手段と、
設定されたしきい範囲に基づき画像中の特定色を抽出する色抽出手段と、
この色抽出結果に基づき前記色マーカの位置を特定する色マーカ位置特定手段と、
を具備することを特徴とする内視鏡装置。
【０１０３】
２．１において、
前記輝度検出手段は、画像を複数のブロックに分割した後に各ブロック毎に輝度を検出し、前記しきい範囲設定手段は、検出された輝度に基づきブロック毎にしきい範囲を定める。
【０１０４】
３．１において、
前記輝度検出手段は、画素毎に近傍画素を参照して輝度を検出し、前記しきい範囲設定手段は、検出された輝度に基づき画素毎にしきい範囲を定める。
【０１０５】
４．２、３において、
前記しきい範囲設定手段で設定されるしきい範囲は、検出された輝度に応じてその位置・大きさが定められている色度平面上の長方形領域である。
【０１０６】
５．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、色抽出しきい範囲を定めるキャリブレーション手段と、このキャリブレーション手段によって設定されたしきい範囲に基づき画像中の特定色を抽出する色抽出手段と、色抽出結果に基づき色マーカの位置を特定する色マーカ位置特定手段とを有する。
【０１０７】
６．５において、
前記キャリブレーション手段は、画像中の色マーカの色を分析する色分析手段と、色分析結果に基づき色抽出しきい範囲を定めるしきい範囲設定手段とを有する。
【０１０８】
７．６において、
前記色分析手段は、画像中に表示された位置可変のカーソルを中心とする所定エリアの画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色空間の色度平面上で２直線に挟まれ、かつ色空間原点からの距離が所定値以上となる領域を色抽出しきい範囲とする。
【０１０９】
８．６において、
前記色分析手段は、画像中に表示された位置可変のカーソルを中心とする所定エリアの画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色空間原点からの距離が所定値以上となる領域で、かつ色空間に変換された分析対象画素の色分布の輪郭線に囲まれた閉領域を色抽出しきい範囲とする。
【０１１０】
９．６において、
前記色分析手段は、画像中に表示されたウィンドウ内の画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色空間の色度平面上で２直線に挟まれ、かつ色空間原点からの距離が所定値以上となる領域を色抽出しきい範囲とする。
【０１１１】
１０．６において、
前記色分析手段は、画像中に表示されたウィンドウ内の画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色空間原点からの距離が所定値以上となる領域で、かつ色空間に変換された分析対象画素の色分布の輪郭線に囲まれた閉領域を色抽出しきい範囲とする。
【０１１２】
１１．６において、
前記色分析手段は、画像中に表示された位置可変のカーソルを中心とする所定エリアの画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色分析結果に基づきあらかじめ定められた複数の色抽出しきい範囲の中から最適なものを選択する。
【０１１３】
１２．６において、
前記色分析手段は、画像中に表示されたウィンドウ内の画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色分析結果に基づきあらかじめ定められた複数の色抽出しきい範囲の中から最適なものを選択する。
【０１１４】
１３．１１、１２において
しきい範囲設定手段は、色分析結果に基づき複数の色抽出しきい範囲の中で適したものがない場合に警告を発する。
【０１１５】
１４．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、色マーカが持つ複数の特定色を抽出する色抽出手段と、複数の色抽出結果に基づき色マーカの位置を特定する色マーカ位置特定手段を有する。
【０１１６】
１５．１４において、
前記色マーカは、色特性の異なる複数のマーカを近接して配置してなる。
【０１１７】
１６．１４において、
前記色マーカは、色特性の異なる２つのマーカを交互に並べて配置してなる。１７．１５、１６において、
前記色特性は、色相及び／または明度である。
【０１１８】
１８．１５、１７において、
前記色マーカ位置特定手段は、複数の特定色が近接して抽出された領域のみを色マーカと判定し、その他の領域をノイズとして色抽出領域から除外する。
【０１１９】
１９．１６、１７において、
前記色マーカ位置特定手段は、２種類の特定色が交互に並んで抽出された領域のみを色マーカと判定し、その他の領域をノイズとして色抽出領域から除外する。
【０１２０】
２０．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、画像中の特定色を抽出する色抽出手段と、画像中の直線を抽出する直線抽出手段と、色抽出結果と直線抽出結果を統合して色マーカ位置を特定する色マーカ位置特定手段とを有する。
【０１２１】
２１．２０において
前記色マーカの一部は、鉗子軸方向に平行に直線状に施される。
【０１２２】
２２．２０、２１において、
前記色マーカ位置検出手段は、所定の間隔及び相対角度を有する２直線に挟まれた色抽出領域を色マーカと判定する。
【０１２３】
２３．２２において、
前記色マーカ位置検出手段は、２直線の間隔及び相対角度から鉗子先端位置を推定する。
【０１２４】
２４．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、色マーカ位置センサと、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、画像中の特定色を抽出する色抽出手段と、前記色マーカ位置センサの出力に基づき画像中の色マーカ位置の候補領域を設定する候補領域設定手段と、候補領域内の色抽出領域を色マーカと判定する色マーカ位置特定手段とを有する。
【０１２５】
２５．２４において、
色マーカ位置センサは、ジャイロ及び加速度センサからなる。
【０１２６】
２６．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、複数の特定色を抽出する色抽出手段と、複数の色抽出結果に基づき、複数の色マーカ各々の位置及び面積を検出する位置・面積検出手段と、検出された複数の色マーカ各々の面積に基づき、視野変換の目標位置を決定する目標位置決定手段とを有する。
【０１２７】
２７．２６において
前記複数の色マーカは、色特性及び大きさが異なる。
【０１２８】
２８．２７において
前記目標位置決定手段は、前記色マーカ検出手段にて検出された面積に基づいて内視鏡先端と鉗子先端との距離を推定し、距離が大きい場合には面積が小さい色マーカ、距離が小さいときには面積が大きい色マーカの位置を目標位置とする。
【０１２９】
２９．内視鏡と、
通常照明光と蛍光励起光を時分割的に供給する照明手段と、
前記励起光に対して蛍光を発する蛍光マーカが設けられた手術器具と、
前記内視鏡の観察像を撮像する撮像手段と、
この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、
モニタに表示する観察画像を生成する観察画像生成手段と、
前記内視鏡から得られた画像信号を、通常照明光供給時には観察画像生成手段に送信し、励起光供給時には位置検出手段に送信する信号経路切換手段と、
検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段と、
を具備する内視鏡装置。
【０１３０】
３０．２９において、
前記照明手段は、通常照明用フィルタと励起光透過フィルタからなる回転フィルタを有する。
【０１３１】
３１．２９、３０において
前記観察画像生成手段は、励起光供給時には過去の画像信号に基づき予測処理により観察画像を生成する。
【０１３２】
３２．内視鏡と、
一定周期で照明点灯と消灯を繰り返す照明手段と、
所定時間以上の発光期間を有する発光マーカが設けられた手術器具と、
前記内視鏡の観察像を撮像する撮像手段と、
この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、
モニタに表示する観察画像を生成する観察画像生成手段と、
前記内視鏡から得られた画像信号を、照明点灯時には観察画像生成手段に送信し、照明消灯時には位置検出手段に送信する信号経路切換手段と、
検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段と、
を具備する内視鏡装置。
【０１３３】
３３．３２において
前記照明手段は、照明光透過と遮断とを切り替える回転フィルタを有する。
【０１３４】
３４．３２、３３において、
前記観察画像生成手段は、照明消灯時には過去の画像信号に基づき予測処理により観察画像を生成する。
【０１３５】
３５．３２、３３、３４において、
前記発光マーカの発光期間は少なくとも画像１フレームに相当する時間である。
【０１３６】
３６．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、画像中の特定色を抽出する色抽出手段と、色抽出結果に基づき色マーカ位置を特定する色マーカ位置特定手段と、画像中の色マーカの存在を認識する色マーカ認識手段とを有し、
前記色マーカ認識手段が画像中に色マーカが存在しないと判定した場合には、視野変換動作を停止する。
【０１３７】
３７．３６において
前記色マーカ認識手段は、前記色抽出手段の抽出画素数が所定値以下の場合に、色マーカが画像中に存在しないと判定する。
【０１３８】
３８．３４において
前記手術器具には色マーカ位置センサが設けられ、前記色マーカ認識手段は、この色マーカ位置センサの出力に基づき、画像中の色マーカの存在を判定する。３９．３８において
前記色マーカ位置センサは、ジャイロ及び加速度センサからなる。
【０１３９】
４０．内視鏡と、
照明光を偏向させる第１の偏光フィルタを有する照明手段と、
特定色を持つ色マーカが設けられた手術器具と、
前記内視鏡の観察像を撮像する撮像手段と、
この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、
前記撮像手段に設けた第２の偏光フィルタの偏光方向を調節する調節手段と、
検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段と、
を具備する内視鏡装置。
【０１４０】
４１．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、１画面を記憶するフレームメモリと、画像中の特定色を抽出する色抽出手段と、色抽出結果に基づき色マーカの位置及び面積を求める位置・面積算出手段と、過去の画像の色マーカの位置及び面積から、現在の画像の色マーカの位置及び面積を予測する位置・面積予測手段とを有し、
予測した色マーカ位置と距離が近い画素から順にフレームメモリより読み出し色抽出手段に入力し、色抽出面積が予測した色マーカ面積に達した時点でマーカ位置検出処理を完了とする。
【０１４１】
４２．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記画像信号を所定の色空間に変換する色変換手段と、
色変換された画像中の特定色を抽出する色抽出手段と、
を具備し、前記色変換手段と色抽出手段とを１つの素子で構成する。
【０１４２】
上記した構成１乃至４２に対する従来技術、発明の目的は以下の通りである。１乃至４（第１実施形態）
従来技術
従来より、手術器具としての処置具の先端に設けられた色マーカの位置を検出し、この検出位置に基づいて内視鏡の視野変換を行なう内視鏡装置が知られている。
【０１４３】
特開平６−３０８９６号公報は色マーカが設けられた処置具で対象組織を指し示し、このときの画像中の色マーカの位置を画像処理により検出し、検出位置に基づいて内視鏡を保持している電動マニピュレータを移動させて色マーカが画面中央に移動するように視野変換を行っている。
【０１４４】
また、特願平７−１４２１３３号明細書や特願平７−１４３６６７号明細書は、色マーカの位置検出方法は特源平６−３０８９６号公報と同一であるが、内視鏡で得られた像を撮像するＴＶカメラに接続された視野変換手段を備え、内視鏡を固定した状態で視野変換を行なう内視鏡装置を開示している。
【０１４５】
上記した画像処理は色抽出処理と位置検出処理とから構成される。色抽出処理は撮像した映像信号を色空間データに変換し、そのデータがあらかじめ設定された色マーカの特定色を表すしきい値の範囲内にあるかどうかを判断し、判断結果として２値画像（例えば抽出部を白とし、それ以外を黒とする）を出力している。
【０１４６】
ところで、体腔内の画像は内視鏡と観察対象との距離変化や、内視鏡から出射される照明光の配光ムラ等の照明条件によって明るさ（輝度）が変化する。この変化する輝度と色（色度、彩度）が独立している色空間を用いれば、理論的には輝度が変化しても色分布は不変である。しかしながら、実際には輝度が上がると彩度も上昇する。また、撮像素子のダイナミックレンジを越える高輝度像が入力されると、色度も変化してしまう。また、しきい値が固定されているので、色度の変化に対応できず色抽出能力が低下してしまう。一方、この変動を見越してしきい値の範囲を大きくすると、色マーカ以外の部分までノイズとして抽出されてしまうという問題があった。
【０１４７】
発明の目的
撮像画像の輝度変化による色分布変化が起こっても、色抽出能力が落ちたりノイズを拾ったりすることなく、色マーカを抽出可能である画像処理手段を備えた内視鏡装置の提供。
【０１４８】
５乃至１３（第２実施形態）
従来技術
処置具に設けられた色マーカは、洗浄・滅菌を行ううちに色が劣化してくる。また、内視鏡・ＴＶカメラの光学系のバラツキ、ＣＣＵ（カメラコントロールユニット）のユーザーによる色設定の違い、生体内色特性の固体差等により、同じ色マーカでも違った色として認識でも違った色として認識されることがある。これら複数の要因による色変化がある状況では、固定されたしきい範囲でこの変化に対応し高い色抽出能力を持たせることは困難である。
【０１４９】
発明の目的
色マーカの劣化、光学系のバラツキ、映像信号処理系の設定等による色マーカの色変化が起こっても、色抽出能力を落とすことなく色マーカを抽出可能である画像処理手段を備えた内視鏡装置の提供。
【０１５０】
１４乃至１９（第３実施形態）、２０乃至２３（第４実施形態）、２４、２５（第５実施形態）、３６乃至３９（第９実施形態）、４０（第１０実施形態）、４１（第１１実施形態）
従来技術
体腔内組織の内、腸や脂肪等の白っぽい組織は表面が濡れていてるとハイライトになる場合がある。このハイライト部が光学系・撮像素子の特性等で色が付いて撮像され、ノイズとして抽出されてしまう。また、色マーカが内視鏡軸に対し傾いたり、内視鏡から遠くにあると色マーカの彩度が下がるため、しきい範囲を低彩度側まで拡げて抽出能を上げることが必要となる。しかし色抽出能力が向上する反面、色マーカ以外の低彩度領域もノイズとして抽出してしまう。
【０１５１】
発明の目的
ノイズ抽出を防ぎ、高精度で色マーカを抽出可能、色マーカ位置を検出可能な内視鏡装置の提供。
【０１５２】
２６乃至２８（第６実施形態）
従来技術
体腔内での内視鏡先端と観察対象との距離は、症例によっても、また同一症例でも変化する。処置具に単一の色マーカのみが設けられている場合は、内視鏡と色マーカの距離が離れてしまうと抽出しずらくなる。色マーカの面積を大きくすれば抽出能は上がるが、距離が短くなると画面中に占める色マーカの面積が大きすぎて、所望の位置への視野変換ができなくなる。
【０１５３】
発明の目的
内視鏡と色マーカの距離が大きく変化する場合でも、適切な面積の色マーカを抽出可能とすることにより、安定した色抽出、色マーカ位置の検出が可能な内視鏡の提供。
【０１５４】
２９乃至３１（第７実施形態）、３２乃至３５（第８実施形態）
従来技術
通常の色マーカを用い、色抽出画像処理により色マーカを抽出する方法では、照明条件や体腔内組織の状態によって抽出状態が変化するため、全ての条件において安定した色マーカの抽出を可能にすることは難しい。
【０１５５】
発明の目的
照明条件、体腔内組織の状態によらず、確実に色マーカの抽出、色マーカ位置の検出が可能となる内視鏡装置の提供。
【０１５６】
４２（第１２実施形態）
従来技術
色変換回路と色抽出回路と別個に構成していたので色空間を変更する場合には双方の回路を変更する必要がある。また、色変換回路と色空間回路とを各々ＬＵＴによって構成した場合も双方のテーブルを書き換える必要があった。
【０１５７】
発明の目的
ＲＧＢの映像信号をＹＩＱの色空間に変換する処理と、しきい値を用いた色抽出処理とを１つの素子で行ない、色空間に応じて入出力パターンを書き換えることができる内視鏡装置の提供。
【０１５８】
【発明の効果】
本発明によれば、撮影画像の輝度変化による色分布変化が起こっても、色抽出能力が低下したり、ノイズを拾ったりすることなく、色マーカを確実に抽出できるようになる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る内視鏡装置全体の概略構成を示す図である。
【図２】ＹＩＱ色空間を用いた場合の色抽出設定の様子を示している。
【図３】ＹＩＱ色空間における色度Ｉ及びＱの変化の様子を示す図である。
【図４】撮像系のダイナミックレンジの影響等による色相の変化の様子を示す図である。
【図５】色抽出しきい範囲を輝度に応じて変化させる本実施形態の概略を説明するための図である。
【図６】本発明の第１実施形態に係る鉗子追尾装置の構成とその周辺を示すブロック図である。
【図７】第１の輝度推定方法を説明するための図である。
【図８】第２の輝度推定方法を説明するための図である。
【図９】第２の輝度推定方法の具体的例を示す図である。
【図１０】本発明の第１実施形態に係る鉗子追尾装置の構成とその周辺を示すブロック図である。
【図１１】色分析対象の第１の指摘方法を説明するための図である。
【図１２】色分析対象の第１の指摘方法を説明するための図である。
【図１３】色抽出しきい範囲の第１の設定方法を説明するための図である。
【図１４】色抽出しきい範囲の第２の設定方法を説明するための図である。
【図１５】色抽出しきい範囲の第３の設定方法を説明するための図である。
【図１６】本発明の第３実施形態に係る鉗子追尾装置の構成を示す図である。
【図１７】第１のマーカ配置方法を説明するための図である。
【図１８】第２のマーカ配置方法を説明するための図である。
【図１９】第２のマーカ配置方法の作用を従来と比較して説明するための図である。
【図２０】第３のマーカ配置方法を説明するための図である。
【図２１】本発明の第４実施形態に係る鉗子追尾装置の構成を示す図である。
【図２２】第４実施形態の作用を説明するための図である。
【図２３】色マーカの配置及び色マーカの形状についての変形例を示す図である。
【図２４】本発明の第５実施形態に係る鉗子追尾装置及び鉗子の構成を示す図である。
【図２５】第５実施形態の作用を説明するための図である。
【図２６】本発明の第６実施形態に係る色マーカの配置を示す図である。
【図２７】第６実施形態に係る鉗子追尾装置の構成を示す図である。
【図２８】抽出面積と鉗子−スコープ間距離との関係を各マーカについて示す図である。
【図２９】鉗子−スコープ間距離に応じた色マーカの切替について説明するための図である。
【図３０】本発明の第７実施形態の構成を示す図である。
【図３１】第７実施形態に係る回転フィルタの構成及び、蛍光マーカの特性を示す図である。
【図３２】第７実施形態の作用を示すタイミングチャートである。
【図３３】本発明の第８実施形態に係る回転フィルタの構成及び、発光マーカに用いられる材料について説明するための図である。
【図３４】本発明の第９実施形態に係る鉗子追尾装置の構成を示す図である。
【図３５】第９実施形態の他の構成を示す図である。
【図３６】本発明の第１０実施形態に係る鉗子追尾装置の構成を示す図である。
【図３７】本発明の第１１実施形態に係る鉗子追尾装置の構成を示す図である。
【図３８】第１１実施形態において、過去のフレームからマーカ重心位置とマーカ面積とを予測する様子を示す図である。
【図３９】第１１実施形態の作用を説明するための図である。
【図４０】本発明の第１１実施形態の構成を説明するための図である。
【符号の説明】
１３…処置部、１４…色マーカ、１５…操作スイッチ、１６…鉗子追尾装置、１７…表示モニタ、１８…ＣＣＵ、１９…Ａ／Ｄ、２０…輝度推定回路、２１…色抽出しきい範囲選択回路、２２…色変換回路、２３…色抽出回路、２４…重心位置算出回路、２５…ＣＣＤ駆動部制御回路。
【発明の属する技術分野】
本発明は内視鏡装置に関する。
【０００２】
【従来の技術】
従来より、手術器具としての処置具の先端に設けられた色マーカの位置を検出し、この検出位置に基づいて内視鏡の視野変換を行なう内視鏡装置が知られている。
【０００３】
特開平６−３０８９６号公報は色マーカが設けられた処置具で対象組織を指し示し、このときの画像中の色マーカの位置を画像処理により検出し、検出位置に基づいて内視鏡を保持している電動マニピュレータを移動させて色マーカが画面中央に移動するように視野変換を行っている。
【０００４】
また、特願平７−１４２１３３号明細書や特願平７−１４３６６７号明細書は、色マーカの位置検出方法は特源平６−３０８９６号公報と同一であるが、内視鏡で得られた像を撮像するＴＶカメラに接続された視野変換手段を備え、内視鏡を固定した状態で視野変換を行なう内視鏡装置を開示している。
【０００５】
上記した画像処理は色抽出処理と位置検出処理とから構成される。色抽出処理は撮像した映像信号を色空間データに変換し、そのデータがあらかじめ設定された色マーカの特定色を表すしきい値の範囲内にあるかどうかを判断し、判断結果として２値画像（例えば抽出部を白とし、それ以外を黒とする）を出力している。
【０００６】
【発明が解決しようとする課題】
ところで、体腔内の画像は内視鏡と観察対象との距離変化や、内視鏡から出射される照明光の配光ムラ等の照明条件によって明るさ（輝度）が変化する。この変化する輝度と色（色度、彩度）が独立している色空間を用いれば、理論的には輝度が変化しても色分布は不変である。しかしながら、実際には輝度が上がると彩度も上昇する。また、撮像素子のダイナミックレンジを越える高輝度像が入力されると、色度も変化してしまう。また、しきい値が固定されているので、色度の変化に対応できず色抽出能力が低下してしまう。一方、この変動を見越してしきい値の範囲を大きくすると、色マーカ以外の部分までノイズとして抽出されてしまうという問題があった。
【０００７】
本発明の内視鏡装置はこのような課題に着目してなされたものであり、その目的とするところは、撮影画像の輝度変化による色分布変化が起こっても、色抽出能力が低下したり、ノイズを拾ったりすることなく、色マーカを確実に抽出可能な画像処理手段を備えた内視鏡装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の内視鏡装置は、内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、前記位置検出手段は、前記画像信号の輝度を検出する輝度検出手段と、検出された輝度情報に応じて色抽出しきい範囲を設定するしきい範囲設定手段と、設定されたしきい範囲に基づき画像中の特定色を抽出する色抽出手段と、この色抽出結果に基づき前記色マーカの位置を特定する色マーカ位置特定手段とを具備する。
【０００９】
すなわち、本発明は、内視鏡の観察像を撮像して得られる画像信号に基づいて手術器具に設けられた色マーカの位置を検出し、この位置情報に基づいて内視鏡の視野変換を行なう内視鏡装置において、色マーカの位置を検出するにあたって、まず、前記画像信号の輝度を検出して、検出された輝度情報に応じて色抽出しきい範囲を設定する。そして、この設定されたしきい範囲に基づき画像中の特定色を抽出し、この色抽出結果に基づき前記色マーカの位置を特定するようにする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１１】
図１（ａ）は本実施形態に係る内視鏡装置全体の概略構成を示す図である。この内視鏡装置には患者の体腔内を観察する例えば腹腔鏡等の直視型の硬性のスコープ（内視鏡）１が設けられている。このスコープ１には患者の体腔内に挿入される挿入部２と、この挿入部２の基端部に配設された接眼部３とが設けられている。
【００１２】
また、スコープ１の挿入部２は予め例えば患者の腹壁１０等に穿刺されたトラカール９内に挿通され、体腔内に挿入されている。ここで、スコープ１の挿入部２の接眼部３側は多関節構造、本実施例では３関節構造のスコープ保持具８によって移動可能に保持されている。なお、このスコープ保持具（内視鏡保持手段）８には定位置に固定される基台部８ａと、回動可能に連結されたスコープホルダ８ｂとが設けられている。
【００１３】
また、患者の腹壁１０等には処置具である鉗子１１がスコープ１の挿入場所とは別の挿入場所から体腔内に挿入されている。この鉗子１１には体腔内に挿入される挿入部１２の先端部に処置部１３が配設されている。この処置部１３には後述する色マーカ１４が設けられている。なお、処置具としては鉗子１１の代わりに剥離鉗子、ハサミ、レーザープローブ、縫合器、電気メス、持針器、超音波吸引器等の他の構成の処置具を使用してもよい。
【００１４】
また、スコープ１の接眼部３にはこのスコープ１の観察像の一部又は全部を撮像するＴＶカメラ（撮像手段）４が取付けられている。このＴＶカメラ４のケーシング内にはレンズ、プリズム、ミラー、ズームレンズ等からなる光学素子５や、固体撮像素子であるＣＣＤ６等の撮像光学系の各光学部品が設けられている。ズームレンズは図示しないズーム駆動部により光軸方向に進退される。このズームレンズの移動により、スコープ１の接眼部３で得られるスコープ１の観察像の一部又は全部が光学素子５を経てＣＣＤ６に撮像されるようになっている。
【００１５】
さらに、ＴＶカメラ４内にはＣＣＤ６をその光軸方向に対して直交する平面内に沿って直交する２方向、例えば上下方向および左右方向に駆動するＣＣＤ駆動部７が設けられている。
【００１６】
また、ＴＶカメラ４には画像処理を行なう鉗子追尾装置（位置検出手段）１６が接続されている。この鉗子追尾装置１６には例えばフットスイッチ、ハンドスイッチ等の操作スイッチ１５および例えばＴＶモニタ、ＨＭＤ（ＨＥＡＤ ＭＯＵＴＥＤ ＤＩＳＰＬＡＹ：頭部装着型ディスプレー）等の表示モニタ１７がそれぞれ接続されている。
【００１７】
さらに、鉗子追尾装置３７にはＣＣＤ６および表示モニタ１７がそれぞれ接続されている。
【００１８】
また、操作スイッチ１５には鉗子１１の先端の追尾機能のオン／オフの切り換え操作を行う操作ボタンが設けられている。そして、この操作スイッチ１５は例えば、操作ボタンの押下操作時のみ、鉗子追尾装置１６の画像演算処理により検出された鉗子１１の先端位置が表示モニタ１７の概ね中央に配置されるように、鉗子１１の先端位置に追従してＣＣＤ６の移動位置が制御されるようになっている。ここで、図１（ｂ）に示すように表示モニタ１７の概ね中央位置に鉗子１１の先端位置が表示されていない状態で、操作スイッチ１５の操作ボタンを押した場合には、鉗子１１の先端部分が予め指定された速度で表示モニタ１７の中央位置に移動するように、ＣＣＤ６の移動制御が行われるようになっている。
【００１９】
次に、上記構成の作用について説明する。まず、本実施例の内視鏡装置の使用時には図１（ａ）に示すように予め例えば患者の腹壁１０等に穿刺されたトラカール９内にスコープ１の挿入部２が挿通され、体腔内に挿入される。さらに、患者の腹壁１０等にはスコープ１の挿入場所とは別の挿入場所から鉗子１１が体腔内に挿入される。このとき、鉗子１１の先端の処置部１３がスコープ１の接眼部３による視野範囲Ｒ1 内に挿入される状態にセットされる。
【００２０】
そして、スコープ１の観察像の一部がＴＶカメラ４によって撮像され、表示モニタ１７に表示される。ここで、ＴＶカメラ４の光学素子５を経てＣＣＤ６に撮像される観察像の視野範囲Ｒ2 はスコープ１の接眼部３による視野範囲Ｒ1 より小さくなっており、スコープ１の接眼部３による視野範囲Ｒ1 の一部の観察像がＣＣＤ６によって撮像される。
【００２１】
そして、ＴＶカメラ４によるスコープ１の観察像の撮像中、操作スイッチ１５の操作ボタンが押下操作された場合には鉗子追尾装置１６による鉗子１１の先端の追尾機能が作動する。この鉗子追尾機能の作動時にはＣＣＤ６からの画像信号が鉗子追尾装置１６に送られ、この鉗子追尾装置１６で画像処理が行われ、鉗子１１の先端の位置が求められる。
【００２２】
ここでは、鉗子１１の位置を検出するために鉗子１１の処置部１３の先端に色マーカ１４を設けている。
【００２３】
以下に本発明の第１実施形態を説明する。まず、第１実施形態の概略を説明する。
【００２４】
画像処理による色マーカ１４の色抽出を行なう場合、画像を色空間と呼ばれる特徴空間に変換し、この特徴空間で特定色の領域を抽出する方法がしばしば用いられる。色空間としては、輝度と２つの色度とで表わすもの（ＹＩＱ、ＨＳＩ色空間など）がよく用いられる。これら色空間における色度、色相等の要素は輝度に対する独立性が高いために照明条件の変化に対して抽出範囲を設定して色抽出を行なうのが一般的である。図２はＹＩＱ色空間を用いた場合の色抽出設定の様子を示している。
【００２５】
ところが実際には、輝度に完全に独立した要素を持つ色空間は存在しない。従って、色度及び色相は輝度変化に伴って変化する。ＹＩＱ色空間における色度Ｉ及びＱも通常、図３に示すように変化する。すなわち、輝度が高くなるとＩ、Ｑ色度平面上で原点から遠い方向へシフトする（色飽和度、すなわち彩度が高くなる）。
【００２６】
図３の場合、色相角は不変で、色飽和度だけが変化している。しかし、撮像系のダイナミックレンジの影響等によって図４に示すように色相も変化する場合がある。したがって、従来のように固定の色抽出範囲を用いる方法では色抽出性能が低下してしまう。そこで、第１実施形態では、色抽出しきい範囲を図５に示すように輝度に応じて変化させるようにする。ここで輝度毎の色抽出範囲はあらかじめ設定しておく。このような方法を用いることによって、色マーカ１４の色変化に応じて最適な色抽出しきい範囲の設定が可能となり、色抽出性能が向上する。
【００２７】
図６は図１に示す鉗子追尾装置１６の第１実施形態に係る構成とその周辺を示すブロック図である。ＣＣＵ１８の出力は表示モニタ１７の他に、Ａ／Ｄ変換部１９を介して、輝度検出手段としての輝度推定回路２０と色変換回路２２とに接続されている。輝度推定回路２０はしきい範囲設定手段としての色抽出しきい範囲選択回路２１を介して色抽出回路２３の第１の入力に接続されている。また、色変換回路２２は色抽出回路２３の第２の入力に接続されている。色変換回路２２及び色抽出回路２３は色抽出手段を構成する。色抽出回路２３の出力は色マーカ位置特定手段としての重心位置算出回路２４と、視野変換手段としてのＣＣＤ駆動部制御回路２５とを介してＴＶカメラ４に接続されている。
【００２８】
上記した構成において、ＴＶカメラ４からの画像信号はＣＣＵ１８でＴＶ信号化されてＡ／Ｄ変換部１９でデジタル信号に変換される。このデジタル信号は輝度推定回路２０と色変換回路２２に同時に入力されて処理される。輝度推定回路２０はデジタル信号から画像の輝度を検出して色抽出しきい範囲選択回路２１に出力する。色抽出しきい範囲選択回路２１は検出された輝度に対応するしきい範囲を選択して色抽出回路２３に出力する。一方、色変換回路２２は入力されたデジタル信号を色空間に変換して色抽出回路２３に出力する。色抽出回路２３は選択されたしきい範囲に基づいて色空間中の特定色を抽出し、例えば抽出された部分を黒、それ以外は白とする２値画像を作成する。重心位置算出回路２４は抽出された黒の部分の重心位置を求めて、黒の画像の中心と、この重心位置との距離を求める。ＣＣＤ駆動部制御回路２５はこの距離情報に基づいてＣＣＤ駆動部７へＣＣＤ６の駆動量に関する制御信号を送る。
【００２９】
以下に上記した輝度推定回路２０の輝度推定方法について説明する。第１の推定方法では、まず、画像をブロックに分割して、各ブロックの平均輝度を算出する。この算出結果に基づいてブロック毎に色抽出しきい範囲選択回路２１で色抽出しきい範囲を選択する。
【００３０】
図７は５１２×５１２画素の画像をそれぞれが１２８×１２８画素からなる１６個のブロックに分割した例を示している。さらに、細かく輝度の推定を行なうためには、６４×６４画素のブロックを６４個、３２×３２画素のブロックを２５６個、…というように細かく分割していけばよい。
【００３１】
第２の推定方法として、図８に示すように、着目する１画素ごとに周囲の画素を参照して輝度を算出し、この算出結果に基づいて色抽出しきい範囲選択回路２１で色抽出しきい範囲を選択するようにする。参照画素としては、例えば図９に示すように着目画素を中心にして５×５の近傍画素を参照して、合計２５画素の平均輝度を算出する。
【００３２】
上記した第１の推定方法ではブロック内の色抽出領域は固定であるのに対して、第２の推定方法では画素毎に最適な色抽出範囲を選択できるため、色抽出能がより向上する。
【００３３】
上記した第１実施形態によれば、撮影画像の輝度変化による色分布変化が起こっても、色抽出能力が低下したり、ノイズを拾ったりすることなく、色マーカを確実に抽出することができる。
【００３４】
以下に本発明の第２実施形態を説明する。色マーカの色は色マーカ自体の劣化や、ＣＣＵ１８でのユーザによる色設定、生体内の色特性等によって変化するものである。このことより、実際の画像中の色マーカの色に基づいて色抽出範囲を定めるのが望ましい。そこで第２実施形態では図１０に示すような構成を用いる。図１０の構成は、図６に示す第１実施形態の構成において、Ａ／Ｄ変換部１９の後段に切替回路２６をさらに設け、輝度推定回路２０及び色抽出しきい範囲選択回路２１を、マーカ色分析回路（色分析手段）２７と色抽出しきい範囲設定回路（しきい範囲設定手段）２８とからなるキャリブレーション部（キャリブレーション手段）２９に置き換えた点が異なっているが、他の構成は図６の構成と同様である。
【００３５】
第２実施形態では装置の動作に先だってマーカ色分析回路２７で処置具先端の色マーカ部分の色分析を行い、その結果に基づいて色抽出しきい範囲設定回路２８で色抽出しきい範囲を設定するものである。すなわち、まず、Ａ／Ｄ変換部１９から出力されるデジタル映像信号（例えば、Ｒ、Ｇ、Ｂ、ＮＴＳＣ）がキャリブレーション部２９に入力されるように切替回路２６を手動で切り替えた後、マーカ色分析回路２７で色分析対象を指摘する。第１の指摘方法では、図１１に示すような表示モニタ１７中のカーソル１００を色マーカ１０１へと移動して、この移動した位置を中心とする例えば５×５などの近傍エリア内の画像信号から色分析を行なう。
【００３６】
また、第２の指摘方法では、図１２に示すような表示モニタ１７中にあらかじめ設定されたウィンドウ１０２（図では画面の中心に設定されている）に色マーカ１０１を移動させるようにする。
【００３７】
次に、色抽出しきい範囲設定回路２８での色抽出しきい範囲の設定は以下のようにして行なう。ここでは簡単のためにＩＱ２次元平面を考える。
【００３８】
第１の設定方法では、ＩＱ平面図により色分布を表示モニタ１７上に表示させた状態で、色抽出しきい範囲を定める直線の傾き及び円の直径をマウス操作や数値入力により変更して、分析したマーカー部がノイズ成分を含まず適切に抽出されるようにする。すなわち、図１３（ａ）に示すような色分布１０３において、この色分布１０３を包含するような２つの直線Ａ、Ｂに挟まれるとともに、図１３（ｂ）に示すように、ＩＱ座標の原点からの径方向距離を半径とする下限円１０４（この部分は低彩度領域であり、ノイズを含んでいる）を除去した部分を色抽出しきい範囲１０５として定める。
【００３９】
第２の設定方法は、図１４（ａ）に示すようにエリア内の画像信号についての画素ごとの分布を表示モニタ１７上に表示させた状態で、分布１０６の輪郭線１０７を検出する（図１４（ｂ））。そして、この輪郭線１０７で囲まれた範囲を色抽出しきい範囲１０８として定める（図１４（ｃ））。第２の設定方法においてもノイズを含む下限円１０の部分を除去する。
【００４０】
第２の設定方法によれば、第１の設定方法よりもさらに色分布形状に適応した色抽出しきい範囲を自動的に設定することができる。
【００４１】
なお、上記した第１、第２の設定方法においては、実際は輝度Ｙを含む３次元色空間で色抽出しきい範囲の設定を行なうものとする。これによって、輝度変化に頑健な色抽出が可能となる。
【００４２】
第３の設定方法では、複数の色抽出しきい範囲をテンプレートとしてあらかじめ用意しておき、その中から最適なものを選択するようにする。例えば、図１５において、複数の色抽出しきい範囲１１０〜１１５において、表示されている色分布１０９の領域を最も多く含む色抽出しきい範囲（図では１１０）を最適なものとして選択する。あるいは、色分布１０９の全分布数のうち、どの色抽出しきい範囲が最も多く色分布１０９の分布数を含んでいるかを計算により求めて最適なものを選択するようにしてもよい。第３の設定方法においてもノイズを含む下限円１０の部分を除去する。
【００４３】
なお、エリア内の色分析結果が全て色抽出しきい範囲外になった場合にはその色分布はノイズを発生する下限円１０４に含まれていると判断して抽出不可の警告を出力するようにする。
【００４４】
第３の設定方法によれば、あらかじめ色抽出しきい範囲を複数用意しておいて選択するので、しきい範囲の計算処理のための回路構成が簡単である効果がある。
【００４５】
次に、切替回路２６を切り替えてＡ／Ｄ変換部１９からの出力が色変換回路２２に入力されるようにする。この後の処理は上記した第１実施形態と同様である。なお、切替回路２６での切替えは自動で行なってもよい。
【００４６】
上記した第２実施形態によれば、色マーカの劣化、光学系のバラツキ、映像信号処理系の設定等による色マーカの色変化が起こっても、色抽出能力を落とすことなく色マーカを抽出することができる。
【００４７】
以下に本発明の第３実施形態を説明する。第３実施形態では上記した第１、第２実施形態のように色抽出しきい範囲を変更するのではなく、色抽出をより確実に行うために複数の色をもつマーカを用い、複数の色の抽出結果に基づいて色マーカ位置を特定するものである。図１６は本発明の第３実施形態に係る鉗子追尾装置１６の構成を示す図であり、ＣＣＵ１８からのＴＶ信号が入力されるＡ／Ｄ変換部１９と、色変換回路２２と、色抽出回路３０と、マーカ位置検出回路３１と、ＣＣＤ駆動部制御回路２５とが順に接続されている。
【００４８】
図１７（ａ）はマーカ配置の第１の例として、色の異なる２つのマーカ１２０（マーカ１）とマーカ１２１（マーカ２）を交互に配置した例を示している。ここで、色抽出領域を無彩度領域にまで拡大して抽出すると、色抽出結果は図１７（ｂ）に示すように色マーカが確実に検出される反面、マーカ１の誤抽出によるノイズ１２２やマーカ２の誤抽出によるノイズ１２３も検出されてしまう。
【００４９】
そこで、マーカ位置検出回路３１は、色抽出回路３０によって抽出された抽出色１、２、３、…ｎに基づいて、マーカ１とマーカ２の抽出領域が交互に並んたパターンであるか否かを判断し、この判断に基づいて色マーカの検出を行なう。このような判断では、マーカ１の誤抽出によるノイズ１２２やマーカ２の誤抽出によるノイズ１２３は当該パターンであるとはみなされないので除去され（図１７（ｃ））、これによって色マーカのみを確実に検出することができる。
【００５０】
図１８（ａ）は図１８（ｂ）に示すようなマンセル表色系の色相環上で、１０Ｇから１０ＧＹまでの５種類の色相を色マーカに配置したマーカ配置の第２の例を示す図である。
【００５１】
以下にこのような色マーカを用いた場合の利点を説明する。色マーカが１種類の色からなる場合には、その色に対応して図１９（ａ）に示す色相環上のあるマーカ色相が抽出しきい範囲となるが、色調が変化した場合には、図１９（ｂ）に示すように、マーカ色相は抽出しきい範囲からはずれた位置にシフトしてしまい、色の抽出ができなくなってしまう。
【００５２】
これに対して、図１９（ｃ）に示すように５種類の色相をもつ色マーカを用いることにより、色調が変化して図１９（ｄ）に示すようにマーカ色相がシフトしても、いずれかのマーカ色相が抽出しきい範囲に属している可能性が高いので色マーカの抽出が可能である。
【００５３】
図２０は第３のマーカ配置例として、１０Ｇ、５Ｇ、１０ＧＹの３種類の色相を配置し、各色相について２種類の異なる明度を色マーカとして用いた例を示している。このような構成によれば、色調の変化とともに輝度が変化した場合でも頑健な色の抽出が可能である。
【００５４】
上記した第３実施形態によれば、ノイズ抽出を防いで高精度で色マーカを抽出でき、色マーカ位置を検出できる。
【００５５】
以下に本発明の第４実施形態を説明する。第４実施形態では色マーカ検出画像処理において、色情報の加えて色情報以外の画像情報をも用いることにより検出精度をさらに上げることを意図している。
【００５６】
図２１は第４実施形態に係る鉗子追尾装置１６の構成を示す図であり、Ａ／Ｄ変換部１９の後段には色抽出回路２３と直線抽出回路（直線抽出手段）４４とが並列に接続され、これらの後段にはマーカ位置決定回路４５を介して重心位置算出回路２４が接続されている。重心位置算出回路２４はＴＶカメラ４に接続されているＣＣＤ駆動部制御回路２５に接続されている。
【００５７】
上記した構成において、色抽出回路２３は図２２（ａ）に示すような色マーカ１４を有する処置部の原画像から色マーカ１４の色の抽出を行って図２２（ｂ）に示すような画像を得る。同時に直線抽出回路４４は原画像から色マーカ１４のエッジ部の２直線を抽出して図２２（ｃ）に示すような画像を得る。マーカ位置決定回路４５は色抽出回路２３で抽出された画像のうち、直線抽出回路４４で抽出された２直線に挟まれる画像のみをマーカ位置決定のための画像とする（図２２（ｄ））。
【００５８】
また、色マーカ１４は処置部の先端より多少手前の位置に設けられているが、処置部の最先端に設けたい場合がある。このような場合は図２３（ａ）に示すように直線抽出回路４４で求めた２直線の相対角度θ、及び２直線間の距離などの情報に基づいて先端位置を求めることができる。
【００５９】
また、色マーカ１４の形状の変形例として、図２３（ｂ）に示すように、鉗子軸方向に平行な直線を用いてマーカを形成することにより、上記した２直線の情報に鉗子方向の直線情報を追加する。これによって鉗子方向を表す直線情報の検出がより確実になる。
【００６０】
上記した第４実施形態によれば、ノイズ抽出を防いで高精度で色マーカを抽出でき、色マーカ位置を検出できる。
【００６１】
図２４は本発明の第５実施形態に係る鉗子追尾装置１６及び鉗子１１の構成を示す図であり、Ａ／Ｄ変換部１９の後段には順に色変換回路２２、色抽出回路２３、重心位置算出回路５３、ＣＣＤ駆動部制御回路２５が接続されている。また、鉗子１１の柄の部分にはジャイロ及び加速度センサからなるマーカ位置センサ５１が設けられ、このマーカ位置センサ５１はマーカ位置候補領域設定回路（候補領域設定手段）５２を介して重心位置算出回路５３に接続されている。
【００６２】
上記した構成において、図２５（ａ）に示すような原画像から色抽出回路２３で色抽出を行って図２５（ｂ）に示すような画像を得る。同時にマーカ位置センサ５１によって色マーカ１４の位置が検出されたとき、マーカ位置候補領域設定回路５２は検出されたマーカ位置に対応するマーカ位置候補領域を設定する（図２５（ｃ））。重心位置算出回路５３はこのマーカ位置候補領域に入る画像のみを色マーカ１４の領域とし、その他の画像はノイズとして除去する（図２５（ｄ））。
【００６３】
上記した第５実施形態によれば、ノイズ抽出を防いで高精度で色マーカを抽出でき、色マーカ位置を検出できる。また、マーカ位置センサ５１によって検出されるのが点ではなく範囲でよく、高い検出精度が必要ではないため、センサのコストを低減することができる。
【００６４】
以下に本発明の第６実施形態を説明する。画面中における処置部の先端に設けられた色マーカの大きさはスコープからの鉗子の距離によって変化する。例えば、鉗子が遠くにあるときには鉗子に設けられた色マーカからの反射光量が微弱になり色の検出ができなくなってしまう。そこで、色マーカの大きさを大きくすることが考えられるが、今度は鉗子が近くにある場合に画面に占める面積が大きくなって適切な視野変換ができなくなってしまう。
【００６５】
第６実施形態ではこのような問題を考慮して、図２６に示すように大きさの異なる複数のマーカ（マーカ１、マーカ２）を用いて、スコープと鉗子との距離に応じて、視野変換の目標として最適なものを選択するようにする。
【００６６】
図２７は第６実施形態に係る鉗子追尾装置１６の構成を示す図であり、ＣＣＵ１８からのＴＶ信号が入力されるＡ／Ｄ変換部１９と、色変換回路２０と、色抽出回路３２と、マーカ選択回路３３と、重心位置算出回路２４と、ＣＣＤ駆動部制御回路２５とが順に接続されている。
【００６７】
色抽出回路３２はマーカ１及びマーカ２の色を抽出し、位置・面積検出手段としてのマーカ選択回路３３はこの色抽出結果に基づいてマーカ１とマーカ２の位置及び面積を検出する。そして、目標位置決定手段としての重心位置算出回路２４は、抽出された各マーカの面積から鉗子−スコープ間距離を求め、図２８に示すように、その距離がしきい値よりも大きい場合には面積の小さいマーカ２をターゲットして選択し、その距離がしきい値よりも小さい場合には面積の大きいマーカ１をターゲットして選択する。
【００６８】
すなわち、鉗子−スコープ間距離が小さく近接している場合には、図２９（ａ）に示すように面積の小さいマーカ２をターゲットとすることにより、重心位置算出回路２４で算出されるマーカ重心位置と、鉗子先端位置との誤差が小さくなるようにする。また、鉗子−スコープ間距離が大きく鉗子が遠点にある場合には、図２９（ｂ）に示すように面積の大きいマーカ１をターゲットとすることにより、十分なマーカ抽出面積を確保して先端位置の推定を確実に行なうようにする。
【００６９】
上記した第６実施形態によれば、内視鏡と色マーカとの距離が大きく変化する場合でも、適切な面積の色マーカを抽出でき、これによって安定した色抽出、色マーカ位置の検出が可能となる。
【００７０】
以下に、本発明の第７実施形態を説明する。第７実施形態は色マーカとして蛍光マーカを用い、色マーカの検出をより確実に行なうことを目的としている。蛍光マーカは、特定波長の光が照射されている間に吸収した光エネルギーを変換して可視光を発光する蛍光体を用いたマーカである。蛍光体の例としては、ローダミンＢ、ブリリアントスルホフラビンＦＦなどがある。
【００７１】
図３０は本発明の第７実施形態の構成を示す図である。図３０において、画像処理装置４０は観察画像生成回路（観察画像生成手段）４２と、切替回路（信号経路切替手段）４１と、マーカ位置検出回路４３とから構成される。また、照明手段としての光源３５は、ランプ３４と、回転フィルタ３６と、モータ３８と、タイミングコントローラ３７とから構成される。画像処理装置４０の観察画像生成回路４２は表示モニタ１７に接続され、画像処理装置４０の切替回路４１は光源３５のタイミングコントローラ３７に接続されている。
【００７２】
また、光学素子５とＣＣＤ６とＣＣＤ駆動部７とから構成されるＴＶカメラ４には、スコープ１が接続されるとともに、画像処理回路４０が接続されている。さらに、光源３５はライトガイドケーブル３４を介してスコープ１に接続されている。
【００７３】
図３１（ａ）は上記した回転フィルタ３６の構成を示す図である。図３１（ａ）に示すように、３／４円領域の通常照明光用フィルタ３６ａと、蛍光マーカを有して励起光のみを透過する１／４円領域のフィルタ３６ｂとから構成される。以下に上記した構成の作用を図３２のタイミングチャートに基づいて説明する。タイミングコントローラ３７による制御の下にモータ３８が駆動され、これによって回転フィルタ３６が４フレームの画像につき１回転される。この回転によってフィルタ３６ａ、３６ｂからは図３２の（ａ）、（ｂ）で示すような光が出力される。したがって、ランプ３４からの照明光がフィルタ３６ａを通過したときには、通常照明光が色マーカ１４に、フィルタ３６ｂを通過したときには励起光が色マーカ１４に時分割的に供給される。本実施形態では色マーカ１４として図３１（ｂ）に示す蛍光マーカを用いているので、図３１（ｃ）に示すような特性により、色マーカ１４は励起光が供給されたときにのみ蛍光を発する。
【００７４】
信号経路切替手段としての切替回路４１の切替え動作はタイミングコントローラ３７によって以下のように制御される。すなわち、ＴＶカメラ４による撮像により得られる画像信号（図３２の（ｃ））は、通常照明光の供給時には観察画像生成回路４２に送信され、励起光供給時（色マーカ１４から蛍光が発生されているとき）には位置検出手段としてのマーカ位置検出回路４３に送信されるように制御される。
【００７５】
マーカ位置検出回路４３は励起光供給のタイミングで入力される画像信号（図３２の（ｆ））に基づいて色マーカ１４の位置を検出して、検出された位置に基づいて内視鏡の視野を変換すべく図３２の（ｇ）に示すようなＣＣＤ駆動制御信号を生成してＴＶカメラ４のＣＣＤ駆動部７に供給する。
【００７６】
また、観察画像生成回路４２には切替回路４１の切替動作により図３２の（ｄ）に示すように一部が欠落した画像信号が入力されるので、観察画像生成回路４２はこの欠落画像を予測生成（この実施形態では１つ前の画像信号を用いて補間）する（図３２の（ｅ））。これによって表示モニタ１７には画像の切れ目のない表示がなされる。
【００７７】
上記した第７実施形態によれば、照明条件、体腔内組織の状態によらず、確実に色マーカの抽出、色マーカの位置検出が可能となる。
【００７８】
以下に本発明の第８実施形態を説明する。第８実施形態の基本的回路構成は第７実施形態と同様であるが、回転フィルタ３６と色マーカ１４の構成が異なっている。すなわち、第６実施形態の回転フィルタ３６′は図３３（ａ）に示すように、３／４円領域の通常照明用フィルタ３６ａ′と１／４円領域の遮光部３６ｂ′とから構成される。また、第８実施形態では色マーカとして図３３（ｂ）に示すような発光マーカ１４′を用いることを特徴とする。発光マーカ１４′は光照射後も発光を持続する燐光体を用いたマーカである。ここでは図３３（ｃ）に示すように、発光期間が画像１フレームに相当する１／３０秒よりも長い燐光材料を用いる。燐光体の例としては、硫化カルシウム系（ＣａＳ／Ｂｉ、Ｃａ・Ｓｒ・Ｓ／Ｂｉ）や、硫化亜鉛系（ＺｎＳ／Ｃｕ、Ｚｎ・Ｃｄ・Ｓ／Ｃｕ）などがある。
【００７９】
なお、発光マーカ１４′を用いた場合の信号処理の流れは、上記した図２３のタイミングチャートにおいて、蛍光励起用照明を除いたものと同一である。
【００８０】
上記した第８実施形態によれば、照明条件、体腔内組織の状態によらず、確実に色マーカの抽出、色マーカの位置検出が可能となる。
【００８１】
以下に本発明の第９実施形態を説明する。画像中に色マーカが存在しない状態でノイズを誤抽出してしまうことがある。このような状況において操作スイッチを誤って押してしまうと、抽出されたノイズを色マーカであるとみなして誤動作を起こしてしまう。第８実施形態はこのような不具合を防止することを意図している。
【００８２】
図３４は本発明の第９実施形態に係る鉗子追尾装置１６の構成を示す図であり、Ａ／Ｄ変換部１９の後段には、色変換回路２２を介して色抽出回路２３が接続されている。色抽出回路２２は色マーカ認識手段としての抽出画素数計数回路４６を介してＣＣＤ駆動部制御回路４７の第１の入力に接続されるとともに、重心位置算出回路（色マーカ位置特定手段）２４を介してＣＣＤ駆動部制御回路４７の第２の入力に接続されている。
【００８３】
この実施形態では抽出画素数計数回路４６は、色抽出回路２３にて抽出された色に基づいて画素数を計数して、所定の画素数以上である場合に色マーカが存在するものと認識してＣＣＤ駆動部制御回路４７に信号を送って視野変換動作を行なう。また、色マーカが存在しないと判断された場合には視野変換動作を行わないようにする。
【００８４】
図３５は色マーカが存在しない場合の誤動作を防止する第２の構成を示す図であり、Ａ／Ｄ変換部１９の後段には、色変換回路２２を介して色抽出回路２３が接続されている。色抽出回路２２は重心位置算出回路２４を介してＣＣＤ駆動部制御回路４７の第１の入力に接続されている。ＣＣＤ駆動部制御回路４７の第２の入力にはマーカ存在判定回路４９を介して鉗子１１の柄の部分に設けられ、ジャイロと加速度センサとからなる鉗子先端位置センサ（色マーカ位置センサ）４８が接続されている。
【００８５】
この構成では鉗子の先端位置がどこにあるのかを鉗子先端位置センサ４８によって検出して、検出された位置情報に基づいてマーカ存在判定回路４９で色マーカ１４が視野内にあるか否かを判定する。そして、色マーカ１４が視野内にあるときのみＣＣＤ駆動部制御回路５０に視野変換動作のための信号を送るようにする。
【００８６】
上記した第９実施形態によれば、ノイズ抽出を防ぎ、高精度での色マーカの抽出、色マーカ位置の検出が可能となる。
【００８７】
以下に本発明の第１０実施形態を説明する。第１０実施形態はノイズの誤抽出は、輝度が高く白とびの部分（ハイライト部）において発生しやすいので、これを抑制することを意図している。
【００８８】
図３６は本発明の第１０実施形態の構成を示す図であり、ＴＶカメラ４とスコープ１との間には偏光フィルタ５５ｂが設けられている。また、スコープ１にはランプ３４と偏光フィルタ５５ａを備えた照明手段としての光源５４が接続されている。さらに、ＴＶカメラ４は鉗子追尾装置１６を介して表示モニタ１７に接続されている。
【００８９】
上記した構成において、光源５４の偏光フィルタ５５ａとＴＶカメラ４とスコープ１の間の偏光フィルタ５５ｂの位相を、調節手段としての偏光フィルタ回転操作部６を手動操作することにより調節してハイライト部の発生を抑制する。
【００９０】
上記した第１０実施形態によれば、特にハイライト部のノイズ抽出を防ぎ、高精度での色マーカの抽出、色マーカ位置の検出が可能となる。
【００９１】
以下に、本発明の第１１実施形態を説明する。第１１実施形態では、上記した実施形態のようにすべての画像について色抽出を行なうのではなく、予測によって得られるマーカ位置領域についてのみ色抽出を行なう。これによって色抽出画像処理における画像操作方法を色抽出処理に最適なものとすることにより、色抽出性能を向上することを意図している。
【００９２】
図３７は第１１実施形態に係る鉗子追尾装置１６の構成を示す図であり、Ａ／Ｄ変換部１９の後段には、フレームメモリ５７、メモリ読み出し回路５８、色変換回路２２、色抽出回路２３が順に接続されている。色抽出回路２３は重心位置算出回路（位置算出手段）５９とデータバッファ１（６１）とを介して重心位置予測回路（位置予測手段）６３に接続されるとともに、面積算出回路（面積算出手段）６０とデータバッファ２（６２）とを介して面積予測回路６４に接続されている。重心位置予測回路（面積予測回路）６３はメモリ読み出し回路５８に接続されている。
【００９３】
面積比較回路６５の入力は面積算出回路６０と面積予測回路６４とに接続されるとともに、その出力はメモリ読み出し回路５８とＣＣＤ駆動部制御回路６６とに接続されている。さらに、このＣＣＤ駆動部制御回路６６は重心位置算出回路５９とデータバッファ１（６１）の接続点に接続されている。
【００９４】
以下に上記した構成の作用を説明する。
【００９５】
まず、例えば図３８に示すような過去の３枚のフレーム、ｎ−３、ｎ−２、ｎ−１をあらかじめデータバッファ１（６１）に記憶し、これら３枚のフレームから重心位置予測回路６３でマーカ重心位置を予測する。同様に、過去の３枚のフレーム、ｎ−３、ｎ−２、ｎ−１をあらかじめデータバッファ２（６２）に記憶し、これら３枚のフレームから面積予測回路６４でマーカ面積を予測する。次に、メモリ読み出し回路５８は重心位置予測回路６３によって予測された重心位置に対応する読み出し位置指示信号に基づいて、予測マーカ重心位置に近い所定エリアの画素を読み出す（図３９（ａ））。読み出された画素に対して色変換回路２２で色変換を行い、色抽出回路２３で色抽出を行った後、重心位置算出回路５９で重心位置を算出するとともに、面積算出回路６０で面積の算出を行なう。
【００９６】
面積比較回路６５はこの算出された面積と面積予測回路６４で予測された面積とを比較して予測マーカ面積に到達したか否かを判断する。到達していなければ、さらに読み出し画素領域を増やして再度色抽出回路２３で色抽出を行って（図３９（ｂ））、面積算出回路６０で面積を算出し、面積比較回路６５で面積予測回路６４で予測した面積と比較する。このように、予測マーカ位置に近い画素から順に色抽出処理を行って面積を算出し、算出面積が予測マーカ面積に達したときに（図３９（ｃ））、メモリ読み出し回路５８に処理終了信号を供給してマーカ抽出を終了する。
【００９７】
上記した第１１実施形態によれば、背景のノイズを誤抽出することなく、高精度での色マーカの抽出、色マーカ位置の検出が可能となる。
【００９８】
以下に本発明の第１２実施形態を説明する。上記した実施形態では色変換回路と色抽出回路と別個に構成している。このような構成では色空間を変更する場合には双方の回路を変更する必要がある。また、色変換回路と色空間回路とを各々ＬＵＴによって構成した場合も双方のテーブルを書き換える必要がある。
【００９９】
そこで、第１２実施形態では図４０（ａ）に示すようなルックアップテーブル（ＬＵＴ）を用いて、ＲＧＢの映像信号をＹＩＱの色空間に変換する処理と、しきい値を用いた色抽出処理とを１つの素子で行なうことを意図している。この場合、ＬＵＴ１００はＲＯＭで構成される。
【０１００】
また、従来では色変換回路をハードウェアで構成する場合、特定の色空間に対してそのハードウェア構成が特定されてしまい、複数の異なる色空間に対してそれぞれのハードウェア構成が必要になる。そこで、第１２実施形態では、ＬＵＴ１００に不揮発性のメモリを用い、図４０（ｂ）に示すようにＹＩＱ、ＨＣＶ、Ｌ* ａ* ｂ* などの各色空間に応じて書き換えるようにする。このようにすれば、いかなる色空間でもＬＵＴ１００の入出力パターンを書き換えるだけで用いることができる。
【０１０１】
なお、上記した具体的実施形態には以下の構成１乃至４２を有する発明が含まれている。
【０１０２】
１．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、
前記画像信号の輝度を検出する輝度検出手段と、
検出された輝度情報に応じて色抽出しきい範囲を設定するしきい範囲設定手段と、
設定されたしきい範囲に基づき画像中の特定色を抽出する色抽出手段と、
この色抽出結果に基づき前記色マーカの位置を特定する色マーカ位置特定手段と、
を具備することを特徴とする内視鏡装置。
【０１０３】
２．１において、
前記輝度検出手段は、画像を複数のブロックに分割した後に各ブロック毎に輝度を検出し、前記しきい範囲設定手段は、検出された輝度に基づきブロック毎にしきい範囲を定める。
【０１０４】
３．１において、
前記輝度検出手段は、画素毎に近傍画素を参照して輝度を検出し、前記しきい範囲設定手段は、検出された輝度に基づき画素毎にしきい範囲を定める。
【０１０５】
４．２、３において、
前記しきい範囲設定手段で設定されるしきい範囲は、検出された輝度に応じてその位置・大きさが定められている色度平面上の長方形領域である。
【０１０６】
５．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、色抽出しきい範囲を定めるキャリブレーション手段と、このキャリブレーション手段によって設定されたしきい範囲に基づき画像中の特定色を抽出する色抽出手段と、色抽出結果に基づき色マーカの位置を特定する色マーカ位置特定手段とを有する。
【０１０７】
６．５において、
前記キャリブレーション手段は、画像中の色マーカの色を分析する色分析手段と、色分析結果に基づき色抽出しきい範囲を定めるしきい範囲設定手段とを有する。
【０１０８】
７．６において、
前記色分析手段は、画像中に表示された位置可変のカーソルを中心とする所定エリアの画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色空間の色度平面上で２直線に挟まれ、かつ色空間原点からの距離が所定値以上となる領域を色抽出しきい範囲とする。
【０１０９】
８．６において、
前記色分析手段は、画像中に表示された位置可変のカーソルを中心とする所定エリアの画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色空間原点からの距離が所定値以上となる領域で、かつ色空間に変換された分析対象画素の色分布の輪郭線に囲まれた閉領域を色抽出しきい範囲とする。
【０１１０】
９．６において、
前記色分析手段は、画像中に表示されたウィンドウ内の画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色空間の色度平面上で２直線に挟まれ、かつ色空間原点からの距離が所定値以上となる領域を色抽出しきい範囲とする。
【０１１１】
１０．６において、
前記色分析手段は、画像中に表示されたウィンドウ内の画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色空間原点からの距離が所定値以上となる領域で、かつ色空間に変換された分析対象画素の色分布の輪郭線に囲まれた閉領域を色抽出しきい範囲とする。
【０１１２】
１１．６において、
前記色分析手段は、画像中に表示された位置可変のカーソルを中心とする所定エリアの画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色分析結果に基づきあらかじめ定められた複数の色抽出しきい範囲の中から最適なものを選択する。
【０１１３】
１２．６において、
前記色分析手段は、画像中に表示されたウィンドウ内の画像信号を画素毎に色空間に変換し、前記しきい範囲設定手段は、色分析結果に基づきあらかじめ定められた複数の色抽出しきい範囲の中から最適なものを選択する。
【０１１４】
１３．１１、１２において
しきい範囲設定手段は、色分析結果に基づき複数の色抽出しきい範囲の中で適したものがない場合に警告を発する。
【０１１５】
１４．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、色マーカが持つ複数の特定色を抽出する色抽出手段と、複数の色抽出結果に基づき色マーカの位置を特定する色マーカ位置特定手段を有する。
【０１１６】
１５．１４において、
前記色マーカは、色特性の異なる複数のマーカを近接して配置してなる。
【０１１７】
１６．１４において、
前記色マーカは、色特性の異なる２つのマーカを交互に並べて配置してなる。１７．１５、１６において、
前記色特性は、色相及び／または明度である。
【０１１８】
１８．１５、１７において、
前記色マーカ位置特定手段は、複数の特定色が近接して抽出された領域のみを色マーカと判定し、その他の領域をノイズとして色抽出領域から除外する。
【０１１９】
１９．１６、１７において、
前記色マーカ位置特定手段は、２種類の特定色が交互に並んで抽出された領域のみを色マーカと判定し、その他の領域をノイズとして色抽出領域から除外する。
【０１２０】
２０．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、画像中の特定色を抽出する色抽出手段と、画像中の直線を抽出する直線抽出手段と、色抽出結果と直線抽出結果を統合して色マーカ位置を特定する色マーカ位置特定手段とを有する。
【０１２１】
２１．２０において
前記色マーカの一部は、鉗子軸方向に平行に直線状に施される。
【０１２２】
２２．２０、２１において、
前記色マーカ位置検出手段は、所定の間隔及び相対角度を有する２直線に挟まれた色抽出領域を色マーカと判定する。
【０１２３】
２３．２２において、
前記色マーカ位置検出手段は、２直線の間隔及び相対角度から鉗子先端位置を推定する。
【０１２４】
２４．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、色マーカ位置センサと、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、画像中の特定色を抽出する色抽出手段と、前記色マーカ位置センサの出力に基づき画像中の色マーカ位置の候補領域を設定する候補領域設定手段と、候補領域内の色抽出領域を色マーカと判定する色マーカ位置特定手段とを有する。
【０１２５】
２５．２４において、
色マーカ位置センサは、ジャイロ及び加速度センサからなる。
【０１２６】
２６．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、複数の特定色を抽出する色抽出手段と、複数の色抽出結果に基づき、複数の色マーカ各々の位置及び面積を検出する位置・面積検出手段と、検出された複数の色マーカ各々の面積に基づき、視野変換の目標位置を決定する目標位置決定手段とを有する。
【０１２７】
２７．２６において
前記複数の色マーカは、色特性及び大きさが異なる。
【０１２８】
２８．２７において
前記目標位置決定手段は、前記色マーカ検出手段にて検出された面積に基づいて内視鏡先端と鉗子先端との距離を推定し、距離が大きい場合には面積が小さい色マーカ、距離が小さいときには面積が大きい色マーカの位置を目標位置とする。
【０１２９】
２９．内視鏡と、
通常照明光と蛍光励起光を時分割的に供給する照明手段と、
前記励起光に対して蛍光を発する蛍光マーカが設けられた手術器具と、
前記内視鏡の観察像を撮像する撮像手段と、
この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、
モニタに表示する観察画像を生成する観察画像生成手段と、
前記内視鏡から得られた画像信号を、通常照明光供給時には観察画像生成手段に送信し、励起光供給時には位置検出手段に送信する信号経路切換手段と、
検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段と、
を具備する内視鏡装置。
【０１３０】
３０．２９において、
前記照明手段は、通常照明用フィルタと励起光透過フィルタからなる回転フィルタを有する。
【０１３１】
３１．２９、３０において
前記観察画像生成手段は、励起光供給時には過去の画像信号に基づき予測処理により観察画像を生成する。
【０１３２】
３２．内視鏡と、
一定周期で照明点灯と消灯を繰り返す照明手段と、
所定時間以上の発光期間を有する発光マーカが設けられた手術器具と、
前記内視鏡の観察像を撮像する撮像手段と、
この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、
モニタに表示する観察画像を生成する観察画像生成手段と、
前記内視鏡から得られた画像信号を、照明点灯時には観察画像生成手段に送信し、照明消灯時には位置検出手段に送信する信号経路切換手段と、
検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段と、
を具備する内視鏡装置。
【０１３３】
３３．３２において
前記照明手段は、照明光透過と遮断とを切り替える回転フィルタを有する。
【０１３４】
３４．３２、３３において、
前記観察画像生成手段は、照明消灯時には過去の画像信号に基づき予測処理により観察画像を生成する。
【０１３５】
３５．３２、３３、３４において、
前記発光マーカの発光期間は少なくとも画像１フレームに相当する時間である。
【０１３６】
３６．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、画像中の特定色を抽出する色抽出手段と、色抽出結果に基づき色マーカ位置を特定する色マーカ位置特定手段と、画像中の色マーカの存在を認識する色マーカ認識手段とを有し、
前記色マーカ認識手段が画像中に色マーカが存在しないと判定した場合には、視野変換動作を停止する。
【０１３７】
３７．３６において
前記色マーカ認識手段は、前記色抽出手段の抽出画素数が所定値以下の場合に、色マーカが画像中に存在しないと判定する。
【０１３８】
３８．３４において
前記手術器具には色マーカ位置センサが設けられ、前記色マーカ認識手段は、この色マーカ位置センサの出力に基づき、画像中の色マーカの存在を判定する。３９．３８において
前記色マーカ位置センサは、ジャイロ及び加速度センサからなる。
【０１３９】
４０．内視鏡と、
照明光を偏向させる第１の偏光フィルタを有する照明手段と、
特定色を持つ色マーカが設けられた手術器具と、
前記内視鏡の観察像を撮像する撮像手段と、
この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、
前記撮像手段に設けた第２の偏光フィルタの偏光方向を調節する調節手段と、
検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段と、
を具備する内視鏡装置。
【０１４０】
４１．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、１画面を記憶するフレームメモリと、画像中の特定色を抽出する色抽出手段と、色抽出結果に基づき色マーカの位置及び面積を求める位置・面積算出手段と、過去の画像の色マーカの位置及び面積から、現在の画像の色マーカの位置及び面積を予測する位置・面積予測手段とを有し、
予測した色マーカ位置と距離が近い画素から順にフレームメモリより読み出し色抽出手段に入力し、色抽出面積が予測した色マーカ面積に達した時点でマーカ位置検出処理を完了とする。
【０１４１】
４２．内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記画像信号を所定の色空間に変換する色変換手段と、
色変換された画像中の特定色を抽出する色抽出手段と、
を具備し、前記色変換手段と色抽出手段とを１つの素子で構成する。
【０１４２】
上記した構成１乃至４２に対する従来技術、発明の目的は以下の通りである。１乃至４（第１実施形態）
従来技術
従来より、手術器具としての処置具の先端に設けられた色マーカの位置を検出し、この検出位置に基づいて内視鏡の視野変換を行なう内視鏡装置が知られている。
【０１４３】
特開平６−３０８９６号公報は色マーカが設けられた処置具で対象組織を指し示し、このときの画像中の色マーカの位置を画像処理により検出し、検出位置に基づいて内視鏡を保持している電動マニピュレータを移動させて色マーカが画面中央に移動するように視野変換を行っている。
【０１４４】
また、特願平７−１４２１３３号明細書や特願平７−１４３６６７号明細書は、色マーカの位置検出方法は特源平６−３０８９６号公報と同一であるが、内視鏡で得られた像を撮像するＴＶカメラに接続された視野変換手段を備え、内視鏡を固定した状態で視野変換を行なう内視鏡装置を開示している。
【０１４５】
上記した画像処理は色抽出処理と位置検出処理とから構成される。色抽出処理は撮像した映像信号を色空間データに変換し、そのデータがあらかじめ設定された色マーカの特定色を表すしきい値の範囲内にあるかどうかを判断し、判断結果として２値画像（例えば抽出部を白とし、それ以外を黒とする）を出力している。
【０１４６】
ところで、体腔内の画像は内視鏡と観察対象との距離変化や、内視鏡から出射される照明光の配光ムラ等の照明条件によって明るさ（輝度）が変化する。この変化する輝度と色（色度、彩度）が独立している色空間を用いれば、理論的には輝度が変化しても色分布は不変である。しかしながら、実際には輝度が上がると彩度も上昇する。また、撮像素子のダイナミックレンジを越える高輝度像が入力されると、色度も変化してしまう。また、しきい値が固定されているので、色度の変化に対応できず色抽出能力が低下してしまう。一方、この変動を見越してしきい値の範囲を大きくすると、色マーカ以外の部分までノイズとして抽出されてしまうという問題があった。
【０１４７】
発明の目的
撮像画像の輝度変化による色分布変化が起こっても、色抽出能力が落ちたりノイズを拾ったりすることなく、色マーカを抽出可能である画像処理手段を備えた内視鏡装置の提供。
【０１４８】
５乃至１３（第２実施形態）
従来技術
処置具に設けられた色マーカは、洗浄・滅菌を行ううちに色が劣化してくる。また、内視鏡・ＴＶカメラの光学系のバラツキ、ＣＣＵ（カメラコントロールユニット）のユーザーによる色設定の違い、生体内色特性の固体差等により、同じ色マーカでも違った色として認識でも違った色として認識されることがある。これら複数の要因による色変化がある状況では、固定されたしきい範囲でこの変化に対応し高い色抽出能力を持たせることは困難である。
【０１４９】
発明の目的
色マーカの劣化、光学系のバラツキ、映像信号処理系の設定等による色マーカの色変化が起こっても、色抽出能力を落とすことなく色マーカを抽出可能である画像処理手段を備えた内視鏡装置の提供。
【０１５０】
１４乃至１９（第３実施形態）、２０乃至２３（第４実施形態）、２４、２５（第５実施形態）、３６乃至３９（第９実施形態）、４０（第１０実施形態）、４１（第１１実施形態）
従来技術
体腔内組織の内、腸や脂肪等の白っぽい組織は表面が濡れていてるとハイライトになる場合がある。このハイライト部が光学系・撮像素子の特性等で色が付いて撮像され、ノイズとして抽出されてしまう。また、色マーカが内視鏡軸に対し傾いたり、内視鏡から遠くにあると色マーカの彩度が下がるため、しきい範囲を低彩度側まで拡げて抽出能を上げることが必要となる。しかし色抽出能力が向上する反面、色マーカ以外の低彩度領域もノイズとして抽出してしまう。
【０１５１】
発明の目的
ノイズ抽出を防ぎ、高精度で色マーカを抽出可能、色マーカ位置を検出可能な内視鏡装置の提供。
【０１５２】
２６乃至２８（第６実施形態）
従来技術
体腔内での内視鏡先端と観察対象との距離は、症例によっても、また同一症例でも変化する。処置具に単一の色マーカのみが設けられている場合は、内視鏡と色マーカの距離が離れてしまうと抽出しずらくなる。色マーカの面積を大きくすれば抽出能は上がるが、距離が短くなると画面中に占める色マーカの面積が大きすぎて、所望の位置への視野変換ができなくなる。
【０１５３】
発明の目的
内視鏡と色マーカの距離が大きく変化する場合でも、適切な面積の色マーカを抽出可能とすることにより、安定した色抽出、色マーカ位置の検出が可能な内視鏡の提供。
【０１５４】
２９乃至３１（第７実施形態）、３２乃至３５（第８実施形態）
従来技術
通常の色マーカを用い、色抽出画像処理により色マーカを抽出する方法では、照明条件や体腔内組織の状態によって抽出状態が変化するため、全ての条件において安定した色マーカの抽出を可能にすることは難しい。
【０１５５】
発明の目的
照明条件、体腔内組織の状態によらず、確実に色マーカの抽出、色マーカ位置の検出が可能となる内視鏡装置の提供。
【０１５６】
４２（第１２実施形態）
従来技術
色変換回路と色抽出回路と別個に構成していたので色空間を変更する場合には双方の回路を変更する必要がある。また、色変換回路と色空間回路とを各々ＬＵＴによって構成した場合も双方のテーブルを書き換える必要があった。
【０１５７】
発明の目的
ＲＧＢの映像信号をＹＩＱの色空間に変換する処理と、しきい値を用いた色抽出処理とを１つの素子で行ない、色空間に応じて入出力パターンを書き換えることができる内視鏡装置の提供。
【０１５８】
【発明の効果】
本発明によれば、撮影画像の輝度変化による色分布変化が起こっても、色抽出能力が低下したり、ノイズを拾ったりすることなく、色マーカを確実に抽出できるようになる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る内視鏡装置全体の概略構成を示す図である。
【図２】ＹＩＱ色空間を用いた場合の色抽出設定の様子を示している。
【図３】ＹＩＱ色空間における色度Ｉ及びＱの変化の様子を示す図である。
【図４】撮像系のダイナミックレンジの影響等による色相の変化の様子を示す図である。
【図５】色抽出しきい範囲を輝度に応じて変化させる本実施形態の概略を説明するための図である。
【図６】本発明の第１実施形態に係る鉗子追尾装置の構成とその周辺を示すブロック図である。
【図７】第１の輝度推定方法を説明するための図である。
【図８】第２の輝度推定方法を説明するための図である。
【図９】第２の輝度推定方法の具体的例を示す図である。
【図１０】本発明の第１実施形態に係る鉗子追尾装置の構成とその周辺を示すブロック図である。
【図１１】色分析対象の第１の指摘方法を説明するための図である。
【図１２】色分析対象の第１の指摘方法を説明するための図である。
【図１３】色抽出しきい範囲の第１の設定方法を説明するための図である。
【図１４】色抽出しきい範囲の第２の設定方法を説明するための図である。
【図１５】色抽出しきい範囲の第３の設定方法を説明するための図である。
【図１６】本発明の第３実施形態に係る鉗子追尾装置の構成を示す図である。
【図１７】第１のマーカ配置方法を説明するための図である。
【図１８】第２のマーカ配置方法を説明するための図である。
【図１９】第２のマーカ配置方法の作用を従来と比較して説明するための図である。
【図２０】第３のマーカ配置方法を説明するための図である。
【図２１】本発明の第４実施形態に係る鉗子追尾装置の構成を示す図である。
【図２２】第４実施形態の作用を説明するための図である。
【図２３】色マーカの配置及び色マーカの形状についての変形例を示す図である。
【図２４】本発明の第５実施形態に係る鉗子追尾装置及び鉗子の構成を示す図である。
【図２５】第５実施形態の作用を説明するための図である。
【図２６】本発明の第６実施形態に係る色マーカの配置を示す図である。
【図２７】第６実施形態に係る鉗子追尾装置の構成を示す図である。
【図２８】抽出面積と鉗子−スコープ間距離との関係を各マーカについて示す図である。
【図２９】鉗子−スコープ間距離に応じた色マーカの切替について説明するための図である。
【図３０】本発明の第７実施形態の構成を示す図である。
【図３１】第７実施形態に係る回転フィルタの構成及び、蛍光マーカの特性を示す図である。
【図３２】第７実施形態の作用を示すタイミングチャートである。
【図３３】本発明の第８実施形態に係る回転フィルタの構成及び、発光マーカに用いられる材料について説明するための図である。
【図３４】本発明の第９実施形態に係る鉗子追尾装置の構成を示す図である。
【図３５】第９実施形態の他の構成を示す図である。
【図３６】本発明の第１０実施形態に係る鉗子追尾装置の構成を示す図である。
【図３７】本発明の第１１実施形態に係る鉗子追尾装置の構成を示す図である。
【図３８】第１１実施形態において、過去のフレームからマーカ重心位置とマーカ面積とを予測する様子を示す図である。
【図３９】第１１実施形態の作用を説明するための図である。
【図４０】本発明の第１１実施形態の構成を説明するための図である。
【符号の説明】
１３…処置部、１４…色マーカ、１５…操作スイッチ、１６…鉗子追尾装置、１７…表示モニタ、１８…ＣＣＵ、１９…Ａ／Ｄ、２０…輝度推定回路、２１…色抽出しきい範囲選択回路、２２…色変換回路、２３…色抽出回路、２４…重心位置算出回路、２５…ＣＣＤ駆動部制御回路。
Claims (1)
- 内視鏡と、特定色を持つ色マーカが設けられた手術器具と、前記内視鏡の観察像を撮像する撮像手段と、この撮像手段からの画像信号に基づいて前記色マーカの位置を検出する位置検出手段と、検出された位置情報に基づき内視鏡の視野変換を行う視野変換手段とを具備する内視鏡装置において、
前記位置検出手段は、
前記画像信号の輝度を検出する輝度検出手段と、
検出された輝度情報に応じて色抽出しきい範囲を設定するしきい範囲設定手段と、
設定されたしきい範囲に基づき画像中の特定色を抽出する色抽出手段と、
この色抽出結果に基づき前記色マーカの位置を特定する色マーカ位置特定手段と、
を具備することを特徴とする内視鏡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08483097A JP3762512B2 (ja) | 1997-04-03 | 1997-04-03 | 内視鏡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08483097A JP3762512B2 (ja) | 1997-04-03 | 1997-04-03 | 内視鏡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10276974A JPH10276974A (ja) | 1998-10-20 |
| JP3762512B2 true JP3762512B2 (ja) | 2006-04-05 |
Family
ID=13841698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08483097A Expired - Fee Related JP3762512B2 (ja) | 1997-04-03 | 1997-04-03 | 内視鏡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3762512B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7195588B2 (en) | 2004-03-01 | 2007-03-27 | Olympus Corporation | Endoscope image pick-up apparatus |
| JP4583704B2 (ja) * | 2002-11-01 | 2010-11-17 | オリンパス株式会社 | 内視鏡撮像装置 |
| CN101264001B (zh) * | 2003-04-25 | 2010-11-10 | 奥林巴斯株式会社 | 图像显示装置 |
| JP5131951B2 (ja) | 2006-02-21 | 2013-01-30 | 富士フイルム株式会社 | 体腔内観察装置 |
| JP5477800B2 (ja) * | 2008-02-27 | 2014-04-23 | 株式会社日立製作所 | 回転状態検出装置の作動方法および回転状態検出装置 |
| EP2532299B1 (en) | 2010-09-14 | 2014-11-05 | Olympus Medical Systems Corp. | Endoscope system and low visibility determining method |
| JP5865606B2 (ja) | 2011-05-27 | 2016-02-17 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
| JP5855358B2 (ja) * | 2011-05-27 | 2016-02-09 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
| DE102013108228A1 (de) * | 2013-07-31 | 2015-02-05 | MAQUET GmbH | Assistenzeinrichtung zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs |
| WO2015019957A1 (ja) | 2013-08-07 | 2015-02-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム、内視鏡システムの作動方法 |
| WO2015146836A1 (ja) * | 2014-03-27 | 2015-10-01 | オリンパス株式会社 | 内視鏡システム |
| US10940299B2 (en) | 2015-08-10 | 2021-03-09 | Gyms Acmi, Inc. | Center marker for dilatation balloon |
| WO2023170889A1 (ja) * | 2022-03-10 | 2023-09-14 | オリンパス株式会社 | 画像処理装置、エネルギー処置具、処置システムおよび画像処理方法 |
-
1997
- 1997-04-03 JP JP08483097A patent/JP3762512B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10276974A (ja) | 1998-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110325100B (zh) | 内窥镜系统及其操作方法 | |
| US10799098B2 (en) | Medical image processing device, endoscope system, diagnosis support device, and medical service support device | |
| JP3762512B2 (ja) | 内視鏡装置 | |
| JP4298151B2 (ja) | 蛍光画像表示方法および装置 | |
| EP3804605A1 (en) | Image processing device, endoscope system, and image processing method | |
| US20210044750A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| JPWO2017115442A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| US11627864B2 (en) | Medical image processing apparatus, endoscope system, and method for emphasizing region of interest | |
| EP4129152A1 (en) | Medical image processing apparatus, endoscope system, operation method for medical image processing apparatus, and program for medical image processing apparatus | |
| CN112689469A (zh) | 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法 | |
| JP6763025B2 (ja) | プロセッサ装置及びプロセッサ装置の作動方法 | |
| JP2006192065A (ja) | 画像処理装置 | |
| JP2006192058A (ja) | 画像処理装置 | |
| JP2005204958A (ja) | 自家蛍光観察可能な電子内視鏡装置およびシステム | |
| US10462440B2 (en) | Image processing apparatus | |
| US20220237795A1 (en) | Image processing device and method of operating the same | |
| WO2021199910A1 (ja) | 医用画像処理システム、医用画像処理システムの作動方法 | |
| EP4108157A1 (en) | Medical image processing device, operation method therefor, and endoscope system | |
| JP2006020788A (ja) | 自家蛍光観察可能な電子内視鏡装置およびシステム | |
| EP4095802A1 (en) | Medical image processing device, endoscope system, and medical image processing device operation method | |
| US12029384B2 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
| US20210153720A1 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
| CN111989026A (zh) | 内窥镜装置、内窥镜操作方法及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120120 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130120 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140120 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |