JP4054104B2 - 内視鏡画像処理装置 - Google Patents
内視鏡画像処理装置 Download PDFInfo
- Publication number
- JP4054104B2 JP4054104B2 JP09951698A JP9951698A JP4054104B2 JP 4054104 B2 JP4054104 B2 JP 4054104B2 JP 09951698 A JP09951698 A JP 09951698A JP 9951698 A JP9951698 A JP 9951698A JP 4054104 B2 JP4054104 B2 JP 4054104B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscope
- coil
- position information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
Description
【０００１】
【発明の属する技術分野】
本発明は内視鏡画像処理装置、更に詳しくは同一の対象物体に対して異なる位置から撮像された画像を用いて対象物体の絶対形状を推定する形状推定部分に特徴のある内視鏡画像処理装置に関する。
【０００２】
【従来の技術】
視野に重なりをもって配置された撮像手段の、相対的な配置が既知の場合に、撮像された画像から対象物の形状を推定する問題に対しては、いわゆるステレオ画像からの形状推定問題として種々の方法が提案されている。
【０００３】
さらに近年では、動きからの３次元構造抽出についていくつかの提案がなされている。これは複数の画像から撮像手段の相対的な移動をも推定しようとする手法である。
【０００４】
これらの手法はいずれも、複数の画像間で対象物上の同一の点の各画像上における位置が関連付けられることを原情報として用いる。
【０００５】
対象物上の同一の点の各画像上における位置の検出に対しても種々の方法が提案されている。人工的な対象物の場合、角、輪郭成分が明瞭であることが多いため、線分抽出等の構造抽出による手法は有効であるが、一般的な自然画像に対しては適用が難しい。時系列画像に対してしばしば用いられる濃度勾配法は、画像間での対象物の見かけの移動が非常に小さく、画像品質が良い場合には良好な結果が得られるが、撮像条件の制約が大きい。
【０００６】
そこで一般的には、画像上の着目点とその周辺領域を参照領域として抽出し、探索対象物の画像上から抽出した領域との間で相関演算を行い最大相関値を与える位置を対応点とする手法（ブロックマッチング）がしばしば用いられる。このブロックマッチング法は画像上のテクスチャが明瞭であれば比較的安定した結果をもたらすが、テクスチャが不明瞭な場合には誤った対応点を検出してしまうことがある。
【０００７】
さらに本質的な欠点として、対象物が立体でありブロック内に例えば背景との境界を含む場合には検出結果は信頼できない。また、対象物面が撮像手段に対して傾いている、あるいは距離の差がある等、複数の撮像手段の画像間での像の変形が大きい、または像の大きさの差異が大きい場合も信頼できない。
【０００８】
立体形状の推定に関わる問題としてはオクルージョン及び推定結果の整合の問題が挙げられる。特に、ステレオからの推定においては対象物の背後に隠れ、撮像されない部分、あるいは一方の撮像手段のみに撮像される部分とが存在し、これらの領域の扱いが問題となる。
【０００９】
撮像手段の数が多ければ必然的に撮像される領域は多くなり、隠される領域は少なくなるが、特に撮像手段の位置が既知でない場合、あるいは推定が正確でない場合には、これらの画像間の整合は容易でない。
【００１０】
このように従来提案されてきた手法のほとんどは、人工物を撮像した画像を対象物としているか、または、自然画像を対象物とした場合に当然発生するこれらの問題に対し、いずれかの仮定をおくことにより、影響を除外あるいは軽減した条件において考察されており、実用上十分な能力をもっているとは言えない。
【００１１】
例えば、従来提案されている手法の適用が困難であり、かつ、機能が実現された場合に実用的な価値の大きい画像の種類として、生体用内視鏡から得られる画像がある。
【００１２】
細長の挿入部を体腔内に挿入することによって、切開を必要とすることなく、体腔内の患部等を観察したり、必要に応じ処置具を用いて治療処置のできる内視鏡においては、先端部の大きさは機能上最小限に抑える必要があるため、医師が観察、あるいは処置を行うために必要な部材以外は組み込むことができない。
【００１３】
経内視鏡的に対象物の形状を把握することに関して既にいくつかの提案がなされている。例えば観察対象物に対しパターン光等を投影する方式（特開昭６３−２４０８３１号公報）、先端部に複眼を持つ方式（特開昭６３−２４４０１１号公報）であるが、いずれも内視鏡先端部あるいは光源部に特殊な構造が要求されるため、装置の大型化、複雑化を招き一般的に用いることが難しい。
【００１４】
同一出願人による特開昭６３−２４６７１６号公報には内視鏡先端を手元操作により移動させて得た複数の画像から対象物形状を推定する手法及び、操作に伴う先端の移動量を計測する計測機構が開示されている。この方法によれば現内視鏡の機能を損なうことなく、絶対的な対象物形状の推定を行うことができる。
【００１５】
また、同一出願人による特開平６−７２８９号公報では、対象となる物体のそばに大きさが既知な基準物を置いて、内視鏡先端を手元操作により移動させて得た複数の画像から対象物と基準物の相対的な形状を推定する手法及び、対象物のそばに置いた基準物の大きさから対象物の大きさを推定する手法が開示されている。
【００１６】
前述した特開昭６３−２４６７１６号公報の構成では、時系列的に得られた複数の画像から対象物体の相対的な形状を推定すると共に、この操作に伴う内視鏡先端の撮像手段の移動量を計測しその計測値から絶対的な形状を推定することは可能である。
【００１７】
しかし、前記計測機構の与え得る精度は撮像手段の分解能等を考え合わせると不十分ではないまでも十分であるとは言い難い。
【００１８】
また、特開平６−７２８９号公報の構成では、時系列的に対象物体を撮像する場合に、対象物体と共に形状の大きさが既知な基準物を同時に撮像することにより、対象物体の絶対的な形状を求めるようになっている。
【００１９】
しかし、生体用内視鏡を使って対象物体のそばに基準物を置いて同時に撮像することは、内視鏡の操作者にとって大きな負担になるという問題点があった。
【００２０】
そこで、特開平９−２６５４７号公報において、同一の対象物体に対して異なる位置から撮像された画像を基に、撮像手段から対象物体までの絶対的な距離を精度良く容易に推定することのできる装置が提案されている。
【００２１】
【発明が解決しようとする課題】
しかしながら、上記特開平９−２６５４７号公報では、対象物体に対し異なる位置から撮影した画像から相対的な形状を推定し、画像上のハレーションやレーザ光を照射したときの画像を用いて内視鏡先端と対象までの距離を算出して絶対的な形状を推定していたため、距離算出に用いられる画像の状態により精度が変わるといった問題がある。
【００２２】
本発明は、上記事情に鑑みてなされたものであり、画像の状態にかかわらず、対象物体の絶対的な形状を精度良く推定することのできる内視鏡画像処理装置を提供することを目的としている。
【００２３】
【課題を解決するための手段】
本発明の内視鏡画像処理装置は、対物レンズを介して被検体を内視鏡画像として撮像する撮像手段と、前記撮像手段で撮像された複数の画像を記憶する画像記憶手段と、前記画像記憶手段に記憶された複数の画像の画像信号に基づき、該画像間の相対的な形状を推定する相対形状推定手段と、前記対物レンズの近傍に設けられた第１のコイル手段と、所定の位置に固定された第２のコイル手段を有し、磁界を用いて前記第１のコイル手段の位置情報を検出する位置情報検出手段と、前記画像情報記憶手段に記憶された各々の画像の、前記相対形状推定手段が相対的な形状の推定に用いた少なくとも異なる２つの画像での、前記位置情報検出手段で検出された位置情報を取得する位置情報取得手段と、前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定手段とを備えて構成される。
【００２４】
本発明の内視鏡画像処理装置では、前記位置情報取得手段が前記画像情報記憶手段に記憶された各々の画像に対応して前記位置情報検出手段で検出された位置情報を取得すると共に、前記被検体形状推定手段が前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき前記被検体の形状を推定することで、画像の状態にかかわらず、対象物体の絶対的な形状を精度良く推定することを可能とする。
【００２５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００２６】
第１の実施の形態：
図１ないし図１３は本発明の第１の実施の形態に係わり、図１は内視鏡システムの構成を示す構成図、図２は図１の内視鏡位置検出装置の機能構成を示すブロック図、図３は図２の内視鏡位置検出装置の構成を示す構成図、図４は図３の内視鏡位置検出装置の要部である２ポートメモリ等の構成を示す構成図、図５は図４の２ポートメモリの動作を示すタイミング図、図６は図１の画像処理装置の構成を示す構成図、図７は図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第１の説明図、図８は図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第２の説明図、図９は図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第３の説明図、図１０は図６の画像処理装置の作用を説明する第１の説明図、図１１は図６の画像処理装置の作用を説明する第２の説明図、図１２は図６の画像処理装置の作用を説明する第３の説明図、図１３は図６の画像処理装置の処理の流れを示すフローチャートである。
【００２７】
（構成）
図１に示すように、本実施形態の内視鏡システム１は、内視鏡検査を行う内視鏡装置２と、体腔内の内視鏡の先端の３次元位置を検出するための内視鏡位置検出装置３と、内視鏡により観察した対象物体の形状を推定するための画像処理装置４とを備えて構成される。
【００２８】
ここで、画像処理装置４は、ベット５に横たわる患者６の体腔内に電子内視鏡７の挿入部８を挿入し、体腔内の対象物体の形状を求める手段として使用される。
【００２９】
電子内視鏡７は、可撓性を有する細長の挿入部８の後端に湾曲操作ノブを設けた操作部９が形成され、この操作部９からユニバーサルコード１０が延出され、ビデオイメージングシステム（ビデオプロセッサ）１１に接続されている。ここで、上記内視鏡装置２は、電子内視鏡７及びビデオプロセッサ１１から構成される。
【００３０】
この電子内視鏡７は、ライトガイドが挿通されビデオプロセッサ１１内の光源部からの照射光を伝送し、挿入部８の先端に設けられた照明窓１２から伝送した照明光を出射し、患者等を照明する。照明された患部等の被写体は照射窓に隣接して設けられた観察窓１３に取り付けた対物レンズにより、その結像位置に配置されたカラーフィルタを有する撮像素子に像を結び、この撮像素子は光電変換する。
【００３１】
光電変換された信号はビデオプロセッサ１１の映像信号処理部により信号処理されて標準的な映像信号が生成され、ビデオプロセッサ１１に接続された画像観察モニタ１４に表示される。
【００３２】
この電子内視鏡７には鉗子チャンネル１５が設けてあり、この鉗子チャンネル１５の挿入口１５ａから例えば１個の磁気発生素子（またはソースコイル）１６を有するプローブ１７が挿通されることにより、電子内視鏡７の先端部にソースコイル１６が設置される。
【００３３】
このプローブ１７の後端から延出されたソースケーブル１８は、その後端のコネクタが内視鏡位置検出装置３の装置本体１９に着脱自在に接続される。そして、装置本体１９側から高周波信号伝達手段としてソースケーブル１８を介して磁気発生手段となるソースコイル１６に高周波信号（駆動信号）を印加することにより、ソースコイルの１６の磁気を伴う電磁波を周囲に放射する。
【００３４】
また、患者６が横たわるベット５には、複数の磁気検出素子（またはセンスコイル）２０ｋが所定の位置に配置されている。この場合、センスコイル２０ｋを構成する単心コイルは全部で１２個で、ベット５を基準とする座標系ＸＹＺの各軸と同一方向を向いた３つの単心コイルがそれぞれ４組配置されている。
【００３５】
センスコイル２０ｋは、ベット５のコネクタから検出信号伝達手段としてのセンスケーブル２１を介して内視鏡位置検出装置３の装置本体１９に接続されている。この装置本体１９には使用者が装置を操作するための操作パネル２２またはキーボード等が設けられている。また、この装置本体１９はケーブル２３で画像処理装置４の装置本体２４と接続され、各装置間のデータの送受信が行われる。
【００３６】
また、画像処理装置４の装置本体２４はビデオプロセッサ１１とケーブル２５で接続され、ビデオプロセッサ１１から送られてくる画像信号（ＲＧＢ信号と同期信号）を受け取る。そして、この画像処理装置４の装置本体２４は、ビデオプロセッサ１１からの対象物体の連続的な画像信号から相対的な形状を推定し、内視鏡位置検出装置３の装置本体１９からの電子内視鏡７の先端の位置データから対象物体の絶対的な形状を算出する。
【００３７】
さらに、この画像処理装置４の装置本体２４は、任意の視点から観察したときの２次元データを作成してモニタ２５に表示する。
【００３８】
内視鏡位置検出装置３は、図２に示すように、ソースコイル１６を起動する駆動ブロック２６と、センスコイル２０ｋが受信した信号を検出する検出ブロック２７と、検出ブロック２７で検出した信号を信号処理するホストプロセッサ２８とから構成される。
【００３９】
図３に示すように、電子内視鏡７の挿入部８に設置されるプローブ１７には、上述したように、磁界を生成するためのソースコイル１６が配置されており、ソースコイル１６は、駆動ブロック２６を構成する高周波の駆動信号を生成するソースコイル駆動回路３１に接続されている。
【００４０】
ソースコイル駆動回路部３１は、ソースコイル１６を正弦波の駆動信号電流で駆動し、駆動周波数はソースコイル駆動回路部３１内部の図示しない駆動周波数設定データ格納手段或いは駆動周波数設定データ記憶手段に格納された駆動周波数設定データ（駆動周波数データとも記す）により設定される。この駆動周波数データは、ホストプロセッサ２８において電子内視鏡６の先端の３次元位置の検出処理等を行うＣＰＵ（中央処理ユニット）３２によりＰＩＯ（パラレル入出力回路）３３を介してソースコイル駆動回路部３１内の駆動周波数データ格納手段（図示せず）に格納される。
【００４１】
一方、１２個のセンスコイル２０ｋは、検出ブロック２７を構成するセンスコイル信号増幅回路部３４に接続されている。
【００４２】
図４に示すように、センスコイル信号増幅回路部３４では、センスコイル２０ｋが１個につき１系統設けられた増幅回路３５ｋに接続されており、各センスコイル２０ｋで検出された微小な信号が増幅回路３５ｋにより増幅されフィルタ回路３６ｋでソースコイル１６が発生する周波数が通過する帯域をもち不要成分を除去して出力バッファ３７ｋに出力された後、ＡＤＣ（アナログ・デジタル・コンバータ）３８ｋでホストプロセッサ２８が読み込み可能なデジタル信号に変換される。
【００４３】
なお、検出ブロック２７は、センスコイル信号増幅回路部３４及びＡＤＣ３８ｋより構成され、センスコイル信号増幅回路部３４は増幅回路３５ｋ、フィルタ回路３６ｋ及び出力バッファ３７ｋより構成される。
【００４４】
図３に戻り、このセンスコイル信号増幅回路部３４の１２系統の出力は、１２個の前記ＡＤＣ３８ｋに伝送され、制御信号発生回路部４０から供給されるクロックにより所定のサンプリング周期のデジタルデータに変換される。このデジタルデータは、制御信号発生回路部２７からの制御信号によりローカルデータバス４１を介して２ポートメモリ４２に書き込まれる。
【００４５】
なお、２ポートメモリ４２は、図４に示すように、機能的には、ローカルコントローラ４２ａ、第１のＲＡＭ４２ｂ、第２のＲＡＭ４２ｃ及びバススイッチ４２ｄよりなり、図５に示すようなタイミングにより、ローカルコントローラ４２ａからのＡ／Ｄ変換開始信号によりＡＤＣ３８ｋがＡ／Ｄ変換を開始し、ローカルコントローラ４２ａからの切り換え信号によりバススイッチ４２ｄが第１のＲＡＭ４２ｂ、第２のＲＡＭ４２ｃを切り換えながら、第１ＲＡＭ４２ｂ、第２のＲＡＭ４２ｃを交互に読み出しメモリ及び書き込みメモリとして用い、書き込み信号により、電源投入後は、常時データの取り込みを行っている。
【００４６】
再び、図３に戻り、ＣＰＵ３２は、制御信号発生回路部２７からの制御信号により２ポートメモリ４２に書き込まれたデジタルデータをローカルデータバス４３、ＰＣＩコントローラ４４及びＰＣＩバス４５（図４参照）からなる内部バス４６を介して読みだし、メインメモリ４７を用いデジタルデータに対して周波数抽出処理（フーリエ変換：ＦＦＴ）を行い、ソースコイル１６の駆動周波数に対応する周波数成分の磁界検出情報に分離抽出し、分離した磁界検出情報のデジタルデータから電子内視鏡７の先端の空間位置座標を算出する。
【００４７】
ＣＰＵ３２において、ソースコイル１６に対応した磁界検出情報、すなわち、各センスコイル２０ｋに発生する起電力（正弦波信号の振幅値）と位相情報が算出される。なお、位相情報は、起電力の極性±を示す。
【００４８】
次に画像処理装置４について説明する。図６に示すように、画像処理装置４では、ビデオプロセッサ１１から送られてきた画像信号をデジタルに変換して画像データとして記憶手段５１に順次記憶する。記憶手段５１に記憶された画像データは相対形状推定手段５２に送られ、相対形状推定手段５２は対象物体の相対的な形状を推定する。
【００４９】
一方、内視鏡位置検出装置３により検出されたソースコイル１６の３次元空間上の位置が位置情報取得手段５３へ送られ、位置情報取得手段５３は、対象物体の相対的な形状を推定するときに使われた画像間の移動量を算出する。
【００５０】
また、被写体形状推定手段５４は、位置情報取得手段５３で算出された移動量と相対形状推定手段５２により推定された相対的な形状から対象物体の絶対的な形状を推定する。
【００５１】
被写体形状推定手段５４で推定された形状を任意の視点から観察したときの画像データを３Ｄ−２Ｄ変換手段５５で求め、その画像をモニタ２５に表示する。
【００５２】
（作用）
図１に示すように電子内視鏡７の鉗子チャンネルの挿入口１５ａから挿通されたソースコイル１６を挿入部８の先端に固定し、電子内視鏡７の操作部９を操作することにより同一の対象物体に対して先端を移動させる。
【００５３】
対象物体に対して電子内視鏡７の先端の移動を始めると同時に、内視鏡位置検出装置３が電子内視鏡７の先端の位置（ソースコイル１６の位置）を検出すると共に、画像処理装置４に設けられた操作パネル２２等の入力装置により絶対的な形状を推定する処理を実行する。
【００５４】
まず、内視鏡位置検出装置３の作用について説明する。本出願人が先に出願した特願平１０−６９０７５号に詳細に説明しているが、図７に示すように、半径が極めて小さく薄い円形コイルでは、特開平９−８４７４５号公報に記載されているように、円形コイルに電流を流すと磁気双極子と同様に、３次元空間上の点Ｐの磁位は次のような式で表すことができる。
【００５５】
【数１】
μ ：透磁率
Ｎ1 ：円形コイルの巻数
ａ ：円形コイルの半径
Ｉ ：円形コイルに流れる電流
従って、点ＰにおけるＸ，Ｙ，Ｚ軸と同一方向の磁界（ＨPx、ＨPy、ＨPz）は、
【数２】
のように求められる。
図８に示すような３次元空間（以下ワールド座標系ＸW −ＹW −ＺW）において、磁界を発生する単心コイル（以下ソースコイル）の位置を（ｘgW、ｙgW、ｚgW）とし、３次元空間上の任意の位置を点Ｐ（ｘPW、ｙPW、ｚPW）とする。
【００５６】
ソースコイルを基準とした座標系をローカル座標系ＸL −ＹL −ＺL とすると、ローカル座標系における点Ｐの座標（ｘPl、ｙPl、ｚPl）は
【数３】
Ｐl ：ローカル座標系における原点Ｏから点Ｐへのベクトル
ＰW ：ワールド座標系における原点Ｏから点Ｐへのベクトル
ＧW ：ワールド座標系におけるソースコイルの位置へのベクトル
Ｒ：回転マトリックス
と表すことができる。
【００５７】
但し、Ｒは回転マトリックスで、図９に示す極座標系の回転マトリックスＲは
【数４】
となる。αはＺW 軸を中心とした回転量を、βはＸW 軸を中心とした回転量を示す。
【００５８】
ソースコイルを基準としたローカル座標系において、点Ｐに発生する磁界Ｈl （ＨPxl 、ＨPyl 、ＨPzl ）は式（３）より
【数５】
となる。
【００５９】
従って、ワールド座標系の点ＰにおけるＸW 、ＹW 、ＺW 軸と同一方向の磁界ＨW （ＨPxW 、ＨPyW 、ＨPzW ）は、
【数６】
となる。
【００６０】
３次元空間ＸＹＺ上に磁界を発生する１つのソースコイルを位置（ｘg，ｙg，ｚg）、向き（ｇx，ｇy，ｇz）に配置した場合、適当な位置Ｐ（ｘd，ｙd，Ｚd）に発生する磁界Ｈx，Ｈy，Ｈzは、式（６）から次のように表される。
【００６１】
【数７】
但し、ｋSは定数、ｒはソースコイルと点Ｐとの距離であって、磁界Ｈx，Ｈy，Ｈzの向きはＸ，Ｙ，Ｚ軸と同一方向である。
【００６２】
点Ｐの位置に座標軸Ｘ，Ｙ，Ｚと同一に向いた単心コイルＣx，Ｃy，Ｃzが配置された場合、それぞれの単心コイルＣx，Ｃy，Ｃzに発生する電圧Ｖx，Ｖy，Ｖzは
【数８】
となる。ここで、Ｘ軸に向いた単心コイルＣxは、コイルを構成する導線を巻くときの軸をＸ軸と同一方向にしたコイルであって、Ｙ軸，Ｚ軸と同一に向いた単心コイルＣy，Ｃzも同様なコイルである。
【００６３】
図１に示したように、本実施の形態では、単心コイルからなるセンスコイル２０ｋを３次元空間上に複数配置し、具体的にはベット５おいて、Ｘ軸に向いた４つのセンスコイルと、Ｙ軸に向いた４つのセンスコイルと、Ｚ軸に向いた４つのセンスコイルの計１２個のセンスコイル２０ｋを配置している。この１２個のセンスコイル２０ｋの電圧、位置、向きが全て既知であることから、式（８）によりソースコイル１６の位置（ｘg，ｙg，ｚg）と向き（ｇx，ｇy，ｇz）を未知数とする１２個の非線形方程式が得られる。
【００６４】
この１２個の非線形方程式の解、すなわち、ソースコイル１６の位置と向きを反復改良によって求める（Ｇａｕｓｓ−Ｎｅｗｔｏｎ法）。
【００６５】
ｘをソースコイルの位置（ｘg，ｙg，ｚg）と向き（ｇx，ｇy，ｇz）のパラメータとし、そのパラメータの初期値をｘ(0)とする。
【００６６】
いま、反復改良によりｋ次の推定値ｘ(k)が得られ、センスコイルに発生する電力のモデル関数Ｖ（ｘ）をｘ(k)のまわりでＴａｙＬｏｒ展開すると、その一次近似は
【数９】
となる。
【００６７】
このとき、Ｖｍをセンスコイルによって測定された電圧とすると観測方程式は
【数１０】
（ここで、式が等号ではなくnearly equalとなっているのは、Ｖｍに測定誤差が含まれるため）
と表される。式（１０）の右辺の第１項を左辺に移動すると
【数１１】
となる。但し、
【数１２】
ΔＶｍ(k)＝Ｖｍ−Ｖ（ｘ(k)）＝Ｖｍ−Ｖｍ(k) …（１２）
【数１３】
Δｘ(k)＝ｘ−ｘ(k) …（１３）
【数１４】
（ｉ＝１〜ｎ，ｊ＝１〜ｍ）
（行方向：未知数の数ｎ、列方向：センスコイルの数ｍ）
である。解Δｘ(k)は、式（１１）より
【数１５】
Δｘ(k)＝（Ｂ(k)ＷＡ(k)）-1Ｂ(k)ＷΔＶｍ(k) …（１５）
と表される。ただし、ＢはＡの転置、Ｗは重み行列である。
【００６８】
よって、式（１３）より改良したパラメータの推定値は
【数１６】
ｘ(k+1)＝ｘ(k)＋Δｘ(k) …（１６）
と求められる。
【００６９】
図１に示したように１２個のセンスコイル２０ｋを並べると、行列Ａは
【数１７】
重み行列Ｗは
【数１８】
と表される。ただし、重み行列Ｗのσi（ｉ＝０，１，…，１２）は、各センスコイルの測定電圧の変動量で、例えば、環境ノイズ等がある。
【００７０】
また、第ｋ番目のΔＶｍは
【数１９】
となることから、ソースコイルの位置と向きは、次の手順（１）から（４）で求められる。
【００７１】
手順（１）；ｋ＝０とし、ソースコイルの初期値を位置（ｘg，ｙg，ｚg）(0)、向き（ｇx，ｇy，ｇz）(0)とする（例えば、ソースコイルを測定する空間の中心位置とＺ軸方向のベクトル（０，０，１））。
手順（２）；式（１７），（１８），（１９）により第ｋ番目の行列を計算する。
手順（３）；式（１６）により第ｋ番目の更新量Δｘ(k)を計算する。
手順（４）；更新量Δｘ(k)が小さくなるまで上記手順（２）から（４）を繰り返す。
【００７２】
本実施の形態では、Ｘ，Ｙ，Ｚ軸方向に向いたセンスコイルをそれぞれ配置してソースコイルの位置を推定したが、これに限らず、各々のセンスコイルを任意の位置や向きに配置した場合でも、センスコイルの位置と向きが既知であればソースコイルの位置が推定できる。
【００７３】
次に、画像処理装置３の作用について説明する。まず、対象物の相対的な形状を推定する手法について説明する。
【００７４】
特開平９−２６５４７号公報に記載されているように、電子内視鏡７により撮像手段を移動しながら画像の撮像を行い、この時系列に撮像された２次元の画像データを画像処理装置３に入力する。このとき、図１０に示すように、内視鏡先端を移動することにより同一の対象物体の時系列画像を撮像する。
【００７５】
撮像素子によって撮影された対象物体の画像信号をビデオプロセッサ１１内で処理し、処理した画像信号を画像処理装置４が取り込み、画像信号をデジタル信号に変換して記憶手段５１にデジタルの画像データＩ0 〜Ｉn として記憶する。これにより、Ｐ0 ないしＰn で示す撮像手段の移動軌跡に対応して時系列画像Ｉ0 〜Ｉn が得られる。
【００７６】
画像処理装置４の相対形状推定手段５２は、得られた時系列画像Ｉ0 〜Ｉn の最初の画像Ｉ0 に対して複数の点Ｐab（ａ＝０，１，…，ｑ、ｂ＝０，１，…，ｒ）を設定し、テンプレートマッチングの手法（参照文献：コンピュータ画像処理入門 総研出版（株） 田村秀行監修：p.148 〜p.150 ）により、残りの画像Ｉi （ｉ＝１，２，…，ｎ）で設定された点Ｐabと同一の点の位置を検出する。
【００７７】
各画像の同一の点の位置が検出されることで、画像Ｉ0 で設定された点Ｐabに対して残りの画像Ｉi（ｉ＝１，２，…，ｎ）との位置のズレ、すなわち、点Ｐabの各画像毎の移動量であるシフトマップＳi （ｉ＝１，２，…，ｎ）が求められる。
【００７８】
画像Ｉiに対するシフトマップＳi は、次のようにｘ方向とｙ方向の移動量として表す。
【００７９】
【数２０】
なお、テンプレートマッチングの手法は、同一出願人によるＵＳＰ４，９６２，５４０に開示されているカラーマッチング手法を適用してもよい。
【００８０】
次に、前記求められたシフトマップより撮像手段の運動（内視鏡先端部１６の動き）を推定する。
【００８１】
図１１に中心射影の座標系を示す。画像原点Ｏからの距離ｅだけ離れたところにＺ軸に垂直に画像面をおく。空間中の点（Ｘ，Ｙ，Ｚ）は、この点（Ｘ，Ｙ，Ｚ）と原点Ｏとを結ぶ直線と画像面とが交わる点に投影されるものとする。その交点の画像上の座標を（ｘ，ｙ）とすると、幾何学的な関係からｘ，ｙは、
【数２１】
となる。
【００８２】
撮像手段の運動により空間中の点Ｘ＝（Ｘ，Ｙ，Ｚ）がＸ′＝（Ｘ′，Ｙ′，Ｚ′）に移動したとき、そのときの撮像手段の運動は、原点を通る視軸回りの回転を表す回転ベクトルＲと、並進ベクトルｈ＝（ｈx ，ｈy ，ｈz ）を用いて次のように表される。
【００８３】
【数２２】
Ｘ＝ＲＸ′＋ｈ …（２２）
ここで、点Ｘ，Ｘ′を原点からの距離ｒ，ｒ′と単位方向ベクトルｍ（Ｎベクトル）を用いて表すとそれぞれ、
【数２３】
となる。ただし、
【数２４】
である。よって、式（２４）を用いると式（２２）は、
【数２５】
ｒｍ＝ｒ′Ｒｍ′＋ｈ …（２５）
となる。
【００８４】
ここで、図１２（ａ）及び（ｂ）に示すように、３本のベクトルｍ，Ｒｍ′，ｈは空間中の同一平面上に存在するため、それらのスカラ３重積が０となる。
【００８５】
【数２６】
｜ｍｈＲｍ′｜＝（ｍ，ｈ×Ｒｍ′） …（２６）
ただし、×：外積、（＊，＊）：内積
前記テンプレートマッチングにより画像間の同一の点を検出する場合、検出誤差によりシフトマップに誤差が含まれる可能性がある。そこで、本例では最小二乗法を用いて、画像内で設定される複数の点に対して、
【数２７】
を満足するように回転ベクトルＲと並進ベクトルｈを求める。ただし、推定される並進ベクトルｈは単位ベクトルｈ′として推定される。
【００８６】
次に、前記推定された撮像手段の運動より、撮像手段から対象物体までの相対的な距離を算出する。
【００８７】
式（２５）の両辺とｍ，Ｒｍ′との内積をとると、それぞれ、
【数２８】
ｒ＝ｒ′（ｍ，Ｒｍ′）＋（ｈ，ｍ）
ｒ（ｍ，Ｒｍ′）＝ｒ′＋（ｈ，Ｒｍ′） …（２８）
となる。これを解けば各点までの距離が次のように得られる。
【００８８】
【数２９】
ただし、並進ベクトルｈが単位ベクトルｈ′として推定されるため、ｒ，ｒ′は次式のように適当な倍率ｋで決定される。
【００８９】
【数３０】
ｒ ＝ｋｒ …（３０）
【数３１】
ｒ′＝ｋｒ′ …（３１）
したがって、画像Ｉ0 を撮像したときの撮像手段の位置から、各画像Ｉi（ｉ＝１，２，…，ｎ）を撮像したときの撮像手段の位置までのそれぞれの相対的な運動（Ｒi ，ｈi （ｉ＝１，２，…，ｎ））が推定される。
【００９０】
この各画像Ｉi（ｉ＝１，２，…，ｎ）毎に推定された相対的な運動とシフトマップとにより、各画像毎の撮像手段の位置から対象物体までの相対的な距離を推定する。この相対距離は、撮像手段から対象物体を観察したときの相対的な形状に相当する。
【００９１】
一方、内視鏡位置検出装置３では、上述した方法により、電子内視鏡７の先端に固定されたソースコイル１６が発生する電磁波を、ベット５に設置したセンスコイル２０ｋにより検出し、ベット５を基準とする３次元空間上のソースコイル１６の位置Ｐ0 〜Ｐn を求め、その位置を画像処理装置４の位置情報取得手段５３へ送る。
【００９２】
画像処理装置４の被写体形状推定手段５４は、位置情報取得手段５３を介して内視鏡位置検出装置３から送られてきた電子内視鏡７の先端の３次元位置Ｐ0 〜Ｐn を記憶し、相対的な形状を推定するの用いた第０番目の画像データＩ0 と第ｎ番目の画像データＩn に対応する位置
【数３２】
を抽出し、電子内視鏡７の先端の移動量
【数３３】
を算出する。
【００９３】
算出された移動量｜ｈ｜は、カメラ（この場合電子内視鏡先端）の並進ベクトルｈの大きさになるため、移動量｜ｈ｜と相対的な形状から対象物体の絶対的な形状が算出できる（なお、上述したように複数の画像データを用いて相対的な形状を推定する場合、並進ベクトルｈは大きさ１の単位ベクトルｈ′として求められる）。
【００９４】
推定された絶対的な形状を適当な視点位置から見たときの２次元画像を生成し、モニタ１４に表示する。
【００９５】
これらの処理を図１３のフローチャートを用いて説明する。ステップＳ１で、画像処理装置４に取り込まれる画像データと位置データのセット数を初期化する。
【００９６】
ステップＳ２では、例えば画像処理装置４と接続された情報入力装置（キーボード等）により画像データと位置データを取り込みを開始する否かの信号を入力し、それを検出する。
【００９７】
ステップＳ２において、データの取り込みを開始する場合はステップＳ３へ進み、そうでないときはステップＳ１へ戻る。
【００９８】
ステップＳ３では、画像処理装置４はビデオプロセッサ１１から送られてくる画像データＩi と内視鏡位置検出装置３から送られてくる位置データＰi とを取り込み、記憶する。
【００９９】
ステップＳ４ではｉをインクリメントし、ステップＳ５においてデータの取り込みの終了が検出されなかったとき、ステップＳ３へ進み次に送られてくる画像データＩi+1 と位置データＰi+1 を取り込み行う。
【０１００】
また、テップＳ５でデータの取り込みが終了したことを検出した場合、ステップＳ６へ処理を移行して、ステップＳ６で記憶された画像データＩ0 〜Ｉn から対象物体の相対的な形状を推定する。
【０１０１】
ステップＳ７では、記憶された位置データＰo 〜Ｐn から相対的な形状を推定するの用いた第０番目の画像データＩ0 と第ｎ番目の画像データＩn に対応する位置データＰo 、Ｐn を抽出し、その移動量｜ｈ｜を算出する。
【０１０２】
ステップＳ８では、ステップＳ６で推定された相対的な形状とステップＳ７で算出された移動量｜ｈ｜（カメラの並進ベクトルの大きさ）から、対象物体の絶対的な形状を算出する。
【０１０３】
なお、本実施の形態では、ソースコイル１６を鉗子チャンネルから挿通し、挿入部８の先端に配置したが、挿入部の先端部分にソースコイルを埋め込み、ソースコイル１６を完全に固定するしてもよい。
【０１０４】
また、本実施の形態では、内視鏡位置検出装置３の装置本体１９と画像処理装置４の装置本体２４とを別々に設けたが、それぞれがＣＰＵとソフトウェアによって処理される場合には、１つの装置とモニタで構成することができる。
【０１０５】
（効果）
このように本実施の形態によれば、電子内視鏡７の先端に磁界を発生する単心コイルからなる１つのソースコイル１６を配置することにより、先端の移動量が正確に求められ、対象物体の絶対的な形状を推定することができる。
【０１０６】
第２の実施の形態：
図１４及び図１５は本発明の第２の実施の形態に係わり、図１４は回転フィルタの構成を示す構成図、図１５は図１４の回転フィルタに同期した同期信号に基ずく各信号のタイミングを示すタイミング図である。
【０１０７】
第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【０１０８】
（構成）
本実施の形態の内視鏡システム１の構成は、第１の実施の形態の内視鏡装置２が面順次方式であって、ビデオプロセッサ１１は内部の光源部に白色光を面順次光に変換する回転フィルタ及びこの回転フィルタに同期した同期信号を内視鏡位置検出装置３へ送る同期信号出力手段とを備え、また、内視鏡検出装置３はビデオプロセッサ１１からの回転フィルタに同期した同期信号からセンスコイル２０ｋに発生する信号を取り込むための制御信号を作成する制御信号生成手段を有して構成される。
【０１０９】
図１４に示すように、ビデオプロセッサ１１内の回転フィルタ８１は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長領域の光を透過するＲフィルタ８２ｒ、Ｇフィルタ８２ｇ、Ｂフィルタ８２ｂが周方向に沿って配列され、回転フィルタ８１のＲフィルタ８２ｒ、Ｇフィルタ８２ｇ、Ｂフィルタ８２ｂの各フィルタ間には光を透過しない遮光領域８３が設けられている。その他の構成は第１の実施の形態と同じである。
【０１１０】
（作用）
回転フィルタ８１を透過した光は、電子内視鏡７の先端から対象物体に照射され、その反射光が先端部の対物レンズを通って撮像素子に結像される。
【０１１１】
撮像素子は、回転フィルタ８１の回転フィルタ８１のＲフィルタ８２ｒ、Ｇフィルタ８２ｇ、Ｂフィルタ８２ｂの各フィルタに光が透過している期間（以下、露光期間と呼ぶ）に電荷を貯える。撮像素子に貯えられた電荷は、光が透過していない期間（以下、遮光期間と呼ぶ）にビデオプロセッサ１１内に取り込まれ、画像信号に変換するための処理が行われる。
【０１１２】
撮像素子から読み出された信号は、デジタルの画像データに変換され、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの記憶領域に記憶される。
【０１１３】
ビデオプロセッサ１１は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの画像データが記憶されると、記憶された画像データを同時に読み出し、ビデオの標準信号に変換してモニタ１４と画像処理装置４へ送る。
【０１１４】
また、図１５に示すようにビデオプロセッサ１１内では、回転フィルタ８１の回転を一定に保つための同期信号（Ｒk，Ｇk，Ｂk）を発生し、この同期信号に同期して回転フィルタの露光・遮光期間が繰り返され（図１５（ａ））、遮光期間中に撮像素子から電荷（画像信号）が読み出される（図１５（ｂ））。このとき、ビデオプロセッサ１１は、この同期信号を内視鏡位置検出装置３へ送る（図１５（ｃ））。
【０１１５】
内視鏡位置検出装置本体１９では、回転フィルタ８１の同期信号（Ｒk，Ｇk，Ｂk）からセンスコイル２０ｋに発生する信号を検出するための制御信号を作り出す。そして、この制御信号により電子内視鏡７の先端の３次元位置を測定するタイミングと、撮像手段により撮像されるタイミングとの同期が正確に取られて、センスコイル２０ｋの出力が取り込まれる（図１５（ｄ））。その他の作用は第１の実施の形態と同じである。
【０１１６】
（効果）
このように本実施の形態では、第１の実施の形態の効果に加え、画像データと位置データとの同期が正確にとれることから、対象物体の絶対的な形状を正確に求めることができる。
【０１１７】
第３の実施の形態：
第３の実施の形態は、第２の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【０１１８】
（構成）
本実施の形態の内視鏡システム１の構成は、第２の実施形態の画像処理装置４に外部記憶装置を接続した構成となっている。その他の構成は第２の実施の形態と同じである。
【０１１９】
（作用）
第２の実施形態で説明したように、ビデオプロセッサ１１から出力された画像データと内視鏡位置検出装置本体１９から出力される位置データは同期して画像処理装置本体２４に送られる。
【０１２０】
画像処理装置４には、ハードディスクやデジタルの光磁気ディスク等の外部記憶装置が接続されており、ビデオプロセッサ１１と内視鏡位置検出装置３から送られてくる画像データと位置データを関連付けて外部記憶装置に記憶する。
【０１２１】
画像データと位置データは同期して送られてくるため、表１に示すように、画像データと位置データを交互に記憶する。
【０１２２】
【表１】
また、絶対的な形状を推定するのに必要な画像データＩi と位置データＰi （ｉ＝０，１，２，…，ｎ）を画像処理装置４内に記憶し、記憶されたデータを表２のようにそれぞれの領域に記憶する。
【０１２３】
【表２】
画像処理装置４は、外部記憶装置に記憶されたデータを読み出し、記憶手段５１に記憶し、第１の実施の形態で説明した図１３のステップＳ６以降の処理を実行することにより対象物体の絶対的な形状を推定する。
【０１２４】
推定された絶対的な形状を適当な視点位置から見たときの２次元画像を生成し、モニタ１４に表示する。
【０１２５】
また第１の実施形態のように、ビデオプロセッサ１１と内視鏡位置検出装置３との同期が正確に取れていない場合、表３に示すように画像処理装置４の処理が実行されてから撮像素子から画像信号を読み出す時間ｔIa（ａ＝０，１，２，…，ｎ）とセンスコイルから検出する時間ｔIb（ｂ＝０，１，２，…，ｍ）を画像データＩa（ａ＝０，１，２，…，ｎ）と位置データＰb （ｂ＝０，１，２，…，ｍ）に関連付けて外部記憶装置に記憶する。
【０１２６】
【表３】
画像処理装置４は、外部記憶装置に記憶された画像データと位置データと関連情報を読み出し、画像処理装置４の記憶手段５１に記憶し、絶対的な形状を推定する。
【０１２７】
ここで、記憶された画像データと位置データが同期していないため、撮像素子により画像データを撮影した位置と位置データとが一致していないことから、記憶された位置データから撮像素子が撮影した位置を推定する必要がある。
【０１２８】
画像データＩi の撮影位置の前後に検出された位置データを
【数３４】
とすると、画像データＩi が撮影された時間ｔIiと位置データが検出された時間ｔpj、ｔPj+1から重み付けを行い、画像データＩi の位置ＰIiを次のように推定する。
【０１２９】
【数３５】
ここでは、線形な重み付け加算により画像データが撮影された位置を推定したが、撮像素子が撮影を行った前後の検出された位置データから非線型な重み付け加算等を行ってもよい。
【０１３０】
（効果）
このように本実施の形態では、第２の実施の形態の効果に加え、ビデオプロセッサ１１からの画像データと内視鏡位置検出装置３からの位置データが関連付けて記憶されるため、対象物体を必要なときの測定できる。
【０１３１】
また、第１実施の形態のようにビデオプロセッサ１１と内視鏡位置検出装置３が同期していない場合でも、位置データと画像データの取り込みのタイミングに関するデータを同時に記憶することによって、撮像素子の撮影位置を記憶された位置データから予測することができる。
【０１３２】
［付記］
（付記項１） 対物レンズを介して被検体を内視鏡画像として撮像する撮像手段と、
前記撮像手段で撮像された複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された複数の画像の画像信号に基づき、該画像間の相対的な形状を推定する相対形状推定手段と、
前記対物レンズの近傍に設けられた第１のコイル手段と、
所定の位置に固定された第２のコイル手段を有し、磁界を用いて前記第１のコイル手段の位置情報を検出する位置情報検出手段と、
前記画像情報記憶手段に記憶された各々の画像に対応して前記位置情報検出手段で検出された位置情報を取得する位置情報取得手段と、
前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定手段と
を具備したことを特徴とする内視鏡画像処理装置。
【０１３３】
（付記項２） 挿入部に湾曲操作可能な湾曲部を有する内視鏡と、
前記挿入部の先端に設けられた対物レンズと、
前記対物レンズを介して被検体を撮像する撮像手段と、
前記撮像手段で撮像された複数の内視鏡画像を記憶する画像記憶手段と
前記画像記憶手段に記憶された複数の内視鏡画像の画像信号に基づき、該複数の内視鏡画像間の相対的な形状情報を推定する相対形状推定手段と、
前記挿入部の先端に設けられた第１のコイル手段と、
所定の位置に固定された第２のコイル手段を有し、磁界を用いて前記第１のコイル手段の位置情報を検出する位置情報検出手段と、
前記画像情報記憶手段に記憶された各々の内視鏡画像に対応して前記位置情報検出手段で検出された位置情報を取得する位置情報取得手段と、
前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定手段と
を具備したことを特徴とする内視鏡画像処理装置。
【０１３４】
（付記項３） 対物レンズを介して被検体像を撮像手段で撮像する撮像行程と、
前記撮像手段で撮像された複数の被検体像をそれぞれ記憶する撮像画像記憶行程と、
前記撮像画像記憶行程で記憶された複数の被検体像の画像信号に基づき、該複数の被検体像間の相対的な形状情報を推定する相対形状推定行程と、
前記対物レンズの近傍に設けられた第１のコイル手段の位置情報を、所定の位置に固定された第２のコイル手段を有する位置情報検出手段によって磁界を用いて検出する位置情報検出行程と、
前記撮像画像記憶行程で記憶された各々の被検体像に対応して前記位置情報検出行程で検出された位置情報を取得する位置情報取得行程と、
前記相対形状推定行程で推定された相対的な形状情報と前記位置情報取得行程で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定行程と
を有することを特徴とする形状推定方法。
【０１３５】
（付記項４） 同一の対象物体に対して異なる位置より撮像する撮像手段を有する内視鏡と、
前記撮像手段により撮像された複数の画像から、前記対象物体の相対的な形状を推定する相対形状推定手段と、
コイルによって前記内視鏡先端の３次元空間上の位置を検出する位置検出手段と、
前記相対形状推定手段により推定された対象物体の相対形状と前記位置検出手段の出力から、前記対象物体の絶対的な形状を推定する手段と
を備えたことを特徴とする内視鏡画像処理装置。
【０１３６】
（付記項５） 前記位置検出手段は、磁界を発生するソースコイルを前記内視鏡の先端に設置し、
前記ソースコイルが発生した磁界を検出するセンスコイルを３次元空間上に複数配置し、
前記センスコイルの出力から前記ソースコイルの３次元空間上の位置を検出する
ことを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１３７】
（付記項６） 前記位置検出手段は、磁界を発生するソースコイルを３次元空間上に複数配置し、
前記ソースコイルが発生した磁界を検出するセンスコイルを前記内視鏡の先端に設置し、
前記センスコイルの出力から前記センスコイルの３次元空間上の位置を検出する
ことを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１３８】
（付記項７） 前記ソースコイルは単心コイルからなる
ことを特徴とする付記項５または６に記載の内視鏡画像処理装置。
【０１３９】
（付記項８） 前記センスコイルは単心コイルからなる
ことを特徴とする付記項５または６に記載の内視鏡画像処理装置。
【０１４０】
（付記項９） 前記センスコイルは３軸コイルからなる
ことを特徴とする付記項５または６に記載の内視鏡画像処理装置。
【０１４１】
（付記項１０） 前記撮像手段により対象物体を撮影するタイミングに前記位置検出手段の検出を行うタイミングを同期させる同期手段
を有することを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１４２】
（付記項１１） 前記対象物体の絶対的な形状を任意の視点を設定したときの２次元画像を生成する手段
を有することを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１４３】
（付記項１２） 前記撮像手段により撮影された複数の画像と前記位置検出手段により検出された前記内視鏡先端の位置を記憶する前記記憶手段を
を有することを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１４４】
（付記項１３） 前記記憶手段は、
前記撮像手段が内視鏡画像を撮影した時刻と、前記位置検出手段が内視鏡先端の位置を検出した時刻を画像と位置のデータに関連付けて記憶する
ことを特徴とする付記項１２に記載の画像処理装置。
【０１４５】
（付記項１４） 前記位置検出手段は、
前記記憶手段に記憶された内視鏡先端の位置と前記位置検出手段が内視鏡先端の位置を検出した時刻と前記撮像手段が内視鏡画像を撮影した時刻から、前記撮影手段が撮影を行った時刻の内視鏡先端の位置を推定する位置推定手段
を有することを特徴とする付記項１３に記載の内視鏡画像処理装置。
【０１４６】
（付記項１５） 前記位置推定手段は、
前記記憶手段に記憶された複数の内視鏡先端の位置と検出した時刻から任意の時刻の内視鏡先端の位置を補間して求める補間手段を備え、
前記記憶手段に記憶された内視鏡画像を撮影した時刻と前記補間手段から内視鏡先端の位置を推定する
ことを特徴とする付記項１４に記載の画像処理装置。
【０１４７】
【発明の効果】
以上説明したように本発明の内視鏡画像処理装置によれば、位置情報取得手段が画像情報記憶手段に記憶された各々の画像に対応して位置情報検出手段で検出された位置情報を取得すると共に、被検体形状推定手段が相対形状推定手段で推定した相対的な形状情報と位置情報取得手段で取得した位置情報とに基づき被検体の形状を推定するので、画像の状態にかかわらず、対象物体の絶対的な形状を精度良く推定することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る内視鏡システムの構成を示す構成図
【図２】図１の内視鏡位置検出装置の機能構成を示すブロック図
【図３】図２の内視鏡位置検出装置の構成を示す構成図
【図４】図３の内視鏡位置検出装置の要部である２ポートメモリ等の構成を示す構成図
【図５】図４の２ポートメモリの動作を示すタイミング図
【図６】図１の画像処理装置の構成を示す構成図
【図７】図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第１の説明図
【図８】図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第２の説明図
【図９】図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第３の説明図
【図１０】図６の画像処理装置の作用を説明する第１の説明図
【図１１】図６の画像処理装置の作用を説明する第２の説明図
【図１２】図６の画像処理装置の作用を説明する第３の説明図
【図１３】図６の画像処理装置の処理の流れを示すフローチャート
【図１４】本発明の第２の実施の形態に係る回転フィルタの構成を示す構成図
【図１５】図１４の回転フィルタに同期した同期信号に基ずく各信号のタイミングを示すタイミング図
【符号の説明】
１…内視鏡システム
２…内視鏡装置
３…内視鏡位置検出装置
４…画像処理装置
５…ベット
７…電子内視鏡
８…挿入部
９…操作部
１０…ユニバーサルコード
１１…ビデオプロセッサ
１２…照明窓
１３…観察窓
１４…画像観察用モニタ
１５…鉗子チャンネル
１５ａ…挿入口
１６…ソースコイル
１７…プローブ
１８…ソースケーブル
１９、２４…装置本体
２０ｋ…センスコイル
２１…センスケーブル
２２…操作パネル
２３…ケーブル
２５…モニタ
２６…駆動ブロック
２７…検出ブロック
２８…ホストプロセッサ
３１…ソースコイル駆動回路
３２…ＣＰＵ
３３…ＰＩＯ
３４…センスコイル信号増幅回路部
３５ｋ…増幅回路
３６ｋ…フィルタ回路
３７ｋ…出力バッファ
３８ｋ…ＡＤＣ
４０…制御信号発生回路部
４１…ローカルデータバス
４２…２ポートメモリ
４６…内部バス
４７…メインメモリ
５１…記憶手段
５２…相対形状推定手段
５３…位置情報取得手段
５４…被写体形状推定手段
５５…３Ｄ−２Ｄ変換手段
【発明の属する技術分野】
本発明は内視鏡画像処理装置、更に詳しくは同一の対象物体に対して異なる位置から撮像された画像を用いて対象物体の絶対形状を推定する形状推定部分に特徴のある内視鏡画像処理装置に関する。
【０００２】
【従来の技術】
視野に重なりをもって配置された撮像手段の、相対的な配置が既知の場合に、撮像された画像から対象物の形状を推定する問題に対しては、いわゆるステレオ画像からの形状推定問題として種々の方法が提案されている。
【０００３】
さらに近年では、動きからの３次元構造抽出についていくつかの提案がなされている。これは複数の画像から撮像手段の相対的な移動をも推定しようとする手法である。
【０００４】
これらの手法はいずれも、複数の画像間で対象物上の同一の点の各画像上における位置が関連付けられることを原情報として用いる。
【０００５】
対象物上の同一の点の各画像上における位置の検出に対しても種々の方法が提案されている。人工的な対象物の場合、角、輪郭成分が明瞭であることが多いため、線分抽出等の構造抽出による手法は有効であるが、一般的な自然画像に対しては適用が難しい。時系列画像に対してしばしば用いられる濃度勾配法は、画像間での対象物の見かけの移動が非常に小さく、画像品質が良い場合には良好な結果が得られるが、撮像条件の制約が大きい。
【０００６】
そこで一般的には、画像上の着目点とその周辺領域を参照領域として抽出し、探索対象物の画像上から抽出した領域との間で相関演算を行い最大相関値を与える位置を対応点とする手法（ブロックマッチング）がしばしば用いられる。このブロックマッチング法は画像上のテクスチャが明瞭であれば比較的安定した結果をもたらすが、テクスチャが不明瞭な場合には誤った対応点を検出してしまうことがある。
【０００７】
さらに本質的な欠点として、対象物が立体でありブロック内に例えば背景との境界を含む場合には検出結果は信頼できない。また、対象物面が撮像手段に対して傾いている、あるいは距離の差がある等、複数の撮像手段の画像間での像の変形が大きい、または像の大きさの差異が大きい場合も信頼できない。
【０００８】
立体形状の推定に関わる問題としてはオクルージョン及び推定結果の整合の問題が挙げられる。特に、ステレオからの推定においては対象物の背後に隠れ、撮像されない部分、あるいは一方の撮像手段のみに撮像される部分とが存在し、これらの領域の扱いが問題となる。
【０００９】
撮像手段の数が多ければ必然的に撮像される領域は多くなり、隠される領域は少なくなるが、特に撮像手段の位置が既知でない場合、あるいは推定が正確でない場合には、これらの画像間の整合は容易でない。
【００１０】
このように従来提案されてきた手法のほとんどは、人工物を撮像した画像を対象物としているか、または、自然画像を対象物とした場合に当然発生するこれらの問題に対し、いずれかの仮定をおくことにより、影響を除外あるいは軽減した条件において考察されており、実用上十分な能力をもっているとは言えない。
【００１１】
例えば、従来提案されている手法の適用が困難であり、かつ、機能が実現された場合に実用的な価値の大きい画像の種類として、生体用内視鏡から得られる画像がある。
【００１２】
細長の挿入部を体腔内に挿入することによって、切開を必要とすることなく、体腔内の患部等を観察したり、必要に応じ処置具を用いて治療処置のできる内視鏡においては、先端部の大きさは機能上最小限に抑える必要があるため、医師が観察、あるいは処置を行うために必要な部材以外は組み込むことができない。
【００１３】
経内視鏡的に対象物の形状を把握することに関して既にいくつかの提案がなされている。例えば観察対象物に対しパターン光等を投影する方式（特開昭６３−２４０８３１号公報）、先端部に複眼を持つ方式（特開昭６３−２４４０１１号公報）であるが、いずれも内視鏡先端部あるいは光源部に特殊な構造が要求されるため、装置の大型化、複雑化を招き一般的に用いることが難しい。
【００１４】
同一出願人による特開昭６３−２４６７１６号公報には内視鏡先端を手元操作により移動させて得た複数の画像から対象物形状を推定する手法及び、操作に伴う先端の移動量を計測する計測機構が開示されている。この方法によれば現内視鏡の機能を損なうことなく、絶対的な対象物形状の推定を行うことができる。
【００１５】
また、同一出願人による特開平６−７２８９号公報では、対象となる物体のそばに大きさが既知な基準物を置いて、内視鏡先端を手元操作により移動させて得た複数の画像から対象物と基準物の相対的な形状を推定する手法及び、対象物のそばに置いた基準物の大きさから対象物の大きさを推定する手法が開示されている。
【００１６】
前述した特開昭６３−２４６７１６号公報の構成では、時系列的に得られた複数の画像から対象物体の相対的な形状を推定すると共に、この操作に伴う内視鏡先端の撮像手段の移動量を計測しその計測値から絶対的な形状を推定することは可能である。
【００１７】
しかし、前記計測機構の与え得る精度は撮像手段の分解能等を考え合わせると不十分ではないまでも十分であるとは言い難い。
【００１８】
また、特開平６−７２８９号公報の構成では、時系列的に対象物体を撮像する場合に、対象物体と共に形状の大きさが既知な基準物を同時に撮像することにより、対象物体の絶対的な形状を求めるようになっている。
【００１９】
しかし、生体用内視鏡を使って対象物体のそばに基準物を置いて同時に撮像することは、内視鏡の操作者にとって大きな負担になるという問題点があった。
【００２０】
そこで、特開平９−２６５４７号公報において、同一の対象物体に対して異なる位置から撮像された画像を基に、撮像手段から対象物体までの絶対的な距離を精度良く容易に推定することのできる装置が提案されている。
【００２１】
【発明が解決しようとする課題】
しかしながら、上記特開平９−２６５４７号公報では、対象物体に対し異なる位置から撮影した画像から相対的な形状を推定し、画像上のハレーションやレーザ光を照射したときの画像を用いて内視鏡先端と対象までの距離を算出して絶対的な形状を推定していたため、距離算出に用いられる画像の状態により精度が変わるといった問題がある。
【００２２】
本発明は、上記事情に鑑みてなされたものであり、画像の状態にかかわらず、対象物体の絶対的な形状を精度良く推定することのできる内視鏡画像処理装置を提供することを目的としている。
【００２３】
【課題を解決するための手段】
本発明の内視鏡画像処理装置は、対物レンズを介して被検体を内視鏡画像として撮像する撮像手段と、前記撮像手段で撮像された複数の画像を記憶する画像記憶手段と、前記画像記憶手段に記憶された複数の画像の画像信号に基づき、該画像間の相対的な形状を推定する相対形状推定手段と、前記対物レンズの近傍に設けられた第１のコイル手段と、所定の位置に固定された第２のコイル手段を有し、磁界を用いて前記第１のコイル手段の位置情報を検出する位置情報検出手段と、前記画像情報記憶手段に記憶された各々の画像の、前記相対形状推定手段が相対的な形状の推定に用いた少なくとも異なる２つの画像での、前記位置情報検出手段で検出された位置情報を取得する位置情報取得手段と、前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定手段とを備えて構成される。
【００２４】
本発明の内視鏡画像処理装置では、前記位置情報取得手段が前記画像情報記憶手段に記憶された各々の画像に対応して前記位置情報検出手段で検出された位置情報を取得すると共に、前記被検体形状推定手段が前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき前記被検体の形状を推定することで、画像の状態にかかわらず、対象物体の絶対的な形状を精度良く推定することを可能とする。
【００２５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００２６】
第１の実施の形態：
図１ないし図１３は本発明の第１の実施の形態に係わり、図１は内視鏡システムの構成を示す構成図、図２は図１の内視鏡位置検出装置の機能構成を示すブロック図、図３は図２の内視鏡位置検出装置の構成を示す構成図、図４は図３の内視鏡位置検出装置の要部である２ポートメモリ等の構成を示す構成図、図５は図４の２ポートメモリの動作を示すタイミング図、図６は図１の画像処理装置の構成を示す構成図、図７は図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第１の説明図、図８は図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第２の説明図、図９は図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第３の説明図、図１０は図６の画像処理装置の作用を説明する第１の説明図、図１１は図６の画像処理装置の作用を説明する第２の説明図、図１２は図６の画像処理装置の作用を説明する第３の説明図、図１３は図６の画像処理装置の処理の流れを示すフローチャートである。
【００２７】
（構成）
図１に示すように、本実施形態の内視鏡システム１は、内視鏡検査を行う内視鏡装置２と、体腔内の内視鏡の先端の３次元位置を検出するための内視鏡位置検出装置３と、内視鏡により観察した対象物体の形状を推定するための画像処理装置４とを備えて構成される。
【００２８】
ここで、画像処理装置４は、ベット５に横たわる患者６の体腔内に電子内視鏡７の挿入部８を挿入し、体腔内の対象物体の形状を求める手段として使用される。
【００２９】
電子内視鏡７は、可撓性を有する細長の挿入部８の後端に湾曲操作ノブを設けた操作部９が形成され、この操作部９からユニバーサルコード１０が延出され、ビデオイメージングシステム（ビデオプロセッサ）１１に接続されている。ここで、上記内視鏡装置２は、電子内視鏡７及びビデオプロセッサ１１から構成される。
【００３０】
この電子内視鏡７は、ライトガイドが挿通されビデオプロセッサ１１内の光源部からの照射光を伝送し、挿入部８の先端に設けられた照明窓１２から伝送した照明光を出射し、患者等を照明する。照明された患部等の被写体は照射窓に隣接して設けられた観察窓１３に取り付けた対物レンズにより、その結像位置に配置されたカラーフィルタを有する撮像素子に像を結び、この撮像素子は光電変換する。
【００３１】
光電変換された信号はビデオプロセッサ１１の映像信号処理部により信号処理されて標準的な映像信号が生成され、ビデオプロセッサ１１に接続された画像観察モニタ１４に表示される。
【００３２】
この電子内視鏡７には鉗子チャンネル１５が設けてあり、この鉗子チャンネル１５の挿入口１５ａから例えば１個の磁気発生素子（またはソースコイル）１６を有するプローブ１７が挿通されることにより、電子内視鏡７の先端部にソースコイル１６が設置される。
【００３３】
このプローブ１７の後端から延出されたソースケーブル１８は、その後端のコネクタが内視鏡位置検出装置３の装置本体１９に着脱自在に接続される。そして、装置本体１９側から高周波信号伝達手段としてソースケーブル１８を介して磁気発生手段となるソースコイル１６に高周波信号（駆動信号）を印加することにより、ソースコイルの１６の磁気を伴う電磁波を周囲に放射する。
【００３４】
また、患者６が横たわるベット５には、複数の磁気検出素子（またはセンスコイル）２０ｋが所定の位置に配置されている。この場合、センスコイル２０ｋを構成する単心コイルは全部で１２個で、ベット５を基準とする座標系ＸＹＺの各軸と同一方向を向いた３つの単心コイルがそれぞれ４組配置されている。
【００３５】
センスコイル２０ｋは、ベット５のコネクタから検出信号伝達手段としてのセンスケーブル２１を介して内視鏡位置検出装置３の装置本体１９に接続されている。この装置本体１９には使用者が装置を操作するための操作パネル２２またはキーボード等が設けられている。また、この装置本体１９はケーブル２３で画像処理装置４の装置本体２４と接続され、各装置間のデータの送受信が行われる。
【００３６】
また、画像処理装置４の装置本体２４はビデオプロセッサ１１とケーブル２５で接続され、ビデオプロセッサ１１から送られてくる画像信号（ＲＧＢ信号と同期信号）を受け取る。そして、この画像処理装置４の装置本体２４は、ビデオプロセッサ１１からの対象物体の連続的な画像信号から相対的な形状を推定し、内視鏡位置検出装置３の装置本体１９からの電子内視鏡７の先端の位置データから対象物体の絶対的な形状を算出する。
【００３７】
さらに、この画像処理装置４の装置本体２４は、任意の視点から観察したときの２次元データを作成してモニタ２５に表示する。
【００３８】
内視鏡位置検出装置３は、図２に示すように、ソースコイル１６を起動する駆動ブロック２６と、センスコイル２０ｋが受信した信号を検出する検出ブロック２７と、検出ブロック２７で検出した信号を信号処理するホストプロセッサ２８とから構成される。
【００３９】
図３に示すように、電子内視鏡７の挿入部８に設置されるプローブ１７には、上述したように、磁界を生成するためのソースコイル１６が配置されており、ソースコイル１６は、駆動ブロック２６を構成する高周波の駆動信号を生成するソースコイル駆動回路３１に接続されている。
【００４０】
ソースコイル駆動回路部３１は、ソースコイル１６を正弦波の駆動信号電流で駆動し、駆動周波数はソースコイル駆動回路部３１内部の図示しない駆動周波数設定データ格納手段或いは駆動周波数設定データ記憶手段に格納された駆動周波数設定データ（駆動周波数データとも記す）により設定される。この駆動周波数データは、ホストプロセッサ２８において電子内視鏡６の先端の３次元位置の検出処理等を行うＣＰＵ（中央処理ユニット）３２によりＰＩＯ（パラレル入出力回路）３３を介してソースコイル駆動回路部３１内の駆動周波数データ格納手段（図示せず）に格納される。
【００４１】
一方、１２個のセンスコイル２０ｋは、検出ブロック２７を構成するセンスコイル信号増幅回路部３４に接続されている。
【００４２】
図４に示すように、センスコイル信号増幅回路部３４では、センスコイル２０ｋが１個につき１系統設けられた増幅回路３５ｋに接続されており、各センスコイル２０ｋで検出された微小な信号が増幅回路３５ｋにより増幅されフィルタ回路３６ｋでソースコイル１６が発生する周波数が通過する帯域をもち不要成分を除去して出力バッファ３７ｋに出力された後、ＡＤＣ（アナログ・デジタル・コンバータ）３８ｋでホストプロセッサ２８が読み込み可能なデジタル信号に変換される。
【００４３】
なお、検出ブロック２７は、センスコイル信号増幅回路部３４及びＡＤＣ３８ｋより構成され、センスコイル信号増幅回路部３４は増幅回路３５ｋ、フィルタ回路３６ｋ及び出力バッファ３７ｋより構成される。
【００４４】
図３に戻り、このセンスコイル信号増幅回路部３４の１２系統の出力は、１２個の前記ＡＤＣ３８ｋに伝送され、制御信号発生回路部４０から供給されるクロックにより所定のサンプリング周期のデジタルデータに変換される。このデジタルデータは、制御信号発生回路部２７からの制御信号によりローカルデータバス４１を介して２ポートメモリ４２に書き込まれる。
【００４５】
なお、２ポートメモリ４２は、図４に示すように、機能的には、ローカルコントローラ４２ａ、第１のＲＡＭ４２ｂ、第２のＲＡＭ４２ｃ及びバススイッチ４２ｄよりなり、図５に示すようなタイミングにより、ローカルコントローラ４２ａからのＡ／Ｄ変換開始信号によりＡＤＣ３８ｋがＡ／Ｄ変換を開始し、ローカルコントローラ４２ａからの切り換え信号によりバススイッチ４２ｄが第１のＲＡＭ４２ｂ、第２のＲＡＭ４２ｃを切り換えながら、第１ＲＡＭ４２ｂ、第２のＲＡＭ４２ｃを交互に読み出しメモリ及び書き込みメモリとして用い、書き込み信号により、電源投入後は、常時データの取り込みを行っている。
【００４６】
再び、図３に戻り、ＣＰＵ３２は、制御信号発生回路部２７からの制御信号により２ポートメモリ４２に書き込まれたデジタルデータをローカルデータバス４３、ＰＣＩコントローラ４４及びＰＣＩバス４５（図４参照）からなる内部バス４６を介して読みだし、メインメモリ４７を用いデジタルデータに対して周波数抽出処理（フーリエ変換：ＦＦＴ）を行い、ソースコイル１６の駆動周波数に対応する周波数成分の磁界検出情報に分離抽出し、分離した磁界検出情報のデジタルデータから電子内視鏡７の先端の空間位置座標を算出する。
【００４７】
ＣＰＵ３２において、ソースコイル１６に対応した磁界検出情報、すなわち、各センスコイル２０ｋに発生する起電力（正弦波信号の振幅値）と位相情報が算出される。なお、位相情報は、起電力の極性±を示す。
【００４８】
次に画像処理装置４について説明する。図６に示すように、画像処理装置４では、ビデオプロセッサ１１から送られてきた画像信号をデジタルに変換して画像データとして記憶手段５１に順次記憶する。記憶手段５１に記憶された画像データは相対形状推定手段５２に送られ、相対形状推定手段５２は対象物体の相対的な形状を推定する。
【００４９】
一方、内視鏡位置検出装置３により検出されたソースコイル１６の３次元空間上の位置が位置情報取得手段５３へ送られ、位置情報取得手段５３は、対象物体の相対的な形状を推定するときに使われた画像間の移動量を算出する。
【００５０】
また、被写体形状推定手段５４は、位置情報取得手段５３で算出された移動量と相対形状推定手段５２により推定された相対的な形状から対象物体の絶対的な形状を推定する。
【００５１】
被写体形状推定手段５４で推定された形状を任意の視点から観察したときの画像データを３Ｄ−２Ｄ変換手段５５で求め、その画像をモニタ２５に表示する。
【００５２】
（作用）
図１に示すように電子内視鏡７の鉗子チャンネルの挿入口１５ａから挿通されたソースコイル１６を挿入部８の先端に固定し、電子内視鏡７の操作部９を操作することにより同一の対象物体に対して先端を移動させる。
【００５３】
対象物体に対して電子内視鏡７の先端の移動を始めると同時に、内視鏡位置検出装置３が電子内視鏡７の先端の位置（ソースコイル１６の位置）を検出すると共に、画像処理装置４に設けられた操作パネル２２等の入力装置により絶対的な形状を推定する処理を実行する。
【００５４】
まず、内視鏡位置検出装置３の作用について説明する。本出願人が先に出願した特願平１０−６９０７５号に詳細に説明しているが、図７に示すように、半径が極めて小さく薄い円形コイルでは、特開平９−８４７４５号公報に記載されているように、円形コイルに電流を流すと磁気双極子と同様に、３次元空間上の点Ｐの磁位は次のような式で表すことができる。
【００５５】
【数１】
Ｎ1 ：円形コイルの巻数
ａ ：円形コイルの半径
Ｉ ：円形コイルに流れる電流
従って、点ＰにおけるＸ，Ｙ，Ｚ軸と同一方向の磁界（ＨPx、ＨPy、ＨPz）は、
【数２】
図８に示すような３次元空間（以下ワールド座標系ＸW −ＹW −ＺW）において、磁界を発生する単心コイル（以下ソースコイル）の位置を（ｘgW、ｙgW、ｚgW）とし、３次元空間上の任意の位置を点Ｐ（ｘPW、ｙPW、ｚPW）とする。
【００５６】
ソースコイルを基準とした座標系をローカル座標系ＸL −ＹL −ＺL とすると、ローカル座標系における点Ｐの座標（ｘPl、ｙPl、ｚPl）は
【数３】
ＰW ：ワールド座標系における原点Ｏから点Ｐへのベクトル
ＧW ：ワールド座標系におけるソースコイルの位置へのベクトル
Ｒ：回転マトリックス
と表すことができる。
【００５７】
但し、Ｒは回転マトリックスで、図９に示す極座標系の回転マトリックスＲは
【数４】
【００５８】
ソースコイルを基準としたローカル座標系において、点Ｐに発生する磁界Ｈl （ＨPxl 、ＨPyl 、ＨPzl ）は式（３）より
【数５】
【００５９】
従って、ワールド座標系の点ＰにおけるＸW 、ＹW 、ＺW 軸と同一方向の磁界ＨW （ＨPxW 、ＨPyW 、ＨPzW ）は、
【数６】
【００６０】
３次元空間ＸＹＺ上に磁界を発生する１つのソースコイルを位置（ｘg，ｙg，ｚg）、向き（ｇx，ｇy，ｇz）に配置した場合、適当な位置Ｐ（ｘd，ｙd，Ｚd）に発生する磁界Ｈx，Ｈy，Ｈzは、式（６）から次のように表される。
【００６１】
【数７】
【００６２】
点Ｐの位置に座標軸Ｘ，Ｙ，Ｚと同一に向いた単心コイルＣx，Ｃy，Ｃzが配置された場合、それぞれの単心コイルＣx，Ｃy，Ｃzに発生する電圧Ｖx，Ｖy，Ｖzは
【数８】
【００６３】
図１に示したように、本実施の形態では、単心コイルからなるセンスコイル２０ｋを３次元空間上に複数配置し、具体的にはベット５おいて、Ｘ軸に向いた４つのセンスコイルと、Ｙ軸に向いた４つのセンスコイルと、Ｚ軸に向いた４つのセンスコイルの計１２個のセンスコイル２０ｋを配置している。この１２個のセンスコイル２０ｋの電圧、位置、向きが全て既知であることから、式（８）によりソースコイル１６の位置（ｘg，ｙg，ｚg）と向き（ｇx，ｇy，ｇz）を未知数とする１２個の非線形方程式が得られる。
【００６４】
この１２個の非線形方程式の解、すなわち、ソースコイル１６の位置と向きを反復改良によって求める（Ｇａｕｓｓ−Ｎｅｗｔｏｎ法）。
【００６５】
ｘをソースコイルの位置（ｘg，ｙg，ｚg）と向き（ｇx，ｇy，ｇz）のパラメータとし、そのパラメータの初期値をｘ(0)とする。
【００６６】
いま、反復改良によりｋ次の推定値ｘ(k)が得られ、センスコイルに発生する電力のモデル関数Ｖ（ｘ）をｘ(k)のまわりでＴａｙＬｏｒ展開すると、その一次近似は
【数９】
【００６７】
このとき、Ｖｍをセンスコイルによって測定された電圧とすると観測方程式は
【数１０】
と表される。式（１０）の右辺の第１項を左辺に移動すると
【数１１】
【数１２】
ΔＶｍ(k)＝Ｖｍ−Ｖ（ｘ(k)）＝Ｖｍ−Ｖｍ(k) …（１２）
【数１３】
Δｘ(k)＝ｘ−ｘ(k) …（１３）
【数１４】
（行方向：未知数の数ｎ、列方向：センスコイルの数ｍ）
である。解Δｘ(k)は、式（１１）より
【数１５】
Δｘ(k)＝（Ｂ(k)ＷＡ(k)）-1Ｂ(k)ＷΔＶｍ(k) …（１５）
と表される。ただし、ＢはＡの転置、Ｗは重み行列である。
【００６８】
よって、式（１３）より改良したパラメータの推定値は
【数１６】
ｘ(k+1)＝ｘ(k)＋Δｘ(k) …（１６）
と求められる。
【００６９】
図１に示したように１２個のセンスコイル２０ｋを並べると、行列Ａは
【数１７】
【数１８】
【００７０】
また、第ｋ番目のΔＶｍは
【数１９】
【００７１】
手順（１）；ｋ＝０とし、ソースコイルの初期値を位置（ｘg，ｙg，ｚg）(0)、向き（ｇx，ｇy，ｇz）(0)とする（例えば、ソースコイルを測定する空間の中心位置とＺ軸方向のベクトル（０，０，１））。
手順（２）；式（１７），（１８），（１９）により第ｋ番目の行列を計算する。
手順（３）；式（１６）により第ｋ番目の更新量Δｘ(k)を計算する。
手順（４）；更新量Δｘ(k)が小さくなるまで上記手順（２）から（４）を繰り返す。
【００７２】
本実施の形態では、Ｘ，Ｙ，Ｚ軸方向に向いたセンスコイルをそれぞれ配置してソースコイルの位置を推定したが、これに限らず、各々のセンスコイルを任意の位置や向きに配置した場合でも、センスコイルの位置と向きが既知であればソースコイルの位置が推定できる。
【００７３】
次に、画像処理装置３の作用について説明する。まず、対象物の相対的な形状を推定する手法について説明する。
【００７４】
特開平９−２６５４７号公報に記載されているように、電子内視鏡７により撮像手段を移動しながら画像の撮像を行い、この時系列に撮像された２次元の画像データを画像処理装置３に入力する。このとき、図１０に示すように、内視鏡先端を移動することにより同一の対象物体の時系列画像を撮像する。
【００７５】
撮像素子によって撮影された対象物体の画像信号をビデオプロセッサ１１内で処理し、処理した画像信号を画像処理装置４が取り込み、画像信号をデジタル信号に変換して記憶手段５１にデジタルの画像データＩ0 〜Ｉn として記憶する。これにより、Ｐ0 ないしＰn で示す撮像手段の移動軌跡に対応して時系列画像Ｉ0 〜Ｉn が得られる。
【００７６】
画像処理装置４の相対形状推定手段５２は、得られた時系列画像Ｉ0 〜Ｉn の最初の画像Ｉ0 に対して複数の点Ｐab（ａ＝０，１，…，ｑ、ｂ＝０，１，…，ｒ）を設定し、テンプレートマッチングの手法（参照文献：コンピュータ画像処理入門 総研出版（株） 田村秀行監修：p.148 〜p.150 ）により、残りの画像Ｉi （ｉ＝１，２，…，ｎ）で設定された点Ｐabと同一の点の位置を検出する。
【００７７】
各画像の同一の点の位置が検出されることで、画像Ｉ0 で設定された点Ｐabに対して残りの画像Ｉi（ｉ＝１，２，…，ｎ）との位置のズレ、すなわち、点Ｐabの各画像毎の移動量であるシフトマップＳi （ｉ＝１，２，…，ｎ）が求められる。
【００７８】
画像Ｉiに対するシフトマップＳi は、次のようにｘ方向とｙ方向の移動量として表す。
【００７９】
【数２０】
【００８０】
次に、前記求められたシフトマップより撮像手段の運動（内視鏡先端部１６の動き）を推定する。
【００８１】
図１１に中心射影の座標系を示す。画像原点Ｏからの距離ｅだけ離れたところにＺ軸に垂直に画像面をおく。空間中の点（Ｘ，Ｙ，Ｚ）は、この点（Ｘ，Ｙ，Ｚ）と原点Ｏとを結ぶ直線と画像面とが交わる点に投影されるものとする。その交点の画像上の座標を（ｘ，ｙ）とすると、幾何学的な関係からｘ，ｙは、
【数２１】
【００８２】
撮像手段の運動により空間中の点Ｘ＝（Ｘ，Ｙ，Ｚ）がＸ′＝（Ｘ′，Ｙ′，Ｚ′）に移動したとき、そのときの撮像手段の運動は、原点を通る視軸回りの回転を表す回転ベクトルＲと、並進ベクトルｈ＝（ｈx ，ｈy ，ｈz ）を用いて次のように表される。
【００８３】
【数２２】
Ｘ＝ＲＸ′＋ｈ …（２２）
ここで、点Ｘ，Ｘ′を原点からの距離ｒ，ｒ′と単位方向ベクトルｍ（Ｎベクトル）を用いて表すとそれぞれ、
【数２３】
【数２４】
【数２５】
ｒｍ＝ｒ′Ｒｍ′＋ｈ …（２５）
となる。
【００８４】
ここで、図１２（ａ）及び（ｂ）に示すように、３本のベクトルｍ，Ｒｍ′，ｈは空間中の同一平面上に存在するため、それらのスカラ３重積が０となる。
【００８５】
【数２６】
｜ｍｈＲｍ′｜＝（ｍ，ｈ×Ｒｍ′） …（２６）
ただし、×：外積、（＊，＊）：内積
前記テンプレートマッチングにより画像間の同一の点を検出する場合、検出誤差によりシフトマップに誤差が含まれる可能性がある。そこで、本例では最小二乗法を用いて、画像内で設定される複数の点に対して、
【数２７】
【００８６】
次に、前記推定された撮像手段の運動より、撮像手段から対象物体までの相対的な距離を算出する。
【００８７】
式（２５）の両辺とｍ，Ｒｍ′との内積をとると、それぞれ、
【数２８】
ｒ＝ｒ′（ｍ，Ｒｍ′）＋（ｈ，ｍ）
ｒ（ｍ，Ｒｍ′）＝ｒ′＋（ｈ，Ｒｍ′） …（２８）
となる。これを解けば各点までの距離が次のように得られる。
【００８８】
【数２９】
【００８９】
【数３０】
ｒ ＝ｋｒ …（３０）
【数３１】
ｒ′＝ｋｒ′ …（３１）
したがって、画像Ｉ0 を撮像したときの撮像手段の位置から、各画像Ｉi（ｉ＝１，２，…，ｎ）を撮像したときの撮像手段の位置までのそれぞれの相対的な運動（Ｒi ，ｈi （ｉ＝１，２，…，ｎ））が推定される。
【００９０】
この各画像Ｉi（ｉ＝１，２，…，ｎ）毎に推定された相対的な運動とシフトマップとにより、各画像毎の撮像手段の位置から対象物体までの相対的な距離を推定する。この相対距離は、撮像手段から対象物体を観察したときの相対的な形状に相当する。
【００９１】
一方、内視鏡位置検出装置３では、上述した方法により、電子内視鏡７の先端に固定されたソースコイル１６が発生する電磁波を、ベット５に設置したセンスコイル２０ｋにより検出し、ベット５を基準とする３次元空間上のソースコイル１６の位置Ｐ0 〜Ｐn を求め、その位置を画像処理装置４の位置情報取得手段５３へ送る。
【００９２】
画像処理装置４の被写体形状推定手段５４は、位置情報取得手段５３を介して内視鏡位置検出装置３から送られてきた電子内視鏡７の先端の３次元位置Ｐ0 〜Ｐn を記憶し、相対的な形状を推定するの用いた第０番目の画像データＩ0 と第ｎ番目の画像データＩn に対応する位置
【数３２】
【数３３】
【００９３】
算出された移動量｜ｈ｜は、カメラ（この場合電子内視鏡先端）の並進ベクトルｈの大きさになるため、移動量｜ｈ｜と相対的な形状から対象物体の絶対的な形状が算出できる（なお、上述したように複数の画像データを用いて相対的な形状を推定する場合、並進ベクトルｈは大きさ１の単位ベクトルｈ′として求められる）。
【００９４】
推定された絶対的な形状を適当な視点位置から見たときの２次元画像を生成し、モニタ１４に表示する。
【００９５】
これらの処理を図１３のフローチャートを用いて説明する。ステップＳ１で、画像処理装置４に取り込まれる画像データと位置データのセット数を初期化する。
【００９６】
ステップＳ２では、例えば画像処理装置４と接続された情報入力装置（キーボード等）により画像データと位置データを取り込みを開始する否かの信号を入力し、それを検出する。
【００９７】
ステップＳ２において、データの取り込みを開始する場合はステップＳ３へ進み、そうでないときはステップＳ１へ戻る。
【００９８】
ステップＳ３では、画像処理装置４はビデオプロセッサ１１から送られてくる画像データＩi と内視鏡位置検出装置３から送られてくる位置データＰi とを取り込み、記憶する。
【００９９】
ステップＳ４ではｉをインクリメントし、ステップＳ５においてデータの取り込みの終了が検出されなかったとき、ステップＳ３へ進み次に送られてくる画像データＩi+1 と位置データＰi+1 を取り込み行う。
【０１００】
また、テップＳ５でデータの取り込みが終了したことを検出した場合、ステップＳ６へ処理を移行して、ステップＳ６で記憶された画像データＩ0 〜Ｉn から対象物体の相対的な形状を推定する。
【０１０１】
ステップＳ７では、記憶された位置データＰo 〜Ｐn から相対的な形状を推定するの用いた第０番目の画像データＩ0 と第ｎ番目の画像データＩn に対応する位置データＰo 、Ｐn を抽出し、その移動量｜ｈ｜を算出する。
【０１０２】
ステップＳ８では、ステップＳ６で推定された相対的な形状とステップＳ７で算出された移動量｜ｈ｜（カメラの並進ベクトルの大きさ）から、対象物体の絶対的な形状を算出する。
【０１０３】
なお、本実施の形態では、ソースコイル１６を鉗子チャンネルから挿通し、挿入部８の先端に配置したが、挿入部の先端部分にソースコイルを埋め込み、ソースコイル１６を完全に固定するしてもよい。
【０１０４】
また、本実施の形態では、内視鏡位置検出装置３の装置本体１９と画像処理装置４の装置本体２４とを別々に設けたが、それぞれがＣＰＵとソフトウェアによって処理される場合には、１つの装置とモニタで構成することができる。
【０１０５】
（効果）
このように本実施の形態によれば、電子内視鏡７の先端に磁界を発生する単心コイルからなる１つのソースコイル１６を配置することにより、先端の移動量が正確に求められ、対象物体の絶対的な形状を推定することができる。
【０１０６】
第２の実施の形態：
図１４及び図１５は本発明の第２の実施の形態に係わり、図１４は回転フィルタの構成を示す構成図、図１５は図１４の回転フィルタに同期した同期信号に基ずく各信号のタイミングを示すタイミング図である。
【０１０７】
第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【０１０８】
（構成）
本実施の形態の内視鏡システム１の構成は、第１の実施の形態の内視鏡装置２が面順次方式であって、ビデオプロセッサ１１は内部の光源部に白色光を面順次光に変換する回転フィルタ及びこの回転フィルタに同期した同期信号を内視鏡位置検出装置３へ送る同期信号出力手段とを備え、また、内視鏡検出装置３はビデオプロセッサ１１からの回転フィルタに同期した同期信号からセンスコイル２０ｋに発生する信号を取り込むための制御信号を作成する制御信号生成手段を有して構成される。
【０１０９】
図１４に示すように、ビデオプロセッサ１１内の回転フィルタ８１は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長領域の光を透過するＲフィルタ８２ｒ、Ｇフィルタ８２ｇ、Ｂフィルタ８２ｂが周方向に沿って配列され、回転フィルタ８１のＲフィルタ８２ｒ、Ｇフィルタ８２ｇ、Ｂフィルタ８２ｂの各フィルタ間には光を透過しない遮光領域８３が設けられている。その他の構成は第１の実施の形態と同じである。
【０１１０】
（作用）
回転フィルタ８１を透過した光は、電子内視鏡７の先端から対象物体に照射され、その反射光が先端部の対物レンズを通って撮像素子に結像される。
【０１１１】
撮像素子は、回転フィルタ８１の回転フィルタ８１のＲフィルタ８２ｒ、Ｇフィルタ８２ｇ、Ｂフィルタ８２ｂの各フィルタに光が透過している期間（以下、露光期間と呼ぶ）に電荷を貯える。撮像素子に貯えられた電荷は、光が透過していない期間（以下、遮光期間と呼ぶ）にビデオプロセッサ１１内に取り込まれ、画像信号に変換するための処理が行われる。
【０１１２】
撮像素子から読み出された信号は、デジタルの画像データに変換され、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの記憶領域に記憶される。
【０１１３】
ビデオプロセッサ１１は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの画像データが記憶されると、記憶された画像データを同時に読み出し、ビデオの標準信号に変換してモニタ１４と画像処理装置４へ送る。
【０１１４】
また、図１５に示すようにビデオプロセッサ１１内では、回転フィルタ８１の回転を一定に保つための同期信号（Ｒk，Ｇk，Ｂk）を発生し、この同期信号に同期して回転フィルタの露光・遮光期間が繰り返され（図１５（ａ））、遮光期間中に撮像素子から電荷（画像信号）が読み出される（図１５（ｂ））。このとき、ビデオプロセッサ１１は、この同期信号を内視鏡位置検出装置３へ送る（図１５（ｃ））。
【０１１５】
内視鏡位置検出装置本体１９では、回転フィルタ８１の同期信号（Ｒk，Ｇk，Ｂk）からセンスコイル２０ｋに発生する信号を検出するための制御信号を作り出す。そして、この制御信号により電子内視鏡７の先端の３次元位置を測定するタイミングと、撮像手段により撮像されるタイミングとの同期が正確に取られて、センスコイル２０ｋの出力が取り込まれる（図１５（ｄ））。その他の作用は第１の実施の形態と同じである。
【０１１６】
（効果）
このように本実施の形態では、第１の実施の形態の効果に加え、画像データと位置データとの同期が正確にとれることから、対象物体の絶対的な形状を正確に求めることができる。
【０１１７】
第３の実施の形態：
第３の実施の形態は、第２の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【０１１８】
（構成）
本実施の形態の内視鏡システム１の構成は、第２の実施形態の画像処理装置４に外部記憶装置を接続した構成となっている。その他の構成は第２の実施の形態と同じである。
【０１１９】
（作用）
第２の実施形態で説明したように、ビデオプロセッサ１１から出力された画像データと内視鏡位置検出装置本体１９から出力される位置データは同期して画像処理装置本体２４に送られる。
【０１２０】
画像処理装置４には、ハードディスクやデジタルの光磁気ディスク等の外部記憶装置が接続されており、ビデオプロセッサ１１と内視鏡位置検出装置３から送られてくる画像データと位置データを関連付けて外部記憶装置に記憶する。
【０１２１】
画像データと位置データは同期して送られてくるため、表１に示すように、画像データと位置データを交互に記憶する。
【０１２２】
【表１】
【０１２３】
【表２】
【０１２４】
推定された絶対的な形状を適当な視点位置から見たときの２次元画像を生成し、モニタ１４に表示する。
【０１２５】
また第１の実施形態のように、ビデオプロセッサ１１と内視鏡位置検出装置３との同期が正確に取れていない場合、表３に示すように画像処理装置４の処理が実行されてから撮像素子から画像信号を読み出す時間ｔIa（ａ＝０，１，２，…，ｎ）とセンスコイルから検出する時間ｔIb（ｂ＝０，１，２，…，ｍ）を画像データＩa（ａ＝０，１，２，…，ｎ）と位置データＰb （ｂ＝０，１，２，…，ｍ）に関連付けて外部記憶装置に記憶する。
【０１２６】
【表３】
【０１２７】
ここで、記憶された画像データと位置データが同期していないため、撮像素子により画像データを撮影した位置と位置データとが一致していないことから、記憶された位置データから撮像素子が撮影した位置を推定する必要がある。
【０１２８】
画像データＩi の撮影位置の前後に検出された位置データを
【数３４】
【０１２９】
【数３５】
【０１３０】
（効果）
このように本実施の形態では、第２の実施の形態の効果に加え、ビデオプロセッサ１１からの画像データと内視鏡位置検出装置３からの位置データが関連付けて記憶されるため、対象物体を必要なときの測定できる。
【０１３１】
また、第１実施の形態のようにビデオプロセッサ１１と内視鏡位置検出装置３が同期していない場合でも、位置データと画像データの取り込みのタイミングに関するデータを同時に記憶することによって、撮像素子の撮影位置を記憶された位置データから予測することができる。
【０１３２】
［付記］
（付記項１） 対物レンズを介して被検体を内視鏡画像として撮像する撮像手段と、
前記撮像手段で撮像された複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された複数の画像の画像信号に基づき、該画像間の相対的な形状を推定する相対形状推定手段と、
前記対物レンズの近傍に設けられた第１のコイル手段と、
所定の位置に固定された第２のコイル手段を有し、磁界を用いて前記第１のコイル手段の位置情報を検出する位置情報検出手段と、
前記画像情報記憶手段に記憶された各々の画像に対応して前記位置情報検出手段で検出された位置情報を取得する位置情報取得手段と、
前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定手段と
を具備したことを特徴とする内視鏡画像処理装置。
【０１３３】
（付記項２） 挿入部に湾曲操作可能な湾曲部を有する内視鏡と、
前記挿入部の先端に設けられた対物レンズと、
前記対物レンズを介して被検体を撮像する撮像手段と、
前記撮像手段で撮像された複数の内視鏡画像を記憶する画像記憶手段と
前記画像記憶手段に記憶された複数の内視鏡画像の画像信号に基づき、該複数の内視鏡画像間の相対的な形状情報を推定する相対形状推定手段と、
前記挿入部の先端に設けられた第１のコイル手段と、
所定の位置に固定された第２のコイル手段を有し、磁界を用いて前記第１のコイル手段の位置情報を検出する位置情報検出手段と、
前記画像情報記憶手段に記憶された各々の内視鏡画像に対応して前記位置情報検出手段で検出された位置情報を取得する位置情報取得手段と、
前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定手段と
を具備したことを特徴とする内視鏡画像処理装置。
【０１３４】
（付記項３） 対物レンズを介して被検体像を撮像手段で撮像する撮像行程と、
前記撮像手段で撮像された複数の被検体像をそれぞれ記憶する撮像画像記憶行程と、
前記撮像画像記憶行程で記憶された複数の被検体像の画像信号に基づき、該複数の被検体像間の相対的な形状情報を推定する相対形状推定行程と、
前記対物レンズの近傍に設けられた第１のコイル手段の位置情報を、所定の位置に固定された第２のコイル手段を有する位置情報検出手段によって磁界を用いて検出する位置情報検出行程と、
前記撮像画像記憶行程で記憶された各々の被検体像に対応して前記位置情報検出行程で検出された位置情報を取得する位置情報取得行程と、
前記相対形状推定行程で推定された相対的な形状情報と前記位置情報取得行程で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定行程と
を有することを特徴とする形状推定方法。
【０１３５】
（付記項４） 同一の対象物体に対して異なる位置より撮像する撮像手段を有する内視鏡と、
前記撮像手段により撮像された複数の画像から、前記対象物体の相対的な形状を推定する相対形状推定手段と、
コイルによって前記内視鏡先端の３次元空間上の位置を検出する位置検出手段と、
前記相対形状推定手段により推定された対象物体の相対形状と前記位置検出手段の出力から、前記対象物体の絶対的な形状を推定する手段と
を備えたことを特徴とする内視鏡画像処理装置。
【０１３６】
（付記項５） 前記位置検出手段は、磁界を発生するソースコイルを前記内視鏡の先端に設置し、
前記ソースコイルが発生した磁界を検出するセンスコイルを３次元空間上に複数配置し、
前記センスコイルの出力から前記ソースコイルの３次元空間上の位置を検出する
ことを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１３７】
（付記項６） 前記位置検出手段は、磁界を発生するソースコイルを３次元空間上に複数配置し、
前記ソースコイルが発生した磁界を検出するセンスコイルを前記内視鏡の先端に設置し、
前記センスコイルの出力から前記センスコイルの３次元空間上の位置を検出する
ことを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１３８】
（付記項７） 前記ソースコイルは単心コイルからなる
ことを特徴とする付記項５または６に記載の内視鏡画像処理装置。
【０１３９】
（付記項８） 前記センスコイルは単心コイルからなる
ことを特徴とする付記項５または６に記載の内視鏡画像処理装置。
【０１４０】
（付記項９） 前記センスコイルは３軸コイルからなる
ことを特徴とする付記項５または６に記載の内視鏡画像処理装置。
【０１４１】
（付記項１０） 前記撮像手段により対象物体を撮影するタイミングに前記位置検出手段の検出を行うタイミングを同期させる同期手段
を有することを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１４２】
（付記項１１） 前記対象物体の絶対的な形状を任意の視点を設定したときの２次元画像を生成する手段
を有することを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１４３】
（付記項１２） 前記撮像手段により撮影された複数の画像と前記位置検出手段により検出された前記内視鏡先端の位置を記憶する前記記憶手段を
を有することを特徴とする付記項４に記載の内視鏡画像処理装置。
【０１４４】
（付記項１３） 前記記憶手段は、
前記撮像手段が内視鏡画像を撮影した時刻と、前記位置検出手段が内視鏡先端の位置を検出した時刻を画像と位置のデータに関連付けて記憶する
ことを特徴とする付記項１２に記載の画像処理装置。
【０１４５】
（付記項１４） 前記位置検出手段は、
前記記憶手段に記憶された内視鏡先端の位置と前記位置検出手段が内視鏡先端の位置を検出した時刻と前記撮像手段が内視鏡画像を撮影した時刻から、前記撮影手段が撮影を行った時刻の内視鏡先端の位置を推定する位置推定手段
を有することを特徴とする付記項１３に記載の内視鏡画像処理装置。
【０１４６】
（付記項１５） 前記位置推定手段は、
前記記憶手段に記憶された複数の内視鏡先端の位置と検出した時刻から任意の時刻の内視鏡先端の位置を補間して求める補間手段を備え、
前記記憶手段に記憶された内視鏡画像を撮影した時刻と前記補間手段から内視鏡先端の位置を推定する
ことを特徴とする付記項１４に記載の画像処理装置。
【０１４７】
【発明の効果】
以上説明したように本発明の内視鏡画像処理装置によれば、位置情報取得手段が画像情報記憶手段に記憶された各々の画像に対応して位置情報検出手段で検出された位置情報を取得すると共に、被検体形状推定手段が相対形状推定手段で推定した相対的な形状情報と位置情報取得手段で取得した位置情報とに基づき被検体の形状を推定するので、画像の状態にかかわらず、対象物体の絶対的な形状を精度良く推定することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る内視鏡システムの構成を示す構成図
【図２】図１の内視鏡位置検出装置の機能構成を示すブロック図
【図３】図２の内視鏡位置検出装置の構成を示す構成図
【図４】図３の内視鏡位置検出装置の要部である２ポートメモリ等の構成を示す構成図
【図５】図４の２ポートメモリの動作を示すタイミング図
【図６】図１の画像処理装置の構成を示す構成図
【図７】図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第１の説明図
【図８】図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第２の説明図
【図９】図３の内視鏡位置検出装置のソースコイル推定位置座標算出処理の原理を説明する第３の説明図
【図１０】図６の画像処理装置の作用を説明する第１の説明図
【図１１】図６の画像処理装置の作用を説明する第２の説明図
【図１２】図６の画像処理装置の作用を説明する第３の説明図
【図１３】図６の画像処理装置の処理の流れを示すフローチャート
【図１４】本発明の第２の実施の形態に係る回転フィルタの構成を示す構成図
【図１５】図１４の回転フィルタに同期した同期信号に基ずく各信号のタイミングを示すタイミング図
【符号の説明】
１…内視鏡システム
２…内視鏡装置
３…内視鏡位置検出装置
４…画像処理装置
５…ベット
７…電子内視鏡
８…挿入部
９…操作部
１０…ユニバーサルコード
１１…ビデオプロセッサ
１２…照明窓
１３…観察窓
１４…画像観察用モニタ
１５…鉗子チャンネル
１５ａ…挿入口
１６…ソースコイル
１７…プローブ
１８…ソースケーブル
１９、２４…装置本体
２０ｋ…センスコイル
２１…センスケーブル
２２…操作パネル
２３…ケーブル
２５…モニタ
２６…駆動ブロック
２７…検出ブロック
２８…ホストプロセッサ
３１…ソースコイル駆動回路
３２…ＣＰＵ
３３…ＰＩＯ
３４…センスコイル信号増幅回路部
３５ｋ…増幅回路
３６ｋ…フィルタ回路
３７ｋ…出力バッファ
３８ｋ…ＡＤＣ
４０…制御信号発生回路部
４１…ローカルデータバス
４２…２ポートメモリ
４６…内部バス
４７…メインメモリ
５１…記憶手段
５２…相対形状推定手段
５３…位置情報取得手段
５４…被写体形状推定手段
５５…３Ｄ−２Ｄ変換手段
Claims (3)
- 対物レンズを介して被検体を内視鏡画像として撮像する撮像手段と、
前記撮像手段で撮像された複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された複数の画像の画像信号に基づき、該画像間の相対的な形状を推定する相対形状推定手段と、
前記対物のレンズの近傍に設けられた第1のコイル手段と、
所定の位置に固定された第2のコイル手段を有し、磁界を用いて前記第1のコイル手段の位置情報を検出する位置情報検出手段と、
前記画像情報記憶手段に記憶された複数の画像のうち、前記相対形状推定手段が相対的な形状の推定に用いた少なくとも異なる２つの画像に対応する前記第 1 のコイル手段の位置情報を前記位置情報検出手段から取得する位置情報取得手段と、
前記相対形状推定手段で推定した相対的な形状情報と前記位置情報取得手段で取得した位置情報とに基づき、前記被検体の形状を推定する被検体形状推定手段と、
を具備したことを特徴とする内視鏡画像処理装置。 - 前記被検体を照明する照明手段を更に備え、
前記位置情報取得手段は、前記照明手段の照明のタイミングを同期信号として、前記位置情報を取得することを特徴とする請求項１に記載の内視鏡画像処理装置。 - 前記画像記憶手段は、前記複数の画像と、前記複数の画像毎の前記位置情報と、を関連付けて記憶することを特徴とする請求項１または２に記載の内視鏡画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09951698A JP4054104B2 (ja) | 1998-04-10 | 1998-04-10 | 内視鏡画像処理装置 |
| US09/288,492 US6295368B1 (en) | 1998-04-10 | 1999-04-08 | Endoscopic image processing system capable of estimating absolute shape of object entity |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09951698A JP4054104B2 (ja) | 1998-04-10 | 1998-04-10 | 内視鏡画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11295618A JPH11295618A (ja) | 1999-10-29 |
| JP4054104B2 true JP4054104B2 (ja) | 2008-02-27 |
Family
ID=14249426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09951698A Expired - Fee Related JP4054104B2 (ja) | 1998-04-10 | 1998-04-10 | 内視鏡画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6295368B1 (ja) |
| JP (1) | JP4054104B2 (ja) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DK1392164T3 (da) * | 2001-05-17 | 2012-10-22 | Oticon As | Fremgangsmåde til opnåelse af geometriske data med hensyn til øregangen i det menneskelige legeme |
| EP1392155B1 (en) * | 2001-05-17 | 2012-09-05 | Oticon A/S | Method and apparatus for obtaining position data relating to a probe in the ear canal |
| US7110124B2 (en) * | 2001-05-17 | 2006-09-19 | Oticon A/S | Method and apparatus for obtaining geometrical data relating to a canal |
| AU2002218934A1 (en) * | 2002-01-21 | 2002-03-26 | Phonak Ag | Method for the reconstruction of the geometry of the inner surface of a cavity |
| JP4414682B2 (ja) * | 2003-06-06 | 2010-02-10 | オリンパス株式会社 | 超音波内視鏡装置 |
| JP2006158760A (ja) * | 2004-12-09 | 2006-06-22 | Gifu Univ | 医療用挿入練習装置 |
| JP4914574B2 (ja) * | 2005-04-18 | 2012-04-11 | オリンパスメディカルシステムズ株式会社 | 内視鏡形状検出装置 |
| DE502005001991D1 (de) * | 2005-07-01 | 2007-12-27 | Texmag Gmbh Vertriebsges | Verfahren zum Erfassen einer Markierung auf einer laufenden Warenbahn |
| US8016749B2 (en) | 2006-03-21 | 2011-09-13 | Boston Scientific Scimed, Inc. | Vision catheter having electromechanical navigation |
| US7440121B2 (en) * | 2006-09-20 | 2008-10-21 | Lawrence Livermore National Security, Llc | Optically measuring interior cavities |
| WO2009027585A1 (fr) * | 2007-08-31 | 2009-03-05 | Institut De Recherche Sur Les Cancers De L'appareil Digestif Ircad | Dispositif flexible de determination d'une forme en trois dimensions |
| JP5295555B2 (ja) * | 2007-12-10 | 2013-09-18 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
| EP2145575A1 (en) * | 2008-07-17 | 2010-01-20 | Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO | A system, a method and a computer program for inspection of a three-dimensional environment by a user |
| US8337397B2 (en) | 2009-03-26 | 2012-12-25 | Intuitive Surgical Operations, Inc. | Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient |
| US10004387B2 (en) | 2009-03-26 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Method and system for assisting an operator in endoscopic navigation |
| CN102449666B (zh) * | 2009-03-26 | 2016-01-20 | 直观外科手术操作公司 | 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统 |
| US9713417B2 (en) | 2009-06-18 | 2017-07-25 | Endochoice, Inc. | Image capture assembly for use in a multi-viewing elements endoscope |
| US9101287B2 (en) | 2011-03-07 | 2015-08-11 | Endochoice Innovation Center Ltd. | Multi camera endoscope assembly having multiple working channels |
| WO2012120507A1 (en) | 2011-02-07 | 2012-09-13 | Peermedical Ltd. | Multi-element cover for a multi-camera endoscope |
| US10165929B2 (en) | 2009-06-18 | 2019-01-01 | Endochoice, Inc. | Compact multi-viewing element endoscope system |
| US9872609B2 (en) | 2009-06-18 | 2018-01-23 | Endochoice Innovation Center Ltd. | Multi-camera endoscope |
| US9901244B2 (en) | 2009-06-18 | 2018-02-27 | Endochoice, Inc. | Circuit board assembly of a multiple viewing elements endoscope |
| US11278190B2 (en) | 2009-06-18 | 2022-03-22 | Endochoice, Inc. | Multi-viewing element endoscope |
| US9642513B2 (en) | 2009-06-18 | 2017-05-09 | Endochoice Inc. | Compact multi-viewing element endoscope system |
| US8926502B2 (en) | 2011-03-07 | 2015-01-06 | Endochoice, Inc. | Multi camera endoscope having a side service channel |
| US9402533B2 (en) | 2011-03-07 | 2016-08-02 | Endochoice Innovation Center Ltd. | Endoscope circuit board assembly |
| EP3811847A1 (en) | 2009-06-18 | 2021-04-28 | EndoChoice, Inc. | Multi-camera endoscope |
| US9492063B2 (en) | 2009-06-18 | 2016-11-15 | Endochoice Innovation Center Ltd. | Multi-viewing element endoscope |
| US11864734B2 (en) | 2009-06-18 | 2024-01-09 | Endochoice, Inc. | Multi-camera endoscope |
| US11547275B2 (en) | 2009-06-18 | 2023-01-10 | Endochoice, Inc. | Compact multi-viewing element endoscope system |
| US9101268B2 (en) | 2009-06-18 | 2015-08-11 | Endochoice Innovation Center Ltd. | Multi-camera endoscope |
| US9706903B2 (en) | 2009-06-18 | 2017-07-18 | Endochoice, Inc. | Multiple viewing elements endoscope system with modular imaging units |
| US9560953B2 (en) | 2010-09-20 | 2017-02-07 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
| EP2618718B1 (en) | 2010-09-20 | 2020-04-15 | EndoChoice Innovation Center Ltd. | Multi-camera endoscope having fluid channels |
| JP5944912B2 (ja) | 2010-10-28 | 2016-07-05 | エンドチョイス イノベーション センター リミテッド | マルチセンサ内視鏡のための光学系 |
| EP3420886B8 (en) | 2010-12-09 | 2020-07-15 | EndoChoice, Inc. | Flexible electronic circuit board multi-camera endoscope |
| JP6054874B2 (ja) | 2010-12-09 | 2016-12-27 | エンドチョイス イノベーション センター リミテッド | マルチカメラ内視鏡用フレキシブル電子回路基板 |
| US9691162B2 (en) * | 2011-02-11 | 2017-06-27 | Olaf Christiansen | Endoscopic image processing system having means which generate geometric measurement information in the detection range of an optical digital camera |
| KR20130015146A (ko) * | 2011-08-02 | 2013-02-13 | 삼성전자주식회사 | 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템 |
| CA2798729A1 (en) | 2011-12-13 | 2013-06-13 | Peermedical Ltd. | Rotatable connector for an endoscope |
| EP2604175B1 (en) | 2011-12-13 | 2019-11-20 | EndoChoice Innovation Center Ltd. | Removable tip endoscope |
| US9560954B2 (en) | 2012-07-24 | 2017-02-07 | Endochoice, Inc. | Connector for use with endoscope |
| US9986899B2 (en) | 2013-03-28 | 2018-06-05 | Endochoice, Inc. | Manifold for a multiple viewing elements endoscope |
| CN105246393A (zh) * | 2013-03-28 | 2016-01-13 | 恩多巧爱思股份有限公司 | 紧凑的多观察元件内窥镜系统 |
| US9993142B2 (en) | 2013-03-28 | 2018-06-12 | Endochoice, Inc. | Fluid distribution device for a multiple viewing elements endoscope |
| JP6093850B2 (ja) * | 2013-03-29 | 2017-03-08 | 富士フイルム株式会社 | 内視鏡下外科手術装置 |
| US10499794B2 (en) | 2013-05-09 | 2019-12-10 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
| CN109195499B (zh) | 2016-06-16 | 2021-01-26 | 富士胶片株式会社 | 导航装置以及内窥镜系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6055479A (ja) | 1983-09-05 | 1985-03-30 | Omron Tateisi Electronics Co | 物体認識装置 |
| JP2603947B2 (ja) | 1986-09-26 | 1997-04-23 | オリンパス光学工業株式会社 | 原色画像間の対応領域検出装置 |
| JP2911894B2 (ja) | 1986-11-13 | 1999-06-23 | オリンパス光学工業株式会社 | 内視鏡画像取込み方法および内視鏡装置 |
| JPS63244011A (ja) | 1987-03-31 | 1988-10-11 | Olympus Optical Co Ltd | 電子内視鏡 |
| JPS63240831A (ja) | 1987-03-30 | 1988-10-06 | 株式会社東芝 | 計測内視鏡装置 |
| JP3347385B2 (ja) * | 1992-03-27 | 2002-11-20 | オリンパス光学工業株式会社 | 内視鏡画像処理装置 |
| US5558091A (en) * | 1993-10-06 | 1996-09-24 | Biosense, Inc. | Magnetic determination of position and orientation |
| JP3506770B2 (ja) * | 1994-04-21 | 2004-03-15 | オリンパス株式会社 | 内視鏡位置検出装置 |
| JPH0926547A (ja) | 1995-07-10 | 1997-01-28 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
| JP3748924B2 (ja) * | 1995-07-17 | 2006-02-22 | オリンパス株式会社 | 内視鏡形状検出装置 |
| JPH09140665A (ja) | 1995-11-29 | 1997-06-03 | Toshiba Corp | 医療用画像診断装置 |
| US6016439A (en) * | 1996-10-15 | 2000-01-18 | Biosense, Inc. | Method and apparatus for synthetic viewpoint imaging |
-
1998
- 1998-04-10 JP JP09951698A patent/JP4054104B2/ja not_active Expired - Fee Related
-
1999
- 1999-04-08 US US09/288,492 patent/US6295368B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11295618A (ja) | 1999-10-29 |
| US6295368B1 (en) | 2001-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4054104B2 (ja) | 内視鏡画像処理装置 | |
| JP5676058B1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
| US8251893B2 (en) | Device for displaying assistance information for surgical operation, method for displaying assistance information for surgical operation, and program for displaying assistance information for surgical operation | |
| WO2016152042A1 (ja) | 内視鏡検査支援装置、方法およびプログラム | |
| JP6083103B2 (ja) | 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム | |
| CN109998678A (zh) | 在医学规程期间使用增强现实辅助导航 | |
| JPH067289A (ja) | 内視鏡画像処理装置 | |
| US20030055317A1 (en) | System for detecting the shape of an endoscope using source coils and sense coils | |
| CN110547872B (zh) | 手术导航注册系统 | |
| EP3110329A1 (en) | Automatic multimodal real-time tracking of a moving marker for image plane alignment inside a mri scanner | |
| WO2005077253A1 (ja) | 内視鏡システム | |
| JP2003265408A (ja) | 内視鏡誘導装置および方法 | |
| JP2002186603A (ja) | 対象物の案内のための座標変換法 | |
| EP2223150A1 (en) | System and method for automatic calibration of tracked ultrasound | |
| CN107249427A (zh) | 医疗装置、医疗图像生成方法以及医疗图像生成程序 | |
| JP7023196B2 (ja) | 検査支援装置、方法およびプログラム | |
| JP2006223850A (ja) | 電子内視鏡システム | |
| JP2000175861A (ja) | 内視鏡形状検出装置 | |
| JP2008119259A (ja) | 内視鏡挿入形状解析システム | |
| Feuerstein et al. | Automatic Patient Registration for Port Placement in Minimally Invasixe Endoscopic Surgery | |
| JP3571675B2 (ja) | コイル位置測定装置およびコイル位置測定方法 | |
| US20210298848A1 (en) | Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system | |
| JP7023195B2 (ja) | 検査支援装置、方法およびプログラム | |
| JP3746617B2 (ja) | 位置推定装置 | |
| JP3552300B2 (ja) | 手術器具の位置表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |