JPH067289A

JPH067289A - 内視鏡画像処理装置

Info

Publication number: JPH067289A
Application number: JP5045563A
Authority: JP
Inventors: Jun Hasegawa; 潤長谷川; Nagaaki Ooyama; 永昭大山; Masahiro Yamaguchi; 雅浩山口; Tetsuo Nonami; 徹緒野波
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-03-27
Filing date: 1993-03-05
Publication date: 1994-01-18
Anticipated expiration: 2017-11-20
Also published as: JP3347385B2; US5432543A

Abstract

(57)【要約】【目的】同一対象物を撮像することにより得られる複
数の画像から対象物の立体形状を推定可能な内視鏡画像
処理装置を提供すること。【構成】同一対象物に関して撮像手段を移動しなが
ら、撮像された複数の画像を取り込み、一時メモリ６１
に格納し、位置検出手段６２、位置推定手段６３、形状
推定手段６４、及び反復処理手段６０により、対象物の
立体形状を算出し、メモリ６５に記憶し、このメモリ６
５に記憶された画像データはモニタ５に入力され、対象
物の立体形状が表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、同一対象物に関して複
数の位置から撮像された画像から、画像間の相関性を利
用する事により対象物の立体形状を推定する内視鏡画像
処理装置に関する。

【０００２】

【従来の技術】視野に重なりを持って配置された撮像手
段の、相対的配置が既知の場合に、撮像された画像から
対象物の形状を推定する問題に対しては、いわゆるステ
レオ画像からの形状推定問題として種々の方法が提案さ
れている。

【０００３】さらに近年では、動きからの３次元構造抽
出について幾つかの提案が成されている。これは複数の
画像から撮像手段の相対的な移動をも推定しようとする
手法である。これらの手法はいずれも、複数の画像間で
対象物上の同一の点の各画像上における位置が関連付け
られることを原情報として用いる。

【０００４】対象物上の同一の点の各画像上における位
置の検出に対しても種々の方法が提案されている。人工
的な対象物の場合、角、輪郭成分が明瞭である事が多い
為、線分抽出等の構造抽出による手法は有効であるが、
一般的な自然画像に対しては適用は難しい。時系列画像
に対してしばしば用いられる濃度勾配法は、画像間での
対象物の見かけの移動が非常に小さく、画像品質が良い
場合には良好な結果が得られるが、撮像条件の制約が大
きい。

【０００５】そこで一般的には、画像上の着目点とその
周囲領域を参照領域として抽出し、探索対象物の画像上
から抽出した領域との間で相関演算を行ない最大相関値
を与える位置を対応点とする手法（ブロックマッチン
グ）がしばしば用いられる。ブロックマッチング法は画
像上のテクスチャが明瞭であれば比較的安定した結果を
もたらすが、テクスチャが不明瞭な場合には誤った対応
点を検出してしまう事がある。

【０００６】さらに本質的な欠点として、対象物が立体
でありブロック内に例えば背景との境界を含む場合には
検出結果は信頼できない。また、対象物面が撮像手段に
対して傾いている、あるいは距離の差がある等、複数の
撮像手段の画像間での像の変形が大きい、または像の大
きさの差異が大きい場合も信頼できない。

【０００７】立体形状の推定にかかわる問題としてはオ
クルージョン及び推定結果の整合の問題が上げられる。
特に、ステレオからの推定においては対象物の背後に隠
され、撮像されない部分、あるいは一方の撮像手段のみ
に撮像される部分とが存在しこれらの領域の扱いが問題
となる。

【０００８】撮像手段の数が多ければ必然的に撮像され
る領域が多くなり、隠される領域は少なくなるが、特に
撮像手段の位置が既知でない場合、あるいは推定が正確
でない場合には、これらの画像間の整合は容易でない。

【０００９】従来提案されてきた手法の殆んどは、人工
物を撮像した画像を対象物としている、または、自然画
像を対象物とした場合に当然発生するこれらの問題に対
し、何等かの仮定をおく事により、影響を除外あるいは
軽減した条件において考察されており、実用上十分な能
力を持っているとは言えない。

【００１０】例えば、従来提案されている手法の適用が
困難であり、かつ、機能が実現された場合に実用的な価
値の大きい画像の種類に生体用内視鏡から得られる画像
がある。

【００１１】細長の挿入部を体腔内に挿入する事によっ
て、切開を必要とする事無く、体腔内の患部等を観察し
たり、必要に応じ処置具を用いて治療処置のできる内視
鏡においては、先端部の大きさは機能上最小限に抑える
必要がある為、医師が観察、あるいは処置を行なう為に
必要な部材以外は組込む事が出来ない。

【００１２】経内視鏡的に対象物の形状を把握する事に
関して既に幾つかの提案が成されている。例えば観察対
象物に対しパターン光等を投影する方式（特開昭６４−
６４５２５）、先端部に複眼を持つ方式（特開昭６３−
２４４０１１）であるが、いずれも内視鏡先端部あるい
は光源部に特殊な構造が要求される為、装置の大型化、
複雑化を招き一般的に用いる事が難しい。

【００１３】同一出願人による特願昭６２−１６８７９
１には内視鏡先端を手元操作により移動させて得た複数
の画像から対象物形状を推定する手法及び、操作にとも
なう先端の移動量を計測する計測機構が開示されてい
る。この方法によれば現内視鏡の機能を損なう事無く、
対象物形状の推定を行なう事ができる。

【００１４】

【発明が解決しようとする課題】しかしながら、この方
法によった場合、特に生体内で使用する内視鏡において
は、撮像した時相の違いによる、対象物の内視鏡先端に
対する相対的移動が無視できなくなる。また、上記計測
機構の与え得る精度は撮像手段の分解能等を考えあわせ
ると不十分ではないまでも十分であるとは言い難い。

【００１５】さらに生体用内視鏡は、明瞭な角、輪郭、
テクスチャを伴なわない粘膜画像を主に観察する為、前
述した対応点検出にかかわる問題は特に顕著であり、推
定に利用する対応点検出結果に対しても何等かの対策を
必要とする。

【００１６】以上述べたように、例えば内視鏡画像にお
けるような、明瞭な特徴点に欠ける自然画像に対して用
いた場合にも、安定して良好な撮像手段の位置と対象物
形状の推定結果を与え得る事が出来、しかも本来の観察
機能に影響を与えるような（装置の大型化等）装置の変
更を必要としない形状推定手法及び装置は存在しなかっ
た。

【００１７】本発明は、上述した点にかんがみてなされ
たもので、同一対象物を撮像することにより得られる複
数の画像から、付加的な計測機構を必要としないで、対
象物の形状を推定できる内視鏡画像処理装置を提供する
ことを目的とする。

【００１８】

【課題を解決するための手段及び作用】撮像手段を備え
た内視鏡と、同一対象物に関して複数の位置から前記撮
像手段により撮像された複数の画像に対し、各画像上に
おける対象物上の同一の点の位置を検出する位置検出手
段と、前記各画像上における対象物上の同一の点の位置
から前記撮像手段の各撮像位置を推定する位置推定手段
と、前記位置推定手段で推定された同一の位置及び前記
撮像位置から対象物の立体形状を推定する形状推定手段
と、推定された立体形状を表示する表示手段とを備える
ことによって、同一対象物に対して撮像手段側を少しづ
つ位置を移動するなどして撮像した複数の画像から同一
の点の位置を検出し、それに基づいて撮像手段側の相対
的な位置を推定し、必要に応じて反復処理して精度を向
上し、対象物の形状を推定する。

【００１９】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１ないし図１６は本発明の第１実施例に係り、
図１は第１実施例を備えた電子内視鏡システムの全体構
成図、図２は電子内視鏡装置のブロック構成を示すブロ
ック図、図３は画像処理装置の構成を示すブロック図、
図４はＣＰＵで構成した画像処理装置のブロック図、図
５はハードウェアで構成した画像処理装置のブロック
図、図６は記録装置の構成を示すブロック図、図７は画
像処理装置によって２次元画像データが３次元データに
変換されるまでの処理内容を示すフローチャート図、図
８は歪曲収差の補正の説明図、図９はテンプレート画像
と参照画像とのシフト量を求める様子を示す説明図、図
１０は２次元の画像データ列からシフトマップを算出す
る様子を示す説明図、図１１はシフトマップを算出して
運動ベクトルの反復処理の具体的な処理の様子を示すフ
ローチャート図、図１２は中心射影の座標系を示す説明
図、図１３は回転軸と回転ベクトルを示す説明図、図１
４は３つのベクトルが同一平面上にあることを示す説明
図、図１５は内視鏡の先端の動きを示す説明図、図１６
は反復推定の様子を示すフローチャート図である。

【００２０】図１に示すように内視鏡システム１は撮像
手段を備えた電子内視鏡装置２と、撮像された画像に基
づいて患部等の立体形状を推定する画像処理を行う第１
実施例の画像処理装置３と、画像を記録する記録装置４
と、画像処理された画像を表示するモニタ５とから構成
される。

【００２１】電子内視鏡装置２は電子内視鏡６と、この
電子内視鏡６に照明光を供給する光源部７Ａ（図２参
照）及び撮像手段に対する信号処理を行う信号処理部７
Ｂを内蔵した観察装置７と、この観察装置７から出力さ
れる画像信号を表示する観察用モニタ８とから構成され
る。

【００２２】上記電子内視鏡６は生体９内に挿入される
細長の挿入部１１と、この挿入部１１の後端に形成され
た操作部１２と、この操作部１２から延出されたユニバ
ーサルケーブル１３とから構成され、このユニバーサル
ケーブル１３の先端に設けたコネクタ１４を観察装置７
に接続することができる。

【００２３】上記挿入部１１内にはライトガイド１５が
挿通され、コネクタ１４を観察装置７に接続することに
より、図２に示すように光源部７Ａから照明光が入射端
面に供給される。このライトガイド１５によって伝送さ
れ、先端部１６側の端面から前方に出射され、生体９内
の対象部位を照明する。この照明された対象部位は先端
部１６に設けた対物レンズ１７によってその結像位置に
配置されたＣＣＤ１８に結像され、光電変換される。こ
の対物レンズ１７とＣＣＤ１８とで撮像手段としての撮
像部１９を形成する。

【００２４】上記ＣＣＤ１８で光電変換された画像信号
は観察装置７内の信号処理部７Ｂにより、信号処理され
て画像信号が生成され、この画像信号は観察用モニタ８
に出力されると共に、画像処理装置３に出力される。

【００２５】観察装置７における光源部７Ａと信号処理
部７Ｂの構成を図２に示す。光源部７Ａは、紫外光から
赤外光に至る広帯域の光を発光するランプ２１を備えて
いる。このランプ２１としては、一般的なキセノンラン
プやストロボランプ等を用いることができる。上記キセ
ノンランプやストロボランプは、可視光のみならず紫外
光及び赤外光を大量に発光する。

【００２６】このランプ２１は、電源２２によって電力
が供給されるようになっている。上記ランプ２１の前方
には、モータ２３によって回転駆動される回転フィルタ
５０が配設されている。この回転フィルタ５０には通常
観察用の赤（Ｒ），緑（Ｇ），青（Ｂ）の各波長領域の
光を透過するフィルタが周方向に沿って配列されてい
る。

【００２７】又、モータ２３はモータドライバ２５によ
って回転が制御されて駆動されるようになっている。上
記回転フィルタ５０を透過し、Ｒ，Ｇ，Ｂの各波長領域
の光に時系列的に分離された光は、更にライトガイド１
５の入射端に入射され、このライトガイド１５を介して
先端部１６側の出射端面に導かれ、この出射端面から前
方に出射されて、観察部位等を照明するようになってい
る。

【００２８】この照明光による観察部位等の被検体（被
写体）からの戻り光は、対物レンズ１７によって、ＣＣ
Ｄ１８上に結像され、光電変換されるようになってい
る。このＣＣＤ１８には、信号線２６を介して、信号処
理部７Ｂ内のドライバ３１からの駆動パルスが印加さ
れ、この駆動パルスによって光電変換された被検体の画
像に対応した電気信号（映像信号）のみ読出しが行われ
るようになっている。

【００２９】このＣＣＤ１８から読み出された電気信号
は、信号線２７を介して、電子内視鏡６内又は観察装置
７内に設けられたプリアンプ３２に入力されるようにな
っている。このプリアンプ３２で増幅された映像信号
は、プロセス回路３３に入力され、γ補正及びホワイト
バランス等の信号処理を施され、Ａ／Ｄコンバータ３４
によって、デジタル信号に変換されるようになってい
る。

【００３０】このデジタルの映像信号は、セレクト回路
３５によって、例えば赤（Ｒ），緑（Ｇ），青（Ｂ）の
各色に対応する３つのメモリ（１）３６ａ，メモリ
（２）３６ｂ，メモリ（３）３６ｃに選択的に記憶され
るようになっている。上記メモリ（１）３６ａ，メモリ
（２）３６ｂ，メモリ（３）３６ｃに記憶されたＲ，
Ｇ，Ｂ色信号は、同時に読み出され、Ｄ／Ａコンバータ
３７によって、アナログ信号に変換され、入出力インタ
フェース３８を介してＲ，Ｇ，Ｂ色信号としてカラーモ
ニタ８に出力され、このカラーモニタ８によって、観察
部位がカラ―表示されるようになっている。

【００３１】また、観察装置７内には、システム全体の
タイミングを作るタイミングジェネレータ４２が設けら
れ、このタイミングジェネレータ４２によって、モータ
ドライバ２５，ドライバ３１，セレクト回路３５等の各
回路間の同期が取られている。

【００３２】この実施例ではメモリ（１）３６ａ，メモ
リ（２）３６ｂ，メモリ（３）３６ｃの出力端及びタイ
ミングジェネレータ４２の同期信号出力端は画像処理装
置３と接続されている。また、画像処理装置３はカラー
モニタ５と接続され、このカラーモニタ５には画像処理
装置３による演算結果が表示されるようになっている。

【００３３】図３はこの画像処理装置３の構成を示す。
ＣＰＵ４０、情報入力装置４１、ＲＡＭで構成される主
記憶装置４２、画像入力インタフェース４３、表示イン
タフェース４４、ＲＯＭ４５及び記録装置インタフェー
ス４６を備え、これらはバスによって互いに接続されて
いる。

【００３４】図４に示すようにＣＰＵ４０は、ＲＯＭ４
５に記憶されたプログラムにより動作する画像処理手段
４７を有し、この画像処理手段４７は例えば同一対象物
に関して複数の位置から撮像手段により撮像された複数
の画像に対し、各画像上における同一の位置を検出する
位置検出手段５０と、前記各画像上における同一の点の
位置から各撮像手段の位置を推定する位置推定手段５１
と、この位置推定手段５１で推定された同一の位置及び
前記撮像手段の位置から対象物の立体形状を推定する形
状推定手段５２と、前記複数の画像間における撮像対象
物上の同一の点の各画像上における位置の検出、前記撮
像手段の位置の推定、対象物の立体形状を反復推定する
反復処理手段５３等からなる。

【００３５】上記情報入力手段４１はキーボード等で構
成され、電子内視鏡６の種別等のデータを入力できるよ
うになっている。画像入力インタフェース４３は、メモ
リ（１）３６ａ，メモリ（２）３６ｂ，メモリ（３）３
６ｃに接続され、これらの画像データの受信を行うよう
になっている。また、表示インタフェース４４は、モニ
タ５に入力する画像データを送るようになっている。ま
た、画像処理装置３の演算処理をハードウェアで構成し
た場合のブロック構成を図５に示す。

【００３６】メモリ（１）３６ａ，（２）３６ｂ，
（３）３６ｃに記録された時系列画像データは一旦メモ
リ６１に記憶される。記憶された画像データを用いて、
位置検出手段６２、位置推定手段６３、形状推定手段６
４、反復処理手段６０により対象物の立体形状を算出
し、３次元画像データ又は２次元画像データをメモリ６
５に記憶する。

【００３７】メモリ６５に記憶された３次元画像データ
又は２次元画像データは読み出され、Ｄ／Ａコンバータ
６６によってアナログ信号に変換され、入出力インタフ
ェース６７を介してモニタ５に対象部位の３次元又は２
次元の画像が表示されるようになている。

【００３８】また、画像処理装置３には、位置検出手段
６２、位置推定手段６３、形状推定手段６４、反復処理
手段６０の演算を制御するための演算処理用コントロー
ラ６８と、メモリ６１、６５のデータの読み書きを制御
するためのメモリコントローラ６９が設けられている。
セレクタ７０はメモリコントローラ６９の制御信号によ
ってメモリ６１、メモリ６５の一方が記録装置４に選択
的に接続され、記録装置４とメモリ６１又はメモリ６５
とデータの転送ができるようになっている。この実施例
では電子内視鏡６で得た対象物部位の画像に対し、画像
処理装置３で処理を行い、モニタ５に処理結果を出力す
る。

【００３９】図６は画像処理装置３と接続され、画像処
理装置３で画像処理される画像データを記録したり、画
像処理装置３で処理され、モニタ５で表示される画像デ
ータ等を記録する記録装置４のより具体的な構成例を示
す。

【００４０】画像記録装置８０はＶＴＲ或いはアナログ
光磁気ディスク装置等のアナログ方式の画像記録装置で
あり、その出力はＡ／Ｄコンバータ８１により、Ａ／Ｄ
変換された後、デジタル画像として画像処理装置３に入
力される。また、画像処理装置３による処理結果画像が
Ｄ／Ａコンバータ８４を介して画像記録装置８０に記録
することが可能である。

【００４１】動画像ファイル装置８２は半導体メモリ、
ハードディスク、デジタル光磁気ディスク装置等で構成
されるデジタル方式の動画像ファイル装置であり、その
出力はデジタル画像として画像処理装置３に入力され
る。また、静止画像ファイル装置８３は動画像ファイル
装置８２と同様に半導体メモリ、ハードディスク、デジ
タル光磁気ディスク装置等で構成されるデジタル方式の
静止画像ファイル装置であり、その出力はデジタル画像
として画像処理装置３に入力される。

【００４２】また、画像処理装置３による処理結果画像
は動画像ファイル装置８２及び静止画像ファイル装置８
３に記録することも可能である。図２において、ＣＣＤ
１８で光電変換された画像信号は観察装置７内の信号処
理部７（ｂ）で信号処理された画像信号となり、観察用
モニタ８に出力されると共に、画像処理装置３に出力さ
れる。

【００４３】この画像処理装置３に入力される２次元の
画像データは一旦記録装置４に送られ、画像信号が記録
される。また、記録された画像信号は画像処理装置３に
再び送られ、被写体の３次元形状の推定の処理が行わ
れ、記録装置４及びモニタ５に送り出され、それぞれ推
定された３次元形状の記録及び表示が行われる。

【００４４】第１実施例では以下のようにして２次元画
像から３次元画像を求める処理を行う。電子内視鏡６に
よって得られる内視鏡画像は観察装置７により画像信号
として画像処理装置３に順次送り出される。画像処理装
置３では順次送られてくる内視鏡画像の任意の期間の画
像信号を記録装置４に送り記録させる。

【００４５】記録装置４に記録された内視鏡画像データ
（２次元の画像データ）の複数フレームの画像データを
画像処理装置３へ送り、送られてきた複数フレームの画
像データから同一の点に対する位置を検出した後、検出
された位置の移動を表すシフトマップを算出する。

【００４６】求められたシフトマップより撮像手段の運
動ベクトル（電子内視鏡６先端の運動ベクトル）を推定
する。また、推定された撮像手段の運動ベクトルと各画
像間のシフトマップを用いて各々の形状の推定を行う。
各推定形状に対して信頼度に応じて重み付け加算等を行
って１つの立体形状を求める。

【００４７】求められた３次元データに対して、任意の
撮像手段の方向から見たときの２次元画像または３次元
画像で表示する（ワイヤーフレーム等）画像データを作
成する。画像処理装置３によって作成された３次元画像
データ又は２次元画像データをモニタ５に表示すると同
時に記録装置４に記録する。

【００４８】図７（ａ）及び図７（ｂ）は画像処理装置
３によって２次元画像データが３次元データに変換され
るまでの流れ図を示す。以下、３次元画像データが算出
されるまでの過程を示す。

【００４９】ステップＳ１は撮像手段が移動されながら
撮影された画像が画像処理装置３に入力されることを示
す。つまり、同一対象物に対して撮像手段（電子内視鏡
６の先端）を移動しながら、少しづつ位置が異なる２次
元画像データの入力を行う。次にステップＳ２では、ス
テップＳ１で得られた複数の画像に対して歪曲収差補正
処理を適用し、画像の歪を補正する。この歪曲収差補正
処理を補足説明する。

【００５０】記録装置４から送られてくる内視鏡画像デ
ータに広角レンズによる歪が発生しているため、各画像
に対して歪曲収差補正処理を適用し画像の歪を補正す
る。電子内視鏡６を用いて例えば図８（ａ）に示す正方
のます目を撮像した場合、得られる画像は図８（ｂ）に
示されるようなものになる。この歪画像が正方ます目画
像になるように、各画像における補正値をあらかじめ決
定しておき、実際の撮像画像に対しての補正を行うこと
により歪曲収差補正処理を実現することが可能となる。
より具体的な処理手法は、ＵＳＰ４，８９５，４３１に
おいて開示されている。

【００５１】次に補正された複数の画像（画像対）を用
いて、対応点の追跡、つまり対象物を表す１つの画像
（テンプレート画像）を選び、その画像上の複数の点を
選択してそれぞれの点が他の参照画像（リファレンス画
像）上でどのように移動しているかの追跡を行う。この
対応点追跡を補足説明する。

【００５２】対応点追跡は図９（ａ）に示すように、検
出しようとする対象物のテンプレート画像にある点を中
心とした矩形領域（ウィンドウ）をｔ（ｘ）とし、図９
（ｂ）に示すように参照画像にある大きさのサーチエリ
アＳを設定し、サーチエリアＳ内の対応領域ｆ（ｘ）と
前記テンプレート画像の矩形領域ｔ（ｘ）とのブロック
マッチング処理を相互相関演算によって相関値が最大と
なる領域を求める演算で行い、その場合におけるテンプ
レート画像に対する参照画像の移動方向及び移動量を求
める。

【００５３】例えば、次のような正規化された相互相関
Ｄ（ｕ，ｖ）；を用いて相関値を求め、それが最大となる領域を求め、
その場合における移動方向及び移動量を求める。ここ
で、２重積分記号はサーチエリアＳ内での積分を表し、
＜ｆ＞、＜ｔ＞はそれぞれｆ(x+u,y+v) 、ｔ(x,y) のＳ
内での平均を表す。なお、ブロックマッチング処理は、
相互相関演算に限定されるものでなく、同一出願人によ
るＵＳＰ４，９６２，５４０に開示されているカラーマ
ッチング手法を適用してもよい。（参照文献：コンピュ
ータ画像処理入門総研出版( 株)田村秀行監修：p.148
〜p.150 ）上述のようにして、テンプレート画像上で
選択された点の移動方向及び移動量の値を記述したシフ
トマップを求める。

【００５４】ステップＳ２で求めたシフトマップを用い
て、次にステップＳ３では最急降下法等の反復処理によ
り、撮像手段の運動ベクトルを求め、被写体と撮像手段
の位置との相対的な位置関係を求める。

【００５５】ステップＳ４では各シフトマップで求めた
被写体と撮像手段の位置関係が同一の座標空間になるよ
うに変換し、それぞれの同一点での被写体と撮像手段の
位置を平均して１つの被写体形状を求める。その後、ス
テップＳ６で推定された３次元画像データを表示装置側
などに出力する。

【００５６】次に３次元画像データを算出するための各
過程を順次説明する。（１）入力画像からのシフトマップの作成（位置の検
出）まず、内視鏡装置２で生体９等の内部の診断などを行う
ことを望む対象部位に対して撮像を行い、この対象部位
に対する複数の画像を記録装置４に記録する。この場
合、電子内視鏡６の先端側を少しずつ移動するなどして
同一の対象部位に対して撮像された複数の画像が記録装
置４に記録されるようにする。この結果、図１の左側に
示す電子内視鏡６の先端部１６（に内蔵された撮像手
段）の移動と共に撮像された（図１０の右側に示す）画
像列ｆ0 〜ｆm の内視鏡画像データが得られる。

【００５７】画像処理装置３では記録装置４から送られ
てくる内視鏡画像データに対して歪曲収差補正処理を適
用し、補正された内視鏡画像データ（２次元の画像デー
タ）のｍ＋１フレーム（画像列ｆ0 〜ｆm ）をＮ組に分
割し、分割されたｉ＋１フレームの画像データをもつＰ
0 ないしＰN で示す撮像手段の移動軌跡に対応する対応
点追跡を行いそれぞれのシフトマップを算出する。

【００５８】図１０に示すようにシフトマップ１は、画
像列ｆ0 〜ｆi のｉ＋１フレームの画像データを用いて
次の２つの対応点の追跡を行いながら各フレーム間の移
動量を順次求め算出する。

【００５９】（１）画像データｆ0 とｆ1 で対応付けを
行い、次に画像データｆ1 とｆ2 、さらに画像データｆ
2 とｆ3 の順で対応点追跡を行い、得られた移動量デー
タを総て加算して画像データｆ0 とｆi との対応関係を
求める。

【００６０】（２）画像データｆ0 とｆ1 の対応付けを
行い、この対応付けにより得られる移動量データを基に
画像データｆ0 とｆ2 、さらにそのデータを基に画像デ
ータｆ0 とｆ3 の順に対応点追跡を行い、最終的に画像
データｆ0 とｆi との対応関係を求める。

【００６１】（１）と（２）の関係は、（１）、（２）
の方法によりそれぞれの対応点追跡を行い、ある時点で
の（２）の方法における画像データｆ0 とｆk 、画像デ
ータｆ0 とｆk+1 の視差量の増加と、（１）の方法での
画像データｆk とｆk+1 との間での視差量とを比較し、
これらの差がある一定量（実験的には３ピクセル）を越
えた場合には、その点ではミスマッチングを起こしたと
判定し、周辺部のデータから補間関数を用いてその点の
移動量を再度推定し直す。この処理内容は図１１のフロ
ーチャートのようになる。

【００６２】ステップＳ１１により画像データｆm の取
り込みを行い、その後のステップＳ１２で歪曲収差の補
正処理を行う。次のステップＳ１３で m+1 の画像デー
タｆm+1 をN 組に分割する。次のステップＳ１４以降
で、N 組に分割された各画像エリアに対して（１）と
（２）の方法によりそれぞれの対応点追跡を行い視差量
の変化量が閾値を越えたか否かを判断する。

【００６３】つまり、ステップＳ１４でまず、n=0 と
し、次のステップＳ１５ａ及びＳ１５ｂで（１）と
（２）の方法により画像データｆm と（画像データｆm+
1 の）n=0の画像エリアとの対応点追跡をそれぞれ行
い、ステップＳ１６で（１）と（２）の処理の視差量の
変化量を算出する。

【００６４】次のステップＳ１７でそれぞれの変化量が
閾値（上記一定量）を越えたか否かを判断し、この閾値
を越えた場合にはステップＳ１８で補間処理を行う。閾
値を越えていない場合にはステップＳ１９で、n=N か否
かの判断を行う。n=N でない場合にはステップＳ２０で
n=n+1としてステップＳ１５ａ及びＳ１５ｂに戻り、次
の画像エリアに対して同様な処理を行う。このようにし
てn=N までの分割された全ての画像エリアに対して同様
な処理を行う。

【００６５】図１１の処理を行い、順次各点及び各画像
間のシフト量を求め、最終的に（画像データｆ0 とｆi
つまり）Ｐ0 とＰ1 間のシフト量を求めシフトマップ１
を算出する。

【００６６】同様にしてシフトマップ２からシフトマッ
プＮ（ＰN-1 とＰN 間のシフト量）まで求める。このシ
フトマップＮの算出によりＰ0 ないしＰN で示す撮像手
段で撮像された画像上における対応点の移動量が相互の
画像で関連付けられて算出され、ある画像までの位置が
決定されると、他の各画像上で同一の点の位置が算出さ
れることになる。

【００６７】（２）運動推定による位置推定前記求められたシフトマップより８点アルゴリズムを用
いて撮像手段の運動（内視鏡先端１６の動き）を推定す
る。しかし、画像間の対応付けに誤差が含まれると前記
８点アルゴリズムでは正しい解が得られなくなる。そこ
で８点アルゴリズムに最小２乗法を導入し、解を求める
のに最急降下法を適用して各シフトマップの運動ベクト
ルを求める。

【００６８】まず８点アルゴリズムについて説明する
（参考文献：画像理解森北出版株式会社金谷健一
著）。

【００６９】図１２は中心射影の座標系を示す。画像原
点Ｏから距離ｆだけ離れたところにＺ軸に垂直に画像面
をとる。この時、空間中の点（Ｘ，Ｙ，Ｚ）は、この点
（Ｘ，Ｙ，Ｚ）と原点Ｏとを結ぶ直線の画像面との交点
に投影されるものとする。その点の画像座標を（ｘ，
ｙ）とすると幾何学的な関係からｘ、ｙはｘ＝Ｘｆ／Ｚｙ＝Ｙｆ／Ｚ（１）となる。

【００７０】撮像手段の運動により空間中の点Ｘ＝
（Ｘ，Ｙ，Ｚ）がＸ′＝（Ｘ′，Ｙ′，Ｚ′）に移動し
たとき、そのとき撮像手段の運動は、原点を通る視軸回
りの回転を表す直行行列Ｒと、並進ベクトルｈ＝(hx ，
hy，hz)Tを用いて次式で表される。Ｘ＝ＲＸ′＋ｈ（２）ここで、図１３で示すよにｎ＝(nx ，ny，nz) を回転軸
の向きとし、θをその回転角とするとＲは次のように表
される。

【００７１】Ｒ＝点Ｘ、Ｘ′を原点からの距離と単位方向ベクトルｍ（Ｎ
ベクトル）、ｍ′を用いて表すとそれぞれ次のようにな
る。

【００７２】又、式（５）を用いると式（２）はｒｍ＝ｒ′Ｒｍ′＋ｈ（６）となる。

【００７３】図１４に示すように３本のベクトルｍ、Ｒ
ｍ′、ｈは空間中の同一平面上に存在するため、それら
のスカラ３重積が０となる。つまり、｜ｍｈＲｍ′｜＝（ｍ，ｈ×Ｒｍ′）＝０（７）となる。式（７）においてｈとＲの外積をＧとおくと、（ｍ，Ｇｍ′）＝０（８）となる。

【００７４】ただし、Ｇ＝（ｈ×ｒ１，ｈ×ｒ２，ｈ×ｒ３）（９）であり、ｒ１，ｒ２，ｒ３はそれぞれＲの第１，第２，
第３列ベクトルである。式（６）の両辺とｈとのベクト
ル積をとるとｒｈ×ｍ＝ｒ′ｈ×Ｒｍ′（＝ｒ′Ｇｍ）（１０）となる。

【００７５】両辺とｈ×ｍとの内積をとるとｒ‖ｈ×ｍ‖２＝ｒ′（ｈ×ｍ，Ｇｍ′）（＝ｒ′｜ｈｍＧｍ′｜）（１１）となる。これより｜ｈｍＧｍ′｜≧０（１２）を得る。

【００７６】ここでＲとｈからＧの要素を決める。式
（８）はＧの９つの要素に関する連立方程式である。し
たがって８組の対応対から得られる８個の１次方程式か
らＧの要素の比を定めることができる。

【００７７】次にＴｒ［ＧＧ^T］＝２（１３）となるように定数倍したものをＧ＾とする。これは並進
ベクトルｈを単位ベクトルに正規化することにあたる。

【００７８】式（８）及び（９）によれば並進ベクトル
ｈはＧの全ての列ベクトルに直交する。そこでＧ＾の列
ベクトルをｇ＾１，ｇ＾２，ｇ＾３として（ｇ＾ｉｈ）＝０、ｉ＝１，２，３（１４）となる単位ベクトルｈ＾を計算する。符号は式（１２）
より｜ｈ＾ｍαＧ＾ｍ′α｜≧０，α＝１，…，８（１５）となるように定める。

【００７９】次に式（９）に基づきｈ＾×ｒ＾＝ｇ＾ｉ，ｉ＝１，２，３（１６）となるように互いに直交して右手系を作る単位ベクトル
（ｒ＾１，ｒ＾２，ｒ＾３）を求め、これをその順に列
とする行列をＲ＝（ｒ＾１，ｒ＾２，ｒ＾３）とする。

【００８０】式（６）の両辺とｍ，Ｒｍ′との内積をと
るとそれぞれｒ＾α＝ｒ′＾α（ｍα，Ｒ＾ｍ′α）＋（ｈ＾，ｍ′＾α）ｒ＾α（ｍα，Ｒ＾ｍ′α）＝ｒ′＾α＋（ｈ＾，Ｒ＾ｍ′＾α）（１７）となる。これを解けば各点までの距離が次のように得ら
れる。

【００８１】ｒ＾α＝｛（ｈ，ｍα）−（ｍα，Ｒ＾ｍ′α）（ｈ＾，Ｒ＾ｍ′α）｝／｛１−（ｍα，Ｒ＾ｍ′α）²｝ｒ′＾α＝｛（ｍα，Ｒ＾ｍ′α）（ｈ＾，ｍα）−（ｈ＾，Ｒ＾ｍ′α）｝／｛１−（ｍα，Ｒ＾ｍ′α）²｝（１８）先にも述べたように８点アルゴリズムでは、画像間の対
応付けに誤差を含んでいる場合、正しい解が得られな
い。そこで必要な条件は厳密に満たし、その他の条件は
平均的に満たすような最適化を行う必要がある。

【００８２】そこでＮ組（Ｎ≧８）の対応点が観測され
たとし、最小二乗法を用いてとなる行列Ｇを求め、これを単位ベクトルｈと直交行列
Ｒに近似的に分解する（最小二乗アルゴリズム）。

【００８３】そこで、撮像手段の運動に対してある拘束
条件を適用して、撮像手段の運動パラメータｈ0 、Ｒ0
を推定し、これを初期値として式（１９）を最小とする
ｈ、Ｒを推定する。これによりあらかじめ解の存在空間
を制限し、推定誤差を最小限に抑えることが可能にな
る。

【００８４】撮像手段の運動パラメータの初期値ｈ0 、
Ｒ0 を求める。図１５（ａ）に示すように、（外部の操
作によって動く撮像手段を内蔵した）電子内視鏡６の先
端の動きはある方向への運動とみることができる。

【００８５】図１５（ｂ）に示すように、首振りの回転
による撮像手段の視軸方向（Ｚ方向）への動きは小さ
く、動きを表す並進ベクトルｈはＺ軸に垂直な平面内
で、回転軸Ｕはｈに垂直、回転角θはｈの方向に＋であ
ると仮定して初期値を求めることができる。

【００８６】シフトマップから複数の点の移動方向を求
めそれらを平均して並進ベクトルｈ0 を決定する。そし
てこのｈ0 に垂直に回転軸Ｕ0 を決めると、式（８）よ
り未知数ｒ、ｒ′、θ0 の３個を含む３個の方程式が得
られ、これを解くことでθ0が得られる。

【００８７】複数の点に対してθ0 を求め、それぞれの
θ0 より平均値を求め、初期値を決定する。このように
して得られた値を初期値として式（１９）より最急降下
法を用いて最適解を決定する。

【００８８】図１６に示すように、最急降下法により解
を求める。複数のシフトマップの内のｊ番目のシフトマ
ップＭ（ｊ）の並進ベクトルｈと回転マトリクスＲの各
要素を次のように表す。

【００８９】［hx(i),hy(i),hz(i),nx(i),ny(i),nz(i),θ(i) ］_j i=0,1,2,…,n 図１５（ａ），１５（ｂ）で説明した方法により、ステ
ップＳ２１のように運動ベクトルの初期値である並進ベ
クトルｈ0 と回転マトリクスＲ0 を求める。このときそ
れぞれの値を次のように表す。

【００９０】［hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ］_j ステップＳ２２のように求められた各ベクトルの１つの
パラメータを選択し、そのパラメータに対してΔd （≧
０）を次のように与えると、全部で１４通りのパラメー
タの値の組が求まる。

【００９１】［hx(0)+Δd,hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ］_j ［hx(0)-Δd,hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ］_j ［hx(0),hy(0)+Δd,hz(0),nx(0),ny(0),nz(0),θ(0) ］_j ［hx(0),hy(0)-Δd,hz(0),nx(0),ny(0),nz(0),θ(0) ］_j ・・・［hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0)+Δd ］_j ［hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0)-Δd ］_j それぞれのパラメータの値の組に対して、次の評価関数
Ｏ（i ，j ）の値を求める（ステップＳ２３）。

【００９２】 i=0,1,2,…,13 先の８点アルゴリズムで説明したようにＧが正しい値で
あれば（ｍ，Ｇｍ′）は０に近い値を示す。（ｍ、ｍ′
に誤差が含まれるため０にならない）そこで、求められ
た１４個の評価関数Ｏ（i ，j ）の内、最も小さな値、
つまり最小値をとるパラメータの組を選択する（ステッ
プＳ２４）。ステップＳ２５でこの最小値が閾値を越え
ていない場合には、ステップＳ２２に戻り、このパラメ
ータの組を新たなパラメータとする。例えば第１番目の
パラメータの組が評価関数を最小にした場合、新たなパ
ラメータの値は次のように求めることができる。

【００９３】 hx(1)=hx(0)+Δd, hy(1)=hy(0), hz(1)=hz(0), nx(1)=nx(0), ny(1)=ny(0), nz(1)=nz(0), θ(1)=θ(0) 同様にして、評価関数を最小にしたパラメータに対して
Δd （≧０）を次のように与える。

【００９４】［hx(1)+Δd,hy(1),hz(1),nx(1),ny(1),nz(1),θ(1) ］_j ［hx(1)-Δd,hy(1),hz(1),nx(1),ny(1),nz(1),θ(1) ］_j ［hx(1),hy(1)+Δd,hz(1),nx(1),ny(1),nz(1),θ(1) ］_j ［hx(1),hy(1)-Δd,hz(1),nx(1),ny(1),nz(1),θ(1) ］_j ・・・［hx(1),hy(1),hz(1),nx(1),ny(1),nz(1),θ(1)+Δd ］_j ［hx(1),hy(1),hz(1),nx(1),ny(1),nz(1),θ(1)-Δd ］_j それぞれのパラメータの評価関数の値を求め、その評価
関数が最小となるパラメータの組を選ぶ。以上の手順を
繰り返し行うことにより、評価関数Ｏ（i ，j）を最小
にする並進ベクトルｈと回転マトリクスＲのそれぞれの
要素が求められる。

【００９５】すなわち、１つのシフトマップに対して１
つの運動ベクトル（並進ベクトルｈと回転マトリクス
Ｒ）を推定することができる。

【００９６】各シフトマップとそれに対応する運動ベク
トルのパラメータから式（１８）を用いて各シフトマッ
プで選択された各点の視点から被写体での相対的な位置
を算出できる。

【００９７】（３）形状推定以上より求められた撮像手段の複数の運動ベクトル及び
各シフトマップで選択された各点の被写体から撮像手段
の位置までの相対的な位置関係を用いて、各シフトマッ
プでの被写体から撮像手段の位置までの相対的な位置関
係を所定の１つの撮像手段の位置を原点とした視線方向
をＺ軸とする同一の座標空間に変換する。

【００９８】ここで、各々のシフトマップや運動ベクト
ルに誤差が含まれるために、各撮像手段から被写体まで
の相対的な位置関係は同じにならない。

【００９９】そこで同一空間に変換された各同一点の撮
像手段から被写体までの相対的な位置関係を単純平均し
て１つの値として求め、それを推定形状とする。

【０１００】以上より求められた３次元データより任意
の撮像手段の方向からの２次元画像データまたは３次元
的に表示する画像データ（ワイヤーフレーム等）を算出
してモニタに表示する。また３次元データ及び前記算出
された画像データを記録装置４に記録する。

【０１０１】この第１実施例によれば、被写体に対し、
撮像手段側を移動して得られる複数の画像の同一点を検
出し、検出された同一点の情報から被写体に対する撮像
手段の相対的な位置関係を推定し、この推定された位置
から被写体の形状を推定している。

【０１０２】つまり、撮像された画像上で同一の点を検
出（決定）し、その情報に基づいて被写体に対する撮像
手段の相対的な位置関係を推定するようにしているの
で、撮像手段の移動と共に、被写体が移動した場合にお
いても、この被写体の移動に殆ど影響されることなく、
被写体に対する撮像手段の相対的な位置関係を決定でき
るという利点を有する。

【０１０３】また、撮像された画像情報を用いて被写体
の形状を推定しているので、撮像手段を形成する電子内
視鏡としてはパターンを投影する手段等の付加的な計測
機構が必要でないので、（先端部を太くなってしまうこ
となどなく）通常の電子内視鏡を用いることができる。

【０１０４】つまり、先端部が太くなってしまうような
電子内視鏡でなく、通常の電子内視鏡を用いることがで
きると共に、計測が必要な場合には観察装置７に画像処
理装置３を付加することにより、被写体の形状を表示で
きるようになり、拡張性に富むシステム構築を可能にす
る。

【０１０５】また、この画像処理装置を用いて医療用内
視鏡検査に適用すると、患部など注目する部分を立体的
に表示できるので、患部の腫れの程度を従来より的確に
認識でき、診断する場合に有効となる。

【０１０６】さらに、この実施例では撮像手段の運動ベ
クトルを８点アルゴリズムを用いて反復的に推定するよ
うにしているので、精度の高い形状推定を行うことがで
きる。

【０１０７】次に第２実施例を説明する。実際の立体形
状を推定する場合、被写体表面において特定の視点から
は見えない領域が存在する可能性がある。前記第１実施
例では各推定形状を単純平均して求めるため、立体形状
を推定するのに大きな誤差が含まれる可能性が生じる。
そこでこの実施例は第１実施例において推定された立体
形状と各視点との関係を用いて決定される重み関数を導
入して反復的に立体形状を再推定する。

【０１０８】図１７は画像処理装置３によって２次元画
像データが３次元画像データに変換されるまでの流れ図
を示す。図１７のステップＳ４までは第１実施例のステ
ップＳ４と同一で、ステップＳ４で求められた１つの立
体形状をもとにステップＳ５では形状の反復推定を行
う。その後、ステップＳ６で推定された３次元画像デー
タを表示装置側などに出力する。

【０１０９】次に第１実施例で示したような方法を用い
て、各シフトマップより求められた立体形状を合成した
１つの形状を推定し、その形状を初期値として反復推定
を行い、より精度のよい立体形状を算出する。以下に反
復推定の計算方法について示す。図１８は反復処理の具
体的な流れ図を示す。ステップＳ３１では図１９に示す
ように立体形状のｘ、ｙ平面上を間隔Ｄでサンプリング
を行い、各格子点上における視点からの奥行きｚ0(x,y)
を算出する。

【０１１０】ステップＳ３２、Ｓ３４では各格子上の奥
行きｚk(x,y)に対して＋Δｚk(x,y)、−Δｚk(x,y)をそ
れぞれ加えてその値をそれぞれｚk(x,y)とし、ステップ
Ｓ３３、Ｓ３５でそれぞれの評価関数Ｅ（ｚk(x,y)）を
求める。ステップＳ３６ではそれぞれの各格子点で求め
た２つの評価関数値の内、小さい評価関数値のｚk(x,y)
を選び、新たなｚk(x,y)とする。

【０１１１】ステップＳ３７では間隔Ｄがあるしきい値
を越えていないか判定し、しきい値を越えていない場合
はステップＳ３８に移り、間隔Ｄを１／２にし、ｋ＝ｋ
＋１にして再度奥行きｚを求め、越えた場合はこの処理
を終了する。なお、ステップＳ３８で、ｑ＝ｑ／２につ
いては以下で説明する。次に上記評価関数について補足
説明する。

【０１１２】各画像対（各シフトマップ）が形状推定に
寄与する比率を制御するように評価関数を次のように定
義する。

【０１１３】Ｅ（ｚ）＝Ｌ（ｚ）＋λＳ（ｚ）（ここでｚ＝ｚ(x,y) ）（２１）ここでλは第２項の強さを制御するパラメータであ
り（λ≧０）、Ｓ（ｚ）は推定した表面形状の滑らかさ
を表す項で、ｚの２次偏微分を用いて次のように表され
る。

【０１１４】（２２）式で、例えばｚxyはｘ及びｙでの２回の偏微分
を簡略的に表している。

【０１１５】ここでＮ個の画像対を仮定してＬ（ｚ）を
求める。いま画像対Ｉi −Ｉj に注目すると、物体上の
注目する点Ｐ（x,y,z(x,y)）が、各々の画像上の点Ｘi
とＸj に投影されるとする。

【０１１６】点Ｘi とＸj の位置はｚの推定値によって
決定される。ここで幅ｑの窓関数Ｗq を用いて画像Ｉi
、Ｉj における点Ｐ周辺のある領域Ｗq の画像濃度値
の２乗差Ｌijxy（ｚ）を次のように定義する。

【０１１７】点Ｐの投影位置を中心とする物体表面の画像がもし視点
位置の差による歪を受けず、画像値も変化しないなら
ば、正しいｚの値で式（２３）の値は最小となる。Ｎ個
の画像対を利用する場合には、式（２３）を各画像対に
ついて加算すればよいが、視点が大きく離れた場合、物
体上の同じ点の画像濃度値も変化することが考えられ
る。

【０１１８】このため、その影響を小さくするため隣接
する視点の画像対のみに注目することにする。さらに、
点Ｐが見えないような視点位置の画像対の影響を抑制す
るため、各画像対に対する重みを用いて式（２３）を加
算することでＬxy（ｚ）を次のように求める。

【０１１９】式（２４）を推定領域全体で求め、それをＬ（ｚ）とす
る。

【０１２０】 ωi は各画像対に対する重み係数で、一般に撮像手段か
ら被写体までの位置関係が近いほど推定精度がよいこと
や、式（２３）のようにある領域の画像値の差を評価関
数に用いる場合、画像間の歪が大きいほどその精度が低
下することを考慮して、各視点Ｖi と推定点Ｐまでの距
離ｒi と、推定点周辺領域の歪み度ｄiを用いて次の式
で表す。

【０１２１】 ( ωi ′＝１／｛ｄi （ｒi ＋ｒi+1 ）｝ここで歪み度ｄi は図２０（ｂ）に示すように、点Ｐを
中心とする物体表面上の直線を画像Ｉi 及びＩi+1 に投
影した場合の長さΔＸi 、ΔＸi+1 の比を用いて次のよ
うに表す。

【０１２２】（ｄi ′＝ΔＸi ／ΔＸi+1 ）注目する物体表面が両面像に平行な場合には画像間の歪
はなく、ｄi は最小値１を取ることになる。また、面の
法線ベクトルと、視線方向のベクトルとの成す角度θi
、θ i+1のどちらかが９０度を越える場合には、その
点は画像内に現れないはずである。このため、適当なし
きい値（実験では８０度）を設定し、この角度の一方で
もしきい値を越えた場合にはωi の値を０とする。

【０１２３】形状更新の実際の処理は、物体形状を奥行
きｚで表すｘ−ｙ平面上を間隔Ｄでサンプリングしなが
ら、その点のｚの値を式（２１）のＥ（ｚ）を減少させ
る方向へ変化させることにより行う。

【０１２４】形状を密に求めるにはＤの値は小さくなけ
ればならないが、評価関数Ｅ（ｚ）は一般に多数の局所
最小点を持つため、そのような局所点への集束を避ける
ためＤ及び窓関数Ｗの幅ｑを徐々に減少させながら（例
えばステップＳ３８に示すようにＤ＝Ｄ／２及びｑ＝ｑ
／２）のようにして）反復的に形状更新を行う。

【０１２５】この実施例によれば、第１実施例で推定し
た立体形状を初期値として反復推定を行うようにしてい
るので、より精度の高い立体形状の推定を行うことがで
きる。

【０１２６】次に第３実施例を説明する。本実施例にお
いては、第２実施例での反復処理の中にオクリュージョ
ンの可能性の高い部分、すなわちωi の値が低い部分の
シフトマップを除外して運動を再推定することを加える
ことにより、運動の推定精度の向上を図る。

【０１２７】図２１は反復処理の具体的な流れ図を示
す。第２実施例で説明したように評価関数Ｅ（ｚ）を導
入し、ステップＳ３６の小さい方の評価関数Ｅ（ｚ）を
選択して各格子点上の奥行きｚの値を求めるまでは同一
であり図１８におけるステップＳ３６とＳ３７との間に
以下のステップＳ４１ないしＳ４３の処理を行うように
している。

【０１２８】この実施例ではステップＳ３６で求められ
た奥行きｚを用い、次のステップＳ４１で各画像上での
位置を計算し、以前の（それまでの）位置の値からの移
動量を求め、その量を以前のシフトマップに加えること
で新しいシフトマップを算出する。

【０１２９】次のステップＳ４２では前記求めたωi の
値に応じて前記算出されたシフトマップを運動ベクトル
の推定に寄与する比率を変えながら運動ベクトルの推定
を行い、ステップ４３で再度立体形状を求める。

【０１３０】ステップＳ３７では間隔Ｄがあるしきい値
を越えていないか判定し、しきい値を越えていない場合
はステップＳ３８に移り、間隔Ｄと幅ｑを１／２にして
再度奥行きｚを求め、越えた場合はこの処理を終了す
る。

【０１３１】この実施例によれば、オクリュージョンが
ある場合にも、その影響を受けることなく高い精度で立
体形状の推定が可能になる。

【０１３２】次に第４実施例を説明する。本実施例にお
いては第１〜３実施例の方法により推定された立体形状
と、再度撮像手段を移動することによって得られた２次
元の画像データから新たに立体形状を推定する方法につ
いて説明する。

【０１３３】図２２及び図２３は画像処理装置３によっ
て２次元画像データが３次元画像データに変換されるま
での流れ図及び処理過程図をそれぞれ示す。以下３次元
データが算出されるまでの過程を示す。

【０１３４】ステップＳ５までは第１〜３実施例の方法
を用いることによりステップＳ１の撮像手段の移動で得
られた画像データから３次元の立体形状を推定すること
を示している。

【０１３５】この実施例ではステップＳ５の次のステッ
プＳ４６では、再度、同一対象物に対して撮像手段（電
子内視鏡６の先端）を移動しながら、少しずつ位置が異
なる新たな２次元画像データの入力を行う。

【０１３６】次にステップＳ４７では、ステップＳ４６
で新たに得られた複数の画像に対して歪曲収差補正処理
を適用し、画像の歪を補正する。また、ステップＳ１で
得られた最新の２次元画像データと補正された複数画像
（画像対）より、対応点の追跡、つまり対応する同一の
点がどのようにシフトしているかの追跡を行い、シフト
マップの算出を行う。

【０１３７】ステップ４８では、ステップＳ４７で求め
たシフトマップを用いて、ステップ３で用いられた方法
等よって撮像手段の１つの運動ベクトルを求める。次の
ステップＳ４９では、画像中の各点までの距離を求め、
各シフトマップに対する被写体形状を求め、その立体形
状と既にステップＳ４で得られた立体形状の合成等によ
り新たな立体形状を推定する。

【０１３８】ステップＳ４９で推定された立体形状を用
いてステップ５０では反復的に立体形状の再推定を行
う。その後、ステップＳ５１で推定された３次元画像デ
ータを表示装置側などに出力する。

【０１３９】次にステップＳ４６で第ｎ＋１番目の２次
元の画像データが入力した場合の処理方法について説明
する。

【０１４０】図２３に示すように第１〜３実施例等の方
法により、第ｎ番目までの２次元画像データを用いて立
体形状を推定する。次に同一対象物に対して撮像手段
（電子内視鏡６の先端）を移動しながら、第ｎ＋１番目
の２次元画像データの入力を行う。第ｎ＋１番目に得ら
れた２次元画像データに対して歪曲収差補正処理を適用
し、画像の歪を補正する。また、第ｎ番目と第ｎ＋１番
目の画像対より、対応点の追跡を行い、シフトマップの
算出を行う。

【０１４１】前記シフトマップより第ｎ番目と第ｎ＋１
番目の画像間で移動した撮像手段の運動ベクトルを求め
る。求められた運動ベクトルから被写体と撮像手段の位
置までの位置関係を求める。

【０１４２】このとき、その被写体と撮像手段の位置ま
での位置関係が既にステップＳ４で得られた立体形状
（被写体と撮像手段の位置）の座標空間と同じになるよ
うに変換し、変換された被写体と撮像手段の位置との位
置関係と、ステップＳ４で得られた立体形状の同一点と
の平均を求めて新たな立体形状を推定する。また、平均
以外にも立体形状と撮像手段の位置との関係より決定さ
れる重み付け加算により新たな形状を推定することもで
きる。

【０１４３】推定された立体形状を用いて反復的に立体
形状の再推定を行い推定された３次元画像データを表示
装置側などに出力する。

【０１４４】この第４実施例によれば、時系列的に入力
される画像データに対して、入力された順に３次元の画
像データを演算し表示できるので、第１実施例のように
全ての画像データを記録装置に記録する必要がなくなる
ので、記憶容量とか計算時間を削減できるメリットがあ
る。

【０１４５】３次元構造を推定する場合、画像から得ら
れる対応点探索に十分な精度を求めることは難しい。そ
のため解を安定に求めるために何らかの拘束条件を導入
することが考えられ、正則化が１つの方法となる。

【０１４６】そこで第２実施例では評価関数Ｅ（ｚ）の
第２項にｚの２次偏微分を導入して推定された表面形状
が滑らかに変化しているという拘束条件を用いて立体形
状の推定を行っている。

【０１４７】内視鏡画像のように生体内の画像を撮像し
た場合、求められる３次元構造は一般に滑らかな曲面を
構成していると考えられ、これを拘束条件にして正則化
を行う。形状の反復推定における更新量を決定する際
に、周囲の形状との差を小さくする方向へ修正量を導入
するという手法を用いることができる。

【０１４８】第２実施例での２次偏微分を用いる以外に
も、前記反復推定より導出した奥行きの修正量Δｚ１
、周囲の奥行き情報から補間することで求めた奥行き
と、現在の奥行きとの差として導出した修正量Δｚ２を
次の式にしたがって重み付け加算して実際の更新量を決
定する方法もある。

【０１４９】 Δｚ＝（１−λ）Δｚ１＋λΔｚ２（２８）以上の反復推定を行うことによって従来１組のステレオ
タイプの撮像手段の内視鏡で求めた形状推定よりも精度
の高い形状推定が行える。

【０１５０】この実施例ではさらに撮像を行い、形状推
定を行う画像データを多くする等して立体形状の推定を
行うようにしているので、より精度の高い立体形状の推
定を行うことができる。

【０１５１】なお、上述の各実施例において出力される
形状データは相対値で算出される。形状データを絶対値
で算出するためには内視鏡の先端（撮像手段）の動きに
関するパラメータのうち、１つのパラメータの絶対値
（基準の長さ、或いは角度値）を求め、上記相対値の算
出時にその１つのパラメータを基準値でスケーリングす
れば、形状の大きさを絶対値に求めることができる。

【０１５２】そのためには、撮像手段の動きに対して、
基準となる大きさを取得する大きさ取得手段が必要にな
る。例えば、日本国特公昭６３−２４６７１６で開示さ
れているように内視鏡操作部内のアングルノブの回転を
検出して湾曲量を求めて１つのパラメータとする。図１
で示すならば、電子内視鏡６の操作部１２内で検出され
た湾曲量を観察装置７を通して画像処理装置３に送り、
画像処理装置３内で前記相対値算出時に検出した湾曲量
の絶対値を用いて形状の絶対値を算出するようにすれば
よい。

【０１５３】具体的に、図２４を参照してアングルノブ
の回転から湾曲角度を得る方法或いは手段を説明する。

【０１５４】図２４の内視鏡７９（第１実施例では電子
内視鏡６）では、挿入部８０の先端側に設けられた湾曲
部８１を湾曲させるためのアングルワイヤ８２が内視鏡
７９の操作部８３内に配設された回転ドラム８４に巻き
つけられている。回転ドラム８４は、操作部８３内に配
設されるパターン円板８５及び操作部８３から突出して
配設されるアングルノブ８６と同軸的に固定されてい
る。

【０１５５】パターン円板８５の円周端面には、白黒の
等間隔のパターンが形成されており、反射型フォトセン
サ等で構成されるセンサ８７によって読み取れるように
なっている。センサ８７の出力はアンプ８８に入力さ
れ、アンプ８８の出力はカウンタ８９へ入力されるよう
になっている。

【０１５６】カウンタ８９の出力は、第１ラッチ９０及
び第２ラッチ９１に入力され、これらの出力は角度検出
装置９２へ入力されるようになっている。角度検出装置
９２で求められた湾曲部の角度情報は画像処理装置３に
送られる。操作スイッチ、タイミング回路等で構成され
る取込み指示手段９３の出力は第１及び第２ラッチ９
０、９１、画像処理装置３に入力されるようになってい
る。

【０１５７】なお、湾曲部８１は多数の関節駒を回転自
在に連結して構成され、アングルワイヤ８２が牽引され
た側に湾曲する。この湾曲部８１の前部には先端部９４
が形成され、図１で説明したように先端部９４には照明
光を出射する照明窓と、観察（撮像）のための観察窓が
設けられている。

【０１５８】次に作用を説明する。所定の湾曲状態にお
いて取込み指示手段９３からの指示により、カウンタ８
９の値が第１ラッチ９０に記録される。次に、アングル
ノブ８６を少し回し、内視鏡７９の湾曲部８１を動か
す。この時アングルノブ８６の回転にともないパターン
円板８５も回転し、センサ８７は白黒の変化を検出す
る。即ち、回転エンコーダを構成し、パターン円板８５
の回転量と同時に、回転方向の情報もアンプ８８を介し
てカウンタ８９に伝えられる。動かされた湾曲状態の位
置でのカウンタ８９の値が第２ラッチ９１に記録され
る。

【０１５９】第１ラッチ９０及び第２ラッチ９１に記録
された値は、角度検出装置９２へ供給され、角度情報θ
に変換されるようになっている。この角度情報θを画像
処理装置３に送り、被写体と撮像手段の相対的な位置関
係を絶対的な値（距離）に変換する。

【０１６０】図２４ではアングルノブの回転により撮像
手段の角度情報θを得るようにしているが、これに限定
されるものでなく、例えば内視鏡の先端のチャンネルよ
り基準となる大きさのもの（例えばメジャ等）を出して
被写体と一緒にその基準物を撮像し、画素内の基準値と
して絶対値を求めるようにしても良い。

【０１６１】また、後述するように３次元マニピュレー
タから位置情報を得るようにしても良い。

【０１６２】上述した実施例では内視鏡装置２を構成す
る撮像手段に電子内視鏡６を用いているが、本発明はこ
れに限定されるものでなく、次に説明するようなシステ
ム構成でも良い。

【０１６３】図２５は電子内視鏡６の代わりにファイバ
ースコープ１０６とこのファイバースコープ１０６に装
着されるＴＶカメラ１０７を用いている。図２５に示す
内視鏡システム１０１は、画像信号を発生する内視鏡装
置１０２と、内視鏡装置１０２からの画像信号に対して
立体形状を推定する画像処理を行う画像処理装置１０３
と、記録装置１０４と、モニタ１０５とから構成され
る。

【０１６４】内視鏡装置１０２は生体１０９内の患部等
の光学像を伝送するファイバースコープ１０６と、その
光学像を電気信号に変換するＴＶカメラ１０７と、この
ファイバースコープ１０６に照明光を供給する光源装置
１０８Ａと、ＴＶカメラ１０７からの電気信号を信号処
理する信号処理装置１０８Ｂと、この信号処理装置１０
８Ｂから出力される画像信号を表示する観察用モニタ１
１０とから構成される。

【０１６５】ファイバースコープ１０６は、細長で可撓
性を有する挿入部１１１と、この挿入部１１１の後端に
形成された操作部１１２と、この操作部１１２から延出
されたライトガイドケーブル１１３と、操作部１１２の
頂部に形成された接眼部１１４とから構成され、ライト
ガイドケーブル１１３の末端のコネクタ１１５を光源装
置１０８Ｂに接続できる。

【０１６６】接眼部１１４に装着されるＴＶカメラ１０
７は内部にＣＣＤ等の撮像素子を有し、信号ケーブル１
１６の末端に設けたコネクタ１１７を信号処理装置１０
８Ａに接続できる。

【０１６７】光源装置１０８Ａと信号処理装置１０８Ｂ
とで観察装置１０８が構成される。光源装置１０８Ａと
信号処理装置１０８Ｂは第１実施例の光源装置７Ａと信
号処理部７Ｂを使用することができる。また、第１実施
例では面順次の照明方式でカラー撮像を行っているが、
白色照明のもとでカラー撮像を行うものでも良い。画像
処理装置１０３及び記録装置１０４は例えば第１実施例
の各装置３、４で構成できる。このシステム１０１の作
用及び効果は、電子内視鏡６を用いた場合、例えば第１
実施例等と同様である。

【０１６８】図２６は電子内視鏡６の代わりに硬性内視
鏡２０６と、この硬性内視鏡２０６に装着されるＴＶカ
メラ２０７を用いている。図２６に示す内視鏡システム
２０１は、画像信号を発生する内視鏡装置２０２と、内
視鏡装置２０２からの画像信号に対して立体形状を推定
する画像処理を行う画像処理装置２０３と、記録装置２
０４と、モニタ２０５とから構成される。

【０１６９】内視鏡装置２０２は生体２０９内の患部等
の光学像を伝送する硬性内視鏡２０６と、その光学像を
電気信号に変換するＴＶカメラ２０７と、この硬性内視
鏡２０６に照明光を供給する光源装置２０８Ａと、ＴＶ
カメラ２０７からの電気信号を信号処理する信号処理装
置２０８Ｂと、この信号処理装置２０８Ｂから出力され
る画像信号を表示する観察用モニタ２１０とから構成さ
れる。

【０１７０】硬性内視鏡２０６は、細長でリジッドな挿
入部２１１と、この挿入部２１１の後端に形成された把
持部２１２と、この把持部２１２に接続されたライトガ
イドケーブル２１３と、把持部２１２の頂部に形成され
た接眼部２１４とから構成され、ライトガイドケーブル
２１３の末端のコネクタ２１５を光源装置１０８Ｂに接
続できる。

【０１７１】接眼部２１４に装着されるＴＶカメラ２０
７は内部にＣＣＤ等の撮像素子を有し、信号ケーブル２
１６の末端に設けたコネクタ２１７を信号処理装置１０
８Ａに接続できる。

【０１７２】光源装置２０８Ａと信号処理装置２０８Ｂ
とで観察装置２０８が構成される。光源装置２０８Ａと
信号処理装置２０８Ｂは第１実施例の光源装置７Ａと信
号処理部７Ｂを使用することができる。また、第１実施
例では面順次の照明方式でカラー撮像を行っているが、
白色照明のもとでカラー撮像を行うものでも良い。

【０１７３】画像処理装置２０３及び記録装置２０４は
例えば第１実施例の各装置３、４で構成できる。このシ
ステム２０１の作用及び効果は、電子内視鏡６を用いた
場合、例えば第１実施例等と同様である。

【０１７４】このシステム２０１の場合には、例えば図
２７に示すように３次元マニピュレータ４０１から位置
情報を得るようにしても良い。

【０１７５】図２７に示すようにＴＶカメラ２０７が装
着された硬性内視鏡２０６をマニピュレータ４０１に取
り付け、硬性内視鏡２０６の位置をマニピュレータ４０
１から検出しながら生体４０３内の患部等を観察するシ
ステムを構成している。

【０１７６】硬性内視鏡２０６はマニピュレータ４０１
の先端のアームに取り付けられ、マニピュレータ４０１
の各アームの角度を変えることにより硬性内視鏡２０６
を所定の位置に移動できるようになっている。

【０１７７】マニピュレータ４０１はアクチュエータ駆
動回路４０４からの制御信号によりマニピュレータ４０
１の各アームを動かし、所定の位置に硬性内視鏡２０６
を移動させる。ＣＰＵ４０５はアクチュエータ駆動回路
４０４を制御しマニピュレータ４０１の各アームの位置
情報の入出力を行い、その位置情報を画像処理装置２０
３へ送る。

【０１７８】画像処理装置２０３はＣＰＵ４０５から硬
性内視鏡２０６の位置情報を取得し、その位置情報より
被写体と撮像手段の相対的な位置関係を絶対的な値（距
離）に変換する。

【０１７９】次に本発明の第５実施例を備えた内視鏡シ
ステムを説明する。図２８に示す内視鏡システム３０１
は体腔内の映像を撮像する電子内視鏡装置３０２と、画
像処理装置３０３と、記録装置３０４と、モニタ３０５
とから構成される。

【０１８０】電子内視鏡装置３０２は複眼の電子内視鏡
３０６と、この電子内視鏡３０６に照明光を供給する光
源装置３０７と、電子内視鏡３０６から得られる左画像
を信号処理する左画像用信号処理装置３０８Ａと、電子
内視鏡３０６から得られる右画像を信号処理する右画像
用信号処理装置３０８Ｂと、それぞれの信号処理装置３
０８Ａ、３０８Ｂから出力される画像信号を表示する観
察用モニタ３０９Ａ、３０９Ｂとから構成される。

【０１８１】電子内視鏡３０６は、生体３１８内部に挿
入できるように細長で可撓性を有する挿入部３１１と、
この挿入部３１１の後端に設けられた操作部３１２と、
この操作部３１２から延出されたライトガイドケーブル
３１３とユニバーサルケーブル３１４とを備えている。

【０１８２】ライトガイドケーブル３１３の末端のコネ
クタ３１５は光源装置３０７に接続され、ユニバーサル
ケーブル３１４は末端側で分岐され末端部のコネクタ３
１６Ａ、３１６Ｂはそれぞれ左画像用信号処理装置３０
８Ａと、右画像用信号処理装置３０８Ｂに接続される。

【０１８３】挿入部３１１の先端部３１９には、複数
の、例えば２つの観察窓と、照明窓とが設けられてい
る。前記各観察窓の内側には、互いに視差を有する位置
に、右眼用対物レンズ系３２０、左眼用対物レンズ系３
２１が設けられている。各対物レンズ系３２０、３２１
の結像位置には、撮像手段を構成する固体撮像素子３２
２、３２３がそれぞれ配置されている。

【０１８４】また、前記照明窓の内側には、配光レンズ
３２４が設けられ、この配光レンズ３２４の後端には、
ファイババンドよりなるライトガイド３２５が配置され
ている。このライトガイド３２５は、前記挿入部３１１
内を挿通され、その入射端面には光源装置３０７から照
明光が供給される。

【０１８５】このライトガイド３２５によって照明光は
伝送され、その先端面及び配光レンズ３２４を介して被
写体に照射される。この被写体からの反射光は、前記対
物レンズ系３２０、３２１によって、それぞれの右画
像、左画像として、固体撮像素子３２２、３２３に結像
されるようになっている。

【０１８６】複眼の電子内視鏡３０６における内視鏡先
端面から指定された点にいたる距離を計算する測長原理
について以下に説明する。

【０１８７】図２９において点Ｄは生体３１８内部など
の対象物体３２８の着目点、点Ｐ、点Ｑは左画像用撮像
手段３２２、右画像用撮像手段３２３に結像された点に
対応する対物レンズ３２０、３２１の焦点画上の点であ
る。また点Ｏは対物レンズ３２０、３２１の光軸の中線
と内視鏡先端面３２６との交点である。

【０１８８】前記点Ｄと内視鏡先端面３２６との距離を
ｄ、対物レンズ３２０、３２１の光軸の中線に対する横
方向のずれをｘとする。

【０１８９】前記内視鏡先端面３２６と対物レンズ３２
０、３２１の焦点面との距離をｆとし、対物レンズ３２
０、３２１の光軸間の距離を２ｓとする。また、対物レ
ンズ３２０の光軸と点Ｐとの距離をａ、対物レンズ３２
１の光軸と点Ｑとの距離をｂとする。

【０１９０】以上から、図２９における三角形の相似か
らｆ（ｓ＋ｘ）＝ａｄｆ（ｓ−ｘ）＝ｂｄが成立する。以上の２式よりｘ、ｄについて解くとｘ＝ｓ（ａ−ｂ）／（ａ＋ｄ）ｄ＝２ｆｓ／（ａ＋ｂ）となる。よってａ、ｂ、ｆ、ｓは既知の量であるから、
未知のｘ、ｄを求めることができる。

【０１９１】図３０（ａ）及び図３０（ｂ）は画像処理
装置３０３によって２次元画像データが３次元画像デー
タに変換されるまでの流れ図及び処理過程図を示す。以
下３次元データが算出されるまでの過程を示す。

【０１９２】ステップＳ１は撮像手段が移動しながら撮
像された左画像、右画像が画像処理装置３０３に入力さ
れることを示す。つまり、同一対象物に対して撮像手段
（電子内視鏡３１１の先端）を移動しながら、少しずつ
位置が異なる２次元の左右の画像データの入力を行う。

【０１９３】次にステップＳ２ａでは、ステップＳ１で
得られた複数の左右の画像に対して歪曲収差補正処理を
適用し画像の歪を補正する。補正された例えば右の複数
画像（画像対）（または左の複数画像でもよい）より、
対応点の追跡、つまり対象物を表す１つの画像（テンプ
レート画像）を撰び、その画像上の複数の点を選択して
それぞれの点が他の画像（リファレンス画像）上でどの
ように移動しているかの追跡を行う。そして、テンプレ
ート画像上で選択された点の移動方向及び移動量の値を
記述したシフトマップを求める（図３０（ｂ）では複数
の左画像に対して第１実施例と同様な方法で左画像のシ
フトマップを求めることを示す）。

【０１９４】ステップＳ２ａで求めた左画像のシフトマ
ップを用いて、次にステップＳ３ａでは最急降下法等の
反復処理により例えば左眼用の撮像手段の運動ベクトル
を求め、左眼用の撮像手段と被写体までの相対的な位置
を求める。

【０１９５】またステップＳ２ｂではステップＳ１で得
られた各々の撮像手段の右の画像と左の画像のシフトマ
ップを前記対応点追跡により求める。このとき作成され
る左右画像からのシフトマップの対象となる点はステッ
プＳ２ａで求めた左画像のシフトマップの対象の点と同
一である。ステップＳ３ｂではステップＳ２ｂで求めた
シフトマップと前記複眼での測長原理を用いて各々の撮
像手段から被写体までの距離を算出する。

【０１９６】ステップＳ４では左画像のシフトマップで
求めた撮像手段と被写体の相対的な位置と各撮像手段の
右画像と左画像より求めた被写体までの距離が同一の座
標系となるように座標変換し、座標変換された各同一点
の距離を平均して１つの被写体形状を求める。その後、
ステップＳ５で推定された３次元画像データを表示装置
側などに出力する。

【０１９７】なお、上述した各実施例を部分的などで組
み合わせて異なる実施例を構成することもでき、それら
も本発明に属する。また、最初の出願の図８及び図９の
ような実施例を採用しても良い。

【０１９８】

【発明の効果】以上説明したように本発明によれば、撮
像手段を備えた内視鏡と、同一の対象物に対して前記撮
像手段により複数の位置から撮像された複数の画像に対
し、各画像上における対象物上の同一の点の位置を検出
する位置検出手段と、前記各画像上における対象物上の
同一の点の位置から前記撮像手段の各位置を推定する位
置推定手段と、前記位置推定手段で推定された前記撮像
手段の位置情報を用いて前記対象物の立体形状を推定す
る形状推定手段と、前記形状推定手段を経て推定された
立体形状を表示する表示手段とを設けてあるので、同一
の対象物をすこしづつ撮像手段の位置を移動する等して
撮像された複数の画像から同一の点の位置等を検出し、
それに基づいて撮像手段の位置の推定を行う処理等を行
い、対象物の立体形状を推定するので、対象物が移動す
る場合でも、精度よく立体形状の推定ができる。

【図面の簡単な説明】

【図１】第１実施例を備えた電子内視鏡システムの全体
構成図。

【図２】電子内視鏡装置のブロック構成を示すブロック
図。

【図３】画像処理装置の構成を示すブロック図。

【図４】ＣＰＵで構成した画像処理装置のブロック図。

【図５】ハードウェアで構成した画像処理装置のブロッ
ク図。

【図６】記録装置の構成を示すブロック図。

【図７】画像処理装置によって２次元画像データが３次
元データに変換されるまでの処理内容を示すフローチャ
ート図。

【図８】歪曲収差の補正の説明図。

【図９】テンプレート画像と参照画像とのシフト量を求
める様子を示す説明図。

【図１０】２次元の画像データ列からシフトマップを算
出する様子を示す説明図。

【図１１】シフトマップを算出して運動ベクトルの反復
処理の具体的な処理の様子を示すフローチャート図。

【図１２】中心射影の座標系を示す説明図。

【図１３】回転軸と回転ベクトルを示す説明図。

【図１４】３つのベクトルが同一平面上にあることを示
す説明図。

【図１５】内視鏡の先端の動きを示す説明図。

【図１６】反復推定の様子を示すフローチャート図。

【図１７】本発明の第２実施例による２次元画像データ
が３次元データに変換されるまでの処理内容を示すフロ
ーチャート図。

【図１８】立体形状を反復推定する処理を示すフローチ
ャート図。

【図１９】推定された立体形状を所定の間隔でサンプリ
ングする様子を示す説明図。

【図２０】評価関数を求めるために画像と対象物との関
係を示す説明図。

【図２１】本発明の第３実施例における立体形状を反復
推定する処理を示すフローチャート図。

【図２２】本発明の第４実施例による２次元画像データ
が３次元データに変換されるまでの処理内容を示すフロ
ーチャート図。

【図２３】第４実施例による処理内容を示す説明図。

【図２４】アングルノブの回転操作量から角度情報を得
る構成を示す説明図。

【図２５】ファイバスコープにＴＶカメラを装着したＴ
Ｖカメラ外付けスコープを用いた内視鏡システムの全体
構成図。

【図２６】硬性内視鏡にＴＶカメラを装着したＴＶカメ
ラ外付けスコープを用いた内視鏡システムの全体構成
図。

【図２７】３次元マニピュレータを用いて位置情報を得
る内視鏡システムの主要部を示す説明図。

【図２８】本発明の第５実施例を備えた電子内視鏡シス
テムの全体構成図。

【図２９】複眼の電子内視鏡による測長の説明図。

【図３０】第５実施例による処理内容を示すフローチャ
ート図。

【符号の説明】

１…内視鏡システム２…電子内視鏡装置３…画像処理装置４…記録装置５…モニタ６…電子内視鏡７…観察装置７Ａ…光源部７Ｂ…信号処理部８…モニタ９…生体１１…挿入部１２…操作部１３…ユニバーサルケーブル１４…コネクタ１７…対物レンズ１８…ＣＣＤ１９…撮像部４０…ＣＰＵ４１…情報入力装置４２…主記憶装置４３…画像入力インタフェース４４…表示インタフェース４５…ＲＯＭ４６…記録装置インタフェース４７…画像処理手段

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年６月２３日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００７２

【補正方法】変更

【補正内容】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００７４

【補正方法】変更

【補正内容】

【００７４】ただし、Ｇ＝（ｈ×ｒ１，ｈ×ｒ２，ｈ×ｒ３）（９）であり、ｒ１，ｒ２，ｒ３はそれぞれＲの第１，第２，
第３列ベクトルである。式（６）の両辺とｈとのベクト
ル積をとるとｒｈ×ｍ＝ｒ′ｈ×Ｒｍ′（＝ｒ′Ｇｍ′）（１０）となる。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００７５

【補正方法】変更

【補正内容】

【００７５】両辺とｈ×ｍとの内積をとるとｒ‖ｈ×ｍ‖ ^２＝ｒ′（ｈ×ｍ，Ｇｍ′）（＝ｒ′｜ｈｍＧｍ′｜）（１１）となる。これより｜ｈｍＧｍ′｜≧０（１２）を得る。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００７８

【補正方法】変更

【補正内容】

【００７８】式（８）及び（９）によれば並進ベクトル
ｈはＧの全ての列ベクトルに直交する。そこでＧ＾の列
ベクトルをｇ＾１，ｇ＾２，ｇ＾３として（ｇ＾ｉ，ｈ）＝０、ｉ＝１，２，３（１４）となる単位ベクトルｈ＾を計算する。符号は式（１２）
より｜ｈ＾ｍαＧ＾ｍ′α｜≧０，α＝１，…，８（１５）となるように定める。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００８０

【補正方法】変更

【補正内容】

【００８０】式（６）の両辺とｍ，Ｒｍ′との内積をと
るとそれぞれｒ＾α＝ｒ′＾α（ｍα，Ｒ＾ｍ′α）＋（ｈ＾，ｍ′＾α）ｒ＾α（ｍα，Ｒ＾ｍ′α）＝ｒ′＾α＋（ｈ＾，ｍ′＾α）（１７）となる。これを解けば各点までの距離が次のように得ら
れる。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００８１

【補正方法】変更

【補正内容】

【００８１】ｒ＾α＝｛（ｈ＾，ｍα）−（ｍα，Ｒ＾ｍ′α）（ｈ＾，Ｒ＾ｍ′α）｝／｛１−（ｍα，Ｒ＾ｍ′α）²｝ｒ′＾α＝｛（ｍα，Ｒ＾ｍ′α）（ｈ＾，ｍα）−（ｈ＾，Ｒ＾ｍ′α）｝／｛１−（ｍα，Ｒ＾ｍ′α）²｝（１８）先にも述べたように８点アルゴリズムでは、画像間の対
応付けに誤差を含んでいる場合、正しい解が得られな
い。そこで必要な条件は厳密に満たし、その他の条件は
平均的に満たすような最適化を行う必要がある。

───────────────────────────────────────────────────── フロントページの続き (72)発明者野波徹緒東京都渋谷区幡ヶ谷２丁目43番２号オリンパス光学工業株式会社内

Claims

【特許請求の範囲】

【請求項１】撮像手段を備えた内視鏡と、同一の対象物に対して前記撮像手段により複数の位置か
ら撮像された複数の画像に対し、各画像上における対象
物上の同一の点の位置を検出する位置検出手段と、前記各画像上における対象物上の同一の点の位置から前
記撮像手段の各位置を推定する位置推定手段と、前記位置推定手段で推定された前記撮像手段の位置情報
を用いて前記対象物の立体形状を推定する形状推定手段
と、前記形状推定手段を経て推定された立体形状を表示する
表示手段と、を備えた内視鏡画像処理装置。