JP2911894B2 - 内視鏡画像取込み方法および内視鏡装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、内視鏡画像取込み方法、およびこれを実施
する内視鏡装置に関するものである。 〔従来の技術〕 従来、内視鏡には像伝送をイメージファイバー束で行
うファイバースコープ、先端に固体撮像素子を配置した
電子スコープ等が知られており、主に画像観察を行って
きた。一方、画像記録が必要な場合にはファイバースコ
ープの接眼部に接続したカメラによる写真記録、電子ス
コープからの信号の画像メモリによる記録により対応し
ている。 〔発明が解決しようとする問題点〕 従来の写真記録、画像記録は記録時点での単一の画像
を記録しており、相前後して複数の画像を記録してもい
るが、画像相互の関係は付けられていなかった。従っ
て、記録した画像を処理する場合でも、単一の画像内の
情報のみで種々の処理が行われているのみである。 本発明は、上述した問題点に着目してなされたもの
で、複数の画像を相互の関係を関連付けるファクターと
ともに簡単に取り込むことができる内視鏡画像取込み方
法、およびこれを実施する内視鏡装置を提供することを
目的とするものである。 〔問題点を解決するための手段および作用〕 本発明は、湾曲操作手段により挿入部が湾曲操作され
る内視鏡によって内視鏡画像を取り込むにあたり、 前記挿入部が第１の位置にあるとき、前記内視鏡を介
して第１の画像を取り込むと共に、前記湾曲操作手段の
状態に基づいて前記第１の位置に対する位置情報を検出
し、 前記湾曲操作手段によって操作された前記挿入部が、
前記第１の画像の少なくとも一部と重複する画像を取り
込むことができる第２の位置にあるとき、前記内視鏡を
介して第２の画像を取り込むと共に、前記湾曲操作手段
の状態に基づいて前記第２の位置に対する位置情報を検
出し、 前記第１の位置および前記第２の位置に対する位置情
報に基づいて、前記第１の画像および前記第２の画像が
重複した領域の画像情報を演算することを特徴とするも
のである。 さらに、本発明は、湾曲操作手段により挿入部が湾曲
操作される内視鏡を有する内視鏡装置において、 前記挿入部が第１の位置にあるとき、前記内視鏡を介
して第１の画像を取込み可能な第１の画像取込み手段
と、 前記湾曲操作手段の状態に基づいて前記第１の位置に
対する位置情報を取り込む第１の位置情報取込み手段
と、 前記湾曲操作手段によって操作された前記挿入部が、
前記第１の画像の少なくとも一部と重複する画像を取り
込むことができる第２の位置にあるとき、前記内視鏡を
介して第２の画像を取込み可能な第２の画像取込み手段
と、 前記湾曲操作手段の状態に基づいて前記第２の位置に
対する位置情報を取り込む第２の位置情報取込み手段
と、 前記第１の位置および前記第２の位置に対する位置情
報に基づいて、前記第１の画像および前記第２の画像が
重複した領域の画像情報を演算する画像処理手段とを有
することを特徴とするものである。 〔実施例〕 以下、図面を参照してこの発明の実施例を説明する。
第１図はこの発明の第１実施例を示す構成図である。内
視鏡の弯曲部５の先端部には、対物レンズ１が設けられ
ている。この対物レンズ１は、被検体の像をイメージガ
イドファイバ８の端面に結像させる機能を持っている。
また、弯曲部５の先端部には凹レンズ７が設けられてい
る。この凹レンズ７は、照明光を外部から導光するため
のガラスファイバ等で構成されるライトガイド６を通っ
てきた光を配光よく出射させる機能を持っている。イメ
ージガイドファイバ８の他端は、内視鏡の操作部に形成
された接眼部10まで導かれており、接眼レンズ（図示せ
ず）、結像レンズ11を介して、TVカメラ12によってイメ
ージガイドファイバ８の内視鏡先端側に結像された像が
撮像されるようになっている。TVカメラ12の出力は、A/
D（アナログ／デジタル）コンバータ13によってデジタ
ル信号に変換され、第１フレームメモリ14あるいは第２
フレームメモリ15に入力されるようになっている。第１
および第２フレームメモリ14,15の出力は詳細は後述す
る画像処理装置16に入力されるようになっている。一
方、内視鏡の弯曲部５を弯曲させるためのアングルワイ
ヤ17が内視鏡の操作部内に配設された回転ドラム18に巻
きつけられている。回転ドラム18は、操作部内に配設さ
れるパターン円板19および操作部において露出して配設
されるアングルノブ20と同軸に固定されている。パター
ン円板19の円周端面には、白黒の等間隔のパターンが形
成されており、反射型フォトセンサ等で構成されるセン
サ21によって読み取れるようになっている。センサ21の
出力はアンプ22に入力され、アンプ22の出力はカウンタ
23へ入力されるようになっている。カウンタ23の出力
は、第１ラッチ24および第２ラッチ25に入力され、これ
らの出力は画像処理装置16へ入力されるようになってい
る。操作スイッチ、タイミング回路等で構成される記録
指示手段26の出力は第１および第２フレームメモリ14,1
5、第１および第２ラッチ24,25に入力されるようになっ
ている。 次に上記実施例の動作を説明する。内視鏡弯曲部５が
第２図に示すように、第１の弯曲状態（この実施例では
実線で示す弯曲してない状態）において、記録指示手段
26からの指示により、TVカメラ12で撮像され、A/Dコン
バータ13でデジタル化された内視鏡画像が第１フレーム
メモリ14に記録される。これと同時に、この時のカウン
タ23の値が第１ラッチ24に記録される。次に、アングル
ノブ20を少し回し、内視鏡弯曲部５を第２図に破線で示
す第２の弯曲状態にする。この時アングルノブ20の回転
にともないパターン円板19も回転し、センサ21は白黒パ
ターンの変化を検知する。すなわち、回転エンコーダを
構成し、パターン円板19の回転量と同時に、回転方向の
情報もアンプ22を介してカウンタ23に伝えられる。この
第２の弯曲状態で記録指示手段26からの指令により、第
２の弯曲状態の位置でのデジタル化された内視鏡画像が
第２フレームメモリ15に記録される。この時、同時にカ
ウンタ23の値が第２ラッチ25に記憶される。このように
して、第２図に斜線部と接している被検体４の像が第２
図Ａ′−Ｂ′で示される視差を持って２種類得られたこ
とになる。また、この２種類の画像の位置関係が記憶さ
れたことになる。第１および第２フレームメモリ14,15
に記憶された画像は画像処理装置16へ供給される。ま
た、第１および第２ラッチ24,25に記憶された値は、画
像処理装置16へ供給され、角度情報θに変換されるよう
になっている。これらの情報に基づき画像処理装置16に
おいて後述するように、被検体４の２点間の高さや、被
検体４の凹凸情報を求め表示するようになっている。 なお、この実施例では、イメージガイドファイバを有
する内視鏡の場合について述べたが、内視鏡先端部に固
体撮像素子を備えた電子スコープに適用してもよいこと
はもちろんである。この場合には、内視鏡先端部に設け
られた固体撮像素子から得られる画像信号を信号処理し
て、A/D変換した後第１および第２フレームメモリ14,15
に２つの位置の画像を記憶させるようにすればよい。こ
の場合の実施例については後述の第３実施例（第４図）
に示されている。 次に、第２実施例を第３図を用いて説明する。 第３図（Ａ）に示すように、内視鏡接眼部10にはカメ
ラ27が装着され、イメージガイドファイバ３の他端の
像、すなわち内視鏡画像がフィルム28に結像する様に配
置されている。カメラ27にはフィルム28にデータを写込
む為のLED等で構成されるデータ写込み手段29が設けら
れており、データ写込み手段29はデータ写込み制御手段
30に接続されている。一方、第１実施例におけるパター
ン円板19の代わりにスリット円板60がアングルノブ20お
よび回転ドラム18に直結されており、LEDドライバー31
によって発光されるLED32からの光はスリット円板60を
横切ってフォトトランジスタ等で構成される受光素子33
に到る様に配置されている。この受光素子33の出力はア
ンプ22を介してカウンタ23へ入力され、カウンタ23の出
力はデータ写込み制御手段30に接続されている。また、
レリーズスイッチ等で構成されるレリーズ指示手段34も
データ写込み制御手段30に接続されている。 カメラ27で内視鏡画像を撮影したフィルム28は現像さ
れ、第３図（Ｂ）に示すようにフィルム読取り手段35で
読取られる。すなわち、内視鏡弯曲部５が第１の状態に
おける弯曲量を第１弯曲量情報36として内視鏡画像と共
に写込まれている第１スライド37、および内視鏡弯曲部
５が第２の状態における弯曲量を第２弯曲量情報38とし
て内視鏡画像と共に写込まれている第２スライド39を別
々にドラムスキャナー等で構成されるフィルム読取り手
段35で読取るものである。フィルム読取り手段35の出力
はA/Dコンバータ61を介して内視鏡画像と弯曲量データ
を弁別する為のデータ弁別手段40へ入力される。データ
弁別手段40の出力である画像データ41および弯曲量デー
タ42は画像処理装置16へ入力される。画像処理装置16の
出力はD/Aコンバータ43を介してTVモニタ等で構成され
るモニタ44へ入力される。 次に、第２実施例の動作を説明する。内視鏡弯曲部５
が第１の弯曲状態（第２図における実線の状態）におい
てレリーズ指示手段34を用いてレリーズ操作を行うと、
データ写込み制御手段30はその時のカウンタ23の値をデ
ータ写込み手段29を駆動してフィルム28へ写込む。この
場合、カウンタ23の値をそのまま数字として記録しても
よいし、バーコードの如くエンコードして記録しても良
い。次に、フィルム28を一駒巻き上げ、アングルノブ20
を少し回転して内視鏡弯曲部５を第２の湾曲状態にす
る。この時、アングルノブ20の回転に伴いスリット円板
60も回転し、受光素子33はLED32からの光がスリット円
板60によって断続されるのを検知する。スリット円板60
のスリットパターンが90°ずれた位置にLED32、受光素
子33を２組配置すれば回転方向も知ることができる。こ
の湾曲操作によりカウンタ23の値もスリット円板60の回
転に伴って変化する。この状態で角度レリーズ指示手段
を用いてレリーズ操作を行うと、データ写込み制御手段
30およびデータ写込み手段29によってカウンタ23の値が
内視鏡画像と共にフィルム28に写込まれる。以上の操作
により、第１の弯曲状態における弯曲量と内視鏡画像が
写込まれた第１スライド37および第２の弯曲状態におけ
る弯曲量と内視鏡画像が写込まれた第２スライド39が得
られる。第１スライド37、第２スライド39はフィルム読
取り手段35にかけられ、その出力信号はA/Dコンバータ6
1によってデジタル信号に変換される。データ弁別手段4
0ではこのデジタル信号の中から内視鏡画像の信号と弯
曲量の信号を弁別し、画像データ41と弯曲量データ42を
分離して画像処理装置16へ入力する。 画像処理装置16では入力されたデータをもとに、詳細
は後述するように被検体４までの距離や被検体４の凹凸
を計算し、D/Aコンバータ43を介してモニタ44に立体合
成像を表示する。 更に、第３実施例を第４図を用いて説明する。 この第３実施例は第１実施例に示したイメージガイド
ファイバー８、内視鏡接眼部10、結像レンズ11、TVカメ
ラ12から成る撮像系を内視鏡先端部に固体撮像素子45を
配置した電子スコープに置き換えたものである。対物レ
ンズ１（図示せず）は被検体４（図示せず）の像を固体
撮像素子45上に結像する様に配置され、その出力はビデ
オアンプ50、A/Dコンバータ51を介して出力される。ま
た、アングルノブ20の軸にはショートパターン46が表面
に設けられたショートパターン円板47が設けられ、パタ
ーン46を検知するための接点ブラシ48が設けられ、ドラ
ム位置検知手段49に接続されている。ショートパターン
46はアングルノブ20の回転による内視鏡弯曲部５の先端
の移動距離が等間隔になる様な間隔で設けられている。
接点ブラシ48にはショートパターン円板47の回転方向を
知る為に３本のブラシが設けられている。この３本のブ
ラシはショートパターン46に対して位置的にずれてショ
ートする様に配置されており、３本のブラシのうちの２
本づつの組のショートするタイミングの順番によって回
転方向が判る様になっている。ドラム位置検知手段49か
らは第１フレームメモリ14および第２フレームメモリ15
へ記録指示信号52が供給される様になっている。 次に、この第３実施例の動作を説明する。アングルノ
ブ20の回転に伴い、一つ隣のショートパターン46によっ
て接点ブラシ48がショートする度にドラム位置検知手段
49は第１フレームメモリ14または第２フレームメモリ15
へ固体撮像素子45によって撮像された内視鏡像を記録す
る様に記録指示信号52を出す。第１フレームメモリ14に
記録するか、第２フレームメモリ15に記録するかはトグ
ル的に切換えられる。この結果、第１フレームメモリ14
および第２フレームメモリ15には常に一定の視差を有し
た内視鏡画像が記録される。両フレームメモリ14,15は
画像処理装置16に入力され、詳細は後述するが、画像処
理装置16はこれらの画像およびショートパターン46の間
隔、すなわち一定の視差の値から被検体までの距離や凹
凸の状態を計算し、D/Aコンバータ43を介してモニタ44
へ表示する。 更に、第４実施例を第５図を用いて説明する。 この第４実施例は、内視鏡先端部に固体撮像素子45が
配置された電子スコープに対応するものであり、固体撮
像素子45の出力はビデオアンプ50、A/Dコンバータ51お
よびフレームメモリ53を介して、A/Dコンバータ51から
直接に画像処理装置16に入力される。一方、内視鏡弯曲
部５の弯曲量、すなわち、視差の値を得る為にアングル
ワイヤ17に白黒パターンを設け、反射型フォトセンサ等
で構成されるセンサ21によりワイヤ17の移動量を検知す
る。センサ21の出力はアンプ22、カウンタ23に接続さ
れ、カウンタ23の出力はラッチ54と画像処理装置16に接
続され、ラッチ54の出力も画像処理装置16に接続されて
いる。また、図示しない操作スイッチからの信号により
動作し、フレームメモリ53、ラッチ54に動作信号を出力
する記録指示手段55が設けられている。 次に、この第４実施例の動作を説明する。この第４実
施例は、画像処理装置16の処理速度が高速の場合、また
は画像処理装置16が内部にフレームメモリ、ラッチを持
っている場合に、第１実施例の如くに２個のフレームメ
モリとラッチを使用しなくとも実施できることを示して
いる。すなわち、内視鏡弯曲部５が第１の状態において
操作スイッチを操作し、記録指示手段55からの信号によ
り第１状態の時のカウンタ23の値をラッチ54に記録する
と共に、固体撮像素子45で撮像された内視鏡画像をフレ
ームメモリ53に記録する。一方、内視鏡弯曲部５が第２
状態の時の内視鏡画像とカウンタ23の値を画像処理装置
に直接に取込み、第１の状態の時の内視鏡画像とカウン
タ値とよりリアルタイムで被検体までの距離や凹凸の状
態を計算し、D/Aコンバータ43を介してモニタ44で表示
を行う。 次に、前記実施例において後述すると述べた画像処理
装置16における物体の高さおよび大きさの絶対的な値の
測定法の原理について、まず説明する。 第６図に示すように、２枚の画像を取込む際の内視鏡
先端部の曲げ角をθ、曲率半径をｒとすると、曲げる前
と後とでの対物レンズ間の距離ｌはθが小さいときｌ＝
γ・θで近似される。次に２枚の画像と対象物体との幾
何学的対応を第７図に示す。なお、この第７図において
は説明を簡単にするために、レンズの光軸方向は、移動
の前後において、移動の前後におけるレンズの中心O₁，
O₂を結ぶ直線に対して垂直な方向であるとして説明す
る。２つの状態におけるレンズの中心の位置をO₁，O₂、
その時得られる画像をP₁，P₂、レンズの焦点距離をｆと
する。物体の任意の点A,Bは画像P₁上ではa₁，b₁、また
画像P₂上ではa₂，b₂の位置に写しとられる。ここで、２
枚の画像を中心を合わせて重ね合わせるとすると、a₁，
b₁の点は画像P₂上でa₁′，b₁′に相当する。このときの
a₁′とa₂間の距離をd_a、b₁′とb₂間の距離をd_bとする。
また、O₁，O₂を含み対象物体と平行な面P₀と点Ａとの距
離をh_A、P₀と点Ｂとの距離をh_Bとする。すると、h_Aとd_a
は三角形AO₁O₂と三角形O₂a₁′a₂との相似関係より、次
の関係式が成り立つ。 従って、h_Aは次式で求めることができる。 同様にして、h_Bは式で求められる。 この様に、２枚の画像P₁，P₂における対応点間の距離
ｄを求めることによって、その点の高さ方向の絶対的大
きさｈを求めることができる。 次に、任意の点の間の距離の絶対的大きさを求める方
法を示す。画像P₁における中心をc₁とし、P₁上でc₁とa₁
との距離をe_a、c₁とb₁との距離をe_bとする。また、O₁か
ら垂直に物体上におろした直線Ｉと点A,Bとの距離を
W_A，W_Bとすると、まず、W_Aとe_aとの間には比例関係よ
り、 が成立する。よって、式に式を代入すると、W_Aは
式で求まる。 同様に、W_Bは式で求められる。 従って、物体をP₀と平行な平面に投影したときの点Ａ
と点Ｂの距離W_ABは、式のようにして求めることがで
きる。 従って、画像P₁上で任意の点間の距離の絶対的大きさ
を測定することができる。 次に、２枚の画像P₁とP₂において、対応する点間の距
離ｄを求める方法について説明する。基本的には２枚の
画像の中の小領域における相関を調べることによって求
める。２枚の画像内の小領域を関数 で表し、 と比べるて だけシフトしている。つまり、 と仮定する。ただし、 は２次元を表わす座標である。 の相関は次式で定義される。 （以下、 と略記する） ただし、Ａは小領域の面積を表わすものとする。 式をフーリエ変換したものを式に示す。 ただし、 をフーリエ変換した関数、 をフーリエ変換した関数とする。 ここで、 の条件を使うと、式は、 となる。式を逆フーリエ変換すると、式のようにな
る。 ただし、 の自己相関関係であり、 で表わされる。また、 の逆フーリエ変換が となることを使用した。式は相関関数 のところで、ピークを有することを示している。したが
って、相関関数 を求め、そのピークの位置 を調べることにより、 に対してどれだけシフトしているかを決定することがで
きる。このことを利用して、２枚の画像P₁，P₂から対応
する小領域を求め、対応する点間の距離ｄを求めること
ができる。 次に、実際の構成例について説明する。 第８図に画像処理装置16における上記処理に係る処理
系全体のブロック図を示す。内視鏡側から送られてくる
２枚分のカラー画像データ90は画像メモリ91に記録され
る。画像メモリ91の画像データはカラー＝モノクロ変換
器92に入力され、計測に適したモノクロ画像データに変
換される。カラー＝モノクロ変換器92からの出力は歪補
正器93により、弯曲角θを参照しながら画像の歪が補正
される。歪が補正された２枚の画像データは相関演算器
94に入力され、対応点間の距離、つまりシフト量が検出
され、これはシフト量メモリ95に蓄積される。画像表示
装置96では、画像メモリ91に記録されてある画像や、シ
フト量メモリ95に記録されてあるシフト量およびθの値
から計算された画像の凹凸情報、さらには画像内の任意
の部分の大きさや高さの絶対的値の表示を行う。 （１）画像入力 内視鏡の先端を弯曲させて取り込んだ２枚のカラー画
像データを入力し、画像メモリ91に蓄積する。また、弯
曲角θの値を歪補正器93および画像表示装置96に入力す
る。 （２）画像の歪の補正 入力した画像は広角レンズで撮ったり内視鏡の先端部
を傾けることにより、歪んでいるのでこれを修正する。
方法としては第９図に示す様に、まず体内で画像を撮る
前に同じ条件で平面上の正方のます目を撮っておき、こ
の画像が正方になるような各画素における補正値を決め
ておく。そして、実際に入力する画像について補正を行
う。 画像の歪補正器94のブロック図を第10図に示す。θの
値は設定可能なθにおける歪補正値を記憶してあるメモ
リ104に入力され、入力画像データに適当なアドレスを
与えることによって歪を修正しながら画像メモリ105に
画像データを記録する。次に補間演算器106によって、
画像メモリ105に記録されてある画像に対して補間演算
を行い、歪補正によって高い空間周波数成分が劣化する
のを防ぐ。この補間関数としてはsinc関数に近い形を持
つ第11図に示すようなｂ−spline関数、 ｆ（ｘ）＝|x|³−2|x|²＋１ |x|＜１ ｆ（ｘ）＝−|x|³＋5|x|²−8|x|＋４ １≦|x|＜２ ｆ（Ｘ）＝０ |x|≧２ などを用いる。 （３）相関演算 相関演算では第12図に示すように、２枚の左および右
画像LP,RPの中に、検出点KPと検出点KPを中心とした演
算対象領域を設定する。演算対象領域は、最初は相関ピ
ークがあまり鋭くないが大まかな見当をつけるためにあ
る程度大きな領域例えばBEを設定し、次に対象領域を絞
って小さな領域SEにおいて演算を行い、精度良く対応す
る領域を決定する。 （ｉ）電気回路による相関演算器 第１例 第13図は電気回路による相関演算器の第１例の構成を
示すものである。画像メモリ107に対しアドレス発生器1
08によって演算対象領域を指定し、積和演算器109によ
って相関演算を行う。その結果は判定器110によって判
定される。まず最初に大きな演算対象領域について相関
演算を行う際は、ある値以上になる相関値とそのときの
アドレスをコントローラ112側に送る。そして、その結
果をコントローラ112が判断し、対象を限定した領域の
アドレスを発生するようにアドレス発生器108に指令を
送る。そして小さな設定領域について相関演算を同様に
して行い、今度は判定器110によって最大値のみを判定
し、そのときのアドレスをシフト量メモリ111に送る。 この構成は、演算に時間がかかるが、簡単な部品で構
成できる。 第２例 第14図は電気回路による相関演算器の第２例の構成を
示すものである。これは前記の第１例の構成において相
関演算を行うのに、積和演算器109の代わりにFFT113a,1
13bと乗算器114および逆FFT器115を用いるものである。
なお、FFT113bはフーリエ変換した後に複素供役の値を
出力するようになっている。 本回路を用いることにより演算速度を速くすることが
できる。 第３例 第15図は電気回路による相関演算器の第３例の構成を
示すものである。画像メモリ107に記録されてある左右
両画像信号f,gは、それぞれ平均演算器120a,120bに入力
して所定の領域における平均濃度値，を算出した
後、これら平均値，を乗算器121に入力して，
を計算する。また、左右両画像信号f,gは乗算器122に入
力して、ｆ・ｇを計算した後、これを平均演算器123に
入力して所定の領域におけるｆ・ｇの平均値 を計算する。この平均演算器123の出力 は乗算器121の出力，とともに減算器124に入力し、
ここで相互相関 を算出する。更に、画像メモリ107からの左右両画像信
号f,gおよび平均演算器120a,120bの出力信号，は、
それぞれ標準偏差演算器125a,125bに入力して所定の領
域における両画像の標準偏差 を算出し、これらを乗算器126に入力してσ_f・σ_gを計
算する。この乗算器126および減算器124の出力は、除算
器127に入力して を算出し、これを判定器110に入力する。以下は、前記
の例と同様に、判定器110、コントローラ112、アドレス
発生器108により、対応領域の判定を行って相関ピーク
のアドレスをシフト量メモリ111に送出して記録する。 この例では、積和演算器を用いた相関演算を実行する
際に、左右の画像のそれぞれについて平均値を差し引
き、標準偏差でノーマライズするようにしている。すな
わち、式で表わすと、 で、これを変形した を基に回路を構成したので、左右両画像の相関を計算す
る際に精度を悪くする原因となる両画像間のバイアスや
ゲインの違いを相殺できる。したがって、簡単な部品で
構成できる上に、相関ピークを精度良く検出することが
できる。 第４例 第16図は電気回路による相関演算器の第４例の構成を
示すものである。この例では画像メモリ107に記録され
ている左右両画像信号を、それぞれ空間周波数フィルタ
リング装置130a,130bに入力して所定の空間周波数フィ
ルタリングを施してから積和演算器109に入力するよう
にしたもので、その他の構成は第13図と同様である。な
お、空間周波数フィルタリング装置130a,130bは、例え
ば第17図、第18図または第19図に示すように構成するこ
とかできる。 第17図は、画像メモリ107からの画像信号とアドレス
発生器108からのアドレス信号とをルックアップテーブ
ルメモリ（LUT）131に入力して、画素の値とアドレスに
応じたテーブル変換値を出力させ、これを加算器132に
おいてメモリ133に記録されている値と加算してメモリ1
33に記録することによりその値を更新するようにしたも
のである。このように構成することにより、画像の所定
の領域についての積和演算を行うことができる。なお、
メモリ133に記録されている値を加算器132に戻すか、積
和演算器109に出力するかは、アドレス発生器108からの
アドレス信号に応じてセレクタ134で選択する。 また、第18図では第17図においてLUT131を用いた代わ
りに、積和演算の係数を記録したメモリ135と乗算器136
とを設け、アドレスの値に応じた係数と画素信号とを乗
じて加算器132に出力させるようにしたもので、その他
の構成は第17図と同様である。 第19図は、３×３画素局所領域の積和演算を高速に実
行するように構成したもので、画像信号はラスタースキ
ャニングの順に従って時系列的に入力される。この画像
信号のうち、１ラインディレイ装置140a,140bの両方を
通過した画素信号を変換装置141cに、前記１ラインディ
レイ装置140aのみを通過した画素信号を変換装置141b
に、そして前記１ラインディレイ装置140a,140bのいず
れも通過する以前の画素信号を変換装置141aにそれぞれ
同時に入力させる。変換装置141a〜141cは、第17図にお
けるLUT131あるいは第18図におけるメモリ135および乗
算器136と同様に構成され、画素信号にアドレスに応じ
た変換係数を乗じた値を変換値として出力する。これら
変換装置141a〜141cからの出力は、加算器142に入力し
て加算し、その加算出力を１画素ディレイ装置143a、加
算器144aおよび加算器144bに入力する。１画素ディレイ
装置143aに入力された信号は、１画素分タイミングを遅
らせた後に加算器144aに入力して、ここで１画素分後の
加算器142からの出力と加算して１画素ディレイ装置143
bに入力する。１画素ディレイ装置143bでは、加算器144
aの出力を１画素分遅らせて加算器144bに入力させ、こ
こで加算器142の出力を加算して第16図に示す積和演算
器109に入力させる。このようにして、パイプライン方
式により３×３局所領域の積和演算を高速に行うことが
できる。なお、第19図では３×３局所領域の積和演算を
行うようにしたが、同様な方法で各素子の数を増やすこ
とにより、さらに大きなサイズの積和演算を行うことも
可能である。 上述したように、この第４例においては、積和演算に
よる相関演算を実行する前に、おのおのの画像に対し空
間周波数フィルタリングを行うようにしている。ここ
で、画像の相関性は、性質に応じて特定の空間周波数成
分の領域を抽出した方が精度良く求めることができる。
そこでこの第４例では、画像内の各画素について、各画
素を中心とした局所領域の積和演算を実行することによ
り空間周波数フィルタリングを実現し、その後に相関演
算を行う。このフィルタリングについては、内視鏡先端
部の移動量がわずかで、左右両画像の相関性が非常に大
きい場合は、画像の高空間周波数成分を抽出することに
よってより相関の精度を高めることができる。このハイ
パスフィルタリングの例としては、以下に示すように３
×３画素の領域についてラプラシアンフィルタを用いて
処理することにより、画像の低周波成分をカットしてエ
ッジ部を抽出することができる。 ただし、＊はコンボリューションを示す。 また、左右両画像の相関性が幾何学的条件による形状
のゆがみや照明の具合等により劣化している場合には、
ローパスフィルタリングによって低空間周波数成分を抽
出することにより、その相関性を高めることができる。
このローパスフィルタリングの例としては、以下に示す
ような平均化フィルタを用いて処理することができる。 上記の他にも種々の係数による積和演算を行うことが
できると共に、局所領域のサイズを大きくとることによ
って、特定の空間周波数フィルタリングに対するバンド
パスフィルタを設けることも可能であり、画像に応じて
適当なフィルタリングを行うことができる。 この第４例においても、比較的簡単な部品構成で、精
度良く相関演算を実行することができる。 第５例 第20図は電気回路による相関演算器の第５例の構成を
示すものである。この例は、第14図に示した回路構成に
おいて、FFT113a,113bの出力を空間周波数フィルタリン
グ装置145a,145bでそれぞれ所定のフィルタリングを行
った後、乗算器114に入力して同様に処理するようにし
たものである。この場合の空間周波数フィルタリング装
置145a,145bの２つの例の構成を第21図および第22図に
示す。 第21図はルックアップテーブルメモリ（LUT）146を用
いたもので、FFT113aから画像信号 （ただし は２次元アドレス）をフーリエ変換したときの周波数 とフーリエ変換値 を入力し、その周波数 によって選択された変換テーブルに基づいて を変換して、その結果を出力するようにしたものである。 また、第22図はLUT147と乗算器148とを用いたもの
で、FFT113aからの周波数 の値をLUT147に入力してその周波数 に応じた係数ｋを出力させ、この係数ｋとFFT113aから
のフーリエ変換値 とを乗算器148で掛け算して を出力するようにしたものである。 なお、第21図および第22図では一方の空間周波数フィ
ルタリング装置145aの構成を示したが、他方の空間周波
数フィルタリング装置145bも同様に構成することができ
る。 この第５例では、上述した第４例と同様に画像に適当
な空間周波数フィルタリングを施してから相関演算を行
うものであるが、この第５例では画像をフーリエ変換し
た後に空間周波数領域においてフィルタリングを行うよ
うにしているので、任意のフィルタリングが可能とな
る。つまり第４例のような局所領域のサイズによる制限
がなく、画像に応じた最適なフィルタリングを行うこと
ができる。したがって、より精度の良い相関演算を高速
に実行することができる。 第６例 第23図は電気回路による相関演算器の第６例の構成を
示すものである。この例は、FFT113a,113bの出力を乗算
器114に入力すると同時に、絶対値算出器149a,149bにそ
れぞれ入力し、これら絶対値算出器149a,149bにおいて
フーリエ変換された値の絶対値 を算出した後、これらの出力を乗算器150で乗算し、こ
の乗算器150の出力と前記乗算器114の出力とにより除算
器151において割り算を実行してその出力を逆FFT115に
入力するようにした点が上述した第２例（第14図）と異
なるものであり、その他の構成は第２例と同様である。 この第６例では、フーリエ変換を介した相関演算を実
行する際に、画像f,gをフーリエ変換した値F,G^*をおの
おの絶対値で割ってから相関演算を行うようにしてい
る。すなわち、式に表わすと次のようになる。 ただし、 は逆フーリエ変換を表わす。 このような方法を用いれば、フーリエペスクトルに依
存せず、位相情報のみが相関性を決定することになるの
で、非常に精度良く相関性を検出することができる。し
たがって、内視鏡の対物レンズの視野角が狭く、左右の
画像を撮像したときの先端の振り角が小さいなど、非常
に相関性の高いステレオ画像が得られる場合には、精度
良く、高速に、しかも比較的簡単な方法で相関演算を実
行することができ。 （ii）光学装置による相関演算器 第１例 第24図に光学系による相関演算器の第１例のブロック
図を示す。レーザー156からの出力光はビームエキスパ
ンダー157によって適当な径に広げられ、ホログラム162
の参照光となるのと同時にハーフミラー158によって約
半分の強度の光が反射され、この反射された光はさらに
ミラー159によって全反射されて画像フィルム160を照明
する。画像フィルム160は歪補正器93の説明のときの画
像メモリ107に記憶されている左右どちらかの画像デー
タをポジフィルムに焼きつけたもので、第25図に示すよ
うに、演算対象領域DEだけを通すマスクMAをかぶせて設
置されている。画像フィルム160を通過した光はレンズ1
61によって集光され、レンズ161の焦点面におかれたホ
ログラム162に先に述べた参照光との干渉縞が記録され
る。次に同じ光学系において、画像フィルム160に最初
に用いた画像と別の画像を用い、レンズ163の焦点面に
置かれた光強度分布を２次元的に検出するディテクター
164によって光のスポット位置を検出し、コントローラ1
65で座標を判定する。このような操作を、画像フィルム
160のマスクの大きさおよび位置を変えることによって
繰り返し、最終的な測定値をシフト量としてシフト量メ
モリ166に記録する。 この光学系を用いた方法により、相関演算が行なえる
原理を説明する。なお、説明を簡単にするために、第24
図において光の分布、光学部品の特性は紙面に垂直な方
向へ一様として、紙面内の２次元問題として扱うことと
し、レンズ161の光軸に沿ってｚ軸を、ホログラム162に
沿って下向きにｘ軸をとる。画像を通過した単色平面波
がレンズにより集光されると、焦点面における複素振幅
分布 は式で表わすことができる。 ただしA:入射光の振幅、f:レンズ161の焦点距離 式において、空間周波数 とすると、これは２次元フーリエ変換と全く同じにな
る。従って、第24図でレンズ161の焦点面には画像 をフーリエ変換した画像が形成され、これと参照光とを
干渉させた強度分布がホログラムに記録されることにな
る。ホログラム記録面での光波の複素振幅分布 は次式で与えられる。 ただし、 であり、βは参照光軸とｚ軸とのなす角である。 ホログラムの感光材料が光強度に比例する振幅透過率
特性を持つとすると、このホログラムの振幅透過率分布 は、式で表される。 次に、このホログラムを別の画像 を画像フィルム160に置いて照明する。このときのホロ
グラムを透過する光波の波面 は次式のようになる。 ここで、第３項の回折光波面の出る方向にレンズ163
を置き、これによる２次元フーリエ変換作用を考える
と、レンズ163の焦点面における複素振幅分布 は式で与えられる。 ここで、 の焦点面座標、ｆ′：レンズ163の焦点距離である。よ
って、式で原点を に移動すれば、式は、 となり、式で示した相関演算と同じ形になる。従っ
て、この面に２次元ディテクター164を設置し、光強度
が最大になる点を検出することによって のズレ量がわかる。 この光学的相関演算によれば、瞬時に結果を得ること
ができる。 第２例 第26図に光学系を用いた相関演算器の第２例のブロッ
ク図を示す。この例は、第24図において対象画像に画像
フィルム160を用いた代わりに、画像メモリ107より直接
CRTコントローラ167を介してCRT168に映し出した画像を
インコヒーレント＝コヒーレントコンバータ169により
レーザー光で読み出すものである。このインコヒーレン
ト＝コヒーレントコンバータ169としては、液晶を用い
たLCLVあるいはBSOというものがある。 この構成によれば、画像を一度ポジフィルムに焼くと
いった汎雑な操作を不要とし、電気系から光学系への変
換がスムーズな形で可能となる。 （４）画像表示 第27図に画像表示装置のブロック図を示す。画像表示
コントローラ170では、入力されるカラー画像データ、
シフト量データおよびθの値からどの内容を表示するか
をキーボード、ジョイマティックなどで構成されるマン
＝マシーンインターフェース171からの指示に応じて決
定し、その内容をカラーディスプレイ172に表示する。
カラーディスプレイ172に表示される表示モードは第28
図（Ａ），（Ｂ），（Ｃ）に示すように３種類ある。第
１モードは、第28図（Ａ）に示すように生のカラー画像
の表示である。第２モードは、第28図（Ｂ）に示すよう
にシフト量データとθから求められる画像の凹凸情報で
濃淡画像として表示される。つまり画像の中で高さの高
い部分程明るく表示されるモードである。第３モード
は、第28図（Ｃ）に示すように高さ情報を３次元グラフ
ィック表示するものである。第３モードにはさらに２つ
のモードがあり、その１つは線画で表示するものであ
る。この際、画像表示コントローラ170では３次元画像
の平滑化処理や穏線処理を行う。第３モードの２番目の
モードは、３次元画像に基のカラー情報をかぶせて表示
するもので、画像表示コントローラ170では平滑化処理
を加え、より立体感を出すためにシューディング処理を
施す。 なお、第３モードではマン＝マシーンインターフェー
ス171からの指示により、任意の角度方向から３次元グ
ラフィック表示ができるようになっている。 また、第２および第３モードではカーソルCAを任意の
位置に設定し、計測する内容を指示することにより指示
された部分の高さ、距離、面積等の値を表示できる。 一方、カラーディスプレイに表示された内容は画像記
録装置173によって記録される。画像記録装置としては
カメラによるフィルムへの記録、インスタントカメラ、
カラーハードコピー等が選択できるようになっている。 なお、第１実施例におけるパターン円板19上のパター
ンおよび第４実施例におけるアングルワイヤ17の白黒パ
ターンとセンサ21はこれに限ることなく、例えば磁気ス
トライプ等を用い、センサ21にホール素子等の磁電変換
素子を用いるようにしてもよい。また、回転ドラム18を
アングルノブ20を使って手で回すのではなく、モータ等
で駆動するようにしてもよい。さらに、弯曲量を検知す
るのに、内視鏡弯曲部５にストレインゲージ等を設け、
たわみ量を検知するようにして行ってもよい。 また、前記第１〜第４の実施例では内視鏡弯曲部５に
おける弯曲を１ケ所で行うようにしたが、第29図に示す
ように、弯曲部５における弯曲を２ケ所W1,W2で行い、
対物レンズ１の光軸を平行にした状態で視差を持った２
種類の内視鏡画像を得るようにしてもよい。このときの
内視鏡先端部の拡大図を第30図に示す。なお、第30図で
は、イメージガイドファイバーを用いたものではなく、
内視鏡の弯曲部５の先端部で、対物レンズ１を介して像
が結像される位置に固体撮像素子２を配設したいわゆる
電子スコープを例にとって示している。このようにし
て、対物レンズ１の光軸が平行な位置で２種類の像を取
込むと、２ケ所の位置で共通の視野範囲となる斜線部
と、被検体４の接している部分を共通にして、被検体４
の像をＡ−Ｂの視差ｌを持って得ることができる。 さらに、前記実施例では内視鏡の先端部が弯曲するも
のを例示したが、これに限らず先端部が屈曲するような
型の内視鏡でもよい。また、弯曲あるいは屈曲の方向は
上下左右何れの方向でもよく、これらの方向を組み合わ
せた方向でもよい。 また、前記第１実施例では、回転ドラム18の回転量す
なわち、内視鏡弯曲部５の移動量を第１および第２ラッ
チ24,25にカウンタ23の値を記憶させ、２つの位置での
内視鏡画像を第１および第２フレームメモリ14,15に記
憶させるというように、別々の記憶手段に記憶させるよ
うにしたが、全てのデータを光ディスク装置や磁気ディ
スク装置へ一緒に記録させ、後に再生して画像処理装置
16へ入力するようにしてもよい。 さらに、前記第１実施例における第１および第２ラッ
チに記憶された値の差を求めて弯曲角度情報に変換する
こともできる。これは、画像処理装置16側で行ってもよ
いし、内視鏡装置側で行うようにしてもよい。また、単
に角度情報だけではなく、カウンタ23の値が、内視鏡弯
曲部５の弯曲位置と１対１に対応するようにしておけ
ば、対物レンズ１の光軸方向の向きも入力することがで
き、これにより対物レンズ１の光軸方向の向きも考慮し
てより精度の高い計算が画像処理装置16側で行うことが
できる。 また、前記第１〜第４実施例では、TVカメラ12や固体
撮像素子45で撮像された内視鏡画像をA/Dコンバータで
デジタル信号に変換しているが、アナログ信号のまま、
例えばアナログ式光ディスク装置や、アナログ式磁気デ
ィスク装置に記録するようにしてもよい。 さらに、前記実施例においては、内視鏡弯曲部５の状
態が２種類の場合について述べたが、これに限らず３種
類以上の状態における内視鏡画像および内視鏡弯曲部５
の移動量を得るようにして、画像処理装置において計算
すれば、より正確な距離情報および凹凸情報が得られ
る。 〔発明の効果〕 以上述べたように、この発明によれば複数の画像を相
互の関係を関連付ける情報と共に簡単に取込むことがで
き、これにより被検体に対する種々の情報を得ることが
できる。

【図面の簡単な説明】 第１図は本発明の第１実施例を示す全体構成図、 第２図は第１図の内視鏡先端部の拡大図、 第３図（Ａ）および（Ｂ）は本発明の第２実施例を示す
全体構成図、 第４図は同じく第３実施例を示す全体構成図、 第５図は同じく第４実施例を示す全体構成図、 第６図は内視鏡先端部の移動量を示す図、 第７図は第１〜第４実施例に用いられる画像処理装置で
の測定方法を示す図、 第８図は画像処理装置を中心とした処理系のブロック
図、 第９図は画像の歪補正を示す図、 第10図は第８図における歪補正器のブロック図、 第11図はｂ−spline関数を示す図、 第12図は第８図における相関演算器の動作を示す図、 第13図は電気回路による相関演算器の第１例を示すブロ
ック図、 第14図は同じく第２例を示すブロック図、 第15図は同じく第３例を示すブロック図、 第16図は同じく第４例を示すブロック図、 第17図は第16図に示す空間周波数フィルタリング装置の
一例を示すブロック図、 第18図は同じく他の例を示すブロック図、 第19図は同じく更に他の例を示すブロック図、 第20図は電気回路による相関演算器の第５例を示すブロ
ック図、 第21図は第20図に示す空間周波数フィルタリング装置の
一例を示すブロック図、 第22図は同じく他の例を示すブロック図、 第23図は電気回路による相関演算器の第６例を示すブロ
ック図、 第24図は光学装置による相関演算器の第１例を示す構成
図、 第25図は第24図の相関演算器で用いるマスクを示す図、 第26図は光学装置による相関演算器の第２例を示す構成
図、 第27図は第８図に示す画像表示装置のブロック図、 第28図（Ａ），（Ｂ）および（Ｃ）はそれぞれ各モード
における画像表示例を示す図、 第29図は本発明における内視鏡先端部の他の例を示す
図、 第30図は第29図における内視鏡先端部の拡大図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菊地 奨 東京都渋谷区幡ヶ谷２丁目43番２号 オ リンパス光学工業株式会社内 (72)発明者 エリク・バディケ 横浜市緑区長津田町4259 東京工業大学 像情報工学研究施設内 (56)参考文献 特開 昭59−187310（ＪＰ，Ａ) 特開 昭63−201618（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G02B 23/24 - 23/26 A61B 1/04

Claims (1)

1. (57)【特許請求の範囲】 １．湾曲操作手段により挿入部が湾曲操作される内視鏡
   によって内視鏡画像を取り込むにあたり、 前記挿入部が第１の位置にあるとき、前記内視鏡を介し
   て第１の画像を取り込むと共に、前記湾曲操作手段の状
   態に基づいて前記第１の位置に対する位置情報を検出
   し、 前記湾曲操作手段によって操作された前記挿入部が、前
   記第１の画像の少なくとも一部と重複する画像を取り込
   むことができる第２の位置にあるとき、前記内視鏡を介
   して第２の画像を取り込むと共に、前記湾曲操作手段の
   状態に基づいて前記第２の位置に対する位置情報を検出
   し、 前記第１の位置および前記第２の位置に対する位置情報
   に基づいて、前記第１の画像および前記第２の画像が重
   複した領域の画像情報を演算することを特徴とする内視
   鏡画像取込み方法。 ２．湾曲操作手段により挿入部が湾曲操作される内視鏡
   を有する内視鏡装置において、 前記挿入部が第１の位置にあるとき、前記内視鏡を介し
   て第１の画像を取込み可能な第１の画像取込み手段と、 前記湾曲操作手段の状態に基づいて前記第１の位置に対
   する位置情報を取り込む第１の位置情報取込み手段と、 前記湾曲操作手段によって操作された前記挿入部が、前
   記第１の画像の少なくとも一部と重複する画像を取り込
   むことができる第２の位置にあるとき、前記内視鏡を介
   して第２の画像を取込み可能な第２の画像取込み手段
   と、 前記湾曲操作手段の状態に基づいて前記第２の位置に対
   する位置情報を取り込む第２の位置情報取込み手段と、 前記第１の位置および前記第２の位置に対する位置情報
   に基づいて、前記第１の画像および前記第２の画像が重
   複した領域の画像情報を演算する画像処理手段とを有す
   ることを特徴とする内視鏡装置。