JPH05108819A

JPH05108819A - 画像処理装置

Info

Publication number: JPH05108819A
Application number: JP4032311A
Authority: JP
Inventors: Tetsuo Nonami; 徹緒野波; Nagaaki Ooyama; 永昭大山; Masahiro Yamaguchi; 雅浩山口; Hiroichi Nishimura; 博一西村; Masakazu Nakamura; 雅一中村
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1991-03-26
Filing date: 1992-02-19
Publication date: 1993-04-30
Anticipated expiration: 2015-08-21
Also published as: US5764809A; JP3078085B2

Abstract

(57)【要約】【目的】輝点等、異常データ領域等のある画像から異
常データ領域を除去した画像あるいは高解像度の画像等
を得る画像処理装置を提供すること。【構成】メモリ３６ａ，３６ｂ，３６ｃを介して取込
んだ複数の画像間における対応点をＣＰＵ１２１を用い
て検出して、その結果に基づいて画像間の整合を行い、
少なくとも１つの画像部分の一部を他の画像の一部等を
用いて埋め合わせる等の画像合成により、輝点等の異常
データを除去した画像をＩ／Ｏ１０５を経てモニタに表
示するようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】

【０００２】本発明は、同一対象に関する複数の画像か
ら、画像間の相関性を利用する事により、原画像の欠陥
等を除去した新たな画像を構成する画像処理装置に関す
る。

【従来技術】近年、半導体デバイス及び画像処理技術の
発達により膨大な量の画像データを同時に、あるいは短
時間で処理する事が実用的な水準で可能になりつつあ
る。

【０００３】特に、画像間の相関を利用する技術に関し
ては、発達著しいものがあり、例えば、デジタル伝送等
に関する動画像フレーム間の動きベクトルを推定する事
による圧縮符号化、復号化は、現在最も多くの検討が行
われている分野の一つである。あるいは、例えば特開平
１−１０９９７０号にはＴＶカメラにおける画像振れ防
止する従来例が開示されている。

【０００４】一般の映像技術分野に於けるニーズとし
て、広い視野をより鮮明に、欠陥部分なく画像化する事
が求められる。通常の環境下においては、一般的な撮像
手法によってもこの事は実用上十分な程度に実現する事
ができるが、一部の分野では原理的にこれらの要望を満
たす事ができない。

【０００５】例えば、近年、細長の挿入部を体腔内に挿
入する事によって、切開を必要とする事無く、体腔内の
患部等を観察したり、必要に応じ処置具を用いて治療処
置のできる内視鏡が広く用いられるようになった。

【０００６】上記内視鏡には、イメージガイドを像伝送
手段に用いた光学式の内視鏡の他に、最近ＣＣＤ等の固
体撮像手段を用いた電子式の内視鏡が実用化され、より
明瞭な映像を得る事が可能となっている。

【０００７】しかしながら、例えば、医療用内視鏡等の
装置においては、粘液に覆われ、光沢を持つ粘膜面を観
察対象とする為、照診光が正反射して撮像面に入射し、
輝点（ハレーション）を生じて観察を妨げる現象は避け
得ない。

【０００８】また、医療用内視鏡における通常の光学系
は、その視野の超広角故、強度の歪曲収差をともなって
いる。この為、対象を詳細に観察しようとする場合、な
るべく歪曲収差の小さい視野の中央付近で対象を観察す
る必要がある。この場合、一枚の画像により同時に観察
可能な領域はあまり広くない。この傾向は、近接像及び
拡大内視鏡においてはますすます顕著なものとなり、対
象全体を見渡す事は困難になってくる。

【０００９】

【発明が解決しようとする問題点】正反射による輝点に
対しては、偏光フィルター等の組合せにより、観察に対
する妨げを軽減しようとする試みも為されているが、光
量不足、あるいは色彩再現性が犠牲になる等の問題点が
あり実用には至っていない。

【００１０】広視野化に対しては、特開平１−２５１９
６２に複数の画像からのパノラマ画像作成手法が開示さ
れているが、視点の移動、距離の変化等が考慮されてお
らず適用範囲は極めて限定されるという問題がある。

【００１１】本発明は、上述の点に鑑みてなされたもの
で、同一対象を撮像する事により得られた複数の画像か
ら、異常データ領域等を除去したり、視野拡大、解像力
向上のなされた画像を合成可能な画像処理装置を提供す
る事を目的とする。

【００１２】

【問題点を解決する為の手段及び作用】複数の画像を入
力する画像入力手段と、前記複数の画像間における対応
点を検出する対応点検出手段と、前記対応点検出手段の
出力結果に基づき、少なくとも２つの画像間の整合を行
う画像整合手段と、前記画像整合手段により、少なくと
も１つの画像部分の少なくとも一部を他の画像の少なく
とも一部の画像情報を用いて１枚の画像を合成する画像
合成手段とを設けることにより、輝点等の異常データ領
域を他の画像における対応する異常とならない領域で置
換する等の画像合成を行うことにより望ましい画像を得
られるようにしている。

【００１３】

【実施例】図１ないし図１７は本発明の第１実施例に係
り、図１は内視鏡装置の構成を示すブロック図、図２は
画像処理装置の構成を示すブロック図、図３は内視鏡装
置の全体を示す側面図、図４は画像処理装置に関する入
出力装置の構成を示すブロック図、図５は第１実施例に
おける処理の流れを説明するためフローチャート、図６
は歪曲収差の補正の様子を示す説明図、図７はハレーシ
ョン領域がある画像を示す説明図、図８は図７のハレー
ション領域を含む補正領域が選出された様子を示す説明
図、図９は画像Ｇn 上で対応点が検出された様子を示す
説明図、図１０は画像Ｇ0 上での対応検出点と画像Ｇn
上での対応点とを示す説明図、図１１は対応検出点内の
点Ｐの位置決定のための説明図、図１２は画像Ｇ0 上の
ハレーション領域の一部を埋め合わせた結果を示す説明
図、図１３はカラーマッチング手法を適用した画像処理
装置の処理内容を示すフローチャート図、図１４は近接
して複数存在するハレーション領域の対応検出点及びブ
ロックマッチング領域の決定を説明する説明図、図１５
は複数の画像との位置関係とか視野拡大した画像等を示
す図、図１６は画像処理装置の視野拡大の処理内容を示
すフローチャート図、図１７はカラーマッチング手法を
適用した画像処理装置の視野拡大の処理内容を示すフロ
ーチャート図である。

【００１４】本実施例に係る内視鏡装置は、図３に示す
ように、電子内視鏡１を備えている。この電子内視鏡１
は、細長で例えば可撓性の挿入部２を有し、この挿入部
２の後端に太径の操作部３が連設されている。前記操作
部３の後端部からは側方に可撓性のユニバーサルコード
４が延設され、このユニバーサルコード４の先端部にコ
ネクタ５が設けられている。前記電子内視鏡１は、前記
コネクタ５を介して、光源装置及び信号処理回路が内蔵
されたビデオプロセッサ６に接続されるようになってい
る。さらに、前記ビデオプロセッサ６には、モニタ７が
接続されるようになっている。

【００１５】前記挿入部２の先端側には、硬性の先端部
９及びこの先端部９に隣接する後方側に湾曲可能な湾曲
部１０が順次設けられている。また、前記操作部３に設
けられた湾曲操作ノブ１１を回動操作することによっ
て、前記湾曲部１０を左右方向あるいは上下方向に湾曲
できるようになっている。また、前記操作部３には、前
記挿入部２内に設けられた処置具チャンネルに連通する
挿入口１２が設けられている。

【００１６】図１に示すように、電子内視鏡１の挿入部
２内には、照明光を伝達するライトガイド１４が挿通さ
れている。このライトガイド１４の先端面は、挿入部２
の先端部９に配置され、この先端部９から照明光を出射
できるようになっている。また、前記ライトガイド１４
の入射端側は、ユニバーサルコード４内に挿通されてコ
ネクタ５に接続されている。また、前記先端部９には、
対物レンズ系１５が設けられ、この対物レンズ系１５の
結像位置に、固体撮像素子１６が配設されている。この
固体撮像素子１６は、可視領域を含め紫外領域から赤外
領域に至る広い波長域で感度を有している。前記固体撮
像素子１６には、信号線２６，２７が接続され、これら
信号線２６，２７は、前記挿入部２及びユニバーサルコ
ード４内に挿通されて前記コネクタ５に接続されてい
る。

【００１７】一方、ビデオプロセッサ６内には、紫外光
から赤外光に至る広帯域の光を発光するランプ２１が設
けられている。このランプ２１としては、一般的なキセ
ノンランプやストロボランプ等を用いることができる。
前記キセノンランプやストロボランプは、可視光のみな
らず紫外光及び赤外光を大量に発光する。このランプ２
１は、電源２２によって電力が供給されるようになって
いる。前記ランプ２１の前方には、モータ２３によって
回転駆動される回転フィルタ５０が配設されている。こ
の回転フィルタ５０には、通常観察用の赤（Ｒ），緑
（Ｇ），青（Ｂ）の各波長領域の光を透過するフィルタ
が、周方向に沿って配列されている。

【００１８】また、前記モータ２３は、モータドライバ
２５によって回転が制御されて駆動されるようになって
いる。

【００１９】前記回転フィルタ５０を透過し、Ｒ，Ｇ，
Ｂの各波長領域の光に時系列的に分離された光は、前記
ライトガイド１４の入射端に入射され、このライトガイ
ド１４を介して先端部９に導かれ、この先端部９から出
射されて、観察部位を照明するようになっている。

【００２０】この照明光による観察部位からの戻り光
は、対物レンズ系１５によって、固体撮像素子１６上に
結像され、光電変換されるようになっている。この固体
撮像素子１６には、前記信号線２６を介して、前記ビデ
オプロセッサ６内のドライブ回路３１からの駆動パルス
が印加され、この駆動パルスによって読み出し、転送が
行われるようになっている。この固体撮像素子１６から
読み出された映像信号は、前記信号線２７を介して、前
記ビデオプロセッサ６内または電子内視鏡１内に設けら
れたプリアンプ３２に入力されるようになっている。

【００２１】このプリアンプ３２で増幅された映像信号
は、プロセス回路３３に入力され、γ補正及びホワイト
バランス等の信号処理を施され、Ａ／Ｄコンバータ３４
によって、デジタル信号に変換されるようになってい
る。このデジタルの映像信号は、セレクト回路３５によ
って、例えば赤（Ｒ），緑（Ｇ），青（Ｂ）各色に対応
するメモリ（１）３６ａ，メモリ（２）３６ｂ，メモリ
（３）３６ｃに選択的に記憶されるようになっている。
前記メモリ（１）３６ａ，メモリ（２）３６ｂ，メモリ
（３）３６ｃは、同時に読み出され、Ｄ／Ａコンバータ
３７によって、アナログ信号に変換され、入出力インタ
ーフェース３８を介して、Ｒ，Ｇ，Ｂ信号として、カラ
ーモニタ７に入力され、このカラーモニタ７によって、
観察部位がカラー表示されるようになっている。

【００２２】また、前記ビデオプロセッサ６内には、シ
ステム全体のタイミングを作るタイミングジェネレータ
４２が設けられ、このタイミングジェネレータ４２によ
って、モータドライバ２５、ドライブ回路３１、セレク
ト回路３５等の各回路間の同期が取られている。

【００２３】本実施例では、前記メモリ（１〜３）３６
ａ〜３６ｃの出力端は、画像処理装置１０４に接続され
ている。また、前記画像処理装置１０４には、入出力イ
ンターフェース１０５を介して、モニタ１０６が接続さ
れ、このモニタ１０６に、前記画像処理装置１０４によ
る演算処理結果が表示されるようになっている。前記画
像処理装置１０４は、図２に示すような構成になってい
る。

【００２４】すなわち、画像処理装置１０４は、図２
（ａ）に示すように、ＣＰＵ１２１、情報入力装置１２
２、ＲＡＭからなる主記憶装置１２３、画像入力インタ
ーフェース１２５及び表示インターフェース１２８、Ｒ
ＯＭ１３０を備え、これらは、バスによって互いに接続
されている。

【００２５】前記ＣＰＵ１２１は、図２（ｂ）に示すよ
うに、前記ＲＯＭ１３０に記憶されたプログラムにより
動作する画像処理手段を備え、この画像処理手段は、例
えば、複数の画像間における対応点を検出する対応点検
出手段１４１と、前記対応点検出手段の出力結果に基づ
き、少なくとも２つの画像間の整合を行う画像整合手段
１４２と、前記画像整合手段により、少なくとも１つの
画像部分の少なくとも一部を他の画像の少なくとも一部
の画像情報を用いて１枚の画像を合成する画像合成手段
１４３等からなる。

【００２６】前記情報入力装置１２２は、キーボード等
であり、電子内視鏡１の種別等のデータを入力できるよ
うになっている。前記画像入力インターフェース１２５
は、メモリ（１）３６ａ，メモリ（２）３６ｂ，メモリ
（３）３６ｃに接続され、これらからの画像データの受
信を行うようになっている。また、前記表示インターフ
ェース１２８は、入出力インターフェース１０５に接続
され、モニタ１０６に入力する画像データを送るように
なっている。

【００２７】本実施例では、電子内視鏡１で得た対象部
位の画像に対し、画像処理装置１０４で処理を行い、モ
ニタ１０６に処理結果を出力する。

【００２８】また、画像処理装置１０４に対する画像入
力は、内視鏡装置のみに限らず、例えばアナログあるい
はデジタル光磁気ディスク、ＶＴＲ、光ディスク、動画
メモリ等の入力装置により行うことも可能である。図４
は前述の入力装置を想定した場合のブロック図である。
内視鏡装置１３１は前述の内視鏡装置である。画像記録
装置１３２はＶＴＲ、あるいはアナログ光磁気ディスク
等のアナログ画像記録装置であり、その出力はＡ／Ｄ変
換器１３３によりＡ／Ｄ変換された後デジタル画像とし
て画像処理装置１０４に入力される。また、画像処理装
置１０４による処理結果画像をＤ／Ａ変換器１３６を介
することにより画像記録装置１３２に記録することが可
能であってもよい。

【００２９】動画像ファイル装置１３４は、半導体メモ
リ、ハードディスク、デジタル光磁気ディスク等であ
り、その出力はデジタル画像として画像処理装置１０４
に入力される。静止画像ファイル装置１３５は動画像フ
ァイル装置１３４と同様の装置であり、デジタル静止画
像を画像処理装置１０４に入力する。また、画像処理装
置１０４による処理結果画像を動画像ファイル装置１３
４及び静止画像ファイル装置１３５に記録することが可
能であってもよい。

【００３０】次に、前記画像処理装置１０４の処理につ
いて説明する。この実施例では、輝点領域（ハレーショ
ンと同義）除去処理を行うものである。この除去処理の
概要は次のようになる。正反射による輝点は各画像固有
の局所的な異常領域であると考えることができる。何故
ならば、観察対象と照診光出射位置、観察位置の相対的
位置関係、及び観察対象面の角度により、この輝点の発
生する範囲、位置は変化する為である。すなわち、内視
鏡先端及び対象の移動、運動により、輝点の位置、面積
等は変化し、生体本来の観察画像は、ある画像において
は輝点に覆われているが、輝点に覆われていない画像も
撮影することができる。このことから、同一対象に関す
る複数の画像の内、少なくとも１枚が輝点に覆われてい
ないのであれば、画像間の対応点を検出することにより
位置合わせ、変形の整合を行い、正常データのみを採用
した画像を合成することができる。また、各画像のデー
タの位置合わせ、及び変形整合を行い、貼り合わせるこ
とで広視野画像を合成することが可能になる。

【００３１】第１実施例ではハレーション部分を、他の
画像におけるこのハレーション部に対応する部分（勿論
ハレーションを起こしていない部分）で埋め合わせる画
像合成処理を行う。例えば移動する内視鏡により得られ
る連続的な時系列画像群Ｘ0〜Ｘn （ｎ＝１，２，３，
…）に対し、ハレーション部の位置が各画像毎に変化す
る性質を利用することにより、画像Ｘ0 においてハレー
ションにより損失した部位を、画像Ｘ1 〜Ｘn からの同
部位に該当する部位のブロックマッチングなる手法を利
用したモザイク的埋め合わせによる復元に基づくもので
ある。また、本処理手法を応用することにより画像Ｘ0
〜Ｘn の連結を行うことから、新たに視野（対象物が１
枚の画像において撮像される範囲）が拡大された静止画
像を得ることが可能となる。

【００３２】画像の埋め合わせあるいは連結処理を行う
には、例えばＲＧＢ画像におけるＧ画像に対して位置合
わせ処理を施した後、残るＲ，Ｂ画像を同様の位置に対
応させればよい。また、Ｒ画像、Ｇ画像、Ｂ画像それぞ
れに対して個別に対応点を求め、位置合わせあるいは連
結処理を行うこともできる。適用するブロックマッチン
グ手法は、例えば公知の相互相関によるマッチング手法
（参考文献：ディジタル画像処理工学日刊工業新聞社
手塚慶一・北橋忠宏・小川秀夫著p.107 〜p.109 ）
を用いればよい。

【００３３】さらに、ブロックマッチング処理は、本件
の同一出願人による文献１（ＵＳＰ４，９６２，５４
０）に開示されているカラーマッチング手法を適用して
もよい。

【００３４】図５は本実施例における具体的な処理の流
れを示すフローチャートである。まず、図５に従いＧ画
像に基づく位置合わせ処理の内容を説明する。

【００３５】ステップＳ１において、画像Ｘn （ｎ＝
０，１，２，…）におけるＧ画像Ｇnに対してｎ＝０と
し、ステップＳ２でこのｎ＝０の画像Ｇ0 を取込む。そ
して、この画像Ｇ0 に対し、ステップＳ３において例え
ば３×３の大きさのマスクを持つメディアンフィルタを
用いたノイズ除去を施す。

【００３６】原画像には広角レンズの使用あるいは内視
鏡先端部の傾き等により、歪が存在するため、ステップ
Ｓ４において原画像に対する歪曲収差補正処理を適用
し、画像の歪を補正する。内視鏡を用いて例えば図６
(a）に示す正方のます目を撮像した場合、得られる画像
は図６(b）に示されるようなものになる。この歪み画像
が正方ます目画像になるように、各画素における補正値
をあらかじめ決定しておき、実際の撮像画像に対しての
補正を行うことにより歪曲収差補正処理を実現すること
が可能となる。より具体的な処理手法は、文献２（ＵＳ
Ｐ４，８９５，４３１）において開示されている。

【００３７】歪曲収差処理後の画像に対しては、ステッ
プＳ５においてハレーション領域抽出処理を適用する。
具体的な処理内容は、例えば以下のようなものである。
２値化しきい値を注目画素近傍の平均値からのかい離量
により決定する動的しきい値決定法による２値化処理に
より、まず画像内のハレーションと認識され得る領域を
決定し、さらに抽出結果を膨張させる処理を施し、ハレ
ーションによる影響を受けていると考えられる上記領域
周辺部を含め、この結果をハレーション領域として抽出
する。

【００３８】図７は、画像Ｇ0 において抽出されたハレ
ーション領域Ａ0 の例である。斜線部に示されたハレー
ション部Ｈ0 及びその影響を受けていると思われる部位
を加えた、破線により示されるハレーション領域Ａ0 を
抽出する。

【００３９】ハレーション領域Ａ0 の抽出は、画像Ｇ0
においてはハレーション除去対象領域決定処理であり、
ｎ≧１である画像Ｇn においては後述のステップＳ１０
での画像合成による領域埋め合わせ処理に適用し得ない
領域の抽出を行う意味を持つ。上記ステップＳ５によ
るハレーション領域Ａ0 の抽出が終了すると、ステップ
Ｓ６によりｎ＝０か否かの判断が行われる。この場合に
は、ｎ＝０であるので、ステップＳ７により、ｎが１つ
インクリメントされてｎ＝１にされた後、再びステップ
Ｓ２に戻り、ｎ＝１の画像Ｇ1の取込み等が行われた
後、ステップＳ３〜５及びステップＳ６の判断の後、ス
テップＳ８に移る。

【００４０】ステップＳ８では、画像Ｇ0 に対し、抽出
されたハレーション領域Ａ0 を含む例えば四辺形（以
降、この四辺形の内部領域を補正領域ＨＤと称する）を
得るための頂点となる４点Ａ，Ｂ，Ｃ，Ｄを対応検出点
として選出する。また、各点に関し、例えば対応検出点
Ａ，Ｂ，Ｃ，Ｄを中心とする３２×３２の大きさのブロ
ックマッチング領域Ｖa ，Ｖb ，Ｖc ，Ｖd を決定す
る。ハレーション除去は、画像Ｘ0 以降に連続する画像
からの前記４点のそれぞれに関するブロックマッチング
を利用した埋め合わせ処理に基づくものである。

【００４１】このため、対応検出点Ａ，Ｂ，Ｃ，Ｄはブ
ロックマッチングに用いる領域が画像Ｇn におけるハレ
ーション抽出領域と重ならないような点のうちで、ブロ
ックマッチングに用いる領域の模様が十分明瞭であるも
の（例えば、ブロック内の分散数が大きい）を選択す
る。図８は図７に示した例に対し決定した対応検出点
Ａ，Ｂ，Ｃ，Ｄ及びブロックマッチング領域Ｖa ，Ｖ
b，Ｖc ，Ｖd の例である。

【００４２】続いて、ステップＳ９において画像Ｇ0 と
の対応点検出処理（整合点検出処理）を適用する。これ
は、ステップＳ８において決定された対応検出点Ａ，
Ｂ，Ｃ，Ｄに対応する画像Ｇn 上の点（以降、対応点と
称する）を導出するものである。具体的には、ステップ
Ｓ８において決定された画像Ｇ0 の各対応検出点Ｉ（Ｉ
＝Ａ，Ｂ，Ｃ，Ｄ）におけるブロックマッチング領域Ｖ
i に対応する画像Ｇn 上の領域をブロックマッチングを
行うことにより導出した、対応検出点Ｉに該当する画像
Ｇn 上の点を求める。

【００４３】尚、画像Ｇn に対しては、ステップＳ１０
において、各対応検出点に関するブロックマッチングの
正否を判定する。この処理は、例えばブロックマッチン
グ実行時に、相関面上の最大のピーク値とその次に値が
大であるピーク値とを比較し、その差がある一定のしき
い値Ｍ未満である場合に検出不良とみなすことにより実
現される。これはマッチング対象となる２つの領域の相
関が高ければ、相関面上の最大のピーク値は大きくなり
その他のピーク値は微小なものとなる性質に基づくもの
ものである。検出不良と判断された場合には、再びステ
ップＳ８における処理を行い、画像Ｇ0 における対応検
出点及びブロックマッチング領域決定処理を適用後、ス
テップＳ９での処理を再実行する。

【００４４】各対応検出点に関する対応点導出後、ステ
ップＳ１１において、画像合成処理を適用する。図９は
図８に示した画像Ｇ0 における対応検出点Ａ〜Ｄに対し
導出された、画像Ｇn における対応点Ａ′〜Ｄ′の例で
ある。これら対応点Ａ′〜Ｄ′の内側に画像Ｇ0 におけ
るハレーション領域Ａ0 に対応する領域Ａn 及びハレー
ション部Ｈ0 に対応する部分Ｈn があることになる。こ
こでは、この例に基づいて画像合成処理の内容を示す。

【００４５】画像Ｇ0 におけるハレーション領域Ａ0 内
のハレーション部Ｈ0 の各点に対応する、画像Ｇn にお
ける対応点Ａ′〜Ｄ′により決定される四辺形Ａ′Ｂ′
Ｃ′Ｄ′内の点を、四辺形ＡＢＣＤからＡ′Ｂ′Ｃ′
Ｄ′への変形と同等の写像により位置決定する。写像に
よる位置決定の方法としては、例えば以下のようなもの
が考えられる。

【００４６】まず、四辺形ＡＢＣＤ及びＡ′Ｂ′Ｃ′
Ｄ′をそれぞれ図１０（ａ）及び（ｂ）に示すように三
角形ＢＣＡと三角形ＣＡＤ及び三角形Ｂ′Ｃ′ＤとＣ′
Ａ′Ｄ′より構成されるものと考える。例えば図１１
（ａ）に示すように、三角形ＬＭＮ内の点Ｐは、辺ＬＭ
と、点Ｎ及び点Ｐを通る線分と辺ＬＭとの交点Ｈから、
ＬＨ：ＨＭ及びＮＰ：ＰＨにより決定さされる。これよ
り、三角形ＬＭＮに対応する三角形Ｌ′Ｍ′Ｎ′におい
て点Ｐに対応する点Ｐ′は、ＬＨ：ＨＭ＝Ｌ′Ｈ′：
Ｈ′Ｍ′及びＮＨ：ＮＰ＝Ｎ′Ｈ′：Ｎ′Ｐ′を満たす
ように定められる。

【００４７】この性質を利用し、図１０（ａ）及び
（ｂ）における２組の対応する三角形の内部領域内の点
の対応付けによる位置決定を行う。また、点Ｐが三角形
ＬＭＮの外部に存在する場合においても、同様にして対
応するＬ′Ｍ′Ｎ′への位置決定を行うことが可能であ
るため、後述する視野拡大処理時に適用することができ
る。

【００４８】また、四辺形ＡＢＣＤ及びＡ’Ｂ’Ｃ’
Ｄ’に関して、図１１（ｂ）に示すように、四辺形ＫＬ
ＭＮの内部の点Ｐに対応する四辺形Ｋ’Ｌ’Ｍ’Ｎ’内
部の点Ｐ’を、ＫＳ：ＳＬ＝Ｋ’Ｓ’：Ｓ’Ｌ’ ＬＴ：ＴＭ＝Ｌ’Ｔ’：Ｔ’Ｍ’ ＭＵ：ＵＮ＝Ｍ’Ｕ’：Ｕ’Ｎ’ ＮＶ：ＶＫ＝Ｎ’Ｖ’：Ｖ’Ｋ’ を満たすように定めることも可能である。

【００４９】これらの位置合わせ処理により求められた
対応点Ｐ’には、点Ｐの値を代入する。直接対応する点
Ｐが存在しない場合には、点Ｐの近傍の点を用いて、例
えば公知の線形補間法を用いて計算した値を代入すれば
よい。尚、ここではＧ画像について説明しているが、こ
れらの位置合わせ処理はＲ，Ｂ画像等にももちろん適用
できるものである。

【００５０】位置決定処理後は、画像Ｇ0 におけるハレ
ーション領域内のハレーション画素である点Ｑ0 に対応
する画像Ｇn 上の点Ｑn が、画像Ｇn におけるハレーシ
ョン部Ｈn に含まれない場合、すなわち画像Ｇ0 におい
ては損失されているが、画像Ｇn においては正しく撮像
されている場合には、画像Ｘ0 及び画像Ｘn におけるＲ
ＧＢ各画像上の点Ｑ0 に対し点Ｑn の濃度値を代入する
処理を、ハレーション領域Ａ0 におけるすべての点に関
して行う。図１２は、画像Ｇ0 に対する画像Ｇn による
埋め合わせ処理の結果の例である。ハレーション領域Ａ
0 における斜線部に示される領域からハレーションが一
部除去される。

【００５１】また、画像Ｒ０と画像Ｒｎ及び画像Ｂ０と
画像Ｂｎにおいても、画像Ｇ０と画像Ｇｎにおいて対応
づけられた点に相当する点の埋め合わせを行えばよい。

【００５２】そして、ステップＳ１２において、画像Ｇ
0 におけるハレーション領域Ａ0 の除去が終了できたか
否かを判断し、終了していない場合にはｎを１つインク
リメントした後、ステップＳ２に戻り、新たな画像Ｇn
に対して同様の処理を行う。

【００５３】つまり上述したステップＳ２よりステップ
Ｓ１１までの一連の処理を、画像Ｇ0 すなわち画像Ｘ0
におけるハレーション領域Ａ0 が完全に消滅するまで繰
り返し行うことにより、画像合成により、ハレーション
除去画像が得られ、この処理を終了することができる。

【００５４】また、Ｒ，Ｇ及びＢ画像それぞれに対し
て、図５に示したフローチャートの一連の処理を適用す
ることにより、同様な効果を得ることも可能である。

【００５５】さらに、図１３はＲＧＢ画像に対する対応
点検出処理手法として、文献１に詳述されているカラー
マッチング手法を用いた場合の処理の流れである。基本
的な処理の流れと内容は、図５に示したものと同一であ
るが、本処理ではカラー画像Ｘ０〜Ｘｎに対し直接ブロ
ックマッチング処理を行うことができるものである。す
なわち、ステップＳ２１〜Ｓ２８までは図５のステップ
Ｓ１〜Ｓ８における各処理を、画像Ｘｎに対して適用す
ることになる。ステップＳ２９では、カラー画像Ｘ０及
びＸｎとの対応点を、前出のカラーマッチング手法を用
いて検出する。この処理ににより、ＲＧＢ各画像におけ
る対応点を同時に決定することが可能となる。続いて、
図５のステップＳ１０〜Ｓ１２にそれぞれ対応するステ
ップＳ３０ｂ〜Ｓ３２を経て、ハレーション除去画像を
得ることができる。

【００５６】尚、以上に示したハレーション除去処理方
法は、画像Ｘ０において、ハレーション領域が例えば図
１４（ａ）に示すように、比較的近接して複数存在する
場合には、ステップＳ８あるいはステップＳ２８におけ
る対応検出点及びブロックマッチング領域の決定を以下
のように行う。

【００５７】まず、図１４（ｂ）に示すように、複数の
ハレーション領域を包括する、例えば四辺形の頂点とな
る点Ａ，Ｂ，Ｃ，Ｄを選出する。さらに、四辺形ＡＢＣ
Ｄの各辺上に点Ｅ，Ｆ，Ｇ，Ｈを定め、ＥＧとＦＨとの
交点をＯとする。続いて四辺形ＡＥＯＨ，四辺形ＥＢＦ
Ｏ，四辺形ＦＣＧＯ，四辺形ＧＤＨＯのそれぞれの頂点
を対応検出点とし、前述のブロックマッチング領域Ｖ
ａ，Ｖｂ，Ｖｃ，Ｖｄ，Ｖｅ，Ｖｆ，Ｖｇ，Ｖｈ，Ｖｏ
を決定後、ステップＳ９あるいはステップＳ２９におけ
る対応点検出処理を、画像ＧｎあるいはＸｎに対し、点
Ａ〜Ｈ及び点Ｏそれぞれについて適用する。

【００５８】画像ＧｎあるいはＸｎにおいて求められた
対応点Ａ’〜Ｈ’及び点Ｏ’において、四辺形Ａ’Ｅ’
Ｏ’Ｈ’，四辺形Ｅ’Ｂ’Ｆ’Ｏ’，四辺形Ｆ’Ｃ’
Ｇ’Ｏ’，四辺形Ｇ’Ｄ’Ｈ’Ｏ’それぞれに対し前述
の写像による位置決定法を適用し、ハレーション領域の
埋め込みを行えばよい。

【００５９】また、本実施例における処理適用後のハレ
ーション除去画像において、時系列画像Ｘ０〜Ｘｎの連
結により、視野の拡大を行うことが可能となる。図１５
（ａ）は画像Ｘ０〜Ｘｎとの撮像対象に関する位置関係
の例を示すものである。これらの画像の連結処理によ
り、図１５（ｂ）に示すような拡大された視野を持つ画
像を得ることができる。図１６はこの処理の流れを示す
フローチャートである。

【００６０】図１６に示す処理の流れは、図５に示した
処理を基本としている。ステップＳ４２において取り込
まれた画像Ｇｎに対し、図５のステップＳ８〜Ｓ１０に
おける各処理にそれぞれ対応するステップＳ４５〜Ｓ４
７の、画像Ｇ０と画像Ｇｎとの対応点検出処理を行う。
対応点検出に成功後、ステップＳ４８において、画像Ｇ
０に対し画像Ｇｎを連結する。

【００６１】連結処理手法としては、図５のステップＳ
１１において適用した処理を応用すればよい。例えば、
画像Ｇ０に対し３個の対応検出点Ｅ〜Ｇ（図示せず）及
びそのブロックマッチング領域を決定後、図５のステッ
プＳ９における処理と同様にして画像Ｇｎにおける対応
点Ｅ’〜Ｇ’（図示せず）を導出する。次いで、三角形
ＥＦＧ及び三角形Ｅ’Ｆ’Ｇ’に関して、図５のステッ
プＳ１１において行った位置決定処理を適用する。

【００６２】ステップＳ４８での画像連結処理終了後、
ステップＳ４９において連結処理終了の判定を行う。処
理継続するのであれば、連結された画像を新たな画像Ｇ
０とみなしてステップＳ４２〜Ｓ４９の処理を繰り返せ
ばよい。

【００６３】また、画像Ｒ０と画像Ｒｎ及び画像Ｂ０と
画像Ｂｎにおいても、画像Ｇ０と画像Ｇｎにおいて対応
づけられた点に相当する点の連結処理を行えばよい。

【００６４】また、Ｒ，Ｇ及びＢ画像それぞれに対し
て、図１６に示したフローチャートの一連の処理を適用
することにより、同様な効果を得ることも可能である。

【００６５】さらに、図１７はＲＧＢ画像に対する対応
点検出処理手法として、文献１に詳述されているカラー
マッチング手法を用いた場合の処理の流れである。基本
的な処理の流れと内容は、図１６に示したものと同一で
あるが、本処理ではカラー画像Ｘ０〜Ｘｎに対し直接ブ
ロックマッチング処理を行うことができるものである。
すなわち、ステップＳ５１〜Ｓ５５までは図１６のステ
ップＳ４１〜Ｓ４５における各処理を、画像Ｘｎに対し
て適用することになる。ステップＳ５６では、カラー画
像Ｘ０及びＸｎとの対応点を、前出のカラーマッチング
手法を用いて検出する。この処理により、ＲＧＢ各画像
における対応点を同時に決定することが可能となる。続
いて、図１６のステップＳ４７〜Ｓ４９にそれぞれ対応
するステップＳ５７〜Ｓ５９を経て、視野拡大画像を得
ることができる。

【００６６】本実施例における処理は、例えば情報入力
装置１２２より入力された動作命令信号を受領後、数枚
の画像を経て処理結果画像をモニタ１０６に表示すれば
よい。

【００６７】以上に示した処理により、ハレーションの
除去された画像が得られるという効果があり、診断する
場合に有効である。又、この実施例によれば、視野の拡
大された画像を得ることが可能となる。

【００６８】尚、本実施例においては連続する画像群に
おいて処理を適用したが、処理に使用する画像は例えば
１枚おきに選出する等、適宜選択可能であっても何等問
題は無い。また、本実施例においては、画像Ｇ0 に対す
る画像Ｇn （ｎ＝１，２，３，…）からの画像合成によ
りハレーション除去画像及び視野拡大画像を得ていた
が、処理対象とする画像は画像Ｇ0 に関して固定ではな
く、０≦ｍ≦ｎである画像Ｇm に対し、その前後に撮像
された画像のいずれからあるいは双方から前述の埋め合
わせ処理を適用しても構わないものである。

【００６９】次に本発明の第２実施例を説明する。

【００７０】図１８ないし図２５は第２実施例に係わ
り、図１８はステレオ内視鏡装置の全体を示す側面図、
図１９はステレオ内視鏡装置の構成を示すブロック図、
図２０は画像処理装置の構成を示すブロック図、図２１
は画像処理装置の処理内容を示すフローチャート図、図
２２はカラーマッチング手法を適用した画像処理装置の
処理内容を示すフローチャート図、図２３は図２１の処
理による画像の合成を示す説明図、図２４は画像処理装
置の視野拡大の処理内容を示すフローチャート図、図２
５はカラーマッチング手法を適用した画像処理装置の視
野拡大の処理内容を示すフローチャート図である。

【００７１】第２実施例は、第１実施例におけるハレー
ション除去及び視野拡大処理を、移動する内視鏡により
得られる時系列画像群を用いる処理のみでなく、例えば
ステレオ内視鏡のように、複数の光学系、すなわち光学
系Ｒ及び光学系Ｌを用いて同時に撮像することにより得
られる複数の画像に対して適用したものである。

【００７２】本実施例に係る内視鏡装置は、図１８に示
すように、電子内視鏡１ａを備えている。この電子内視
鏡１ａは、細長で例えば可撓性の挿入部２ａを有し、こ
の挿入部２ａの後端に太径の操作部３ａが連設されてい
る。前記操作部３ａの後端部からは側方に可撓性のユニ
バーサルコード４ａが延設され、このユニバーサルコー
ド４ａの先端部にコネクタ５ａが設けられている。前記
電子内視鏡１ａは、前記コネクタ５ａを介して、光源装
置及び信号処理回路が内蔵されたビデオプロセッサ６ａ
に接続されるようになっている。さらに、前記ビデオプ
ロセッサ６には、モニタ７Ｒ，７Ｌが接続されるように
なっている。

【００７３】前記挿入部２ａの先端側には、硬性の先端
部９ａ及びこの先端部９ａに隣接する後方側に湾曲可能
な湾曲部１０ａが順次設けられている。また、前記操作
部３ａに設けられた湾曲操作ノブ１１ａを回動操作する
ことによって、前記湾曲部１０ａを左右方向あるいは上
下方向に湾曲できるようになっている。また、前記操作
部３ａには、前記挿入部２ａ内に設けられた処置具チャ
ンネルに連通する挿入口１２ａが設けられている。

【００７４】図１９に示すように、電子内視鏡１ａの挿
入部２ａ内には、照明光を伝達するライトガイド１４ａ
が挿通されている。このライトガイド１４ａの先端面
は、挿入部２ａの先端部９ａに配置され、この先端部９
ａから照明光を出射できるようになっている。また、前
記ライトガイド１４ａの入射端側は、ユニバーサルコー
ド４ａ内に挿通されてコネクタ５ａに接続されている。
また、前記先端部９ａには、対物レンズ系１５Ｒ，１５
Ｌが設けられ、この対物レンズ系１５Ｒ，１５Ｌのそれ
ぞれの結像位置に、固体撮像素子２組の１６Ｒ，１６Ｌ
が配設されている。この固体撮像素子１６Ｒ，１６Ｌ
は、可視領域を含め紫外領域から赤外領域に至る広い波
長域で感度を有している。前記固体撮像素子１６Ｒ，１
６Ｌには、信号線２６，２７Ｒ及び２７Ｌが接続され、
これら信号線２６，２７Ｒ及び２７Ｌは、前記挿入部２
ａ及びユニバーサルコード４ａ内に挿通されて前記コネ
クタ５ａに接続されている。

【００７５】一方、ビデオプロセッサ６ａ内には、紫外
光から赤外光に至る広帯域の光を発光するランプ２１ａ
が設けられている。このランプ２１ａとしては、一般的
なキセノンランプやストロボランプ等を用いることがで
きる。前記キセノンランプやストロボランプは、可視光
のみならず紫外光及び赤外光を大量に発光する。このラ
ンプ２１ａは、電源２２ａによって電力が供給されるよ
うになっている。前記ランプ２１ａの前方には、モータ
２３ａによって回転駆動される回転フィルタ５０ａが配
設されている。この回転フィルタ５０ａには、通常観察
用の赤（Ｒ），緑（Ｇ），青（Ｂ）の各波長領域の光を
透過するフィルタが、周方向に沿って配列されている。

【００７６】また、前記モータ２３ａは、モータドライ
バ２５ａによって回転が制御されて駆動されるようにな
っている。

【００７７】前記回転フィルタ５０ａを透過し、Ｒ，
Ｇ，Ｂの各波長領域の光に時系列的に分離された光は、
前記ライトガイド１４ａの入射端に入射され、このライ
トガイド１４ａを介して先端部９ａに導かれ、この先端
部９ａから出射されて、観察部位を照明するようになっ
ている。

【００７８】この照明光による観察部位からの戻り光
は、対物レンズ系１５Ｒ，１５Ｌによって、それぞれ固
体撮像素子１６Ｒ，１６Ｌ上に結像され、光電変換され
るようになっている。この固体撮像素子１６Ｒ，１６Ｌ
には、前記信号線２６を介して、前記ビデオプロセッサ
６ａ内のドライブ回路３１ａからの駆動パルスが印加さ
れ、この駆動パルスによって読み出し、転送が行われる
ようになっている。この固体撮像素子１６Ｒ，１６Ｌか
ら読み出された映像信号は、前記信号線２７Ｒ，２７Ｌ
を介して、前記ビデオプロセッサ６ａ内または電子内視
鏡１ａ内に設けられたプリアンプ３２Ｒ，３２Ｌに入力
されるようになっている。

【００７９】このプリアンプ３２Ｒ，３２Ｌで増幅され
た映像信号は、プロセス回路３３Ｒ，３３Ｌに入力さ
れ、γ補正及びホワイトバランス等の信号処理を施さ
れ、Ａ／Ｄコンバータ３４Ｒ，３４Ｌによって、デジタ
ル信号に変換されるようになっている。このデジタルの
映像信号は、セレクト回路３５Ｒ，３５Ｌによって、例
えば赤（Ｒ），緑（Ｇ），青（Ｂ）各色に対応するメモ
リ（１）３６Ｒａ，メモリ（２）３６Ｒｂ，メモリ
（３）３６Ｒｃ及びメモリ（４）３６Ｌａ，メモリ
（５）３６Ｌｂ，メモリ（６）３６Ｌｃに選択的に記憶
されるようになっている。前記メモリ（１）３６Ｒａ，
メモリ（２）３６Ｒｂ，メモリ（３）３６Ｒｃ及びメモ
リ（４）３６Ｌａ，メモリ（５）３６Ｌｂ，メモリ
（６）３６Ｌｃは、同時に読み出され、Ｄ／Ａコンバー
タ３７Ｒ，３７Ｌによって、アナログ信号に変換され、
入出力インターフェース３８Ｒ，３８Ｌを介して、Ｒ，
Ｇ，Ｂ信号として、カラーモニタ７Ｒ，７Ｌに入力さ
れ、このカラーモニタ７Ｒ，７Ｌによって、観察部位が
カラー表示されるようになっている。

【００８０】また、前記ビデオプロセッサ６内ａには、
システム全体のタイミングを作るタイミングジェネレー
タ４２ａが設けられ、このタイミングジェネレータ４２
ａによって、モータドライバ２５ａ、ドライブ回路３１
ａ、セレクト回路３５Ｒ，３５Ｌ等の各回路間の同期が
取られている。

【００８１】本実施例では、前記メモリ（１〜３）３６
Ｒａ〜３６Ｒｃ及びメモリ（４〜６）３６Ｌａ〜３６Ｌ
ｃの出力端は、画像処理装置１０４ａに接続されてい
る。また、前記画像処理装置１０４ａには、入出力イン
ターフェース１０５ａを介して、モニタ１０６ａが接続
され、このモニタ１０６ａに、前記画像処理装置１０４
ａによる演算処理結果が表示されるようになっている。

【００８２】前記画像処理装置１０４ａは、図２０に示
すような構成になっている。

【００８３】すなわち、画像処理装置１０４ａは、ＣＰ
Ｕ１２１ａ、情報入力装置１２２ａ、ＲＡＭからなる主
記憶装置１２３ａ、画像入力インターフェース１２５ａ
及び表示インターフェース１２８ａ、ＲＯＭ１３０ａを
備え、これらは、バスによって互いに接続されている。
前記情報入力装置１２２ａは、キーボード等であり、電
子内視鏡１ａの種別等のデータを入力できるようになっ
ている。前記画像入力インターフェース１２５ａは、メ
モリ（１）３６Ｒａ，メモリ（２）３６Ｒｂ，メモリ
（３）３６Ｒｃ及びメモリ（４）３６Ｌａ，メモリ
（５）３６Ｌｂ，メモリ（６）３６Ｌｃに接続され、こ
れらからの画像データの受信を行うようになっている。
また、前記表示インターフェース１２８ａは、入出力イ
ンターフェース１０５ａに接続され、モニタ１０６ａに
入力する画像データを送るようになっている。

【００８４】前記ＣＰＵ１２１ａは、第１実施例と同様
に、図２（ｂ）に示すように、前記ＲＯＭ１３０ａに記
憶されたプログラムにより動作する画像処理手段を備
え、この画像処理手段は、例えば、複数の画像間におけ
る対応点を検出する対応点検出手段１４１ａと、前記対
応点検出手段の出力結果に基づき、少なくとも２つの画
像間の整合を行う画像整合手段１４２ａと、前記画像整
合手段により、少なくとも１つの画像部分の少なくとも
一部を他の画像の少なくとも一部の画像情報を用いて１
枚の画像を合成する画像合成手段１４３ａ等からなる。

【００８５】本実施例では、電子内視鏡１で得た対象部
位の画像に対し、画像処理装置１０４ａで処理を行い、
モニタ１０６ａに処理結果を出力する。

【００８６】図２１ないし図２５は本実施例の処理の流
れを示すフローチャートである。Ｎ個の光学系により撮
像されたＮ枚の画像Ｘ１〜ＸＮに対し、第１実施例にお
いて時系列画像群に対して施したものを基本とする処理
を適用する。

【００８７】図２１及び図２２は、画像Ｘ２〜ＸＮを用
いた画像Ｘ１におけるハレーション部分の埋め合わせを
行う処理のフローチャートである。本実施例では、ステ
レオ内視鏡により撮像された画像を使用するためＮ＝２
となる。ここでは画像Ｘ１を光学系Ｒ，画像Ｘ２を光学
系Ｌによりそれぞれ撮像されたものと考える。

【００８８】図２１は、前出の相互相関によるマッチン
グ手法を用いた場合のハレーション除去処理の流れであ
る。この例では、画像Ｘ１及び画像Ｘ２におけるＧ画像
Ｇ１及びＧ２に関して処理を適用する。ステップＳ６２
において取り込まれた画像Ｇ１に対し、ステップＳ６３
においてノイズ除去処理、ステップＳ６４において歪曲
収差補正処理、ステップＳ６５においてハレーション領
域抽出処理を行う。各ステップにおける処理は、それぞ
れ第１実施例におけるステップＳ３〜Ｓ５において適用
したものを用いればよい。

【００８９】続いて、ステップＳ６６、ステップＳ６
７、を経てステップＳ６２において画像Ｇ２を取り込
み、ステップＳ６３〜Ｓ６５での処理を適用する。さら
に、ステップＳ６８〜Ｓ７０において、第１実施例にお
ける図５のステップＳ８〜Ｓ１０での処理にそれぞれ対
応する、対応点検出処理を適用する。画像Ｇ１と画像Ｇ
２との対応点検出に成功後、Ｓ７１で画像Ｇ２から画像
Ｇ１への画像合成を行い、画像Ｇ１におけるハレーショ
ン領域の埋め合わせを行う。Ｒ及びＢ画像については、
Ｇ画像において検出された対応点に相当する点の埋め合
わせたを行えばよい。また、Ｒ，Ｇ，Ｂそれぞれの画像
に対して図２１に示した一連の処理を適用してもよい。

【００９０】また、図２２は、ブロックマッチング処理
として文献１（ＵＳＰ４，９６２，５４０）に開示さ
れているカラーマッチング手法を適用した場合の処理の
流れを示している。ここでは、カラー画像Ｘ１及びＸ２
を用いて対応点検出を行う。ステップＳ８２により画像
Ｘ１（ここでは光学系Ｒによる画像）を取り込んだ後、
ステップＳ６３〜Ｓ６５において適用したものとそれぞ
れ同様な処理をステップＳ８３〜Ｓ８５において適用す
る。さらに、画像Ｘ２（ここでは光学系Ｌによる画像）
を取り込んだ後、ステップＳ８３〜Ｓ８５を経て、ステ
ップＳ８８〜Ｓ９０における処理を適用する。ステップ
Ｓ８８〜Ｓ９０における処理は、それぞれ第１実施例に
おいて示したステップＳ２８〜Ｓ３０の処理と同様なも
のである。対応点検出成功後、画像Ｘ２から画像Ｘ１へ
の画像合成を行うことにより、ハレーション領域の減少
が可能となる。

【００９１】また、本実施例における処理適用後のハレ
ーション除去画像において、画像Ｘ１〜ＸＮの連結によ
り、視野の拡大を行うことが可能となる。例えばステレ
オ内視鏡により撮像された、図２３（ａ）に示す画像Ｘ
Ｒ及びＸＬにより、図２３（ｂ）に示すような視野拡大
画像が得られる。図２４は、この処理の流れを示すフロ
ーチャートである。

【００９２】図２４に示す処理の流れは、図２１に示し
た処理を基本としている。ステップＳ１０２において取
り込まれた画像Ｇ１あるいは画像Ｇ２に対し、ステップ
Ｓ６８〜Ｓ７０における各処理にそれぞれ対応するステ
ップＳ１０５〜Ｓ１０７の、画像Ｇ１と画像Ｇ２との対
応点検出処理を行う。対応点検出に成功後、ステップＳ
１０８において、画像Ｇ１に対し画像Ｇ２を連結する。

【００９３】連結処理手法としては、第１実施例におけ
るステップＳ１１において適用した処理をすればよい。

【００９４】例えば、画像Ｇ０に対し３個の対応検出点
Ｅ〜Ｇ（図示せず）及びそのブロックマッチング領域を
決定後、ステップＳ９における処理と同様にして画像Ｇ
ｎにおける対応点Ｅ’〜Ｇ’（図示せず）を導出する。
次いで、三角形ＥＦＧ及び三角形Ｅ’Ｆ’Ｇ’に関して
ステップＳ１１において行った位置決定処理を適用す
る。ステップＳ１０８で画像連結処理終了後、ステップ
Ｓ１０９ａにおいて連結処理終了の判定を行う。ここで
はステレオ内視鏡による撮像画像を用いたが、Ｎ＞２す
なわちより多くの光学系を用いた撮像である場合は、Ｎ
＜Ｎであれば、連結された画像を新たな画像Ｇ１とみな
してステップＳ１０２〜Ｓ１０９の処理を繰り返せばよ
い。

【００９５】また、画像Ｒ１と画像Ｒｎ及び画像Ｂ１と
画像Ｂｎにおいても、画像Ｇ１と画像Ｇｎにおいて対応
づけられた点に相当する点の連結処理を行えばよい。

【００９６】また、Ｒ，Ｇ及びＢ画像それぞれに対し
て、図２４に示したフローチャートの一連の処理を適用
することにより、同様な効果を得ることも可能である。

【００９７】さらに、図２５はＲＧＢ画像に対する対応
点検出処理手法として、文献１に詳述されているカラー
マッチング手法を用いた場合の処理の流れである。基本
的な処理の流れと内容は、図２４に示したものと同一で
あるが、本処理ではカラー画像Ｘ１〜Ｘｎに対し直接ブ
ロックマッチング処理を行うことができるものである。
すなわち、ステップＳ１１１〜Ｓ１１５まではステップ
Ｓ１０１〜Ｓ１０５における各処理を、画像Ｘｎに対し
て適用することになる。ステップＳ１１６では、カラー
画像Ｘ１及びＸｎとの対応点を、前出のカラーマッチン
グ手法を用いて検出する。この処理により、ＲＧＢ各画
像における対応点を同時に決定することが可能となる。
続いて、ステップＳ１０７〜Ｓ１０９にそれぞれ対応す
るステップＳ１１７〜Ｓ１１９を経て、視野拡大画像を
得ることができる。

【００９８】次に本発明の第３実施例を説明する。

【００９９】図２６及び図２７は第３実施例に係わり、
図２６は画像処理装置の処理内容を示すフローチャート
図、図２７はカラーマッチング手法を適用した画像処理
装置の処理内容を示すフローチャート図である。

【０１００】本実施例におけるハレーション除去処理
は、移動する内視鏡により得られる連続的な時系列画像
群Ｘ0 〜Ｘn （ｎ＝１，２，３，…）に対し、ハレーシ
ョン部の位置が各画像ごとに変化する性質を利用し、画
像Ｘm （０＜ｍ≦ｎ）においてハレーションにより損失
した部位を、画像Ｘ（ｍ−１）からの同部位に該当する
部位のブロックマッチングなる手法を利用したモザイク
的埋め合わせにより順次復元し、ｍ＝ｎにおいて完全に
ハレーションが除去された画像Ｘn を得るものである。

【０１０１】本処理を適用することにより、画像Ｘn 以
降の画像Ｘk （ｋ＝ｎ＋１，ｎ＋２，ｎ＋３，…）を、
常にハレーションが除去された画像として得ることが可
能となり、これは動画像に対するリアルタイムの処理と
して有効なものである。図２６及び図２７は本実施例に
おける具体的な処理の流れを示すフローチャートであ
る。以下、本フローチャートに従い処理の内容を説明す
る。

【０１０２】図２６は前出の相互相関によるマッチング
手法を用いた場合のハレーション除去処理の流れであ
る。ステップＳ１２１において、ｎ＝０として次のステ
ップＳ１２２において画像Ｘn （ｎ＝０，１，２，３，
…）における画像Ｇn の取込みを行い、次のステップＳ
１２３において、例えば３×３の大きさのマスクを持つ
メディアンフィルタを用いたノイズ除去を施す。

【０１０３】続いて、第１実施例に示した処理と同様
に、ステップＳ１２４において画像Ｇn に対する歪曲収
差補正処理を適用後、ステップＳ１２５において前述の
ハレーション領域Ａn を抽出する。次のステップＳ１２
６において、ｎ＝０か否かの判断を行い、ｎ＝０であれ
ばステップＳ１２７でｎ＝１としステップＳ１２２に戻
り、画像Ｇ1 を取り込む。ｎ≧１であれば、ステップＳ
１２８において、画像Ｇn に対し前述の対応検出点及び
ブロックマッチング領域を決定した後、ステップＳ１２
９において、画像Ｇn に対する画像Ｇ（ｎ−１）上の対
応点検出を行う。対応点検出処理は公知の相互相関を利
用したマッチング手法によるブロックマッチングを利用
すればよい。

【０１０４】ステップＳ１３０においては、第１実施例
に示したステップＳ１０での処理と同様に対応点検出処
理の成否を判定する。対応点検出が不良であればステッ
プＳ１２８及びステップＳ１２９における処理を再度実
行する。

【０１０５】対応点検出処理適用後、ステップＳ１３１
において画像Ｇn に対する画像Ｇ（ｎ−１）からの埋め
合わせ処理による画像合成を行う。具体的な処理内容は
第１実施例に示したステップＳ１１での処理を、画像Ｇ
n 及び画像Ｇ（ｎ−１）に関して適用すれば良い。すな
わち、画像Ｇn においてはハレーションにより損失され
ているが、画像Ｇ（ｎ−１）においては通常の画像とし
て得られているか、すでに復元されている点Ｑn を抽出
し、画像Ｘn 上の点Ｑn に画像Ｘ（ｎ−１）上の点Ｑn
の濃度値をＲＧＢ各画像において代入する。

【０１０６】そして、ステップＳ１３２において処理終
了か否かを判断して、終了でない場合にはステップＳ１
２２に戻り、上述の処理を続行する。つまり、以上の述
べた一連の処理を、処理終了命令を受けるまで連続的な
時系列画像群に適用し続けることにより、ハレーション
の除去された画像を動画像としてリアルタイムで得るこ
とができる。尚、本処理は、Ｇ画像に基づくもののみで
はなく、Ｒ，Ｇ，Ｂ各画像に対し、それぞれ別個に適用
し、ハレーション除去を行うことのできるまた、図２７
は、ブロックマッチング処理として文献１（ＵＳＰ
４，９６２，５４０）に開示されているカラーマッチン
グ手法を適用した場合の処理の流れを示している。ここ
では、カラー画像Ｘ０〜Ｘｎを用いて対応点検出を行
う。ステップＳ１４１〜Ｓ１４７は、それぞれステップ
Ｓ１２１〜Ｓ１２７における処理に対応している。ステ
ップＳ１４８において画像Ｘ０と画像Ｘｎとの対応検出
点及びブロックマッチング領域を決定後、ステップＳ１
４９において対応点検出を行う。この処理は、前出のカ
ラーマッチング手法を用いることにより、カラー画像Ｘ
０〜Ｘｎに対し直接ブロックマッチング処理を行うこと
ができる。ステップＳ１５０〜Ｓ１５２はそれぞれステ
ップＳ１３０〜Ｓ１３２に対応する。以上の処理を連続
的な時系列画像群に適用することにより、ハレーション
の除去された画像を動画像としてリアルタイムで得るこ
とができる。

【０１０７】尚、本実施例におけるハレーション除去処
理はリアルタイムで得られる連続的な内視鏡画像に対し
ての適用に限定されるものではなく、例えば光磁気ディ
スク、ビデオ等の磁気テープ等によりすでに記録されて
いる画像群に対し適用しても良好である。また、本実施
例においては連続する画像群において処理を適用した
が、処理に使用する画像は例えば１枚おきに選出する
等、適宜選択可能であっても何等問題は無い。

【０１０８】本実施例は、第１実施例に示したものと同
様に静止画像に対するハレーション除去処理としての適
用であってもよい。

【０１０９】次に本発明の第４実施例について説明す
る。

【０１１０】図２８ないし図３４は第４実施例に係わ
り、図２８は処理内容を示すフローチャート図、図２９
は内視鏡を撮像対象物に垂直方向に移動した様子を示す
図、図３０は図２８により得られる複数の画像を合成し
て視野の広い高解像度の画像を得ることを示す説明図、
図３１はカラーマッチング手法を適用した画像処理装置
の処理内容を示すフローチャート図、図３２は画像Ｇn-
1 の画像を画像Ｇn に合わせて拡大した様子を示す説明
図、図３３は画像Ｇn-1 上での対応検出点と画像Ｇn 上
での対応点とを示す説明図、図３４は画像Ｇn-1 上での
対応検出点内の点Ｐ及び画像Ｇn 上での対応検出点内の
点Ｐ’の位置決定のための説明図である。

【０１１１】本実施例における処理手法は、内視鏡が撮
像対象物に対して例えば図２９に示すように垂直方向に
移動する際に得られる連続的な時系列画像群Ｘ0 〜Ｘn
（ｎ＝１，２，３，…）に対し、各画像において内視鏡
と撮像対象物との距離の変化に関し、得られる画像の視
野の広さと解像度が変化する性質を利用することによ
り、通常の撮像では得られない視野及び解像度の関係を
持つ画像を得ることを可能とするものである。

【０１１２】具体的には、内視鏡と撮像対象との距離が
大である場合、通常はより広い視野を得ることができる
が、撮像画像における対象物体に対する解像度は、制限
される。一方、同距離が小であれば視野は狭くなるが、
得られる画像は対象物体に対する解像度はより高いもの
となる。本実施例における処理では、内視鏡がｎ＝０に
おける位置より、ｎの増大に伴い撮像対象に近づく場
合、拡大した画像Ｘ（ｎ−１）に対し画像Ｘn より前述
の第２実施例に示した処理に準ずるブロックマッチング
を順次利用した処理を施すことにより図３０（ａ）の通
常画像Ｘ0 、次の画像Ｘ1 ，…を合成して、図３０
（ｂ）に示すような合成画像を得るものである。

【０１１３】図２８及び図３１は、本実施例に示す処理
の流れを示すフローチャートである。以下、本フローチ
ャートに従い処理の内容を説明する。

【０１１４】図２８に示すように、ステップＳ１６１で
ｎ＝０とした後、ステップＳ１６２において取り込まれ
たＧ画像Ｇn に対し、第１実施例におけるステップＳ３
及びステップＳ４において行ったノイズ除去及び歪曲収
差補正処理をそれぞれステップＳ１６３及びステップＳ
１６４において適用する。続いて、ステップＳ１６５に
て、ｎ＝０か否かの判断を行い、ｎ＝０の場合にはステ
ップＳ１７２でｎ＝１とし、ステップＳ１７３の判断の
後ステップＳ１６２に戻る。一方、ｎ≧１であれば、ス
テップＳ１６６においては、第１実施例におけるステッ
プＳ８と同様な処理により、画像Ｇ（ｎ−１）に対し対
応検出点及びブロックマッチング領域を決定する。さら
に、ステップＳ１６７において、第１実施例におけるス
テップＳ９と同様な処理により、画像Ｇn 上の画像Ｇ
（ｎ−１）に対する対応点を検出する。

【０１１５】ステップＳ１６８において対応点検出成功
か否かの判定後、この対応点検出に失敗すると、ステッ
プＳ１６６に戻り、成功した場合には次のステップＳ１
６９において、画像Ｇ（ｎ−１）に対して拡大処理を施
す。図３２（ａ）の例に示すように、画像Ｇn において
は撮像対象に接近したことにより、画像Ｇ（ｎ−１）に
比較して同一の部位がより大きく見える。ここでは、画
像Ｇ（ｎ−１）を図３２（ｂ）に示すように、画像Ｇn
に合わせて拡大する。拡大処理の方法としては、例え
ば、以下のようなものが考えられる。

【０１１６】図３３（ａ）に示すように、画像Ｇｎ−１
上の点Ａ，Ｂ，Ｃ，Ｄに対する画像Ｇｎ上の対応点
Ａ’，Ｂ’，Ｃ’，Ｄ’が、例えば図３３（ｂ）に示す
ようなものであるものとすると、四辺形ＡＢＣＤを四辺
形Ａ’Ｂ’Ｃ’Ｄ’の大きさに拡大する場合、四辺形
Ａ’Ｂ’Ｃ’Ｄ’内の各点は、次のようにして求められ
る。

【０１１７】図３４において、四辺形Ｋ’Ｌ’Ｍ’Ｎ’
内の点Ｐ’の値を四辺形ＫＬＭＮ内の点の値から求める
ものとする。また、点Ｐ’を通り、Ｋ’Ｌ’及びＬ’
Ｍ’にそれぞれ平行な直線と、Ｋ’Ｌ’，Ｍ’Ｎ’及び
Ｌ’Ｍ’Ｎ’Ｋ’との交点をそれぞれＳ’，Ｕ’及び
Ｔ’，Ｖ’とする。点Ｐ’の値は、Ｋ’Ｓ’：Ｓ’Ｌ’＝ＫＳ：ＳＬＬ’Ｔ’：Ｔ’Ｍ’＝ＬＴ：ＴＭＭ’Ｕ’：Ｕ’Ｎ’＝ＭＵ：ＵＮＮ’Ｖ’：Ｖ’Ｋ’＝ＮＶ：ＶＫである線分ＳＵと線分ＴＶとの交点Ｐの値を用いればよ
い。対応する点Ｐの直接の値が存在しない場合は、点Ｐ
の近傍の点の値を用いて例えば公知の線形補間により求
めればよい。

【０１１８】なお、以上に説明した拡大処理は、Ｇ画像
のみでなく、Ｒ，Ｂ画像に対して適用することも可能で
ある。

【０１１９】ステップＳ１７０においては、画像Ｇ（ｎ
−１）と画像Ｇn におけるコントラストの比較を行う。
ここで画像Ｇn におけるコントラストが高く、画像Ｇ
（ｎ−１）に対してより多くの情報を含むと判断されれ
ば、ステップＳ１７１において第１実施例におけるステ
ップＳ１１と同様な処理により画像合成を行う。これ
は、拡大された画像Ｇ（ｎ−１）に対し、画像Ｇn を埋
め込むことになる。このステップＳ１７１の後、ステッ
プＳ１７２でｎを１つインクリメントする。

【０１２０】前述のコントラスト比較手段の実現は、例
えば各画像における分散値を比較すればよい。また、各
画像に対し公知の２次元離散的フーリエ変換を適用し、
注目する高周波成分をより多く含む画像をコントラスト
の高いものと認識することも可能である。

【０１２１】上記ステップＳ１７０のコントランスト比
較により、Ｇn ≧Ｇ（ｎ−１）でないと判断された場合
には、ステップＳ１７２によりｎを１つインクリメント
してステップＳ１７３で処理終了か否かの判断を行う。
処理が終了していないと、以上の処理により得られた画
像を新たな画像Ｇ（ｎ−１）とし、続いて取り込んだ画
像Ｇn に対して同様な処理を施す。Ｒ及びＢ画像におい
ては、Ｇ画像において検出された対応点に相当する点の
合成を行えばよい。また、Ｒ，Ｇ，Ｂ各画像それぞれ
に、ステップＳ１６１〜Ｓ１７３の処理を適用してもよ
い。

【０１２２】以上の一連の処理を処理終了命令を受ける
まで実行することにより、図３０に示すような視野が広
く、中心に近づくに従い高解像度を持つ画像を得ること
が可能となる。

【０１２３】処理終了の判断は、例えば最接近点を内視
鏡の焦点が最も良好に合う点と規定し、画像Ｇn が最接
近点において得られた時点で行えばよい。

【０１２４】また、図３１は、ブロックマッチング処理
として文献１（ＵＳＰ４，９６２，５４０）に開示さ
れているカラーマッチング手法を適用した場合の処理の
流れを示している。ここでは、カラー画像Ｘ０〜Ｘｎを
用いて対応点検出を行う。ステップＳ１８１〜Ｓ１８５
は、それぞれステップＳ１６１〜Ｓ１６５における処理
に対応している。ステップＳ１８６において画像Ｘｎ−
１と画像Ｘｎとの対応検出点及びブロックマッチング領
域を決定後、ステップＳ１８７において対応点検出を行
う。この処理は、前出のカラーマッチング手法を用いる
ことにより、カラー画像Ｘ０〜Ｘｎに対し直接ブロック
マッチング処理を行うことができる。ステップＳ１８８
〜Ｓ１９３はそれぞれステップＳ１６８〜Ｓ１７３に対
応する。以上の処理を処理終了命令を受けるまで実行す
ることにより、同様な効果を持つ画像を得ることが可能
となる。

【０１２５】また、例えば内視鏡を図３５に示すよう
に、撮像対象に対し水平方向に移動し、ある通過点にお
いて撮像対象物に垂直に接近させた後、接近前の位置に
戻し水平方向に移動することにより撮像された画像群に
対し、第１実施例における視野拡大処理及び本実施例に
おける一連の処理を組み合わせて適用することにより、
例えば図３６に示すような画像を得ることもできる。

【０１２６】本実施例における処理は、例えば情報入力
装置１２２より入力された動作命令信号を受領後、数枚
の画像を経て処理結果画像をモニタ１０６に表示すれば
よい。

【０１２７】本実施例においては、内視鏡が撮像対象に
接近する過程において得られた画像群に関し処理を適用
したが、近接状態から徐々に遠ざかる過程において撮像
された画像に対し同様な処理を施すことにも何等問題は
なく、また、内視鏡が一方向に移動する際に得られた画
像に対する処理として限定されるものではない。さら
に、処理対象画像群は、内視鏡の移動により得られたも
のに限定するのみではなく、例えば光学的ズーミングに
より撮像されたものを使用してもよい。

【０１２８】本実施例においては連続する画像群におい
て処理を適用したが、処理に使用する画像は例えば１枚
おきに選出する等、適宜選択可能であってもよい。

【０１２９】本実施例における一連の処理は、内視鏡撮
像装置によりリアルタイムで連続的に得られる画像に対
するのみではなく、例えば光磁気ディスク、ビデオ等の
磁気テープ等によりすでに記録されている画像群に対し
適用しても良好である。

【０１３０】以上に述べた第１ないし第４実施例におけ
る処理対象画像は、Ｇ画像のみに限定されるものではな
く、ＲあるいはＢ画像に対し適用してもよい。また、Ｇ
画像に対する処理により決定された写像と同等の位置に
Ｒ及びＢ画像を写像するものであっても良い。又、内視
鏡画像に限定されるものでなく、一般の画像、例えば伝
送経路において、局所的な劣化を受けた様な画像に対
し、適用しても有効である。

【０１３１】

【発明の効果】以上述べたように本発明によれば複数の
画像間における対応点の検出を行った後、少なくとも１
つの画像における一部の画像領域を他の画像における対
応する画像領域で埋め合わせる等の画像合成処理を行え
るようにしているので、輝点除去等して、より望ましい
画像を得ることができる。

【図面の簡単な説明】

【図１】第１実施例に係る内視鏡装置の構成を示すブ
ロック図である。

【図２】第１実施例に係る画像処理装置の構成を示す
ブロック図である。

【図３】第１実施例に係る図１の内視鏡装置の全体を
示す側面図である。

【図４】第１実施例に係る画像入力装置に関する入出
力装置の構成を示すブロック図である。

【図５】第１実施例に係る画像処理装置の処理内容を
示すフローチャート図である。

【図６】第１実施例に係る歪曲収差の補正の様子を示
す説明図である。

【図７】第１実施例に係るハレーション領域がある画
像を示す説明図である。

【図８】第１実施例に係る図７のハレーション領域を
含む補正領域が選出された様子を示す説明図である。

【図９】第１実施例に係る画像Ｇn 上で対応点が検出
された様子を示す説明図である。

【図１０】第１実施例に係る画像Ｇ0 上での対応検出点
と画像Ｇn 上での対応点とを示す説明図である。

【図１１】第１実施例に係る対応検出点内の点Ｐの位置
決定のための説明図である。

【図１２】第１実施例に係る画像Ｇ0 上のハレーション
領域の一部を埋め合わせた結果を示す説明図である。

【図１３】第１実施例に係るカラーマッチング手法を適
用した画像処理装置の処理内容を示すフローチャート図
である。

【図１４】第１実施例に係る近接して複数存在するハレ
ーション領域の対応検出点及びブロックマッチング領域
の決定を説明する説明図である。

【図１５】第１実施例に係る複数の画像との位置関係と
か視野拡大した画像等を示す図である。

【図１６】第１実施例に係る画像処理装置の視野拡大の
処理内容を示すフローチャート図である。

【図１７】第１実施例に係るカラーマッチング手法を適
用した画像処理装置の視野拡大の処理内容を示すフロー
チャート図である。

【図１８】第２実施例に係るステレオ内視鏡装置の全体
を示す側面図である。

【図１９】第２実施例に係るステレオ内視鏡装置の構成
を示すブロック図である。

【図２０】第２実施例に係る画像処理装置の構成を示す
ブロック図である。

【図２１】第２実施例に係る画像処理装置の処理内容を
示すフローチャート図である。

【図２２】第２実施例に係るカラーマッチング手法を適
用した画像処理装置の処理内容を示すフローチャート図
である。

【図２３】第２実施例に係る図２１の処理による画像の
合成を示す説明図である。

【図２４】第２実施例に係る画像処理装置の視野拡大の
処理内容を示すフローチャート図である。

【図２５】第２実施例に係るカラーマッチング手法を適
用した画像処理装置の視野拡大の処理内容を示すフロー
チャート図である。

【図２６】第３実施例に係る画像処理装置の処理内容を
示すフローチャート図である。

【図２７】第３実施例に係るカラーマッチング手法を適
用した画像処理装置の処理内容を示すフローチャート図
である。

【図２８】第４実施例に係る処理内容を示すフローチャ
ート図である。

【図２９】第４実施例に係る内視鏡を撮像対象物に垂直
方向に移動した様子を示す図である。

【図３０】第４実施例に係る図２８により得られる複数
の画像を合成して視野の広い高解像度の画像を得ること
を示す説明図である。

【図３１】第４実施例に係るカラーマッチング手法を適
用した画像処理装置の処理内容を示すフローチャート図
である。

【図３２】第４実施例に係る画像Ｇn-1 の画像を画像Ｇ
n に合わせて拡大した様子を示す説明図である。

【図３３】第４実施例に係る画像Ｇn-1 上での対応検出
点と画像Ｇn上での対応点とを示す説明図である。

【図３４】第４実施例に係る画像Ｇn-1 上での対応検出
点内の点Ｐ及び画像Ｇn上での対応検出点内の点Ｐ’の
位置決定のための説明図である。

【図３５】内視鏡を水平方向に移動後、垂直方向に移動
する様子を示す説明図である。

【図３６】図３５により得られる画像に対し、第１及び
第４実施例を適用して得られる画像を示す説明図であ
る。

【符号の説明】

１…………電子内視鏡２…………挿入部６…………ビデオプロセッサ７…………モニタ１０４……画像処理装置１０６……モニタ１２１……ＣＰＵ１３０……ＲＯＭ１３１……内視鏡装置１３２……画像記録装置１３４……動画像ファイル装置１３５……静止画像ファイル装置１４１……対応点検出手段１４２……画像整合手段１４３……画像合成手段

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年６月１８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００３

【補正方法】変更

【補正内容】

【０００３】特に、画像間の相関を利用する技術に関し
ては、発達著しいものがあり、例えば、デジタル伝送等
に関する動画像フレーム間の動きベクトルを推定する事
による圧縮符号化、復号化は、現在最も多くの検討が行
われている分野の一つである。あるいは、例えば特開平
１−１０９９７０号にはＴＶカメラにおける画像振れを
防止する従来例が開示されている。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正内容】

【００１２】

【問題点を解決する為の手段及び作用】複数の画像を入
力する画像入力手段と、前記複数の画像間における対応
点を検出する対応点検出手段と、前記対応点検出手段の
出力結果に基づき、少なくとも２つの画像間の整合を行
う画像整合手段と、前記画像整合手段により、少なくと
も１つの画像部分の少なくとも一部を他の画像の少なく
とも一部の画像情報を用いて１枚の画像を合成する画像
合成手段とを設けることにより、輝点等の異常データ領
域を他の画像における対応する異常ではない領域で置換
する等の画像合成を行うことにより望ましい画像を得ら
れるようにしている。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正内容】

【００３９】ハレーション領域Ａ0 の抽出は、画像Ｇ0
においてはハレーション除去対象領域決定処理であり、
ｎ≧１である画像Ｇn においては後述のステップＳ１１
での画像合成による領域埋め合わせ処理に適用し得ない
領域の抽出を行う意味を持つ。上記ステップＳ５によ
るハレーション領域Ａ0 の抽出が終了すると、ステップ
Ｓ６によりｎ＝０か否かの判断が行われる。この場合に
は、ｎ＝０であるので、ステップＳ７により、ｎが１つ
インクリメントされてｎ＝１にされた後、再びステップ
Ｓ２に戻り、ｎ＝１の画像Ｇ1 の取込み等が行われた
後、ステップＳ３〜５及びステップＳ６の判断の後、ス
テップＳ８に移る。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００４１

【補正方法】変更

【補正内容】

【００４１】このため、対応検出点Ａ，Ｂ，Ｃ，Ｄはブ
ロックマッチングに用いる領域が画像Ｇn におけるハレ
ーション抽出領域と重ならないような点のうちで、ブロ
ックマッチングに用いる領域の模様が十分明瞭であるも
の（例えば、ブロック内の分散が大きい）を選択する。
図８は図７に示した例に対し決定した対応検出点Ａ，
Ｂ，Ｃ，Ｄ及びブロックマッチング領域Ｖa ，Ｖb ，Ｖ
c ，Ｖd の例である。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００４６

【補正方法】変更

【補正内容】

【００４６】まず、四辺形ＡＢＣＤ及びＡ′Ｂ′Ｃ′
Ｄ′をそれぞれ図１０（ａ）及び（ｂ）に示すように三
角形ＢＣＡと三角形ＣＡＤ及び三角形Ｂ′Ｃ′ＤとＣ′
Ａ′Ｄ′より構成されるものと考える。例えば図１１
（ａ）に示すように、三角形ＬＭＮ内の点Ｐは、辺ＬＭ
と、点Ｎ及び点Ｐを通る線分と辺ＬＭとの交点Ｈから、
ＬＨ：ＨＭ及びＮＰ：ＰＨにより決定さされる。これよ
り、三角形ＬＭＮに対応する三角形Ｌ′Ｍ′Ｎ′（図示
せず）において点Ｐに対応する点Ｐ′は、ＬＨ：ＨＭ＝
Ｌ′Ｈ′：Ｈ′Ｍ′及びＮＨ：ＮＰ＝Ｎ′Ｈ′：Ｎ′
Ｐ′を満たすように定められる。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正内容】

【００４８】また、四辺形ＡＢＣＤ及びＡ’Ｂ’Ｃ’
Ｄ’に関して、図１１（ｂ）に示すように、四辺形ＫＬ
ＭＮの内部の点Ｐに対応する四辺形Ｋ’Ｌ’Ｍ’Ｎ’
（図示せず）内部の点Ｐ’を、ＫＳ：ＳＬ＝Ｋ’Ｓ’：Ｓ’Ｌ’ ＬＴ：ＴＭ＝Ｌ’Ｔ’：Ｔ’Ｍ’ ＭＵ：ＵＮ＝Ｍ’Ｕ’：Ｕ’Ｎ’ ＮＶ：ＶＫ＝Ｎ’Ｖ’：Ｖ’Ｋ’ を満たすように定めることも可能である。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００８５

【補正方法】変更

【補正内容】

【００８５】本実施例では、電子内視鏡１ａで得た対象
部位の画像に対し、画像処理装置１０４ａで処理を行
い、モニタ１０６ａに処理結果を出力する。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００８６

【補正方法】変更

【補正内容】

【００８６】図２１ないし図２５は本実施例の処理の流
れを示すフローチャート及び説明図である。Ｎ個の光学
系により撮像されたＮ枚の画像Ｘ１〜ＸＮに対し、第１
実施例において時系列画像群に対して施したものを基本
とする処理を適用する。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００９３

【補正方法】変更

【補正内容】

【００９３】連結処理手法としては、第１実施例におけ
るステップＳ１１において適用した処理を応用すればよ
い。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】００９４

【補正方法】変更

【補正内容】

【手続補正１１】

【補正対象書類名】図面

【補正対象項目名】図１８

【補正方法】変更

【補正内容】

【図１８】

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/18 Ｍ 8626−5Ｃ // Ｇ０６Ｆ 15/70 ４６０Ａ 9071−5Ｌ (72)発明者西村博一東京都渋谷区幡ケ谷２丁目43番２号オリンパス光学工業株式会社内 (72)発明者中村雅一東京都渋谷区幡ケ谷２丁目43番２号オリンパス光学工業株式会社内

Claims

【特許請求の範囲】

【請求項１】複数の画像を入力する画像入力手段と、
前記複数の画像間における対応点を検出する対応点検出
手段と、前記対応点検出手段の出力結果に基づき、少な
くとも２つの画像間の整合を行う画像整合手段と、前記
画像整合手段により、少なくとも１つの画像部分の少な
くとも一部を他の画像の少なくとも一部の画像情報を用
いて１枚の画像を合成する画像合成手段とを備えたこと
を特徴とする画像処理装置。