JPH0261248B2 - - Google Patents

Description

【発明の詳細な説明】 〔発明の技術分野〕 本発明は撮像した映像をテレビ表示装置に適切
に表示するための固体撮像素子使用の内視鏡にお
ける表示走査線補間方法に関する。

〔発明の技術的背景とその問題点〕

近年、電荷結合素子（CCD）等の固体撮像素
子を撮像手段に用いた内視鏡が種々提案されてい
る。

上記固体撮像素子は、内視鏡における細長の挿
入部の先端側に収納しなければならないため、撮
像面に配列される受光素子数は一般のテレビ（ジ
ヨン）カメラのものよりかなり少くなり、解像度
が低下する。このため実開昭53−36885号公報に
開示されているように回転フイルタを用いて色面
順次の照明を行つて、白色照明のもとでモザイク
フイルタを備えた固体撮像素子によるカラー撮像
の場合よりも解像度を向上させた従来例がある。

しかしながら、的確な診断を下すためにはさら
に解像度の高い画像を表示することが望ましく、
走査線の補間を行うことが望まれる。

又、挿入部内に無駄なく収納するため、内視鏡
用の固体撮像素子は、一般のテレビカメラ用のも
のと異り、撮像面が正方形のものを用いることが
一般的であり、この正方形で撮像した画像を一般
（正規）のテレビジヨン受像機で表示するには、
正規の走査線に一致させる等の信号処理すること
が必要とされる。

ところで、従来の走査線の補間方法としては、
第９図に示すように水平同期信号Hsyncでカウン
タ１を動作させ、その出力をアドレスとして予め
書き込まれた補間用データをROM２Ａ，２Ｂか
ら読み出し、Ｄ／Ａ変換器３Ａ，３Ｂでアナログ
量にして乗算器４Ａ，４Ｂの各一方の入力端に印
加する。しかして、乗算器４Ａ，４Ｂの他方の入
力端には、フレームメモリ５から読み出した２ラ
イン分のデータを順次印加して補間すべき走査線
に至る距離の逆比で重みづけ乗算し、加算器６で
平均し、Ｄ／Ａ変換器７でアナログ量の映像信号
として走査線の補間を行うものである。

しかしながらこの方法は、回路的にもかなり複
雑になるし、以下に述べるような理由で映像信号
の高周波成分側で振幅が低下し、解像度が劣化す
る。

第１０図において、点線を被写体信号とし、実
線を固体撮像素子で撮像したデータｆ（ｘ）とし、
さらにこの撮像データｆ（ｘ）を用いて補間した
データによる包絡線をｇ（ｘ）とする。この場合、
第１０図又は第１１図ａに示す撮像データｆ（ｘ）
は、画素ピツチτとなる受光素子の配列ピツチで
ステツプ波形のデータ信号となるため、このフー
リエ変換成分Ｆ｛ｆ（ｘ）｝＝Ｆ（ｋ）は第１１図ｂ
に示すようになり、ナイキスト限界周波数１／
（2τ）を越える高域側にも振幅の小さいサイドバ
ンド（高調波）が現われる。

ところで、補間データは上記撮像データｆ（ｘ）
を画素ピツチτの距離を用いたものでさらに重畳
積分をしたものとなるが、画素ピツチτのレクタ
ングル関数を第１１図ｃに示すようにre（ｘ）で
表わすと、そのフーリエ変換成分子Ｆ｛re（ｘ）｝＝
Re（ｋ）は同図（ｄ）に示すように高周波側の振
幅が次第に低下して、ナイキスト限界周波数１／
（2τ）で約−4dB低下するシンク関数となるので、
第１１図ｅに示す上記補間データｇ（ｘ）の空間
周波数成分Ｇ（ｋ）はたたみ込みの定理により Ｇ（ｋ）＝Ｆ｛ｇ（ｘ）｝ ＝Ｆ｛ｆ（ｘ）＊re（ｘ） ＝Ｆ｛ｆ（ｘ）×Ｆ｛fe（ｘ）｝ となり、同図（ｆ）に示すものとなる。（ここで
＊はたたみ込み積分を表わす）つまり、この空間
周波数成分Ｇ（ｋ）は周波数が上がるにつれて減
衰が大きくなるカーブで減衰し、ナイキスト限界
においては空間周波数成分が約−4dBだけ低下し
てしまうものとなつてしまう。

〔発明の目的〕

本発明は上述した点にかんがみてなされたもの
で、簡単で且つ従来例のような高域側成分の低下
を防止し得ると共に、固体撮像素子の画素数に依
らず、任意の表示走査線を有する表示器に表示可
能とする固体撮像素子使用の内視鏡における表示
走査線補間方法を提供することを目的とする。

〔発明の概要〕

本発明は多数の受光素子を縦横に規則的に配列
して形成した固体撮像素子を撮像手段に用いた内
視鏡において、撮像データを一方向に沿つて読み
出してローパスフイルタで不要高調波をカツトオ
フするスムージングを行つた後、表示器の表示走
査線に整合する変換クロツク数でＡ／Ｄ変換する
信号処理を行うことによつて、高域側での利得の
低下を招くことがなく、且つ簡単に表示器に表示
可能となる走査線の補間を行えるようにしてあ
る。

〔発明の実施例〕

以下、図面を参照して本発明を具体的に説明す
る。

第１図ないし第３図は本発明の１実施例に係
り、第１図は本発明の１実施例の原理を示し、第
２図は撮像データの空間周波数成分を示し、第３
図は本発明の１実施例を備えた第１実施例の内視
鏡を示す。先ず、本発明の原理を第１図にて説明
する。今話を簡単にするため固体撮像素子１１の
受光素子数、つまり画素数を４×４（＝16）画素
とし、一方、表示する走査線数を６本とする。固
体撮像素子１１で撮像された映像信号は画素の番
号で表わすと１，２，３，４，５，６，７……１
６の順でシフトレジスタ１２から縦方向に時系列
信号となつて読み出される。これを低雑音指数の
プリアンプ１３で増幅してローパスフイルタ
（LPF）１４を通す。

上記読み出された撮像データの空間周波数成分
は第２図（又は前述の第１１図ｂ）に示すもので
あるので、画素ピツチτのナイキスト限界の周波
数１／（2τ）で急峻なカツトオフ特性を有するロ
ーパスフイルタ（第２図で破線で示すものが理想
的である。）１４で解像度を低下させる不要な高
調波成分を除去して、ステツプ状撮像データを理
想的に近い波形にするスムージングを行う。この
スムージングされた撮像データを表示走査線数に
対応したクロツク数（この例の場合は縦方向に６
クロツク）でＡ／Ｄ変換器１５でＡ／Ｄ変換して
フレームメモリ１６に第１図の番号の様に縦方向
に記憶することにより走査線補間を行う。このフ
レームメモリ１６に記憶されたデータを読み出す
時はTV表示モードにマツチしたクロツク周波数
にてフレームメモリ１６から横方向に読み出す。
フレームメモリ１６の画素番号で記すと、１，
７，１３，１９，２，８，１４，…，２４の順と
なる。そしてＤ／Ａ変換器１７でＤ／Ａ変換後に
やはりLPF１８にてナイキストの限界周波数
（この場合も１／（2τ））にてカツトしてやること
により横方向に対しても理想的なスムージングを
行つた後、TV表示器に表示する。

上記原理を具体的に適用した第１実施例の内視
鏡を以下に説明する。

第３図に示すように１実施例が適用された内視
鏡２１は細長の挿入部２２の先端側に結像用の対
物レンズ２３を収納し、この対物レンズ２３の焦
点面には、その撮像面が臨むようにして固体撮像
素子２４が配設されている。この固体撮像素子２
４は、光電変換機能を有する多数の受光素子が縦
横に規則正しく配列され、ドライブ回路２５から
印加されるクロツク信号によつて、転送されて、
第１図に示すようなシフトレジスタから画素信号
（撮像データ）が１，２，３，４，５，６，…，
１６の順で縦方向に時系列信号となつて読み出さ
れ、プリアンプ２６を経て挿入部２２の手元側の
部分又は外部に設けた信号処理部２７に入力され
るようになつている。

ところで、上記挿入部２２内には、照明光伝送
手段として、可撓性のフアイババンドルで形成さ
れたライトガイド２８が挿通され、このライトガ
イド２８の後端は光源装置３１に着脱自在で装着
できるようになつている。しかして、光源装置３
１内の光源ランプ３２の照明光が反射鏡３３で平
行光束にされ、この平行光束途上に配設された回
転カラーフイルタ３４によつて、その回転カラー
フイルタ３４を構成する赤、緑、青の各色透過フ
イルタにて赤、緑、青の透過光にされ、集光レン
ズ３５で集光されてライトガイド２８の入射端
（後端）に照射されるようになつている。この入
射端に照射された照明光は、ライトガイド２８の
先端から配光レンズ３６を経て被写体側を色面順
次で照明するようになつている。

尚、回転カラーフイルタ３４は、ステツピング
モータ３７で回転駆動される。

一方、上記信号処理部２７に入力された信号
は、ローパスフイルタ（LPF）４１によつて不
要な高調波成分がカツトオフされて、ステツプ波
形がなめらかな波形の信号となるように理想的な
スムージングが行われるようになつている。つま
りこのローパスフイルタ４１は、前述したように
画素ピツチτで規定されるナイキスト限界の周波
数１／（2τ）以上の高調波成分を急峻にカツトオ
フしてスムージングを行うものである。

上記ローパスフイルタ４１を通したなめらかな
波形にされた信号は、TV表示器４２の表示走査
線数に整合したクロツク数で作動されるＡ／Ｄ変
換器４３でＡ／Ｄ変換されて縦方向の画素数が走
査線数に等しいデータ数にされる走査線補間がな
された信号データは上記色面順次の照明に同期し
て切換えられるマルチプレクサ４４を介して各色
信号処理回路４５Ｒ，４５Ｇ，４５Ｂの各フレー
ムメモリ４６Ｒ，４６Ｇ，４６Ｂに例えば縦方向
（読み出しする際の方向と直交する方向）で書き
込まれるようになつている。

尚、上記走査線数に等しいデータをつくる際の
Ａ／Ｄ変換は、変換時間中に撮像データの値が変
化して変換誤差が大きくなる場合等には必要に応
じてサンプルホールド回路で変換時に信号データ
の値が変化しないようにして誤差を小さくするよ
うになつている。

上記各フレームメモリ４６Ｒ，４６Ｇ，４６Ｂ
に書き込まれた信号データを読み出す場合には、
上記書き込まれた縦方向と垂直な横方向の信号デ
ータが前述したように順次読み出される。このこ
の読み出しのクロツクは、水平期間内に横方向の
信号データ数を丁度読み出し（表示）可能とする
周波数で行われる。尚縦方向は上記走査線補間に
より、TV表示器４２の走査線に一致させてある
ので、上記クロツクで読み出された信号データは
TV表示器４２の表示モードに一致したものとな
る。

尚、各フレームメモリ４６Ｒ，４６Ｇ，４６Ｂ
は同時に読み出され、それぞれＤ／Ａ変換器４７
Ｒ，４７Ｇ，４７Ｂでアナログ量に変換され、さ
らにローパスフイルタ４８Ｒ，４８Ｇ，４８Ｂで
横方向のナイキスト限界の周波数１／（2τ）で不
要な高調波成分をカツトオフしてなめらかな色信
号Ｒ，Ｇ，Ｂにスムージングされ、TV表示器４
２のRGB端子に印加され、カラー画像として表
示されるようになつている。

上記第１実施例によれば、固体撮像素子２４の
少くとも一方（例えば縦方向）の画素数がTV表
示器４２の走査線数に一致しない場合、あるいは
整数比等にならない任意の場合においても、Ａ／
Ｄ変換器４３で変換する際の変換クロツク数を走
査線数に整合させることにより表示可能とする補
間を簡単な回路構成で実現できる。又、上記補間
する場合、重畳積分を用いてないので、解像度の
劣化が生じることを防止できる。

ところで、上記１実施例の補間方法を実時間で
機能させるには、フレームメモリ４６Ｒ，４６
Ｇ，４６Ｂへのデータの書き込みと、これらから
のデータの読み出しとを異る周期でそれぞれ行う
ことのできるメモリであることが必要とされる。

読み書きを独立に行うことのできない通常のメ
モリを用いて実時間で補間する方法を備えた第２
実施例の内視鏡における信号処理部を以下に述べ
る。

第４図に示すように各色信号処理回路５１Ｒ，
５１Ｇ，５１Ｂはマルチプレクサ４４で順次導通
されるようになつている。上記各色信号処理回路
５１Ｒ，５１Ｇ，５１Ｂは同一構成であるので、
赤用のものについてのみその構成が示してある。

即ち、赤用フレームメモリ４６Ｒはスイツチ５
２SRを経たライト用アドレス発生回路５３Ｒの
縦方向のアドレス信号で、第５図ａに示すように
Ａ／Ｄ変換データがＡ／Ｄ変換のクロツクに同期
して例えばそのローレベル期間ごとにライトモー
ドにされて書き込まれると共に、そのクロツクの
例えばローレベル期間ごとにスイツチ５２SRが
切換えられて、リード用アドレス発生回路５４Ｒ
の水平方向（横方向）のアドレス信号で書き込ま
れたデータが読み出され、スイツチ５５SRを経
て一方のバツフアメモリ５６Ｒに書き込まれる。
（上記スイツチ５５SR及び他方のスイツチ５７
SRは第５図ｂに示すように１水平期間1Hごとに
連動して切換えられる。

上記一方のバツフアメモリ５６Ｒへの書き込み
が第５図ｃに示すように水平方向の画素数だけ１
水平期間1Hより短い期間内で行われる。この１
水平期間1H以内に一方のバツフアメモリ５６Ｒ
への書き込みがされている該１水平期間1H、他
方のスイツチ５７SRは、上記スイツチ５５SRと
連動して他方のバツフアメモリ５８Ｒ側に切換え
られて第５図ｄに示すように読み出しモードにな
つており、このバツフアメモリ５８Ｒに書き込ま
れたデータが、１水平期間に1H水平方向データ
が丁度読み出されるクロツクで水平方向に読み出
される。

上記読み出しが１水平期間1Hなされると、上
記連動するスイツチ５５SR，５７SRは切換えら
れて、一方のバツフアメモリ５６Ｒのデータが読
み出され、他方のバツフアメモリ５８Ｒにはフレ
ームメモリ４６Ｒのデータが書き込まれる。この
ようにして両バツフアメモリ５６Ｒ，５８Ｒは交
互にライト／リードが切換えられる。

上記両バツフアメモリ５６Ｒ，５８Ｒがそれぞ
れ書き込みモードになつた場合、リード／ライト
タイミング発生回路５９Ｒからの書き込み信号が
Ｒ／端子にスイツチ６０SRを経て第５図ｅに
示すように印加される（フレームメモリ４６Ｒが
ライトモードでない期間に印加される。）。

上記バツフアメモリ５６Ｒ，５８Ｒへの書き込
みアドレスは、ライト用アドレス発生回路６１Ｒ
で発生され、読み出しアドレスは、リード用アド
レス発生回路６２Ｒで発生される。しかして連動
して切換えられる両スイツチ６３SR，６４SRに
よつて１水平期間1Hごとに書き込み及び読み出
しの切換えが行われる。

このようにして、両バツフアメモリ５６Ｒ，５
８Ｒからスイツチ５７SRを経て出力されるデー
タはTV表示器の表示モードに合つたものとな
り、前述のようにＤ／Ａ変換器４７ＲでＤ／Ａ変
換され、さらにローパスフイルタ４８Ｒで不要な
高調波成分がカツトオフされてTV表示器に入力
され、カラー画像として表示される。

尚、マルチプレクサ４４で選択されてない（オ
フ状態の）他のフレームメモリ（上記４６Ｒが選
択されている場合には４６Ｇ，４６Ｂ）は、スイ
ツチ５２SRに相当するスイツチ（図示してない
が、符号で表わすと５２SG，５２SB）はリード
用アドレス発生回路側に導通させた状態に保持さ
れ、表示用の読み出しは各色信号処理回路５１
Ｒ，５１Ｇ，５１Ｂとも同時に行われるようにな
つている。

尚、ライト用あるいはリード用アドレス発生回
路５３Ｒ，５４Ｒは各信号処理回路５１Ｒ，５１
Ｇ，５１Ｂごとに設けないで、共用させることも
できる。

又、バツフアメモリ５６Ｒ，５８Ｒに対するラ
イト用及びリード用アドレス発生回路６１Ｒ，６
２Ｒについても共用させることができる。

上記第２実施例によれば、通常のメモリを用い
て実時間で走査線補間を行つて表示することがで
きる。

第６図は本発明の１実施例の補間方法を用いた
第３実施例の内視鏡を示す。

この内視鏡６１は第３図に示す内視鏡２１にお
いて、信号処理部２７のローパスフイルタ４１の
例えば後に帯域補正回路６２を設けるとともに、
各色信号処理回路４５Ｒ，４５Ｇ，４５Ｂにおけ
るローパスフイルタ４８Ｒ，４８Ｇ，４８Ｂの後
にも帯域補正回路６３Ｒ，６３Ｇ，６３Ｂが設け
てある。

上記各帯域補正回路６２及び６３Ｒ，６３Ｇ，
６３Ｂは、固体撮像素子２４の各受光素子が有限
の開口（受光）面積を有することに起因する高域
側で利得（振幅）が低下することとか、ローパス
フイルタ４１又は４８Ｒ，４８Ｇ，４８Ｂが理想
的なカツトオフ特性を示さないことに起因する特
性の低下等を補正するものである。

第７図は本発明の１実施例の補間方法を適用し
た第４実施例の内視鏡の挿入部先端側を示す。

この内視鏡７１は、第６図に示す内視鏡６１に
おける挿入部２２の先端面に第８図に示すように
ビス７２等の固定手段で着脱自在となる撮像光学
アダプタ７３を装着できるようにしたものであ
る。

このアダプタ７３は、シリンドリカルレンズ系
７４が取付けてあり、このシリンドリカルレンズ
系７４及び対物レンズ２３とによつて固体撮像素
子２４に、走査線補間する方向成分側、例えば縦
方向をあらかじめ縮小して結像させるものであ
る。

即ち、この縦方向を縮小しておくことによつ
て、走査線補間することによつて、表示画面にお
ける縦方向に画素が伸びることを補正し、TV表
示器４２に表示されるカラー画像が縦横とも被写
体を正しい縮小（あるいは拡大）倍率で表示でき
るようにしたものである。

このように構成された第４実施例の内視鏡７１
によれば、縦横とも等しい受光素子数及び受光素
子ピツチの固体撮像素子２４を用いて撮像した場
合のものを、縦横の寸法の異る表示画面で表示す
る場合、画面全体を撮像表示に利用した場合にも
被写体を縦方向あるいは横方向の比率が他方に対
して歪むことなく忠実に表示できる。（上記アダ
プタ７３を一体的に取付けたものも本発明に属す
る。） 尚、本発明は表示器としてブラウン管に限定さ
れるものでなく、液晶表示器等を用いた場合にも
適用できるし、その場合、通常のテレビ表示器用
のモードと異る表示モード用の任意の表示画素数
に対しても、有効に対処できる。縦横とも、表示
セルに区画され、テレビ表示用でない上記液晶表
示器を用いた場合次のように走査線補間を行つて
も良い。液晶表示器におけるその横方向の表示画
素数（表示走査線）が固体撮像素子２４の横方向
の画素数と整数倍又は整数分の１にならない場合
等、両者で対応づけさせることが難しい場合にお
いては、縦方向の走査線の補間を行つたのと同様
に、横方向に読み出した場合、それぞれローパス
フイルタ（例えば第３図における表示器４２に液
晶表示器を使用する場合）４８Ｒ，４８Ｇ，４８
Ｂを通してスムージングを行つた後、液晶表示器
の横方向の画素数に対応したクロツク数（水平周
波数×横方向の画素数のクロツク数）でサンプル
ホールドして、さらにローパスフイルタを通し
て、不要高周波を除去して、表示させるようにし
ても良い。（勿論縦方向について、撮像画素数と
表示画素数（表示走査線数）とが一致しない場合
には、前述のように行う。） 又、本発明の補間方法は、表示画面上の走査線
の数が縦方向又は横方向における受光素子数より
も多い場合に適用することが限定されるものでな
く、例えばTV表示器の表画面内に別のTV画面
を表示する場合（TV in TV）のように補間と
いうよりは間引くように（補間して）表示する場
合にも対処できるものである。又、一部を縮小し
たり、撮像した２画面を１画面の表示器に分けて
表示したりする任意の信号処理して表示する場合
にも適用できる。又、表示画面が一方に長く、他
方に短いTV表示専用でない液晶表示器等におい
ては、間をうめるように補間することと、間引く
ようにして補間することとが併用させることもあ
り得る。

尚、表示器としてデイジタルデータを入力信号
とする場合においては、例えば第３図における
Ｄ／Ａ変換器４７Ｒ，４７Ｇ，４７Ｂ以降を設け
ることを必要としない場合もある。

又、間引くようにして補間する場合には、例え
ば第３図におけるローパスフイルタ４７Ｒ，４７
Ｇ，４７Ｂをあまり必要としない場合もある。

尚、本発明の補間方法は、固体撮像素子におけ
る縦横の受光素子数が等しくない場合にも、一旦
フレームメモリに書き込みを行うことにより、任
意の走査線数の表示器に適用できる。

〔発明の効果〕

以上述べたように本発明によれば、表示器に表
示するために読み出す方向と直交する方向に固体
撮像素子から撮像データを読み出し、ローパスフ
イルタで不要高調波をカツトオフしスムージング
を行つた後、表示器の表示走査線に整合した変換
数でＡ／Ｄ変換してメモリに書き込む信号処理を
行うようにしてあるので、簡単な構成で、高域側
で帯域劣化が生じることなく表示器に表示可能な
モードでの走査線の補間を行うことができる。

【図面の簡単な説明】

第１図ないし第８図は本発明の１実施例に係
り、第１図は本発明の１実施例の原理を示す説明
図、第２図は固体撮像素子で撮像されたデータの
空間周波数成分を示す分布図、第３図は１実施例
を用いた第１実施例の内視鏡を示す構成図、第４
図は第２実施例の内視鏡における信号処理部を示
すブロツク図、第５図は第４図の各部の動作説明
用のタイミングチヤート図、第６図は第３実施例
の内視鏡を示す構成図、第７図は第４実施例の内
視鏡の先端側を示す構成図、第８図は第７図にお
けるアダプタを拡大して示す側面断面図、第９図
は従来の補間方法に係る信号処理部の構成を示す
ブロツク図、第１０図は第９図における動作説明
用の信号波形と補間処理後の信号波形を示す波形
図、第１１図は第９図の動作説明図である。 １１……固体撮像素子、１２……シフトレジス
タ、１３……プリアンプ、１４……ローパスフイ
ルタ、１５……Ａ／Ｄ変換器、１６……フレーム
メモリ、１７……Ｄ／Ａ変換器、１８……ローパ
スフイルタ、２１……内視鏡、２２……挿入部、
２４……固体撮像素子、２７……信号処理部、３
１……光源装置、４１……ローパスフイルタ、４
２……表示器、４３……Ａ／Ｄ変換器、４５Ｒ，
４５Ｇ，４５Ｂ……信号処理回路、４６Ｒ，４６
Ｇ，４６Ｂ……フレームメモリ、４７Ｒ，４７
Ｇ，４７Ｂ……Ｄ／Ａ変換器、４８Ｒ，４８Ｇ，
４８Ｂ……ローパスフイルタ、５１Ｒ，５１Ｇ，
５１Ｂ……信号処理回路、６２，６３Ｒ，６３
Ｇ，６３Ｂ……帯域補正回路、７３……アダプ
タ。

Claims (1)

1. 【特許請求の範囲】 １ 光電変換機能を有する受光素子を縦横に規則
   的に配列して形成した固体撮像素子を撮像手段に
   用い、撮像した信号データを信号処理してメモリ
   に書き込み、該メモリから読み出された信号デー
   タを表示器の表示画面に表示可能とする内視鏡に
   おいて、 前記固体撮像素子から読み出された信号データ
   における不要高調波成分をローパスフイルタでカ
   ツトオフしてスムージングを行う信号処理工程
   と、該工程後に前記表示器における縦横両方向に
   おける少くとも一方の表示走査線数に整合した変
   換クロツク数でＡ／Ｄ変換する信号処理工程とを
   有することを特徴とする固体撮像素子使用の内視
   鏡における表示走査線補間方法。