JPH0795459A - 固体撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】 電子ズーム機能を有する固体撮像装置を提供
する。 【構成】 ＣＣＤ撮像素子２と光学像の相対的位置関係
を、水平に１／５ピッチ単位で、または垂直に１／５ピ
ッチ単位で、または斜め方向に１／５ピッチ単位で、１
フレームごとに移動させ、その移動総数は２５である。
撮像素子２より得た画像情報をメモリ１０に記録する。
電子ズーム時に用いる補間データとして、メモリ１０に
記憶された画像情報を利用する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば電荷結合撮像
素子（以下、ＣＣＤ撮像素子という）等の固体撮像素子
を使用し、電子的に拡大操作可能な、いわゆる電子ズー
ム機能を有する固体撮像装置に関する。

【０００２】

【従来の技術】現在の超小型カメラ例えば管内監視カメ
ラや内視鏡では、その外形形状を極力小型にしたいとい
う制約から、レンズは単焦点の超小型のものを採用せざ
るを得ない。したがって光学的なズーム機能は搭載でき
ず、被写体を詳細に監視したいときには当然のことなが
らその被写体の近くまで時間をかけてカメラを移動させ
て近接撮影を行なわければならない。

【０００３】そこでこれらのカメラでズーム操作を行な
うためには、例えば以下に示すような信号処理の工夫に
より電子ズーム操作を施すことになる。図５のａ₁₁、ａ
₁₂、…はディジタル化された画像信号のある１ライン中
の各画素データを示し、ａ₂₁、ａ₂₂…同様に次のライン
中の各画素データを示している。そして図６は図５の画
像信号のうちａ₁₁、ａ₁₂、ａ₂₁、ａ₂₂の４画素で規定さ
れた矩形部分を５倍に拡大したときの各画素データの一
例である。図６で斜線を施している画素は元のａ₁₁、ａ
₁₂、ａ₂₁、ａ₂₂の４画素であり、その他の画素はこれら
４画素から補間操作により得られたものである。より一
般的には上記の元の４画素をｋ倍に拡大した画像データ
の各画素を上側のラインから順に、（数１）

【数１】 とすると、（数２）

【数２】 と表現される。

【０００４】上記の処理により映像信号は確かに５倍に
拡大されるが、以下のような問題点がある。すなわちも
ともとは４画素分の光学的サンプリング情報しかないと
ころからその他の情報を得ているので、拡大された映像
は輪郭部が「ギザギザ」となる歪みがはなはだしく目立
ち、見苦しい再生画像となる。ＣＣＤ撮像素子として現
状よく使われているものの１つに４０万画素のものがあ
るが、この場合上記の歪みは５倍の拡大時にはもちろん
のこと、２倍程度の拡大でもかなりの画質劣化として目
立つ。このとき各種のフィルタ処理を拡大されたデータ
に対して施すことにより、上記の歪みは軽減することは
できるが、解像感の劣化はさらにはなはだしくなり、光
学的ズーム操作により得られた拡大画像と比較すると解
像感がかなり劣化するのは避けられない。すなわち固体
撮像装置としての電子ズーム処理はたかだか２倍程度ま
でしか実用に耐え得ないという問題点があった。

【０００５】

【発明が解決しようとする課題】以上述べたように、従
来の固体撮像装置、例えば管内監視カメラや内視鏡のよ
うにその外形形状上の制限から光学的ズーム操作を行な
うことができない場合に電子ズーム処理を施そうとする
と、その固体撮像装置に使われているＣＣＤ撮像素子の
画素数すなわちもともとの光学的サンプリング情報が少
ないので、拡大された映像は輪郭部が「ギザギザ」とな
る歪みがはなはだしく目立ち、見苦しい再生画像となっ
ていた。このとき拡大されたデータに対して各種のフィ
ルタ処理を施すことにより上記の歪みは軽減することは
できるが、解像感の劣化はさらにはなはだしくなり、光
学的ズーム操作により得られた拡大画像と比較すると解
像感がかなり劣化してしまう。また電子ズームの倍率に
ついても現状の固体撮像装置ではたかだか２倍程度が限
度であり、高倍率のズーム処理は実用には耐え得ないと
いう問題点があった。

【０００６】そこで本発明は、現状の画素数を有する固
体撮像素子を用いた固体撮像装置に対して電子ズーム操
作を施しても、拡大画像に発生する歪みによる画質劣化
が少なく、また比較的高倍率の電子ズームの場合でも実
用に耐え得るような固体撮像装置を提供することを目的
としている。

【０００７】

【課題を解決するための手段】（構成例１）固体撮像素
子の受光部の一部または全部の領域から得られる画像情
報に対して電子的に拡大操作を施した後に出力する固体
撮像装置において、固体撮像素子と、この固体撮像素子
を、水平方向に１／ｈ（ｈ：正の整数）画素ピッチの単
位で、または垂直方向に１／ｖ（ｖ：正の整数）画素ピ
ッチの単位で、または斜め方向に１／ｄ（ｄ：正の整
数）画素ピッチの単位で、ｉ（ｉ：正の整数）フレーム
またはフィールドごとに移動させる駆動手段と、上記各
空間的位置における前記固体撮像素子からの画像情報を
記憶する記憶手段とを具備し、前述の電子的拡大操作時
に用いる補間データとして前記記憶手段に記憶された前
記画像情報、または前記画像情報を演算した結果を利用
する。

【０００８】（構成例２）固体撮像素子の受光部の一部
または全部の領域から得られる画像情報に対して電子的
に拡大操作を施した後に出力する固体撮像装置におい
て、固体撮像素子と、この固体撮像素子に入射される光
学像を、前記固体撮像素子に対して、水平方向に１／ｈ
（ｈ：正の整数）画素ピッチの単位で、または垂直方向
に１／ｖ（ｖ：正の整数）画素ピッチの単位で、または
斜め方向に１／ｄ（ｄ：正の整数）画素ピッチの単位
で、ｉ（ｉ：正の整数）フレームまたはフィールドごと
に移動させる制御手段と、上記各空間的位置における前
記固体撮像素子からの画像情報を記憶する記憶手段とを
具備し、前述の電子的拡大操作的に用いる補間データと
して前記記憶手段に記憶された前記画像情報、または前
記画像情報を演算した結果を利用する。

【０００９】

【作用】上記構成により、前記固体撮像素子とそれに入
射される前記光学像との相対的位置関係を、水平方向に
１／ｈ（ｈ：正の整数）画素ピッチの単位で、もしくは
垂直方向に１／ｖ（ｖ：正の整数）画素ピッチの単位
で、もしくは斜め方向に１／ｄ（ｄ：正の整数）画素ピ
ッチの単位で、ｉ（ｉ：正の整数）フレームまたはフィ
ールドごとに変化させることができ、さらにそれらの画
素情報をメモリに記憶しておくことができる。これによ
り水平方向に関しては１／ｈ画素ピッチの単位で、垂直
方向に関しては１／ｖ画素ピッチの単位で、また斜め方
向に関しては１／ｄ画素ピッチの単位で光学的サンプリ
ング重心のずれた画素情報を得ることができ、電子ズー
ム処理時にそれらの画素情報もしくはそれらを相互に演
算した結果を補間データとして使用することができる。

【００１０】これらの画素情報は、固体撮像素子例えば
ＣＤＤ撮像素子の各画素のフォトダイオードがある有限
の面積を有しているため、いわゆる光学的アパーチャ効
果のために固体撮像装置の解像度向上にはあまり寄与で
きない。しかし光学的サンプリング重心は上記のように
少しずつずれているので、電子ズーム処理時の補間デー
タとして用いることにより、従来の固体撮像装置で発生
していた拡大画像の歪みを大幅に低減することができ
る。また従来の固体撮像装置では実用に耐え得なかった
ような高倍率の電子ズームの場合でも、拡大画像の歪み
による画質劣化を低減することができる。

【００１１】

【実施例】以下、図面を参照しながら本発明の実施例を
説明する。図１は本発明の固体撮像装置の一実施例の構
成を、図２は本発明に用いるＣＣＤ撮像素子を微小移動
させるためのバイモルフ振動子の構成を説明するための
図を、図３及び図４は本発明に用いるＣＣＤ撮像素子を
微小移動させる方向と、微小移動後の各位置において得
られる各画素情報をメモリに格納する様子の一例を説明
するための図を示す。

【００１２】図１において、ＣＣＤ撮像素子３の受光面
上には撮像レンズ１と視感度補正フィルタや光学的低域
通過フィルタなどの光学的フィルタ２を介して光学像が
入射されて結像される。パルス発生回路５からのパルス
の一部はＣＣＤ駆動回路６にてＣＣＤ駆動パルスとな
り、これがＣＣＤ撮像素子３を駆動することにより、入
射された光学像は電気信号に変換されて撮像出力とな
る。一方パルス発生回路５からのパルスの他の一部はバ
イモルフ駆動回路７にてバイモルフ振動子駆動パルスと
なり、バイモルフ振動子４を微小変位させる。ＣＣＤ撮
像素子３はバイモルフ振動子４に固定されているので、
これによりＣＣＤ撮像素子３も微小変位することにな
る。

【００１３】ここでまずバイモルフ振動子４の構成をよ
り詳しく説明する。従来技術において、微小変位を与え
るための装置としてバイモルフ振動子を用いることは周
知である（例えば特公平２−４５３９７）。図２はその
一例であるが、同図（ａ）は斜視図であり、ＣＣＤ撮像
素子２１はバイモルフ振動子２３，２４，２５，２６の
４つの面に各々接着剤等で取付けられている。またバイ
モルフ振動子２３，２４，２５，２６は固定端として基
台２２に接着剤等で固定されている。同図（ｂ），
（ｃ）はそれぞれ同図（ａ）の側面図と上面図である。

【００１４】バイモルフ振動子２３，２４，２５，２６
はそれぞれ、それに加える電界の印加方向によってその
変位方向が変わる。同図（ｃ）でＣＣＤ撮像素子２１を
図中の左右方向に移動するためには、バイモルフ振動子
２３，２４を左右方向に偏向するように電界を印加すれ
ばよい。同図で電源の表記は省略している。また同様に
同図（ｃ）でＣＣＤ撮像素子２１を図中の上下方向に移
動するためには、バイモルフ振動子２５，２６を上下方
向に偏向するように電界を印加すればよい。さらに同図
（ｃ）でＣＣＤ撮像素子２１を図中の斜め方向に移動さ
せるためには次のようにすればよい。例えば同図（ｃ）
でバイモルフ振動子２３，２４を右方向に偏向させ、バ
イモルフ振動子２５，２６を上方向に偏向させると、バ
イモルフ振動子２３，２４による偏向方向と、バイモル
フ振動子２５，２６による偏向方向とのベクトル和の方
向、すなわち図中斜め右上方向に偏向することになる。
したがってバイモルフ振動子２３，２４とバイモルフ振
動子２５，２６に与える電界の方向と電界の強さを適当
に選択することにより、２次元的に自由に偏向させるこ
とができるのである。

【００１５】次に上記バイモルフ振動子４の具体的変位
方向と変位量及び変位に伴なって行なわなければならな
い図１の信号処理についてより詳しく説明する。図１の
ＣＣＤ撮像素子３，２１の出力信号はプリアンプ８を
経、その後アナログ−ディジタルＡ／Ｄ変換器９にてデ
ィジタルデータに変換され、メモリ１０に書込まれる。
その出力信号はズーム処理回路１１に入力され、ズーム
処理が施される。ズーム処理の仕方は、後述するメモリ
１０、ズーム処理回路１１はともにパルス発生回路５か
らのパルスにより制御されている。ＣＣＤ撮像素子２１
の具体的変位方向及び変位量の一例とメモリ１０への書
込み方法の一例を図３及び図４に示す。図３（ａ）は第
１フレームにて得られるＣＣＤ撮像素子２１の各画素の
位置とメモリ１０上での書込み位置を示している。各画
素の信号量をａ₁₁、ａ₁₂、…で示している。図からわか
るようにメモリ１０上での書込み位置としては、ＣＣＤ
撮像素子２１上では隣接している画素を、水平及び垂直
方向ともに５画素おきに書込んでいる。次に第２フレー
ムでは同図（ｂ）のように、ＣＣＤ撮像素子２１の位置
を水平方向の１／５画素分だけ右に移動する。この位置
で得られる信号量をｂ₁₁、ｂ₁₂、…とすると、メモリ１
０上ではａ₁₁、ａ₁₂、…の右隣に、やはり水平及び垂直
方向ともに５画素おきに書込む。同様に図４（ｅ）に示
される第５フレームまではＣＣＤ撮像素子２１の位置を
水平方向の右向きに１／５画素ずつ順に移動させてい
き、それぞれの位置で得られる信号量データｃ₁₁、
ｃ₁₂、…、及びｄ₁₁、ｄ₁₂、…、及びｅ₁₁、ｅ₁₂、…
を、上記と同様にメモリ１０上の右隣りに順に書込む。
次ぎに第６フレームでは図４（ｆ）に示すように、ＣＣ
Ｄ撮像素子２１の位置を垂直方向の１／５画素分だけ下
に移動する。この位置で得られる信号量をｆ₁₁、ｆ₁₂、
…とすると、メモリ１０上ではａ₁₁、ａ₁₂、…の下隣り
に、やはり水平及び垂直方向ともに５画素おきに書込
む。次に第７フレームでは図４（ｇ）に示すように、Ｃ
ＣＤ撮像素子２１の位置を水平方向の１／５画素分だけ
右に移動する変位と、垂直方向の１／５画素分だけ下に
移動する変位とのベクトル和の変位となるように移動す
る。この位置で得られる信号量をｇ₁₁、ｇ₁₂、…とする
と、メモリ１０上ではｂ₁₁、ｂ₁₂、…の下隣りに、やは
り水平及び垂直方向ともに５画素おきに書込む。同様な
ＣＣＤ撮像素子の移動を水平または垂直方向のそれぞれ
の１／５画素ピッチずつ順に増減して行なう。そしてメ
モリ１０への書き込み位置の相対関係と、それぞれの各
画素の位置でのフォトダイオードの光学的重心の相対関
係とが合致するように、メモリ１０上に画素データを書
き込む。そして第２５フレームでは図４（ｙ）に示すよ
うに、ＣＣＤ撮像素子２１の位置を水平方向の４／５画
素分だけ右に移動する変位と、垂直方向の４／５画素だ
け下に移動する変位とのベクトル和の変位となるように
移動する。この位置で得られる信号量をｙ₁₁、ｙ₁₂、…
とすると、メモリ上ではそれぞれａ₁₁、ａ₁₂、…の位置
を基準にして水平方向に４画素分右に、垂直方向に４画
素分下に、やはり水平及び垂直方向ともに５画素おきに
書込むのである。以上２５フレーム分のデータがメモリ
１０に書込まれることになる。

【００１６】このようにして得られたデータはズーム処
理回路１１にて処理が施される。すなわちメモリからの
データ読出し制御に関して、例えば、（数３）

【数３】 のように読み出せば通常モードの画像が、（数４）

【数４】 のように読み出せば５倍ズームの画像が得られる。なお
上記の読出し制御は画像の１フレーム分を対象にして説
明しているので、通常のインターレースを行なう表示装
置に出力する場合には、上記のデータを１ラインおきに
インターレース動作に合致するように出力する必要があ
る。

【００１７】上記のようにして得られたズーム処理され
た画像データは、図１に示す如くプロセス回路１２にて
ガンマ補正等の非線形処理が施された後、ディジタル−
アナログＤ／Ａ変換器１３にてアナログ信号に変換され
出力端子１４より出力される。

【００１８】以上述べたようにこの実施例では、固体撮
像素子の受光部の一部または全部の領域から得られる画
像情報に対して電子的に拡大操作を施した後出力する、
いわゆる電子ズーム機能を有する固体撮像装置におい
て、固体撮像素子とそれに入射される光学像との相対的
位置関係を、水平方向に１／ｈ（ｈ：正の整数）画素ピ
ッチの単位で、もしくは垂直方向に１／ｖ（ｖ：正の整
数）画素ピッチの単位で、もしくは斜め方向に１／ｄ
（ｄ：正の整数）画素ピッチの単位で、ｉ（ｉ：正の整
数）フレームまたはフィールドごとに変化させることの
できる手段と、上記各空間的位置における画像情報を記
憶する記憶手段とを具備し、電子ズーム時に用する補間
データとして上記記憶手段に記憶された画像情報を利用
している。

【００１９】これらの画素情報は、固体撮像素子例えば
ＣＣＤ撮像素子の各画素のフォトダイオードがある有限
の面積を有しているため、いわゆる光学的アパーチャ効
果のために固体撮像装置の解像度向上にはあまり寄与で
きない。しかし光学的サンプリング重心は上記のように
少しずつずれているので、電子ズーム処理時の補間デー
タとして用いることにより、従来の固体撮像装置で発生
していた拡大画像の歪みを大幅に低減することができ
る。また従来の固体撮像装置では実用に耐え得なかった
ような高倍率の電子ズームの場合でも、拡大画像の歪み
による画質劣化を低減することができる。

【００２０】なお先の説明では、１倍ズームの場合も５
倍ズームの場合もメモリ１０上のデータをそのまま使う
として述べたが、これに限るものではなく、ズーム比に
よってはメモリ上のデータをズーム処理回路において相
互に演算しその結果を用いてもよい。例えば２．５倍ズ
ームの場合は、図４（ｙ）のメモリ上に書込まれたデー
タより、（数５）

【数５】 のように元の隣接４データを加算平均して読出せばよ
い。

【００２１】また先の説明では、ＣＣＤ撮像素子の変位
パタンは水平、垂直、斜め方向ともに１／５画素ピッチ
ずつの計２５フレームが繰返しの単位となっているが、
これに限るものではなく、他の繰返し形式でもよい。ま
た当然のことながらメモリ上への書込みの位置は上記説
明に限るものではない。

【００２２】また先の説明では、ＣＣＤ撮像素子とそれ
に入射される光学像との相対的位置関係を変化させる手
段として、バイモルフ振動子を用いてＣＣＤ撮像素子を
微小変位させるとして説明したが、これに限るものでは
なく、例えば光路中のレンズを微小回転させることなど
の手段により、ＣＣＤ撮像素子の位置は固定で、光学像
のほうを微小変位させるとしてもよい。

【００２３】

【発明の効果】以上説明したようにこの発明によれば、
固体撮像素子とそれに入射される光学像との相対的位置
関係を、水平方向に１／ｈ（ｈ：正の整数）画素ピッチ
の単位で、もしくは垂直方向に１／ｖ（ｖ：正の整数）
画素ピッチの単位で、もしくは斜め方向に１／ｄ（ｄ：
正の整数）画素ピッチの単位で、ｉ（ｉ：正の整数）フ
レームまたはフィールドごとに変化させることのできる
手段と、上記各空間的位置における固体撮像素子からの
画像情報を記憶する記憶手段とを具備し、電子ズーム時
に用いる補間データとして上記記憶手段に記憶された画
像情報、もしくはそれら画像情報を演算した結果を利用
している。

【００２４】これらの画素情報は、固体撮像素子例えば
ＣＣＤ撮像素子の各画素のフォトダイオードがある有限
の面積を有しているため、いわゆる光学的アパーチャ効
果のために固体撮像装置の解像度向上にはあまり寄与で
きない。しかし光学的サンプリング重心は上記のように
少しずつずれているので、電子ズーム処理時の補間デー
タとして用いることにより、従来の固体撮像装置で発生
していた拡大画像の歪みを大幅に低減することができ
る。また従来の固体撮像装置では実用に耐え得なかった
ような高倍率の電子ズームの場合でも、拡大画像の歪み
による画質劣化を低減することができる。

【図面の簡単な説明】

【図１】本発明の固体撮像装置の構成を示す図である。

【図２】本発明の固体撮像装置に用いるバイモルフ振動
子の概略構成図である。

【図３】本発明における固体撮像装置の微小移動の方向
と、微小移動後の各位置において得られる各画素情報を
メモリに格納する様子を説明するための図である。

【図４】図３に引き続き、本発明における固体撮像装置
の微小移動の方向と、微小移動後の各位置において得ら
れる各画素情報をメモリに格納する様子を説明するため
の図である。

【図５】従来の固体撮像装置の通常モードで得られる画
素情報を示す図である。

【図６】従来の固体撮像装置における電子ズーム機能を
説明するための図である。

【符号の説明】

１…撮像レンズ、２…光学的フィルタ、３，２１…ＣＣ
Ｄ撮像素子、４，２３，２４，２５，２６…バイモルフ
振動子、５…パルス発生回路、６…ＣＣＤ駆動回路、７
…バイモルフ駆動回路、８…プリアンプ、９…アナログ
−ディジタルＡ／Ｄ変換器、１０…メモリ、１１…ズー
ム処理回路、１２…プロセス回路、１３…ディジタル−
アナログＤ／Ａ変換器、２２…基台。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 固体撮像素子の受光部の一部または全部
   の領域から得られる画像情報に対して電子的に拡大操作
   を施した後に出力する固体撮像装置において、 固体撮像素子と、 この固体撮像素子を、水平方向に１／ｈ（ｈ：正の整
   数）画素ピッチの単位で、または垂直方向に１／ｖ
   （ｖ：正の整数）画素ピッチの単位で、または斜め方向
   に１／ｄ（ｄ：正の整数）画素ピッチの単位で、ｉ
   （ｉ：正の整数）フレームまたはフィールドごとに移動
   させる駆動手段と、 上記各空間的位置における前記固体撮像素子からの画像
   情報を記憶する記憶手段とを具備し、 前述の電子的拡大操作時に用いる補間データとして前記
   記憶手段に記憶された前記画像情報、または前記画像情
   報を演算した結果を利用することを特徴とする固体撮像
   装置。
2. 【請求項２】 固体撮像素子の受光部の一部または全部
   の領域から得られる画像情報に対して電子的に拡大操作
   を施した後に出力する固体撮像装置において、 固体撮像素子と、 この固体撮像素子に入射される光学像を、前記固体撮像
   素子に対して、水平方向に１／ｈ（ｈ：正の整数）画素
   ピッチの単位で、または垂直方向に１／ｖ（ｖ：正の整
   数）画素ピッチの単位で、または斜め方向に１／ｄ
   （ｄ：正の整数）画素ピッチの単位で、ｉ（ｉ：正の整
   数）フレームまたはフィールドごとに移動させる制御手
   段と、 上記各空間的位置における前記固体撮像素子からの画像
   情報を記憶する記憶手段とを具備し、 前述の電子的拡大操作的に用いる補間データとして前記
   記憶手段に記憶された前記画像情報、または前記画像情
   報を演算した結果を利用することを特徴とする固体撮像
   装置。