JP3108702B2 - 撮像装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２つの固体撮像素子を
備えた撮像装置に関する。

【０００２】

【従来の技術】固体撮像素子（ＣＣＤ）を備えた撮像装
置では、外部からの入射光をＣＣＤ上にて結像させ光電
変換することによって撮像が行われる。このような撮像
装置として従来、２つのＣＣＤ上に同一の画像を結像さ
せ、各画像の画素をずらすことによって高解像度の画像
を得るように構成されたものが知られている。

【０００３】

【発明が解決しようとする課題】このような撮像装置を
用い、輝度レベルの高い、例えば点光源のような部分を
画面中に含む状態で撮像すると、光源に対応するＣＣＤ
の受光素子の部分で過剰な電荷が生じ、スミアが発生す
るという問題点があった。

【０００４】本発明は、このような従来の問題点に鑑
み、スミアを除去し得る撮像装置を提供することを目的
としてなされたものである。

【０００５】

【課題を解決するための手段】本発明にかかる撮像装置
は、結像された画像に応じた信号電荷を発生させると共
に、この信号電荷を垂直転送した後に外部に画素データ
として転送する第１および第２撮像素子と、これら第１
および第２撮像素子に同一の被写体像を結像させる光学
系と、第１および第２撮像素子からそれぞれ得られる被
写体像に対応した画素データに基づいて、双方の画素デ
ータのスミアの生じた部分をそれぞれ検出するスミア検
出手段と、第１および第２撮像素子から得られた画素デ
ータについて、一方のスミアが生じた部分の画素データ
を他方の対応する部分の画素データに置換えることによ
りスミアを除去するスミア除去手段とを備え、第１、第
２撮像素子および光学系は、第１、第２撮像素子および
光学系は、第１および第２撮像素子のそれぞれの被写体
像に対する相対的な垂直転送方向が互いに反対方向とな
るように、構成されることを特徴としている。具体的に
は、光学系が第１および第２撮像素子の一方に被写体の
正立像を結像させて他方に被写体の倒立像を結像させる
一方、第1および第２撮像素子は双方の垂直転送方向が
同一方向となるように構成されることが好ましい。

【０００６】

【実施例】以下図示実施例により本発明を説明する。図
１は本発明の第１実施例に係る撮像装置を示すものであ
る。

【０００７】同じ被写体によって得られた画像は、光学
系１０によって第１および第２のＣＣＤ１１、１２に導
かれ、このＣＣＤ１１、１２上に結像される。ＣＣＤ１
１、１２は、ＣＣＤ駆動ブロック１３から供給される駆
動信号によって制御され、結像された画像に対応した撮
像信号を出力する。第１のＣＣＤ１１によって得られる
撮像信号は、相関二重サンプリング回路（ＣＤＳ）１４
に供給され、リセット雑音が低減される。そして撮像信
号は、アンプ１５を経てＡＤ変換回路１６に入力され、
デジタル信号に変換される。同様に、第２のＣＣＤ１２
によって得られる撮像信号は、ＣＤＳ１７においてリセ
ット雑音を低減され、アンプ１８を経てＡＤ変換回路１
９に入力されてデジタル信号に変換される。

【０００８】ＡＤ変換回路１６、１９から出力されたデ
ジタル撮像信号は、プリプロセス回路２０に入力され、
γ補正等の所定の処理を施される。プリプロセス回路２
０から出力された撮像信号のうち第１のＣＣＤ１１に対
応した撮像信号は、第１のスイッチ回路２１を介して第
１のメモリ２２に格納される。また第２のＣＣＤ１２に
対応した撮像信号は、第２のスイッチ回路２３を介して
第２のメモリ２４に格納される。後述するように、スミ
アの除去動作において、一方のメモリ２２または２４に
格納された撮像信号のスミアの部分は、スイッチ回路２
１、２３を介して他方のメモリ２４または２２の撮像信
号に置き換えられる。撮像信号が書き込まれるメモリ２
２、２４のアドレス、および読み出されるメモリ２２、
２４のアドレスは、アドレス発生回路２５によって制御
される。

【０００９】メモリ２２、２４に格納された撮像信号
は、それぞれデジタルフィルタ２６、２７によって色成
分を除去され、したがって輝度成分のみがスミア検出部
２８に入力される。後述するように、第１および第２の
ＣＣＤ１１、１２によって得られた撮像信号に含まれる
スミアは、スミア検出部２８によって検出される。この
検出結果に基づいて、アドレス発生回路２５およびスイ
ッチ２１、２３が切り換え制御され、スミアが除去され
る。

【００１０】第１および第２のメモリ２２、２４に格納
された撮像信号は、スミアの除去動作後、デジタル信号
処理回路（ＤＳＰ）３１に入力されて、輝度信号（Ｙ）
と色差信号（Ｂ−Ｙ，Ｒ−Ｙ）に変換される。この輝度
信号（Ｙ）と色差信号（Ｂ−Ｙ，Ｒ−Ｙ）は、エンコー
ダ３２においてコンポジットビデオ信号に変換され、Ｄ
Ａ変換回路３３によってアナログ信号に変換される。こ
のアナログ信号は、ドライバ３４を介してモニタ３５に
入力され、これによりモニタ３５上に、画像が表示され
る。

【００１１】上述した各回路は、マイクロコンピュータ
から成るＭＰＵ３９によって制御される。

【００１２】図２は、ＣＣＤ１１、１２の構成を示すも
のである。フォトダイオード４１は各画素に対応して設
けられており、フォトダイオード４１が配設された範囲
内に受光部４８が形成される。フォトダイオード４１で
は入射光量に応じて信号電荷が形成され、出力される。
垂直転送ＣＣＤ４２は、フォトダイオード４１に隣接し
て垂直方向に沿って設けられており、フォトダイオード
４１において生成された電荷を水平転送ＣＣＤ４３ある
いはドレイン部４４に転送する。水平転送ＣＣＤ４３に
は電荷検出容量（ＦＤＡ：フローティングディフュージ
ョンアンプ）４５が接続されており、このＦＤＡ４５は
水平転送ＣＣＤ４３によって転送されてきた電荷を電圧
に変換し、外部に出力する。ドレイン部４４は、垂直転
送ＣＣＤ４２に残留する不要電荷を高速で排出するため
に設けられている。

【００１３】ＣＣＤ１１、１２は、ＣＣＤ駆動ブロック
１３から出力される駆動信号によって制御される。すな
わち、垂直転送ＣＣＤ４２では、端子４６ａ〜４６ｄを
介して供給される４相の駆動信号Ｖ１〜Ｖ４によって垂
直方向の電荷の転送が行われる。水平転送ＣＣＤ４３で
は、端子４７ａ、４７ｂを介して供給される駆動信号Ｈ
１、Ｈ２によって水平方向の電荷の転送が行われる。こ
の結果、信号電荷の転送、信号電荷の蓄積時間、いわゆ
る電子シャッタ速度の決定、スミア電荷の吐き出し等の
各種制御が行われる。

【００１４】図３および図４は、それぞれ第１および第
２のＣＣＤ１１、１２上に結像される画像の一例を示す
ものである。この画像では、カップＣ１、Ｃ２の上方に
ライト等の点光源Ａ１、Ａ２が位置している。また、こ
れらの図に示された数字は画素データの番号であり、本
実施例では、説明の簡単のため、ＣＣＤ１１、１２にお
ける受光部の画素数はそれぞれ１０００であると仮定し
ている。

【００１５】水平転送ＣＣＤ４３を下側として見た場
合、第１のＣＣＤ１１上に結像される画像は、図３に示
されるように倒立像であり、第２のＣＣＤ１２上に結像
される画像は、図４に示されるように正立像である。ま
た、ＣＣＤ１１、１２上の画像において、被写体である
カップＣ１、Ｃ２と点光源Ａ１、Ａ２の相対的な位置関
係は同一である。

【００１６】第１および第２のＣＣＤ１１、１２におい
て、フォトダイオード４１（図２）によって検出された
撮像信号の読出しは、まず垂直転送ＣＣＤ４２（図２）
に沿って行われる。したがって、垂直転送時に点光源Ａ
１、Ａ２の結像部周辺を通過する、点光源Ａ１、Ａ２の
像の水平転送ＣＣＤ４３とは反対側には、点光源Ａ１、
Ａ２の像周辺に発生よる余剰電荷によって、帯状に延び
るスミアＳ１、Ｓ２がそれぞれ発生する。すなわち第１
のＣＣＤ１１上の画像におけるスミアＳ１は、カップＣ
１の側部を通ってカップの下方に、また第２のＣＣＤ１
２上の画像におけるスミアＳ２は、カップＣ２の上方に
延びており、各画像において、スミアＳ１、Ｓ２が発生
する部位が相対的に異なっている。

【００１７】垂直転送ＣＣＤ４２を介して水平転送ＣＣ
Ｄ４３に転送された電荷は、水平転送ＣＣＤ４３におい
てＦＤＡ４５側に転送される。したがって、ＣＣＤ１
１、１２に結像された画像の画素データは、図３および
図４に示された数字の順番に、ＣＣＤ１１、１２から読
み出され、所定の処理を施されて第１および第２のメモ
リ２２、２４に格納される。すなわち画素データは、水
平転送ＣＣＤ４３に近いものから１列（図中水平方向に
延びる列）ずつ読み出され、また１つの列においてはＦ
ＤＡ４５に近いものから読み出されて、この順にメモリ
２２、２４に格納される。

【００１８】前述したように、メモリ２２、２４に格納
された画素データからは、デジタルフィルタ２６、２７
によって輝度成分のみが取り出され、スミア検出回路２
８では、輝度成分に基づいてスミアの発生している画素
が検出される。そしてＭＰＵ３８の制御により、スミア
検出回路２８の検出結果に基づいて、メモリ２２、２４
におけるスミアが発生している画素データが、スミアが
発生していない画素データにより置き換えられる。

【００１９】次に、図５〜図７のフローチャートと図３
および図４の画像とを参照して、スミアＳ１、Ｓ２の除
去動作を説明する。図５および図６のフローチャート
は、スミア検出回路２８により実行されるプログラムを
示し、図７のフローチャートは、ＭＰＵ３８により実行
されるプログラムを示す。まずスミア検出回路２８の作
用を説明する。

【００２０】ステップ１０１では、第１および第２のメ
モリ２２、２４から、相互に対応する画素データが１つ
ずつ読み出される。図３と図４を対比することにより理
解されるように、第１のメモリ２２に格納された画素
は、第２のメモリ２４の画像において、画像の中心に関
して点対称の位置にある画素に対応している。つまり、
例えば第１のメモリ２２の画像（図３の画像）の右上の
画素は、第２のメモリ２４の画像（図４の画像）の左下
の画素に対応する。すなわち、第１のメモリ２２に格納
された画素データの番号をＮ１、第２のメモリ２４に格
納された画素データ２４の番号をＮ２とすると、 Ｎ２＝１００１−Ｎ１ ・・・（１） の関係が成立する。

【００２１】さてステップ１０１では、まず、第１のメ
モリ２２からは最も小さい番号の画素データが読み出さ
れ、第２のメモリ２４からは最も大きい番号の画素デー
タが読み出される。そして、これらの画素データ（輝度
成分）の差が求められる。ステップ１０２では、この差
の絶対値が所定のレベル以上であるか否かが判断され
る。スミアが発生していない場合、第１および第２のメ
モリ２２、２４から読み出された画素データは、実質的
に同じである。したがって、画素データの差は所定のレ
ベルよりも小さく、この場合、ステップ１０３へ進み、
全画素について差の検出が終了したか否かが判定され
る。まだ終了していない場合、ステップ１０１へ戻る。
次にステップ１０１では、第１のメモリ２２について
は、前回よりも１つだけ大きい番号の画素データが読み
出され、第２のメモリ２４については、前回よりも１つ
だは小さい番号の画素データが読み出される。そして、
上述したのと同様に、２つの画素データの差が求めら
れ、ステップ１０２において所定レベルと比較される。

【００２２】ステップ１０２において２つの画素データ
の差が所定のレベル以上であると判断された場合、ステ
ップ１０４へ進む。ステップ１０４では、ステップ１０
２において比較した画素データの隣の画素データについ
て、同様な処理が行われる。すなわち、第１のメモリ２
２については、ステップ１０２よりも１つだけ大きい番
号の画素データが読み出され、第２のメモリ２４につい
ては、ステップ１０２よりも１つだけ小さい番号の画素
データが読み出される。そして、これらの画素データの
差が求められる。

【００２３】ステップ１０５では、ステップ１０４で求
められた差の絶対値が所定のレベル以上であるか否かが
判断される。ステップ１０２において、第１および第２
のメモリ２２、２４から読み出された画素データの差の
絶対値が所定のレベル以上であったとしても、ステップ
１０５において、これらの画素データの次の画素データ
については差の絶対値が小さいと判断される場合があ
る。このような場合は、スミアが発生しているとは判断
されず、ステップ１０１へ戻る。

【００２４】これに対し、ステップ１０５において２つ
の画素データの差の絶対値が所定のレベル以上であると
判断された場合、第１および第２のメモリ２２、２４に
格納されている２つの画像の一方にスミアが存在してい
ると見做される。この場合ステップ１０６へ進み、ＭＰ
Ｕ３９に対して、画像におけるスミアの始まり位置を示
す信号と、差の正負を示す信号（すなわち第１および第
２のメモリ２２、２４のいずれの画像にスミアが存在し
ているかを示す信号）とが出力される。

【００２５】例えば、第１のメモリ２２の画像の水平走
査線Ｂ１と第２のメモリ２４の画像の水平走査線Ｂ２と
が比較される場合を考える。ステップ１０１において、
水平走査線Ｂ１の６５５番目の画素データと水平走査線
Ｂ２の３４６番目の画素データとの差が求められた時、
水平走査線Ｂ１においてスミアが発生しているため、ス
テップ１０２からステップ１０４へ進む。そしてステッ
プ１０４では、水平走査線Ｂ１の６５６番目の画素デー
タと水平走査線Ｂ２の３４５番目の画素データとの差が
求められ、ステップ１０５において、この差が所定のレ
ベル以上であると判断される。したがってステップ１０
６において、スミアの始まり位置が第１のメモリ２２の
画像の６５５番目の画素データであることが認識され
る。

【００２６】次いでステップ１０７では、ステップ１０
４において比較した画素データの隣の画素データについ
て、差が求められる。すなわち、第１のメモリ２２につ
いては、ステップ１０４よりも１つだけ大きい番号の画
素データが読み出され、第２のメモリ２４については、
ステップ１０４よりも１つだけ小さい番号の画素データ
が読み出され、これらの画素データの差が求められる。
ステップ１０８では、この差の絶対値が所定のレベル以
上であるか否かが判断される。差が所定のレベル以上で
ある場合、すなわち第１および第２のメモリ２２、２４
の画像の一方にスミアが存在している場合、ステップ１
０８からステップ１０７へ戻り、第１のメモリ２２につ
いては、前回よりも１つだけ大きい番号の画素データが
読み出され、第２のメモリ２４については、前回よりも
１つだけ小さい番号の画素データが読み出され、これら
の画素データの差が求められる。そして再びステップ１
０８が実行される。

【００２７】このように、スミアが存在している限り、
ステップ１０７、１０８が繰り返し実行される。そし
て、ステップ１０８において差の絶対値が所定のレベル
以上でないと判断された場合、ステップ１０９が実行さ
れ、ＭＰＵ３９に対して、画像におけるスミアの終わり
位置を示す信号が出力される。次いで、ステップ１０１
へ戻り、上述したのと同様な動作が繰り返され、スミア
の始まりと終わりの位置が検出されてＭＰＵ３９に出力
される。

【００２８】このスミアの終わり位置の検出を、第１の
メモリ２２の画像の水平走査線Ｂ１と第２のメモリ２４
の画像の水平走査線Ｂ２とが比較される場合を例にとっ
て説明する。ステップ１０７において、水平走査線Ｂ１
の６６６番目の画素データと水平走査線Ｂ２の３３５番
目の画素データとの差が求められた時、水平走査線Ｂ１
にはスミアが存在していないため、この差は所定のレベ
ルよりも小さくなり、ステップ１０８からステップ１０
９へ進む。そしてステップ１０９では、スミアの終わり
位置が水平走査線Ｂ１の６６５番目の画素データである
ことが認識される。

【００２９】このようにしてスミア検出回路２８におい
て、各画像の各水平走査線におけるスミアの始まりと終
わりの位置とが検出されると、ＭＰＵ３８では、図７に
示されるフローチャートに従ってスミアの除去が行われ
る。

【００３０】まずステップ２０１では、第１のスイッチ
回路２１が切り換え制御される。このスイッチ回路２１
では、プリプロセス回路２０から出力された撮像信号を
第１のメモリ２２に格納する時、端子ａと端子ｃとが接
続されているが、ステップ２０１の実行により、端子ｃ
と端子ｄとが接続される。これにより第２のメモリ２４
に格納された画素データを第１のメモリ２２に複写する
ことが可能となる。

【００３１】ステップ２０２では、第１のメモリ２２の
画像においてスミアが発生していると判断された画素デ
ータのアドレスが読み出され、このアドレスに対応した
第２のメモリ２４の画素データのアドレスが求められ
る。この対応アドレスの計算は、上記（１）式に従って
行われる。そして、第２のメモリ２４について、指定さ
れたアドレスの画素データ、すなわちスミアが発生して
いない画素データが読み出される。この画素データは、
ステップ２０３において、第１のメモリ２２の対応アド
レス、すなわちスミアが発生している画素データのアド
レスに書き込まれる。

【００３２】このようにして第１のメモリ２２の画像に
関し、スミアが発生している画素データについては、第
２のメモリ２４の画像の対応する画素データにより置き
換えられる。これを図３および図４の例について説明す
ると、第１のメモリ２２の画像のスミアＳ１は、第２の
メモリ２４の画像の対応部分Ｅ２によって置き換えられ
る。

【００３３】ステップ２０４では、第１のメモリ２２の
画像について、スミアのある全ての画素データが、第２
のメモリ２４の画素データによって置き換えられたか否
かが判定される。この置き換えがまだ終了していない場
合、ステップ２０２へ戻り、上述した動作が繰り返され
るが、終了している場合、ステップ２０５以下が実行さ
れ、第２のメモリ２４の画像についてのスミアの除去動
作が行われる。

【００３４】ステップ２０５では、第２のスイッチ回路
２３が切り換え制御される。このスイッチ回路２３で
は、プリプロセス回路２０から出力された撮像信号を第
２のメモリ２４に格納する時、端子ｅと端子ｇとが接続
されているが、ステップ２０５の実行により、端子ｈと
端子ｇとが接続され、第１のメモリ２２に格納された画
素データを第２のメモリ２４に複写することが可能とな
る。

【００３５】次いでステップ２０６では、第２のメモリ
２４の画像においてスミアが発生していると判断された
画素データのアドレスが読み出され、このアドレスに対
応した第１のメモリ２２の画素データのアドレスが上記
（１）式に従って求められる。そして第１のメモリ２２
について、指定されたアドレスの画素データが読み出さ
れる。この画素データは、ステップ２０７において、第
２のメモリ２４の対応アドレス、すなわちスミアが発生
している画素データのアドレスに書き込まれる。

【００３６】このようにして第２のメモリ２４の画像に
関し、スミアが発生している画素データについては、第
１のメモリ２２の画像の対応する画素データにより置き
換えられる。すなわち、図３および図４の例では、第２
のメモリ２４の画像のスミアＳ２は、第１のメモリ２２
の画像の対応部分Ｅ１によって置き換えられる。

【００３７】ステップ２０８では、第２のメモリ２４の
画像について、スミアのある全ての画素データが、第１
のメモリ２２の画素データによって置き換えられたか否
かが判定される。この置き換えがまだ終了していない場
合、ステップ２０６へ戻り、上述した動作が繰り返され
る。全てのスミア除去が終了している場合、このプログ
ラムは終了する。

【００３８】以上のような処理により、第１および第２
のＣＣＤ１１、１２から出力された撮像信号に含まれる
スミアが除去され、これにより、図８に示されようにカ
ップＣと点光源Ａから成る画像がモニタ３５（図１）上
に表示されることとなる。

【００３９】図９および図１０は第２実施例を示すもの
である。図９には第１のＣＣＤ１１上に結像される画像
が示され、図１０には第２のＣＣＤ１２上に結像される
画像が示されている。また、第１実施例と同一または対
応部分には、同一の符号が付されている。

【００４０】第２実施例では、光学系１０に付加されて
いるハーフミラーにより、第１のＣＣＤ１１上には第１
の実施例と同様な画像が結像されるが、第２のＣＣＤ１
２上には、第１の実施例における画像の鏡像が結像され
る。すなわち、第２のＣＣＤ１２上の画像は、第１のＣ
ＣＤ１１上の画像に比して左右方向が反転している。そ
の他の構成および作用は、第１実施例と同様である。

【００４１】また上記各実施例では、ＣＣＤ１１、１２
として、インターライントランスファー方式のＣＣＤが
採用されているが、受光部が垂直転送ＣＣＤを兼ねてい
るフレームトランスファー方式、あるいはインターライ
ントランスファー方式とフレームトランスファー方式双
方の構成を備えているフレームインターライントランス
ファー方式のＣＣＤも同様に適用可能である。

【００４２】

【発明の効果】以上のように本発明によれば、スミアを
除去することにより、画像のつぶれを防止することがで
き、良好な画質を得ることができるという効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の第１実施例に係る撮像装置のブロック
図である。

【図２】ＣＣＤの構成を示す図である。

【図３】第１のＣＣＤ上に結像される画像を示す図であ
る。

【図４】第２のＣＣＤ上に結像される画像を示す図であ
る。

【図５】スミア検出回路における処理を示すフローチャ
ートである。

【図６】スミア検出回路における処理を示すフローチャ
ートである。

【図７】ＭＰＵにおける処理を示すフローチャートであ
る。

【図８】スミアが除去された画像を示す図である。

【図９】第２実施例における第１のＣＣＤ上に結像され
る画像を示す図である。

【図１０】第２実施例における第２のＣＣＤ上に結像さ
れる画像を示す図である。

【符号の説明】

１１、１２ ＣＣＤ ４１ フォトダイオード ４２ 垂直転送ＣＣＤ

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 結像された画像に応じた信号電荷を発生
   させると共に、この信号電荷を垂直転送した後に外部に
   画素データとして転送する第１および第２撮像素子と、 これら第１および第２撮像素子に同一の被写体像を結像
   させる光学系と、 前記第１および第２撮像素子からそれぞれ得られる前記
   被写体像に対応した画素データに基づいて、双方の画素
   データのスミアの生じた部分をそれぞれ検出するスミア
   検出手段と、 前記第１および第２撮像素子から得られた画素データに
   ついて、一方のスミアが生じた部分の画素データを他方
   の対応する部分の画素データに置換えることによりスミ
   アを除去するスミア除去手段と を備え、 前記第１、第２撮像素子および前記光学系は、前記第１
   および第２撮像素子のそれぞれの前記被写体像に対する
   相対的な垂直転送方向が互いに反対方向となるように、
   構成されることを特徴とする撮像装置。
2. 【請求項２】 前記光学系は、前記第１および第２撮像
   素子の一方に被写体の正立像を結像させ、他方に前記被
   写体の倒立像を結像させる一方、前記第1および第２撮
   像素子は、双方の垂直転送方向が同一方向となるように
   構成されることを特徴とする請求項１に記載の撮像装
   置。