JP3361077B2 - 固体撮像装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は複数の固体撮像素
子をそれぞれ異なる位置に配置して、被写体からの光学
情報を撮像し、得られた複数の画像を統合することによ
り、統合後の画像が各固体撮像素子め画素数で決まる眼
界解像度情報よりも高い解像度情報を得たり、もしくは
各固体撮像素子の光電変換性能のダイナミックレンジよ
りも広いダイナミックレンジ特性を得ることができるよ
うにした固体撮像装置に関する。

【０００２】

【従来の技術】ＣＣＤ撮像素子などの固体撮像素子を用
いた固体撮像装置は、小型、軽量、低消費電力で扱いや
すい、解像度の画面一様性が良い、などの理由により撮
像装置の主流となっている。

【０００３】これらの固体撮像装置の解像度特性は、基
本的には固体撮像素子の画素数により決まる。またこれ
らの固体撮像装置の光電変換性能に関するダイナミック
レンジ特性も固体撮像素子の特性により決まる。そこで
従来はこれらの性能をより向上させるために固体撮像装
置のシステム上の工夫により対応している。すなわち光
学プリズムの複数の光射出面に固体撮像素子を配し、各
固体撮像素子の相対的位置関係は、基準の位置となる固
体撮像素子の１画素中の感光部に他の固体撮像素子の1
画素中の無感光部が重なるようにする。たとえば基準位
置の固体撮像素子と他の固体撮像素子とを互いに半画素
分だけずらして配する。そして各固体撮像素子の撮像出
力信号を統合することにより高解像度化画像を得るもの
である。また複数の画像を統合する前に、複数の固体撮
像素子のうちの一部について、光蓄積時間を通常よりも
短く設定することにより広ダイナミックレンジ特性を得
ることができる。

【０００４】上記従来の技術では以下の問題点がある。

【０００５】すなわち複数の画像を統合した結果が1つ
の高解像度画像となるためには、基準位置の固体撮像素
子からの出力信号レベルとその位置に対して所定の量だ
けずれた位置にある固体撮像素子から得られる出力信号
レベルがほぼ等しくなる必要がある。ところが広ダイナ
ミックレンジ特性を得るために片方の光蓄積時間を短く
すると、通常の蓄積時間で動作している固体撮像素子の
出力と、通常よりも短い光蓄積時間で動作している固体
撮像素手の出力との信号レベル差が大きくなってしま
い、高解像度効果が劣化してしまうという問題があっ
た。

【０００６】

【発明が解決しようとする課題】上記したように従来の
いわゆる多板式の固体撮像装置においては、複数の固体
操像素子をそれぞれ異なる空間的位置に配置して被写体
からの光学情報を撮像し、得られた複数の面像を統合し
て新たな面像を得ている。

【０００７】このとき広ダイナミックレンジ特性を得る
ためには、一方の固体撮像素子の光蓄積時間を通常の光
蓄積時間よりも短くして動作させる。したがってこの場
合は通常よりも短い光蓄積時間で動作している固体撮像
素子の出力と通常の蓄積時間で動作している固体撮像素
子の出力との信号レベル差が大きくなってしまい、高解
像度効果が劣化してしまうという問題があった。

【０００８】そこでこの発明は多板式の固体撮像装置に
おいて、広ダイナミックレンジモードで動作させている
ときも、高解像度効果の劣化が軽減されて、画像中の輪
郭線が鮮鋭に再現され、かつ画像中の線要素が滑らかに
再現される固体撮像装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、撮像部と、撮
像部から得られた信号を処理する信号処理系統とを有
し、前記撮像部では複数の固体撮像素子をそれぞれ異な
る位置に配置して被写体からの光学情報を撮像し、前記
信号処理系統では、得られた複数の画像を統合して新た
な画像を得る固体撮像装置である。ここで、前記信号処
理系統は前記各固体撮像素子の出力信号に対して画素補
間処理を施す複数の画素補間処理回路と、該複数の画素
補間処理回路の出力信号を加算平均することにより前記
統合を行なう加算平均回路とを具備する。そして、前記
統合後の画像が各固体撮像素子の画素数で決まる限界解
像度情報よりも高い解像度情報を得ることができるよう
に装置を動作させる第1モードと、前記複数の固体撮像
素子の光感度特性を異ならしめ、そのときの各固体撮像
素子の出力信号を加算することにより、前記統合後の画
像が前記各固体撮像素子の光電変換性能のダイナミック
レンジよりも広いダイナミックレンジ特性を得ることが
できるように前記装置を動作させる第2モードと、を各
撮像素子から得られる撮像出力信号のレベルに応じて適
応的に切換えると共に、前記統合処理を行なうための撮
像画像中から線要素を検出する手段を具備し、前記線要
素が検出された場合は、その線要素を構成している画素
データを優先的に用いて前記補間処理を行なうようにし
たものである。

【００１０】即ち、上記の手段によると、撮像出力レベ
ルに応じて高解像度モードと広ダイナミックレンジモー
ドを適応的に切換え、また広ダイナミックレンジモード
で動作中は、被写体中の線要素を検出して画素保管処理
回路で使用する画素を切換えるようにすることで、広ダ
イナミックレンジモードで動作している場合でも高解像
度効果の劣化が軽減されて、画像中の輪郭線を鮮鋭に再
現し、かつ画像中の線要素を滑らかに再現することがで
きる。

【００１１】

【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照して説明する。

【００１２】図1は、本発明の一実施の形態を説明する
ためのブロック構成図である。被写体からの光像は撮像
レンズ１１を経由して光学プリズム１２に入射される。
光学プリズム１２は入射光を2分割し、その一方を光射
出面１２１に出力した後撮像素子１３に結像させる。光
学プリズム１２に入射され2分割された入射光の他方に
ついては光射出面１２２から出力され、撮像素子１４に
結像される。

【００１３】これらの撮像素子１３,１４はたとえば垂
直方向ｍ画素、水平方向ｎ画素の表示画素を有する。ま
た両撮像素子１３，１４の相対的位置関係は垂直、水平
方向共に1画素ピッチの半分だけずれている。そしてパ
ルス発生回路１９からのパルスが撮像素子駆動回路３０
に入力されて、そこから出力される撮像素子駆動用のパ
ルスが入力されることにより、これらの撮像素子１３，
１４は入射された光学像を電気信号に変換する。

【００１４】撮像素子１３,１４からの出力信号は、そ
れぞれプリアンプ（前置増幅器）１５，１６にて所定の
レベルに増幅された後、アナログ−ディジタル(以下Ａ
／Ｄと記す)変換器１７，１８にてディジタル信号に変
換される。そしてそれぞれの画像データは第１及び第２
の画素補間処理回路１９，２０内のメモリ２１、２３に
蓄えられた後、それぞれの補間制御回路２２，２４の制
御により画素補間動作が施される。この結果、画素補間
処理回路１９，２０の出力は垂直方向２ｍ画素、水平方
向２ｎ画素となり、撮像素子本来の画素数の４倍とな
る。

【００１５】上記第２の画素補間処理回路２０の出力
は、画素位置調整回路２５に入力され、両撮像素子の空
間的位置関係と対応するように、メモリ上の画素位置の
調整が施される。前記したように両撮像素子の相対的位
置関係は(ｍ×ｎ)画素として見ると、垂直、水平方向共
に１画素ピッチの半分だけずれているので、画素補間後
の(２ｍ×２ｎ)画素としてみると、画素位置の調整量は
垂直、水平方向共に１画素分ということになる。

【００１６】上述のようにして得られた画素補間処理回
路１９の出力信号と画素位置調整回路２５の出力信号
は、加算平均回路２６に入力され、加算平均による統合
化が行なわれる。その後、映像信号処理回路２７にて必
要に応じてガンマ補正処理などが施され、出力端子３１
からディジタルデータとして出力される。

【００１７】なお制御用演算処理装置(以下、制御用Ｃ
ＰＵと記す)２８は，パルス発生回路２９や補間制御回
路２２，２４などを制御している。たとえば制御用ＣＰ
Ｕ２８がＡ／Ｄ変換後のディジタル映像データを受け、
そのレベルを基にパルス発生回路２９を制御し、撮像素
子の片方を高速電子シャッタモードで駆動したり、補間
制御回路２２，２４を制御して画素補間処理に使用する
画素を選択したりする。

【００１８】次に上記画素補間方法について詳細に説明
する。

【００１９】Ａ／Ｄ変換器１７，１８の出力の一部は、
制御用ＣＰＵ２８に入力され、被写体からの光の過大入
力により撮像出力が所定の値を超えている画素があるか
無いかを判断する。撮像出力が所定の値を超えている画
素が無い場合は，通常撮像状態における高解像度モード
での画素補間処理を行なう。

【００２０】その一例を図２，図３を用いて説明する。
図２（ａ）、（ｃ）はそれぞれメモリ２１，２３に書き
込まれた撮像画素((ｍ×ｎ)画素)の一部(例えば表示画
像の左上隅部)である。これらのデータはそれぞれ補間
制御回路２２，２４からの制御により、図２（ｂ）、
（ｄ）に例を示すように(２ｍ×２ｎ)画素に補間処理が
施され、メモリ２１,２３に再度書き込まれる。

【００２１】図２（ｂ）、（ｄ）の例ではいわゆる共１
次内挿法を使用している。次いでメモリ２３の出力は画
素位置調整回路２５に入力され、上述した撮像素子１
３,１４の空間的位置関係に合致するように、メモリ上
での画素位置の調整が施される。

【００２２】図３に具体例を示す。図３（ａ）は，メモ
リ２３上にある画素補間後のデータであり、図２（ｂ）
と同じものである。図３（ｂ）はメモリ２３上にある画
素補間後のデータであり、図２（ｄ）と同じである。さ
らに図３（ｂ）では図３（ａ）との垂直方向の位置関係
を示している。ずなわち，(２ｍ×２ｎ)画素の垂直方向
の１画素ピッチｐｖ、だけ、換言すれば（ｍ×ｎ）画素
の垂直方向の半画素ピッチ分だけ垂直方向にずれてい
る。

【００２３】図３（ｃ）は、図３（ｂ)と同じである
が、図３（ａ）との水平方向の位置関係を示している。
こちらについても（２ｍ×２ｎ）画素の水平方向の１画
素ピッチｐｈだけ、換言すれば（ｍ×ｎ）画素の水平方
向の半画素ピッチ分だけ水平方向にずれている。これら
の位置関係にあるメモリ２１の補間後のデータと、画素
位置調整回路２５の出力データは、加算平均回路２６に
て加算平均処理されて図３（ｄ）が得られ、高解像度化
データとなる。なお、図３は前述したように画像の左上
隅の部分を例にして説明したので、図３（ｄ）の斜線部
である面像の周囲部の画素は処理が若干異なり、画像デ
ータの平均レベルが周囲部と内部とでバランスが崩れな
いようにして処理している。

【００２４】次に制御用ＣＰＵ２８が，被写体からの光
の過大入力により撮像出力に所定のレベルを超えている
画素があると判断した場合は、撮像装置としてのダイナ
ミックレンジを拡げるために、まず制御用ＣＰＵ２８が
パルス発生回路２９を制御し、撮像素子１４のみの光蓄
積時間を通常よりも短くして撮像素子としての感度を下
げる。これにより撮像素子１４の出力には被写体からの
光の過大入力により撮像出力中に所定のレベルを超えて
いる画素はなくなる。このとき撮像素子１３の出力と撮
像素子１４の出力とは、相互の信号レベル差が大きくな
ってしまうため、図２の補間方法のままでは撮像素子と
しての広ダイナミックレンジ化は達成されるものの、高
解像度効果は劣化してしまう。

【００２５】そこで制御用ＣＰＵ２８8は，同時に補間
制御回路２２，２４の動作をも制御し、補間画素の選択
方法を高解像度モードのときとは異ならせる。その補間
処理例を以下に述べる。

【００２６】広ダイナミックレンジモードになると制御
用ＣＰＵ２８は，Ａ／Ｄ変換器１８からの出力を受けた
後，その画像を所定の閾値でもって２値化する。この２
値化画像内の所定の大きさの領域と制御用ＣＰＵ２８内
に事前に記憶されている複数の画素パタンとを比較す
る。これらの画素パタンは画像中の線要素のパタンが記
憶されており、このパタンと一致するということは、撮
像画像中の注目している領域にその線要素成分がある、
ということを示している。

【００２７】そして画素補間する際に検出された線要素
成分の位置にある画素を優先的に選択して補間操作を施
すのである。

【００２８】具体的には以下のような処理となる。図４
は（２ｍ×２ｎ）画素のメモリ空間の一部であり、
（１）、（２）…、は撮像画素である。このとき三角印
の位置の画素を補間生成する場合を例として説明する。

【００２９】図２の例では補間時に使う画素として、
（６）、（７）、（１０）、（１１）の画素を無条件に
使用していた。広ダイナミックレンジモードでは（１）
乃至（１６）の画素の中から使用する画素を適応的に選
択する。

【００３０】図５に制御用ＣＰＵ２８内に事前に記憶さ
れている画素パタン側を示す。同図で丸印は２値画像の
「黒」、他は「白」を表わす、また線要素の角度によっ
て１乃至８に分類してある。上記２値化された画像中の
注目している領域に図5のパタンのいずれかを含む場合
は、その線要素の位置の画素を三角印の位置の画素を生
成するときに使用するのである。このとき図５中の複数
のパタンと合致するときは、それらの画素をすべて選択
する。

【００３１】以上述べた制御用ＣＰＵ２８の処理の流れ
は図６のようになる。

【００３２】なお選択した画素を用いての補間操作の係
数は、たとえば三角印の画素からの距離に応じて決めれ
ばよい。その後の処理は前記高解像度モードのときと同
じであるので省略する。

【００３３】以上に述べたように上記した実施の形態で
は、多板式の撮像装置において被写体からの過大入射光
により撮像出力が所定のレベルを超えているかどうかを
検出し、高解像度モードと広ダイナミックレンジモード
とを適応的に切換えている。そして広ダイナミックレン
ジモードのときは画素補間時に注目画素の周囲に線要素
があるかどうかを調べ、もし画像信号中に線要素がある
場合は線要素を構成している画素を優先的に選択して画
素補間を行なうのである。この処理により広ダイナミッ
クレンジモードのときでも画像中の輪郭を鮮鋭に再現
し、がつ線分を滑らかに再現することができるので高解
像度効果の劣化を軽減することができるのである。

【００３４】上記した実施の形態では画像信号中の線要
素を探す際に、高速に処理をするために画像信号を２値
化した後、これと、制御用ＣＰＵにあらかじめ記憶され
ている２値パタンとを比較する、という手法で説明して
きたがこれに限るものではない。当然のことながら多値
としてもよく、その場合は線要素探索の精度が上がると
いう特徴が得られる。また線要素検出のパタンも図５は
一例に過ぎず、使用する画素数、線要素の線幅、検出す
る角度などの違いにより多くのパタンが存在する。

【００３５】また被写体からの過大入射光により撮像出
力が所定のレベルを超えたと判断する方法には各種あ
る。上記の説明では各画素毎に判断するようにして説明
したがこれに限るものではなく、ある面積を持った領域
として判断してもよく、また画像全体の平均輝度レベル
をもって判断してもよい。

【００３６】上記したようにこの発明による固体撮像装
置は、入射光像を複数の光路に分ける光学プリズムなど
の光学系と、その光学系の複数の光射出面に、垂直方向
ｍ画素(ｍは正の整数)、水平方向ｎ画素(ｎは正の整数)
の画素を有する少なくとも２個の固体撮像素子を配し、
その内の少なくとも１個の固体撮像素子の位置である第
１の位置を基準とした場合に、第2の位置である他の各
固体撮像素子の位置は、垂直、水平方向ともに第1の位
置にある固体撮像素子の1画素中の感光部に第2の位置に
ある他の固体撮像素子の1画素中の無感光部が重なるよ
うに配する。

【００３７】さらに各固体撮像素子の撮像出力信号をア
ナログ・ディジタル変換器によりディジタル信号に変換
した後、垂直方向(２×ｍ)画素、水平方向(２×ｎ)画素
に補間処理を施す複数の画素補間処理回路と、前記複数
の画素補間処理回路の出力信号の内、前記第２の位置に
ある固体撮像素子の撮像出力信号から得られた信号に補
間処理を施した信号に対して、前記第１及び第２の固体
撮像素子の相互の空間的位置関係に対応ずるようにメモ
リ上の画素位置を調整する操作を施す画素位置調整回路
と、前記第1の位置にある固体撮像素子の撮像出力信号
から得られた信号に補間処理を施した信号と、前記画素
位置調整回路の出力信号とを混合する加算平均回路とを
具備することを特徴とする。

【００３８】さらにこの発明による固体撮像装置中の画
素補間処理回路は、撮像画像中から線要素を検出する手
段を具備し、前記線要素が検出された場合はその線要素
を構成している画素データを優先的に用いて前記補間処
理を行なうことを特徴としている。

【００３９】この発明は上記した実施の形態に限定され
るものではなく、その要旨を逸脱しない範囲、たとえば
撮像素子の個数や出力端子からのアナログまたはディジ
タルの出力形態、などで種々変形して実施することがで
きる。

【００４０】

【発明の効果】以上詳述したようにこの発明によれば、
多板式の撮像装置において、広ダイナミックレンジモー
ドで動作させる場合でも、画像中の輪郭を鮮鋭に再現
し、かつ線分を滑らかに再現することができるので、高
解像度効果の劣化を軽減することができる。

【図面の簡単な説明】

【図１】この発明の一実施の形態を説明するためのブロ
ック構成図。

【図２】この発明の一実施の形態における画素補問処理
の一例を説明するための図。

【図３】この発明の一実施の形態における画素位置調整
及び加算平均処理を説明するためめ図。

【図４】この発明の一実施の形態における画像中の線要
素を検出する手法を説明するための図。

【図５】同じくこの発明の一実施の形態における画像中
の線要素を検出する手法を説明するための図。

【図６】この発明の位置実施の形態における制御用ＣＰ
Ｕの処理の流れを説明するための図。

【符号の説明】

１１…撮像レンズ、１２…光学プリズム、１２１，１２
２…光学プリズムの光射出面、１３,１４…撮像素子、
１５,１６…プリアンプ、１７,１８…Ａ／Ｄ変換器、１
９,２０…画素補間処理回路、２１,２３…メモリ、２
２,２４…補間制御回路、２５…画素位置調整回路、２
６…加算平均回路、２７…映像信号処理回路、２８…制
御用ＣＰＵ，２９…パルス発生回路、３０…撮像素子駆
動回路。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 撮像部と、撮像部から得られた信号を処
   理する信号処理系統とを有し、前記撮像部では複数の固
   体撮像素子をそれぞれ異なる位置に配置して被写体から
   の光学情報を撮像し、前記信号処理系統では、得られた
   複数の画像を統合して新たな画像を得る固体撮像装置に
   おいて、前記信号処理系統は前記各固体撮像素子の出力信号に対
   して画素補間処理を施す複数の画素補間処理回路と、該
   複数の画素補間処理回路の出力信号を加算平均すること
   により前記統合を行なう加算平均回路とを具備し、 前記統合後の画像が各固体撮像素子の画素数で決まる限
   界解像度情報よりも高い解像度情報を得ることができる
   ように装置を動作させる第1モードと、前記複数の固体撮像素子の光感度特性を異ならしめ、そ
   のときの各固体撮像素子の出力信号を加算することによ
   り 、前記統合後の画像が前記各固体撮像素子の光電変換
   性能のダイナミックレンジよりも広いダイナミックレン
   ジ特性を得ることができるように前記装置を動作させる
   第2モードと、 を各撮像素子から得られる撮像出力信号のレベルに応じ
   て適応的に切換えると共に、前記統合処理を行なうための撮像画像中から線要素を検
   出する手段を具備し、 前記線要素が検出された場合は、その線要素を構成して
   いる画素データを優先的に用いて前記補間処理を行なう
   ことを特徴とする固体撮像装置。
2. 【請求項２】前記撮像部は、入射光像を複数の光路に分
   ける光学プリズムなどの光学系と、その光学系の複数の
   光射出面に、垂直方向ｍ画素(ｍは正の整数)、水平方向
   ｎ画素(ｎは正の整数)の画素を有する少なくとも2個の
   固体撮像素子を配し、その内の少なくとも1個の固体撮
   像素子の位置である第1の位置を基準とした場合に、第2
   の位置である他の各固体撮像素子の位置は、垂直、水平
   方向ともに第1の位置にある固体撮像素子の1画素中の感
   光部に第2の位置にある他の固体撮像素子の1画素中の無
   感光部が重なるように配し、 前記信号処理系統は、 各固体撮像素子の撮像出力信号をアナログ・ディジタル
   変換器によりディジタル信号に変換した後、垂直方向(2
   ×m)画素、水平方向(2×n)画素に補間処理を施す複数の
   画素補間処理回路と、 前記複数の画素補間処理回路の出力信号の内、前記第2
   の位置にある固体撮像素子の撮像出力信号から得られた
   信号に補間処理を施した信号に対して、前記第1及び第2
   の固体撮像素子の相互の空間的位置関係に対応するよう
   にメモリ上の画素位置を調整する操作を施す画素位置調
   整回路と、 前記第1の位置にある固体撮像素子の撮像出力信号から
   得られた信号に補間処理を施した信号と、前記画素位置
   調整回路の出力信号とを混合する加算平均回路とを具備
   したことを特徴とする請求項1記載の固体撮像装置。