JPH10136394A

JPH10136394A - 撮像方法及び装置

Info

Publication number: JPH10136394A
Application number: JP8282224A
Authority: JP
Inventors: Kazutake Kamihira; 員丈上平; Tomoyoshi Nomura; 知義野村; Nobuyoshi Izawa; 伸芳井沢
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-10-24
Filing date: 1996-10-24
Publication date: 1998-05-22

Abstract

(57)【要約】【課題】光学系を簡略化、小型化でき、かつ、高精細
なカラー画像を撮像することができる撮像方法及び装置
を提供する。【解決手段】被写体像を第１の分割光と第２の分割光
とに分解する第１の分割過程と、該第１の分割過程の第
１の分割光を３分割以上に強度分割する第２の分割過程
と、前記第２の分割光を複数の色成分に分割する第３の
分割過程とを備える撮像方法である。前記の撮像方法に
おいて、第１の分割過程により緑色成分光のみを分割す
る。また、前記の撮像方法において、第２の分割過程に
より分割される各分割光の強度のうち少なくとも１つが
他よりも大きくなるようにする。また、被写体像を第１
の分割光と第２の分割光とに分解する第１の分割手段
と、前記第１の分割光を３分割以上に強度分割する第２
の分割手段と、前記第２の分割光を複数の色成分に分割
する第３の分割手段とを備える撮像装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、高精細な動画の撮
像技術に関し、特に、複数の撮像素子を使用して高精細
化を達成する撮像技術に関するものである。

【０００２】

【従来の技術】図１４に従来の撮像システムの基本構成
を示す。図１４において、１はレンズ、５は撮像素子で
ある。図１４では色分解用光学系や信号処理系は省略し
た。通常の動画撮像に用いられる撮像システムでは、図
１４に示す構成を用い、レンズ１により被写体の光学像
を撮像素子５上に結像させ、撮像素子５でこの光学像情
報を電気信号に変換する。図１５に撮像素子の平面図を
示す。図１５において、５１は画素、５２は画素内の光
電変換部であり受光素子が形成されている。

【０００３】動画撮像に用いられる撮像素子は、図１５
に示すように、多数の画素が２次元状に配列された構成
となっており、画素内の受光素子によって光学像の２次
元的明暗分布を電気信号の大小に光電変換する。撮像シ
ステムにおいて、撮像画像の精細度を支配する主たる要
因は、撮像素子の画素数である。すなわち、撮像素子の
画素数が多いほど高精細な画像を撮像することができ
る。通常、撮像素子は１枚の半導体チップ上に形成され
ており、近年、微細加工技術などにより画素を高密度に
形成して画素数を増やす方法や、あるいはチップサイズ
を大面積にし全画素数を増やす方法などが試みられてい
る。

【０００４】しかし、画素を高密度にすると個々の受光
素子の面積が狭くなり、この結果感度が低下する。現在
使用されている高精細な撮像素子では、各画素の一辺５
μｍ程度まで小さく形成されており、このサイズは実用
的な感度が得られるための限界といわれている。一方、
チップサイズを大きくすると、個々の受光素子の面積を
小さくすることなく多画素化が達成できる。しかし、チ
ップサイズを大きくすると製造歩留まりが低下する。ま
た、受光エリアが拡大し、このため、大きなレンズが必
要となる。

【０００５】以上のような問題を克服する方法として、
分割光学系を用い複数の光学像を結像させ、複数の撮像
素子によりこれらの像を撮像し、該複数の撮像素子によ
り撮像された複数画像を電気的に合成して１枚の高精細
画像を得る方法（以下、マルチセンサ法と称す）が試み
られている。従来から高精細なカラー撮像システムにお
いては、図１６に示すような３板式とよばれる３枚の撮
像素子を用いる方式が用いられている。前記図１６にお
いて、ＤＰはダイクロイックプリズム、５Ｒ、５Ｇ、５
Ｂは撮像素子である。３枚式ではダイクロイックプリズ
ムにより光を赤、緑、青の３つの色分に分解し、各色成
分毎に光学像を結像させ、それぞれの結像位置に撮像素
子を配置してカラー画像を撮像する。この方式では３つ
の撮像素子が使用されるが、１つの色成分については、
１つの撮像素子しか用いられていない。

【０００６】これに対し、前述したマルチセンサ法と
は、１つの色成分に対し複数の撮像素子を用いる方法で
ある。マルチセンサ法の例を図１７に示す。図１７にお
いて、２は光を２分割する分割光学系であり、通常はハ
ーフミラーが使用される。図１７に示すように、マルチ
センサ法ではハーフミラー等の通常の分割光学系とダイ
クロイックプリズムなど色分解用光学系を組み合わせ、
１つの色成分に対し、光路を複数に分割することにより
複数像を撮像する。

【０００７】ここで、撮像素子の画素内光電変換部によ
り光電変換される被写体上の位置（以下、サンプリング
点と称す）が、撮像素子ごとに異なる位置となるよう撮
像素子が配置される。この複数像を信号処理系で電気的
に合成して高精細画像を得る（図１７では信号処理系は
省略した）。マルチセンサ法で撮像素子をｎ個用いた場
合、画素数がｎ倍の撮像素子で撮像したのと等価であ
り、高精細な撮像が可能となる。

【０００８】したがって、単一チップを使用した撮像シ
ステムでは実現できない画素数での超高精細な撮像が実
現できる。また、単一のチップで実現できる画素数の場
合でも現行方式テレビ以上の精細度の場合は画素数の増
加に対しセンサコストが急激に増加するが、マルチセン
サ法を用いれば、現行方式テレビなどで用いられている
量産レベルの安価な撮像素子を使用でき、高精細な撮像
システムを安価に提供することができる。

【０００９】

【発明が解決しようとする課題】本発明者は、前記従来
の技術を検討した結果、以下の問題点を見いだした。

【００１０】前記マルチセンサ法では、前述した特徴が
あるが、レンズと撮像素子の間に分割光学系が配置され
るため、レンズと撮像素子との間に十分な距離が必要と
なる。特に、分割数が多くなると分割光学系の光路長が
長くなり、このため、焦点距離の長いレンズしか用いる
ことができなくなる。例えば、解像度を水平、垂直両方
向に２倍に高めたい場合、すなわち、画素数を等価的に
４倍に増やす場合の光学系は前述の図１７のようにな
り、通常の３板方式に比べ、レンズと撮像素子との間の
距離が数倍長くなる。また、図１７から明らかなよう
に、光学系が大型化、複雑化するという問題があった。
さらに、レンズの後方で光路が複数に分割されるため結
像される個々の光学像が暗くなる。これは撮像システム
としての感度の低下につながり、Ｓ／Ｎの劣化を招くと
いう問題があった。また、光路の分割数を２分割とすれ
ば、前記問題はある程度緩和されるが、十分な解像度向
上が達成されなくなるという問題があった。

【００１１】本発明の目的は、光学系を簡略化、小型化
でき、かつ、高精細なカラー画像を撮像することができ
る撮像方法及び装置を提供することにある。

【００１２】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００１３】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。

【００１４】（１）被写体をレンズと撮像素子を用いて
撮像する撮像方法において、前記被写体像を第１の分割
光と第２の分割光とに分解する第１の分割過程と、該第
１の分割過程の第１の分割光を３分割以上に強度分割す
る第２の分割過程と、前記第２の分割光を複数の色成分
に分割する第３の分割過程とを備える撮像方法である。

【００１５】（２）前記（１）の撮像方法において、第
１の分割過程により緑色成分光のみを分割するものであ
る。

【００１６】（３）前記（１）の撮像方法において、第
２の分割過程により分割される各分割光の強度のうち少
なくとも１つが他よりも大きくなるようにするものであ
る。

【００１７】（４）被写体をレンズと撮像素子を用いて
撮像する撮像装置において、前記被写体像を第１の分割
光と第２の分割光とに分解する第１の分割手段と、前記
第１の分割光を３分割以上に強度分割する第２の分割手
段と、前記第２の分割光を複数の色成分に分割する第３
の分割手段とを備える撮像装置である。

【００１８】（５）前記（４）の撮像装置において、第
１の分割手段が緑色成分光のみを分割するものである。

【００１９】（６）前記（４）の撮像装置において、第
２の分割手段により分割された各分割光の強度のうち少
なくとも１つが他よりも大きいものである。

【００２０】すなわ、例えば、レンズ以降の光路を複数
に分割して複数の位置に被写体像を生成し、前記複数の
位置に結像した被写体像を光電変換する撮像方法又は装
置において、前記分割光路が、光軸を２分割すると共に
前記一方の光路において、光路をさらに３又は４以上に
分割し、もう一方の光路において、光を赤、緑、及び青
の３つの色成分、又はマゼンタと緑の２つの色成分に分
割するものである。

【００２１】第一の分割光学系が緑成分の光のみを２分
割し、複数に分割された緑成分光又は白色光のうち、１
つの光強度が他の光強度に比べ大きいこととする。

【００２２】前述の手段によれば、赤成分光及び青成分
光を分割することなく、緑成分光、又は白色光のみを複
数に分割する分割光学系が形成できる。すなわち、緑成
分又は輝度成分の画像のみを複数の撮像素子で撮像し、
赤及び青成分画像については、従来と同様に単一の撮像
素子で撮像する。

【００２３】したがって、緑成分又は輝度成分画像のみ
高精細度に撮像される。一般に、カラー画像の視覚的な
精細度は輝度成分画像の精細度で決定され、緑成分は輝
度成分に近い特性であることから、全色成分画像を高精
細度化した場合と同等な効果を得ることができる。

【００２４】一方、この分割光学系の全分割数は、全色
成分光を分割する場合に比べ１／２となる。この結果、
焦点距離の短いレンズの使用も可能となり、さらに、光
学系を小型化、簡略化することもできる。

【００２５】また、入射光を赤、緑、青成分に分割する
場合において光を損失なく利用でき、感度の低下を防ぐ
ことが可能である。

【００２６】さらに、複数の緑成分（又は輝度成分）画
像のうち１つの緑成分画像を高Ｓ／Ｎで撮像することが
できる。この高Ｓ／Ｎ画像を用い、視覚的に画像全体を
高Ｓ／Ｎ化する。すなわち、画像中で高Ｓ／Ｎが要求さ
れるのは輝度変化の緩やかな領域であり、このような領
域では高精細度は要求されない。

【００２７】そこで、この領域は１枚の高Ｓ／Ｎ画像だ
けで生成する。一方、輝度変化が急峻な領域の画像の生
成には高精細度が要求されるから、複数の低Ｓ／Ｎ画像
も用いる。輝度変化が急峻な領域においては、Ｓ／Ｎの
劣化は視覚的に目立たないという特性がある。したがっ
て、前記方法により合成した画像は全体的に高Ｓ／Ｎ、
高精細に見せることができる。

【００２８】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態（実施例）を詳細に説明する。

【００２９】（実施形態１）本発明の実施形態（実施
例）１の概略構成を示す模式図であり、１はレンズ、２
〜４は分割光学系（分割光学手段）である。分割光学系
２は光路を２分割し、分割光学系３は光路を３分割する
ものである。

【００３０】前記分割光学系３は、図２に示すように、
５Ｗ１〜５Ｗ３は撮像素子５Ｗ１〜５Ｗ３を備えてお
り、レンズ１に入射した光のうちそれぞれ赤ＬＲ、、緑
ＬＧ、青ＬＢの成分光の光路を示している。分割光学系
４は光を赤、緑、及び青の３つの色成分に分割し、その
構造は図３に示すように通常のダイクロイックプリズム
と同じである。図３において、５Ｒ、５Ｇ、５Ｂは撮像
素子である。

【００３１】以上の構成において、レンズの結像面が分
割光学系３及び４の端面となるようレンズの焦点距離を
設定する。このため、レンズと分割光学系３及び４の６
つの端面までの光路長はすべて等しくする。そして、分
割光学系３の３つの端面に配置される撮像素子５Ｗ１〜
５Ｗ３は輝度成分画像を撮像する。また、分割光学系４
の３つの端面に配置される撮像素子５Ｒ、５Ｇ、５Ｂは
それぞれ赤、緑、青成分画像を撮像する。図４は前記撮
像素子５Ｗ１〜５Ｗ３及び５Ｒ、５Ｇ、５Ｂの相対的な
光電変換部の位置をＷ１〜Ｗ３及びＲ、Ｇ、Ｂで示して
いる。

【００３２】これらの光電変換部の位置が画像のサンプ
リング点となる。図４において、Ｗ１〜Ｗ３及びＲ、
Ｇ、Ｂはそれぞれ撮像素子５Ｗ１〜５Ｗ３及び５Ｒ、５
Ｇ、５Ｂの光電変換部の相対的位置である。図４に示す
ように、撮像素子５Ｒ、５Ｇ、５Ｂは同一位置の被写体
像を光電変換する。すなわち、同一位置に対してサンプ
リングする。一方、撮像素子５Ｗ１〜５Ｗ３では互いに
他の撮像素子の光電変換部の位置を補間するよう配置す
る。

【００３３】以上の構成により、赤、緑及び青成分画像
にたいしては通常の３枚式撮像法と同じ解像度で撮像が
できる。また、輝度信号はＷ１〜Ｗ３の位置から得ら
れ、さらに、Ｒ，Ｇ，Ｂからの信号を加えれば、これも
輝度信号となることから、輝度画像にたいしては通常の
３枚式撮像法の４倍のサンプリング密度で撮像ができ
る。したがって、輝度成分画像を高精細にできる。

【００３４】一方、赤、青成分画像の画素数は輝度成分
画像の１／４であるため、各成分画像内で補間処理によ
り非サンプリング点の画素を生成して、出力画素数を輝
度成分画像と合わせる。この補間処理において、輝度成
分画像から得られた高周波成分を重畳すれば、これらの
色成分画像も高精細にでき、この結果、高精細なカラー
画像を撮像できることになる。

【００３５】（実施形態２）図５は本発明の実施形態２
の光学系の概略構成を示す模式図であり、２１，３１，
４１は分割光学系（分割光学手段）である。前記分割光
学系３１の概略構成を図６に示す。図６において、５Ｇ
１〜５Ｇ３は撮像素子である。

【００３６】前記分割光学系２１は、赤、青成分の光を
透過させ、緑成分の光のみ２分割する。分割光学系３１
は、前記実施形態１に示した分割光学系２と同様に光路
を３分割する。ただし、緑成分の光のみ入射されるた
め、分割される光は緑成分の光のみである。分割光学系
４１は光を赤、緑、及び青の３つの色成分に分割し、そ
の構造は図３に示す前記実施形態１の分割光学系４と同
じである。

【００３７】本実施形態２においても、レンズ１の結像
面が分割光学系３１及び４１の端面となるようレンズの
焦点距離を設定する。このため、レンズ１と分割光学系
３及び４の６つの端面までの光路長は全て等しくする。
また、前記実施形態１と同様に分割光学系４１の３つの
端面に配置される撮像素子５Ｒ、５Ｇ、５Ｂはそれぞれ
赤、緑、青成分画像を撮像する。前記分割光学系３１の
端面に配置される撮像素子５Ｇ１〜５Ｇ３は緑成分画像
を撮像する。

【００３８】図７は前記撮像素子５Ｇ１〜５Ｇ３及び５
Ｒ、５Ｇ、５Ｂの相対的な光電変換部の位置を示す。図
７において、Ｇ１〜Ｇ３及びＲ、Ｇ、Ｂはそれぞれ撮像
素子５Ｇ１〜５Ｇ３及び５Ｒ、５Ｇ、５Ｂの光電変換部
の相対的位置である。図７に示すように、撮像素子５
Ｒ、５Ｇ、５Ｂは前記実施形態１と同様に同一位置の被
写体像を光電変換する。一方、撮像素子５Ｇ１〜５Ｇ３
では互いに他の撮像素子の光電変換部の位置を補間する
よう配置する。

【００３９】本実施形態２では、緑成分画像を５Ｇ１〜
５Ｇ３及び５Ｇの４つの撮像素子で撮像する。そこで、
これら４つの撮像素子上に結像する像の明るさが等しく
なるよう分割光学系２１及び３１の分割比を決定する。
この場合、緑成分画像は赤、青成分画像に比べ暗くなる
ため、電気的にゲインを調整して、ホワイトバランスを
保つ。

【００４０】本実施形態２は、前記実施形態１と同様
に、赤、青成分画像にたいしては通常の３枚式撮像法と
同じ解像度で撮像ができる。また、図７に示すように、
緑成分画像を撮像する場合のサンプリング密度を通常の
３枚式撮像法の４倍にできる。緑成分と輝度成分が近似
の関係にあることから輝度成分画像を高精細にでき、こ
の結果、高精細なカラー画像を撮像できることになる。
本実施形態２でも赤、青成分画像の画素数は緑成分画像
の１／４であるため、各成分画像内で補間処理により非
サンプリング点の画素を生成して、出力画素数を緑成分
画像と合わせる。

【００４１】（実施形態３）本発明の実施形態３の光学
系構成は、前記実施形態２と同じである。ただし、実施
形態２では、４つの撮像素子５Ｇ１〜５Ｇ３及び５Ｇの
上に結像する像の明るさが等しくなるようにしたが、本
実施形態３では、撮像素子５Ｇ上に結像する像の明るさ
が他の３つの撮像素子５Ｇ１〜５Ｇ３上に結像する像の
明るさに対し、３：１となるよう明るくする。この結
果、撮像素子５Ｇからは、Ｓ／Ｎの高い信号を得ること
ができる。

【００４２】本実施形態３では、画像中で輝度変化の緩
やかな領域をこのＳ／Ｎの高い撮像素子５Ｇからの信号
のみで生成する。一方、輝度変化の急峻な領域は全ての
撮像素子からの信号で生成する。前記画像生成のアルゴ
リズムを図８に示す。図８では簡単のため、水平方向の
１ラインに着目して示す。図８において、□及び■はそ
れぞれ撮像素子５Ｇ、５Ｇ１による被写体像上のサンプ
リング位置、△及び▲は出力画像において、それぞれ撮
像素子５Ｇ１、５Ｇからの信号を用いた画素を示す。図
８に示すように、出力画像の画素で撮像素子５Ｇがサン
プリングした位置に相当する画素の信号は、５Ｇの信号
がＳ／Ｎが高いので、そのまま出力画素の信号とする。
一方、撮像素子５Ｇ１がサンプリングした位置に相当す
る画素の場合は、輝度変化の少ない領域では、撮像素子
５Ｇ１によってサンプリングされた位置の画素であって
も、隣接する５Ｇでサンプリングされた信号によって置
き換える。一方、輝度変化の大きい領域では、撮像素子
５Ｇ１によってサンプリングされた信号をそのまま用い
る。この場合、撮像素子５Ｇ１上の像が暗いことから信
号の増幅を行う。

【００４３】以上のアルゴリズムによると画像の精細度
を決定する輝度変化の大きい領域、すなわち、空間周波
数の高い領域で高密度なサンプリングが行われることに
なるため、高精細な画像を得ることができる。この領域
ではＳ／Ｎが低下するが、輝度変化の少ない領域に比
べ、輝度変化の大きい領域ではＳ／Ｎの低下が視覚的に
目立ちにくいことから、画像全体的にはＳ／Ｎの高い画
像として見ることができる。

【００４４】図９に本実施形態３の撮像システムの信号
処理部の構成を示す。図９において、６Ｒ、６Ｂは周波
数変換手段、６Ｇは信号選択手段、ＬＤは１ライン分の
遅延素子、ＰＤは１画素分の遅延素子、ＤＩＦ１〜ＤＩ
Ｆ３は差分器、Ｓ-Ｒ、Ｓ-Ｇ、Ｓ-Ｂ、及びＳ-Ｇ１〜Ｓ
-Ｇ３はそれぞれ撮像素子５Ｒ、５Ｇ、５Ｂ及び５Ｇ１
〜５Ｇ３からの信号線である。

【００４５】輝度変化の大小は撮像素子５Ｇからの信号
を用いて判定する。図９に示す構成において、遅延素子
ＬＤ、ＰＤにより注目画素（現在出力信号の生成を行っ
ている画素）とその隣接画素間の信号を並列に取り出
し、差分器ＤＩＦにより隣接画素間との輝度差をとり輝
度変化の大小を判定する。判定に用いられる画素の位置
関係を図１０に示す。図１０において、G(n,n)、G(n+1,
n)、G(n,n+1)及びG(n+1,n+1)は撮像素子５Ｇのサンプリ
ング点、G1(n,n)及びG(n,n+1)は撮像素子５Ｇ１のサン
プリング点、G2(n,n)及びG2(n+1,n)は撮像素子５Ｇ２の
サンプリング点、G3(n,n)は撮像素子５Ｇ３のサンプリ
ング点である。

【００４６】いま、出力画像におけるサンプリング点G1
(n,n)の位置に相当する画素の信号を生成する場合につ
いて説明する。この場合は、このサンプリング位置を挾
むG(n,n)及びG(n+1,n)のサンプリング位置の信号の差分
をとり、これが大きい場合は撮像素子５Ｇ１からの信号
をこの画素の信号とし、一方、これが小さい場合は撮像
素子５Ｇからの信号をこの画素の信号とする。

【００４７】前記差分は差分器ＤＩＦ１の出力として得
られるから、この信号を信号選択手段６Ｇに入力し、信
号選択手段６Ｇではこの信号レベルの大小に基づいて撮
像素子５Ｇ及び５Ｇ１からの信号を切り替える。サンプ
リング点G2(n,n)、G3(n,n)等の位置に相当する画素の信
号を生成する場合についてもＤＩＦ２、ＤＩＦ３の信号
を用いて同様に行う。これら選択される複数の信号につ
いては、同一明るさの被写体の場合、信号レベルが同一
となるようそれぞれに増幅機能を適当な個所に配置する
（図９では、簡単のためこれらの増幅器は省略してい
る）。

【００４８】本実施形態３でも赤、青成分画像の画素数
は緑成分画像の１／４であるため、周波数変換部で各成
分画像内で補間処理を行い、非サンプリング点の画素を
生成して、出力画素数を緑成分画像と合わせる。

【００４９】本実施形態３では、前述のように、高精細
度画像を視覚的なＳ／Ｎを劣化させることなく入力する
ことができ、分割光学系により結像させた複数像を撮像
して高精細化を図る方法におけるＳ／Ｎ低下の問題を解
決することができる。

【００５０】（実施形態４）本発明の実施形態４の光学
系構成は、前記実施形態２と同じである。また、本実施
形態４では、撮像素子５Ｇ上に結像する像の明るさが他
の３つの撮像素子上に結像する像の明るさに対し、３：
１となるよう明るくし、前記実施形態３と同様な出力信
号生成アルゴリズムによりＳ／Ｎの高い画像を撮像す
る。

【００５１】本実施形態４では、本発明を重畳方式の表
示システムに接続することを目的とするものである。図
１１に重畳方式の表示システムの構成とスクリーン上で
の画素配列を示す。図１１において、ＰＪ-１〜ＰＪ-４
はプロジェクタ、ＳＣはスクリーン、Ａ〜Ｄはスクリー
ン上でそれぞれ、プロジェクタＰＪ-１〜ＰＪ-４により
投影された画像の画素を示す。重畳方式の表示システム
は、図１１（ａ）に示すように、４台のプロジェクタを
用いスクリーン上に画像を重畳表示する。スクリーン上
での画素配列は、図１１（ｂ）に示すように、４台のプ
ロジェクタからの画素がインタリーブされる形で配列さ
れる。したがって、原画像を水平、垂直に交互に画素間
引きして４つに分割した画像をそれぞれのプロジェクタ
から投影することにより、通常のプロジェクタに比べ４
倍の画素数での高精細表示が可能である。本実施形態４
では、このような重畳方式の表示システムに接続するた
め色成分画像ごとに４つの画像信号を並列に出力する。
本実施形態４の信号処理手段の構成を図１２に示す。図
１２において、６Ｒ１、６Ｂ１は補間処理手段、６Ｇ１
〜６Ｇ３は信号選択手段、ＤＩＦ１〜ＤＩＦ３は差分器
である。また、Ｓ-Ｒ１〜Ｓ-Ｒ４は赤成分画像の出力信
号であり、それぞれ図１１に示すプロジェクタＰＪ-１
〜ＰＪ-４の入力信号となる。Ｓ０-Ｇ１〜Ｓ０-Ｇ４及
びＳ-Ｂ１〜Ｓ-Ｂ４は緑及び青成分画像の出力信号であ
り、同様に、それぞれ図１１に示すプロジェクタＰＪ-
１〜ＰＪ-４の入力信号となる。

【００５２】本実施形態４の撮像素子で赤及び青成分画
像を撮像する撮像素子５Ｒ、５Ｂのサンプリング位置は
図１１（ｂ）に示す出力画像のＡの位置に相当するとす
る。そこで、補間処理部６Ｒ１、６Ｂ１では入力信号を
そのまま出力信号線Ｓ-Ｒ１、Ｓ-Ｂ１に出力するととも
に、図１１（ｂ）に示す出力画像のＢ、Ｃ、Ｄの位置に
相当する信号を、Ａの位置に相当する入力信号から補間
処理で生成し、それぞれＳ-Ｒ２〜Ｓ-Ｒ４及びＳ-Ｂ２
〜Ｓ-Ｂ４に出力する。

【００５３】一方、緑成分画像については、４つの撮像
素子５Ｇ、５Ｇ１、５Ｇ２及び５Ｇ３で撮像するが、各
々サンプリング位置は、図１１（ｂ）に示す出力画像の
それぞれＡ、Ｂ、Ｃ、Ｄの位置に相当するものとする。
ここで、撮像素子５Ｇが撮像した画像は、前述のように
Ｓ／Ｎの高い画像であるので、この画像信号Ｓ-Ｇはそ
のままＳ０-Ｇ１として出力する。

【００５４】図１１（ｂ）に示す出力画像のＢの位置に
相当する画像は、撮像素子５Ｇ１で撮像されるが、この
撮像素子の画像は撮像素子５Ｇの画像に比べＳ／Ｎが低
いため、前記実施形態３と同様に輝度変化の少ない領域
では撮像素子５Ｇの信号に置き換え、輝度変化の大きい
領域のみ撮像素子５Ｇ１の信号を用いる。輝度変化の大
小は差分器ＤＩＦ１の出力信号レベルで判定する。

【００５５】そこで、信号選択器にＤＩＦ１の出力信号
を入力し、信号選択器６Ｇ１ではこの信号の大小に応じ
て撮像素子５Ｇと５Ｇ１からの信号を選択する。そし
て、選択された信号を出力信号Ｓ-Ｇ２として出力す
る。この場合、撮像素子５Ｇ１上の像が暗いことから、
撮像素子５Ｇ１からの信号は増幅を行う（図１１では、
簡単のためこれらに必要な増幅器は省略している。以
下、同様）。

【００５６】また、図１１（ｂ）に示す出力画像のＣ、
Ｄの位置に相当する画像信号Ｓ-Ｇ３、Ｓ-Ｇ４の生成に
ついても、それぞれ信号選択器６Ｇ２、６Ｇ３でＤＩＦ
２，ＤＩＦ３からの信号の大小により撮像素子５Ｇと５
Ｇ２、５Ｇと５Ｇ３の信号を選択して出力する。

【００５７】本実施形態４では、輝度変化の大きい領域
ではサンプリング密度が高く、また、輝度変化の少ない
領域ではＳ／Ｎの高い信号が用いられ、この結果、視覚
的に画像全体として高精細でかつＳ／Ｎの高い画像を得
ることができる。

【００５８】また、前記実施形態３では、４つの撮像素
子５Ｇ、５Ｇ１、５Ｇ２及び５Ｇ３の信号を１本の信号
に合成したが、本実施形態４では、これらを並列に出力
するため、クロックレートをあげることなく高精細な画
像を出力することができる。

【００５９】（実施形態５）本発明の実施形態５の光学
系構成は、前記実施形態２と同じである。また、本実施
形態５では、撮像素子５Ｇ上に結像する像の明るさが他
の３つの撮像素子上に結像する像の明るさに対し、３：
１となるよう明るくし、撮像素子５ＧがＳ／Ｎの高い信
号が得られるようにする。本実施形態５では、前記撮像
素子５Ｇ以外の緑成分画像撮像用の撮像素子からの信号
のＳ／Ｎを高めるため、過去ｎフレームの信号を加算す
る。すなわち、この処理によると、信号レベルはｎ倍と
なるが、雑音レベルは√ｎ倍にしかならないため、Ｓ／
Ｎを高めることができる。ただし、動領域では過去のフ
レームを用いると動物体が多重像となるため、動領域に
ついては現フレームのみを用いるとし、Ｓ／Ｎの高い５
Ｇの信号から生成する。

【００６０】本実施形態５の信号処理部の概略構成を図
１３に示す。図１３において、ＦＭはフレームメモリ、
ＡＤＤ１〜ＡＤＤ３は加算器、ＭＤは動領域検出器、Ｓ
ＭＤは動領域検出器の出力信号である。図１３に示すよ
うに、撮像素子５Ｇ１〜５Ｇ３からの信号に対し、フレ
ームメモリをｎ枚直列に接続して、各出力信号を加算器
ＡＤＤ１〜ＡＤＤ３に入力して過去ｎフレームの画像信
号を加算する。

【００６１】これらの信号と撮像素子５Ｇからの信号を
信号選択器ＳＷに入力する。信号選択器ＳＷでは、動領
域検出器ＭＤの出力信号ＳＭＤを入力し、例えば、出力
画像で撮像素子５Ｇ１がサンプリングした位置に相当す
る画素の場合、ＳＭＤが大きい場合は、撮像素子５Ｇか
らの信号を選択し、一方、信号ＳＭＤが小さい場合は、
加算器ＡＤＤ１からの信号を選択する。そして、この選
択した信号を出力する。撮像素子５Ｇ２及び５Ｇ３がサ
ンプリングした位置に相当する画素の場合についても同
様の方法で信号を選択し、出力する。なお、撮像素子５
Ｇがサンプリングした位置に相当する画素の信号は、信
号ＳＭＤの大小に関係なく、撮像素子５Ｇからの信号を
選択して出力する。

【００６２】本実施形態５では、赤成分画像及び青成分
画像については、画素数を緑成分画像と揃えるため、周
波数変換部６Ｒ、６Ｂで補間処理により非サンプリング
画素を生成する。

【００６３】本実施形態５では、静止領域については過
去ｎ枚のフレームの加算で生成するためＳ／Ｎを高める
ことができ、また、動領域についてはＳ／Ｎの高い撮像
素子５Ｇの信号を用いるため、結局画面全体で高いＳ／
Ｎを達成できる。動領域の精細度は静止領域に比べ、低
下するが、人間の視覚の解像力が動領域に対しては低下
することから、視覚的には精細度の高い画像として見る
ことができる。

【００６４】以上の説明においては、本発明の５つの実
施形態を述べたにとどまり、本発明の精神を脱すること
なく種々の変更が可能であることは言うまでもない。例
えば、前記実施形態では、ノンインタレース画像を対象
としているが、インタレース画像にも適応できることは
本発明の原理から明らかである。また、実施形態４は実
施形態３を重畳方式の表示装置に接続できる構成とした
が、実施形態１、２及び５についても同様の変更が可能
なことは明らかである。

【００６５】

【発明の効果】本願において開示された発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。

【００６６】（１）従来のマルチセンサ法に比べ、光学
系が簡略化、小型化でき、かつ高精細なカラー画像を撮
像することができる。

【００６７】（２）従来のマルチセンサ法では、光路分
割により各撮像素子上に結像する光学像が暗く、Ｓ／Ｎ
が低下するという問題があったが、本発明では高Ｓ／Ｎ
な画像をかつ高精細に撮像することができる。

【図面の簡単な説明】

【図１】本発明の実施形態１の光学系の概略構成を示す
模式図である。

【図２】本実施形態１の光学系で用いる分割光学系の概
略構成を示す図である。

【図３】本実施形態１の光学系で用いる分割光学系の概
略構成を示す図である。

【図４】本実施形態１の撮像素子の相対的な光電変換部
の位置を示す図である。

【図５】本発明の実施形態２の光学系の概略構成を示す
模式図である。

【図６】本実施形態２の光学系で用いる分割光学系の概
略構成を示す図である。

【図７】本実施形態２の撮像素子の相対的な光電変換部
の位置を示す図である。

【図８】本発明の実施形態３で出力画像を生成するため
のアルゴリズムを説明するための図である。

【図９】本実施形態３の信号処理部の概略構成を示すブ
ロック構成図である。

【図１０】本実施形態３で注目画素付近の輝度変化の大
小を判定するために用いられる画素の位置関係を示す図
である。

【図１１】重畳方式の表示システムの構成とスクリーン
上での画素配列を示す図である。

【図１２】本発明の実施形態４の信号処理部の概略構成
を示すブロック構成図である。

【図１３】本発明の実施形態５の信号処理部の概略構成
を示すブロック構成図である。

【図１４】従来の撮像システムの基本構成図である。

【図１５】撮像素子の平面図である。

【図１６】３板式撮像システムの光学系構成図である。

【図１７】従来のマルチセンサ法の光学系構成図であ
る。

【符号の説明】

１…レンズ、２〜４，２１〜４１…分割光学系、５，５
Ｗ１〜５Ｗ３，５Ｒ，５Ｇ，５Ｂ，５Ｇ１〜５Ｇ３…撮
像素子、５１…画素、５２…画素内の光電変換手段、６
Ｒ，６Ｂ…周波数変換手段、６Ｇ，６Ｇ１〜６Ｇ３…信
号選択手段、６Ｒ１，６Ｂ１…補間処理手段、Ｗ１〜Ｗ
３，Ｒ，Ｇ，Ｂ，５Ｇ１〜５Ｇ３，５Ｒ，５Ｇ，５Ｂ…
撮像素子の光電変換部の相対的位置、ＬＤ…１ライン分
の遅延素子、ＬＲ…赤成分光、ＬＧ…緑成分光、ＬＢ…
青成分光、ＰＤ…１画素分の遅延素子、ＤＩＦ１〜ＤＩ
Ｆ３…差分器、Ｓ-Ｒ，Ｓ-Ｇ，Ｓ-Ｂ，Ｓ-Ｇ１〜Ｓ-Ｇ
３…撮像素子からの信号線、Ｇ（n,n）,Ｇ（n+1,n）,Ｇ
（n,n+1）,Ｇ（n+1,n+1）,Ｇ１（n,n）,Ｇ（n,n+1）,Ｇ
２（n,n）,Ｇ２（n+1,n）…撮像素子のサンプリング
点、ＰＪ-１〜ＰＪ-４…プロジェクタ、ＳＣ…スクリー
ン、Ｓ-Ｒ１〜Ｓ-Ｒ４…赤成分画像の出力信号、ＦＭ…
フレームメモリ、ＡＤＤ１〜ＡＤＤ３…加算器、ＭＤ…
動領域検出器、ＳＭＤ…動領域検出器の出力信号。

Claims

【特許請求の範囲】

【請求項１】被写体をレンズと撮像素子を用いて撮像
する撮像方法において、前記被写体像を第１の分割光と
第２の分割光とに分解する第１の分割過程と、該第１の
分割過程の第１の分割光を３分割以上に強度分割する第
２の分割過程と、前記第２の分割光を複数の色成分に分
割する第３の分割過程とを備えることを特徴とする撮像
方法。
【請求項２】前記第１の分割過程により緑色成分光の
みを分割することを特徴とする請求項１に記載の撮像方
法。
【請求項３】前記第２の分割過程により分割される各
分割光の強度のうち少なくとも１つが他よりも大きくな
るようにすることを特徴とする請求項１に記載の撮像方
法。
【請求項４】被写体をレンズと撮像素子を用いて撮像
する撮像装置において、前記被写体像を第１の分割光と
第２の分割光とに分解する第１の分割手段と、前記第１
の分割光を３分割以上に強度分割する第２の分割手段
と、前記第２の分割光を複数の色成分に分割する第３の
分割手段とを備えたを特徴とする撮像装置。
【請求項５】前記第１の分割手段が緑色成分光のみを
分割することを特徴とする請求項４に記載の撮像装置。
【請求項６】前記第２の分割手段により分割された各
分割光の強度のうち少なくとも１つが他よりも大きいこ
とを特徴とする請求項４に記載の撮像装置。