JP3648638B2 - カラー撮像装置 - Google Patents
カラー撮像装置 Download PDFInfo
- Publication number
- JP3648638B2 JP3648638B2 JP12319693A JP12319693A JP3648638B2 JP 3648638 B2 JP3648638 B2 JP 3648638B2 JP 12319693 A JP12319693 A JP 12319693A JP 12319693 A JP12319693 A JP 12319693A JP 3648638 B2 JP3648638 B2 JP 3648638B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- solid
- pixel
- state imaging
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、動画像入力技術に関し、詳しくは色分解プリズムと複数の固体撮像素子を用い高精細なカラー撮像装置に関するものである。
【０００２】
【従来の技術】
カラー画像を高精細に撮像する方法として、従来、ダイクロイックプリズムと呼ばれる色分解プリズムを使用する方法が用いられている。この方法は、ダイクロイックプリズムによりレンズ通過後の光を赤，緑，青などの複数の色成分に分解し、各色成分毎の被写体像を複数の位置に結像し、これら複数の被写体像を複数の固体撮像素子により撮像する方法である。
【０００３】
従来のダイクロイックプリズムを使用するカラー撮像装置の構成を図１６に示す。図１６において、４はダイクロイックプリズム、４Ｒ，４Ｇ，４Ｂは前記ダイクロイックプリズム４の出射側端面、１Ｒ，１Ｇ，１Ｂは固体撮像素子（総称するときは１という）、２はレンズである。各色成分の被写体像はダイクロイックプリズム４の出射側端面４Ｒ，４Ｇ，４Ｂにそれぞれ結像される。そして、これらの被写体像は各出射側端面４Ｒ，４Ｇ，４Ｂに接着剤等で張り付けられた固体撮像素子１Ｒ，１Ｇ，１Ｂによりそれぞれ撮像され、各色成分毎の画像信号が生成される。
【０００４】
【発明が解決しようとする課題】
上記、従来のダイクロイックプリズム４を用いるカラー撮像装置の解像度は、使用する固体撮像素子１の画素数によって決まる。固体撮像素子１の画素数を増やす方法としては微細加工技術を駆使し、画素密度を高めることによる方法が主流であるが、固体撮像素子１のサイズを大きくして画素数を増やす方法もある。しかし、画素密度を高める方法ではプロセスが難しくなる問題もあり、さらに画素面積縮小による感度低下の問題も生じる。近年、この方法によりＨＤＴＶ用の２００万画素の固体撮像素子１が開発されているが、特に感度の低下を考慮した場合、この画素数はもはや限界に近く、現状ではさらに画素数を増加させ解像度を向上することは困難となっている。
【０００５】
一方、画素密度は変えずに固体撮像素子１のサイズを大きくして画素数を増やす方法では、製造歩留りを低下させコスト増加につながる。このため、専ら天文などの科学用や軍事用に用途は限られている。上記問題の他、１つの固体撮像素子１内の画素数を増やすことにより高解像度化を図る従来の方法では、画素数増加に伴い固体撮像素子１の駆動速度や、ディジタル化の際のＡ／Ｄ変換速度等を高速化しなければならないという問題も深刻化している。
【０００６】
本発明の目的は、固体撮像素子の画像密度を高めたり、画素数を増加させることなく解像度を向上させたカラー撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明にかかるカラー撮像装置は、色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、画素をフィールド内で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する画像について、画素をフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有するものである。
【０００８】
また、本発明にかかるカラー撮像装置は、色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、少なくとも当該画素位置がシフトされる固体撮像素子の連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と同色成分の画像について、少なくとも当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と異なる色成分の画像について、当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有するものである。
【０００９】
さらに、上記イメージシフト法を適用する固体撮像素子は色分解された各色成分の中で輝度成分に最も近い色成分の被写体像の撮像に用いる。
【００１０】
【作用】
本発明においては、ダイクロイックプリズムで分解した赤，緑，青の被写体像を３つの固体撮像素子で撮像する場合について説明する。この場合、輝度成分に最も近い色成分は緑成分であり、イメージシフト法を適用する固体撮像素子では緑成分の被写体像を撮像する。
【００１１】
本発明によれば、緑成分画像がイメージシフト法により高精細化される。イメージシフト法による高精細化の原理図を図１５に示す。固体撮像素子では、２次元の光学像情報を読み取り電気信号に変換する光電変換部（感光部）が図１５に示すように離散的に配置されており、隣接する光電変換部の間には撮像には直接寄与しない非感光部が存在する。イメージシフト法とはこの非感光部の存在を利用し、画像のサンプリング点を倍増することにより、入力画像の高精細化を図る方法である。
【００１２】
すなわち、あるフレームで入力した画像（図１５（ａ））と、次のフレームで被写体像と固体撮像素子の画素の相対的な位置関係を画素ピッチの１／２ずらして入力した画像（図１５（ｂ））を合成すれば、それぞれのフレーム画像において固体撮像素子の非感光部にあたる領域の光学像情報がもう一方のフレーム画像ではサンプリングされていることになり、結局、図１５（ｃ）に示すように実効的に２倍の画素密度で画像を読み取ったことに相当し、高精細化が可能になる。図１５では簡単なため２枚の画像を水平方向に補間する方法について説明したが、水平方向、垂直方向ともに補間による高精細化が可能であり、さらに、画素ピッチの１／３ずつずらして１方向について３倍の高密度化も可能である。
【００１３】
イメージシフト法は上述のように複数のフレーム（またはフィールド）合成により高精細化を実現する方法であり、したがって動領域では多重像が生じるため適用できない。そこで、本発明では動領域検出手段を用い、これよりの検出信号が所定のレベルより小さい場合には、イメージシフト法に基づく合成信号を出力し、静止領域にのみイメージシフト法による高精細化法を適用する。この結果、高精細化されるのは静止領域のみとなるが、人間の目の視覚特性が動領域に対しては静止領域に比べ解像力が劣ることを考慮すれば、静止領域のみ高精細化することにより視覚的には画面全体が高精細となる。
【００１４】
また、本発明では緑成分の静止領域のみ高精細化されることになるが、一般にカラー画像では輝度成分のみ高精細にすることにより視覚的に高精細な画像を再現できることが知られている。したがって、本発明のように輝度成分に近い色成分画像のみ高精細にすることにより、高精細なカラー画像を出力することができる。
【００１５】
本発明は、動領域と静止領域では要求される解像度が異なること、およびカラー画像の解像度が緑成分の解像度に大きく依存する点に着目し、上述の手段を用いそれぞれの領域および色成分に適した特性で画像の取り込みを行うものであり、画素数の少ない固体撮像素子で高精細なカラー撮像装置を提供するものである。
【００１６】
【実施例】
〔実施例１〕
本発明の第１の実施例の概略構成を図１に示す。図１において、１１Ｒ，１１Ｇ，１１ＢはＣＣＤエリアセンサ（以下、単にＣＣＤと呼ぶ）、２はレンズ、３は圧電素子、４はダイクロイックプリズム、４Ｒ，４Ｇ，４Ｂは前記ダイクロイックプリズム４の出射側端面、５Ｒ，５Ｇ，５Ｂは補間処理部、６Ｒ，６Ｇ，６Ｂは動領域検出部、７はフレーム合成部、８は画像合成部、９Ｒ，９Ｇ，９Ｂは出力端子である。なお、図１において、増幅器やＡ／Ｄ変換器は省略した。
【００１７】
実施例１では、固体撮像素子としてＣＣＤを用いている。３つのＣＣＤのうち赤成分画像と青成分画像を撮像するＣＣＤ１１Ｒおよび１１Ｂは通常の３板式ＣＣＤカメラと同様に、ダイクロイックプリズム４の出射側端面４Ｒ，４Ｂに接着し固定する。ＣＣＤ１１Ｇは上下左右に圧電素子３を取り付け、ダイクロイックプリズム４の出射側端面４Ｇに接近して配置する。この圧電素子３によりＣＣＤ１１Ｇを垂直，水平方向に画素ピッチの１／２の幅でフレーム周期に同期させながらシフトさせる。
【００１８】
ＣＣＤ１１Ｒ，１１Ｇおよび１１Ｂで撮像された信号は、それぞれ補間処理部５Ｒ，５Ｇ，５Ｂでの補間処理によって、画素密度をＣＣＤによる撮像画素数の４倍（水平，垂直各２倍）とする。各補間処理部５Ｒ，５Ｇ，５Ｂでの補間法は、水平方向についてはフィールド内補間し、一方、垂直方向については動領域検出部６Ｒ，６Ｂからの信号を用いて、動領域ではフィールド内補間、静止領域ではフィールド間補間とする静／動適応型の補間処理を行う。
【００１９】
さらに、ＣＣＤ１１Ｇからの画像信号については、フレーム合成部７で合成する。フレーム合成部７での合成方法を図２に示す。図２（ａ）はＣＣＤの光電変換部の配列図であり、これをイメージシフト法で左，下，右，上の繰り返しでフレーム周期に同期してシフトさせる。したがって、画像合成部８において各フレームで撮像した画像を合成すると、合成画像における画素の位置関係は図２（ｂ）に示すようになる。ここで、Ｐ１を第ｎフレームで撮像した画像の画素とすると、Ｐ２は第ｎ＋１フレームの画素、Ｐ３は第ｎ＋２フレームの画素、Ｐ４は第ｎ＋３フレームの画素となる。
【００２０】
画像合成部８には、補間処理部５Ｇからの画像信号およびフレーム合成部７からの画像信号を入力し、さらに、動領域検出部６Ｇからの動き検出信号を入力する。そして、動き検出信号が大きい場合は補間処理部５Ｇからの画像信号を出力し、また、動き検出信号が小さい場合はフレーム合成部７からの画像信号を出力する。画像合成部８で合成された信号を緑成分画像の出力信号とし出力端子９Ｇより出力する。一方、赤および青成分の画像信号は補間処理部５Ｒ，５Ｂで補間処理された後、出力端子９Ｒおよび９Ｂからそれぞれ出力される。
【００２１】
動領域検出部６Ｒ，６Ｇおよび６Ｂでの動き検出信号の生成法はＮＴＳＣで用いられている公知の方法を用いる。なお、動領域検出部６Ｇでの動き検出信号の生成法は前記の他、文献（特願平５−２２２０４号参照）に記載の方法を採用することができる。
【００２２】
上記画像合成部８に入力されるフレーム合成部７からの信号は高精細化された緑成分画像であり、これが動き検出信号があるレベルより小さいとき出力されることから、緑成分画像の静止領域が高精細化される。
〔実施例２〕
本発明の第２の実施例の概略構成を図３に示す。本実施例におけるレンズ２，ダイクロイックプリズム４，ＣＣＤ１１Ｒ，１１Ｇ，１１Ｂ，圧電素子３等の光学系構成は、実施例１と同じにする。本実施例では、画像合成部８で用いる動き検出信号として動領域検出部６Ｒおよび６Ｂの出力信号を用いる。すなわち、赤成分画像および青成分画像から得た動き検出信号を用いる。そして、これら２つの動き検出信号のうち、いずれか一方が大きい場合は補間処理部５Ｇからの画像信号を出力し、また動き検出信号が小さい場合はフレーム合成部７からの画像信号を出力する。画像合成部８で合成された信号を緑成分画像の出力信号とし出力端９Ｇより出力する。
【００２３】
なお、この実施例２では、以上の点を除き実施例１と同じ動作を行う。
〔実施例３〕
本発明の第３の実施例の概略構成を図４に示す。図４において、１１１Ｇ，１１２ＧはＣＣＤ、４１はダイクロイックプリズム、４１Ｒ，４１Ｂ，４１１Ｇ，４１２Ｇは前記ダイクロイックプリズム４１の出射側端面である。なお、図４ではダイクロイックプリズム４１の構成の詳細は省略した。
【００２４】
本実施例では、入射光を赤，青および２つの緑光に分岐するダイクロイックプリズム４１を使用する。すなわち、赤，青および２つの緑成分の被写体像をダイクロイックプリズム４１の４つの出射側端面４１Ｒ，４１Ｂ，４１１Ｇ，４１２Ｇに結像し、これを４つのＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇにより撮像する。緑成分画像撮像用の２つのＣＣＤのうちの１つ１１２Ｇは上下左右に圧電素子３を取り付け、ダイクロイックプリズム４１の出射側端面４１２Ｇに近接して配置する。また、緑成分画像撮像用の他のＣＣＤ１１１Ｇ、および赤成分画像、青成分画像を撮像するＣＣＤ１１Ｒおよび１１Ｂはダイクロイックプリズム４１の出射側端面４１１Ｇ，４１Ｒ，４１Ｂにそれぞれ接着し固定する。
【００２５】
ＣＣＤ１１２Ｇは圧電素子３により垂直，水平方向に画素ピッチの１／２の幅でフレーム周期に同期させながらシフトさせる。そして、実施例１と同様の方法により画像信号をフレーム合成部７で合成する。
【００２６】
ＣＣＤ１１Ｒ，１１１Ｇ，１１Ｂで撮像された信号はそれぞれ補間処理部５Ｒ，５Ｇ，５Ｂでの補間処理によって、画素密度をフレーム合成部７から出力される画像と同一とする。補間処理部５Ｒおよび５Ｂでの補間法は、水平方向についてはフィールド内補間し、一方、垂直方向については動領域検出部６Ｒ，６Ｂからの信号を用いて動領域ではフィールド内補間、静止領域ではフィールド間補間とする静／動適応型の補間処理を行う。また、補間処理部５Ｇでの処理は動領域、静止領域にかかわらず全画面についてフィールド内補間処理を施す。
【００２７】
画像合成部８には、補間処理部５Ｇからの画像信号およびフレーム合成部７からの画像信号を入力し、さらに動領域検出部６Ｇからの動き検出信号を入力する。そして、動き検出信号が大きい場合は補間処理部５Ｇからの画像信号を出力し、また、動き検出信号が小さい場合はフレーム合成部７からの画像信号を出力する。画像合成部８で合成された信号を緑成分画像出力信号とし出力端子９Ｇより出力する。一方、赤および青成分の画像信号は補間処理部５Ｒ，５Ｂで補間処理された後、出力端子９Ｒおよび９Ｂからそれぞれ出力される。
【００２８】
なお、動領域検出部６Ｒおよび６Ｂでの動き検出信号の生成法は、ＮＴＳＣで用いられている公知の方法を用いる。画像合成部８に入力されるフレーム合成部７からの信号は高精細化された緑成分画像であり、これが動き検出信号が小さいとき出力されることから、緑成分画像の静止領域が高精細化される。
〔実施例４〕
本発明の第４の実施例の概略構成を図５に示す。本実施例におけるレンズ２，ダイクロイックプリズム４１，ＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇ，圧電素子３等の光学系構成は実施例３と同じとする。本実施例では、補間処理部５Ｇでの補間処理において、ＣＣＤ１１１Ｇの画像信号に加え、ＣＣＤ１１２Ｇで撮像された画像信号も利用する。補間処理部５Ｇにおける補間処理法を図６〜図９により説明する。
【００２９】
図６〜図９において、実線の正方形で示される画素はＣＣＤ１１１Ｇで撮像された緑成分画像の画素であり、円形で示される画素がＣＣＤ１１２Ｇで撮像された画素である。また、網掛けおよび斜線で塗りつぶされた正方形、および円形は各フィールドでサンプリングされた画素である。また、図６〜図９において、Pq(m,n)(q=1〜4、m=i,i+1、n=j,j+1)は画素位置を示す。ここで、ｉ，ｉ＋１は各ＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇの水平方向の画素アドレス、ｊ，ｊ＋１は垂直方向の画素アドレス（ライン番号）である。さらに、図６〜図９において、ｋ，ｋ＋１…は補間処理後の画像におけるライン番号である。
【００３０】
ＣＣＤ１１２Ｇではイメージシフト法により撮像されるため、フレーム毎に画素位置が異なる。いま、第ｎフレームでの画素配置がＣＣＤ１１１Ｇの画素位置（Ｐ１（ｍ，ｎ）で示す位置）と同じとする。ただし、ＣＣＤ１１１ＧとＣＣＤ１１２Ｇで画素配列を１ラインずらして配置するものとする。第ｎフレームにおける画素配置を図６に示す。図６（ａ）は奇数フィールドの画素配置、図６（ｂ）は偶数フィールドの画素配置を示す。両ＣＣＤ１１１Ｇ，１１２Ｇは１ラインずれて配置されているため、奇数フィールドで、ＣＣＤ１１１Ｇではｊ番目のラインの画素がサンプリングされるのに対し、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサンプリングされる。第ｎフレームの奇数フィールドでは補間処理部５Ｇからｋ，ｋ＋２、…ラインの画像を出力する。したがって、補間処理部５Ｇからの出力画像では両ＣＣＤ１１１Ｇ，１１２Ｇからの信号が奇数ラインおよび偶数ラインの信号としてそれぞれ出力される。ただし、Ｐ２（ｍ，ｎ）で示される画素ではサンプリングデータがないため、左右のＰ１（ｍ，ｎ）で示される画素の平均値をとりその画素の値とすることにより補間される。
【００３１】
図６（ｂ）に第ｎフレームの偶数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプリングされる。しかし、このフィールドで補間処理部５Ｇから出力されるラインはｋ＋１，ｋ＋２，…であり、このラインの画素（Ｐ３（ｍ，ｎ），Ｐ４（ｍ，ｎ）で示す画素）はサンプリングされていない。そこで、（１），（２）式にしたがって内挿法によりサンプリングされた画素からＰ３（ｍ，ｎ），Ｐ４（ｍ，ｎ）で示す画素の値を求めて出力する。
【００３２】
【数１】
P3(i,j)={P1(i,j)+P1(i+1,j)+P1(i,j+1)+P1(i+1,j+1)} ／４ ……（１）
P4(i,j)={P1(i,j)+P1(i,j+1)} ／２ ……（２）
図７（ａ）に第ｎ＋１フレームの奇数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサンプリングされる。ここで、ＣＣＤ１１１Ｇでは前フレームの奇数フィールドと同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で示される画素）がサンプリングされるのに対し、ＣＣＤ１１２Ｇではイメージシフト法により画素位置がＣＣＤの撮像面上で右に１／２画素ピッチ分（出力側で１画素ピッチ分）だけシフトし、サンプリング画素はｊ＋１番目のラインのＰ２（ｍ，ｎ）で示す画素となる。このフィールドでは補間処理部５Ｇからｋ，ｋ＋２，…ラインの画像が出力される。そこで、出力画像でのｋラインにおけるＰ２（ｍ，ｎ）で示される画素では、左右のＰ１（ｍ，ｎ）で示される画素の平均値をとりその画素の値とし、一方、ｋ＋２ラインにおけるＰ１（ｍ，ｎ）で示される画素では、左右のＰ２（ｍ，ｎ）で示される画素の平均値をとりその画素の値とする。
【００３３】
図７（ｂ）に第ｎ＋１フレームの偶数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプリングされる。しかし、このフィールドで補間処理部５Ｇから出力されるラインはｋ＋１，ｋ＋３，…であり、このラインの画素（Ｐ３，Ｐ４で示す画素）はサンプリングされていない。そこで、（３），（４）式にしたがってサンプリング画素からＰ３，Ｐ４で示す画素の値を求めて出力する。
【００３４】
【数２】
P3(i,j)={P1(i,j)+P1(i+1,j)+2 x P2(i,j+1)} ／４ ……（３）
P4(i,j)={2 x P1(i,j)+P2(i-1,j+1)+P2(i,j+1)} ／４ ……（４）
図８（ａ）に第ｎ＋２フレームの奇数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサンプリングされる。ＣＣＤ１１２Ｇでは前フレームの奇数フィールドと同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で示される画素）がサンプリングされるのに対し、ＣＣＤ１１２Ｇではイメージシフト法により画素位置がＣＣＤの撮像面上で下に１／２画素ピッチ分（出力側で１画素ピッチ分）だけシフトし、サンプリング画素はｊ＋１番目のラインのＰ３（ｍ，ｎ）で示す画素となる。このフィールドでは補間処理部５Ｇからｋ，ｋ＋２，…ラインの画像が出力される。そこで、出力画像でのｋラインおけるＰ２（ｍ，ｎ）で示される画素では左右のＰ１で示される画素の平均値をとりその画素の値とし、一方、ｋ＋２ラインにおけるＰ１（ｍ，ｎ）およびＰ２（ｍ，ｎ）で示される画素では（５），（６）式にしたがってサンプリング画素からこれらの画素の値を求めて出力する。
【００３５】
【数３】
P1(i,j+1)={P3(i-1,j+1)+P3(i,j+1)+P1(i,j)} ／３ ……（５）
P2(i,j+1)={4 x P3(i,j+1)+P1(i,j)+P1(i+1,j)} ／６ ……（６）
図８（ｂ）に第ｎ＋２フレームの偶数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプリングされる。このフィールドでは補間処理部５Ｇからｋ＋１，ｋ＋３，…ラインの画像が出力されるが、これらのラインにおけるＰ３およびＰ４で示される画素はサンプリングされていない。そこで、ｋ＋１ラインのＰ４で示される画素では左右のＰ３で示される画素の平均値をとりその画素の値とし、一方、ｋ＋３ラインにおけるＰ３およびＰ４で示される画素では（７），（８）式にしたがってサンプリング画素からこれらの画素の値を求めて出力する。
【００３６】
【数４】
P3(i,j+1)={P1(i,j+1)+P1(i+1,j+1)+P3(i,j+2)} ／３ ……（７）
P4(i,j+1)={4 x P1(i,j+1)+P3(i-1,j+2)+P3(i,j+2)} ／６ ……（８）
図９（ａ）に第ｎ＋３フレームの奇数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサンプリングされる。ＣＣＤ１１１Ｇでは前フレームの奇数フィールドと同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で示される画素）がサンプリングされるのに対し、ＣＣＤ１１２Ｇではイメージシフト法により画素位置がＣＣＤの撮像面上で左に１／２画素ピッチ分（出力側で１画素ピッチ分）だけシフトし、サンプリング画素はｊ＋１番目のラインのＰ４で示す画素となる。このフィールドでは補間処理部５Ｇからｋ，ｋ＋２，…ラインの画像が出力される。そこで、出力画像でのｋラインおけるＰ２（ｍ，ｎ）で示される画素では左右のＰ１（ｍ，ｎ）で示される画素の平均値をとりその画素の値とし、一方、ｋ＋２ラインにおけるＰ１（ｍ，ｎ）およびＰ２（ｍ，ｎ）で示される画素では（９），（１０）式にしたがってサンプリング画素からこれらの画素の値を求めて出力する。
【００３７】
【数５】
P1(i,j+1)={P1(i,j)+2 x P4(i,j+1)} ／３ ……（９）
P2(i,j+1)={P1(i,j)+P1(i+1,j)+2xP4(i,j+1)+2xP4(i+1,j+1)} ／６……（１０）
図９（ｂ）に第ｎ＋３フレームの偶数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプリングされる。このフィールドでは補間処理部５Ｇからｋ＋１，ｋ＋３，…ラインの画像が出力されるが、これらのラインにおける、Ｐ３およびＰ４で示される画素はサンプリングされていない。そこで、ｋ＋１ラインのＰ４で示される画素では左右のＰ３で示される画素の平均値をとりその画素の値とし、一方、ｋ＋３ラインにおけるＰ３およびＰ４で示される画素では（１１），（１２）式にしたがってサンプリング画素からこれらの画素の値を求めて出力する。
【００３８】
【数６】
P3(i,j+1)={P4(i,j+2)+P4(i+1,j+2)+2xP1(i,j+1)+P1(i+1,j+1)} ／６……（１１）
P4(i,j+1)={2xP1(i,j+1)+P4(i,j+2)} ／３ ……（１２）
以上４フレーム（８フィールド）の処理が順次繰り返して行われる。この実施例４では以上述べた補間処理部５Ｇでの処理を除き、実施例１と同じである。本実施例では補間処理をＣＣＤ１１２Ｇからの信号を用いるため、緑成分画像の動領域も高精細にすることができる。
〔実施例５〕
本発明の第５の実施例の概略構成を図１０に示す。本実施例におけるレンズ２，ダイクロイックプリズム４１，ＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇ，圧電素子３等の光学系構成は実施例３と同じとする。この実施例５でも補間処理部５Ｇでの補間処理において、ＣＣＤ１１１Ｇの画像信号に加え、ＣＣＤ１１２Ｇで撮像された画像信号も利用する。さらに、本実施例ではフレーム合成部７でＣＣＤ１１２Ｇの画像信号に加え、ＣＣＤ１１１Ｇからの緑成分画像信号も用いてフレーム合成を行う。
【００３９】
この実施例５で、ＣＣＤ１１２Ｇ用いるイメージシフト法を図１１に示す。図１１において、実線の正方形で示される画素はＣＣＤ１１１Ｇで撮像される緑成分画像の画素であり、円形で示される画素がＣＣＤ１１２Ｇで撮像される画素である。前記各実施例で用いたイメージシフト法では画素ピッチの１／２ずつ右，下，左，上の順でシフトさせて、４フレームで１つの画素が４つの位置をサンプリングしたのに対し、この実施例５では下，左，右上の順でシフトさせてＣＣＤ１１１Ｇでサンプリングされる位置を除く３つの位置を３フレームでサンプリングする。そして、フレーム合成はＣＣＤ１１２Ｇで撮像された３フレーム分の画素およびＣＣＤ１１１Ｇで撮像された１フレーム分の画素を合成して行う。
【００４０】
なお、この実施例５では上記フレーム合成部７での処理を除き、実施例４と同様の動作である。
〔実施例６〕
本発明の第６の実施例の概略構成を図１２に示す。図１２において、７Ｒおよび７Ｂはフィールド間補間処理部、８Ｒ，８Ｇおよび８Ｂは画像合成部、ＡＲ，ＡＢおよび６ＲＧＢは加算器、ＨＦはハイパスフィルタである。この実施例６におけるレンズ２，ダイクロイックプリズム４，ＣＣＤ１１Ｒ，１１Ｇ，１１Ｂ，圧電素子３等の光学系構成は実施例１と同じとする。上記各実施例では、いずれも赤および青成分画像の静止領域の高精細化を現フィールドと前フィールドの２フィールド間の補間で実現したが、この実施例６ではこの補間処理後の信号に緑成分の高周波成分を加えることにより、より高精細な赤および青成分画像を実現する。すなわち、フレーム合成部７Ｇで合成された緑成分の画像信号のうちハイパスフィルタＨＦを通過させた信号を、フィールド間補間処理部７Ｒおよび７Ｂで補間処理された青成分および赤成分の画像信号にそれぞれ加算器ＡＲ，ＡＢで加算する。この処理は、赤および青成分画像と緑成分画像の高周波成分間の相関性を利用して、赤および青成分画像の高精細化を実現する処理である。
【００４１】
上記高精細化処理を行うためには、現フィールドから過去８フィールドにわたり注目画素が動領域でないことが条件となる。したがって、動領域検出部６Ｒおよび６Ｂでは前記実施例のようにＮＴＳＣ等で用いられている公知の方法を使用することはできない。そこで、本実施例では過去８フィールド間の輝度変化を全て検出する。図１３にこの実施例６での動領域検出部６Ｒおよび６Ｂでの動き検出信号の算出法を示す。いま、現フィールドを第ｍフィールドとし、図１４のＰ１（ｉ，ｊ）で示される画素の動き係数の算出をするものとする。なお、赤および青成分画像用のＣＣＤ１１Ｒ，１１Ｂは固定されているため、図１４で実線の四角で示される画素のみサンプリングされることになる。第ｍフィールドでの画素Ｐ１（ｉ，ｊ）の信号値をＰ１（ｉ，ｊ）m と表すことにすれば、本実施例での動領域検出部６Ｒでの動き検出信号ｋR は（１３）式で与えるものとする。
【００４２】
【数７】
ただし、ＣＣＤは全てインタレース方式で駆動するため、第ｍフィールドで画素Ｐ１（ｉ，ｊ）を含むｊラインが走査されているとすれば、m-1 ，m-3 ，m-5 ，m-7 の各フィールドではｊラインが走査されないため、画素Ｐ１（ｉ，ｊ）の信号値を得ることができない。そこで、これらのフィールドにおいては、そのフィールドで走査される上下のラインにある画素Ｐ１（ｉ，ｊ−１）およびＰ１（ｉ，ｊ＋１）の信号値の平均値を用いることとする。また、動領域検出部６Ｂでの動き検出信号kBもkRと同様にして求める。
【００４３】
この実施例６では赤，緑および青成分画像で動領域を同一とするため１つの動き検出信号ｋで各色成分画像の動領域と静止領域の判定を行う。動き検出信号ｋは（１４）式により算出する。
【００４４】
【数８】
ｋ＝kR ＋ kG ＋ kB ……（１４）
上記動き検出信号ｋを用い、画像合成部８Ｒ，８Ｇおよび８Ｂでそれぞれ静止領域画像と動領域画像を合成する。
【００４５】
本実施例でも赤および青成分画像の撮像用ＣＣＤは固定されているため、これらの画像には高周波成分は含まれないが、緑成分画像の高周波成分との相関性を利用して、これを加えることにより赤および青成分画像の高精細化を実現する。
【００４６】
以上においては、本発明の６つの実施例を示したにとどまり、本発明の精神を脱することなく種々の変更が可能なことはいうまでもない。例えば、上記実施例では固体撮像素子としてＣＣＤを用いたが、固体撮像素子の種類を問わず実施することが可能である。
【００４７】
また、上記実施例では静止領域の緑成分画像をＣＣＤを１方向について画素ピッチの１／２だけずらした画像を合成して生成したが、画素ピッチの１／３または１／４づつずらし、さらに解像度の高い画像を合成することも可能である。
【００４８】
また、上記実施例では圧電素子３でＣＣＤ１１Ｒ，１１Ｂ，１１Ｇ，１１１Ｇ，１１２Ｇ等を振動させるシフト手段によるイメージシフト法を用いて、撮像素子上で被写体像をシフトさせたが、例えば、ダイクロイックプリズムと撮像素子の間で透明板を振動させる方法等いずれのシフト手段を用いても本発明の実施が可能である。
【００４９】
また、上記実施例では、ダイクロイックプリズムを用いる３ＣＣＤ方式および４ＣＣＤ方式について述べたが、２個のＣＣＤを用い赤成分と青成分の画像を１つのＣＣＤで撮像する方法でも本発明の実施は可能である。
【００５０】
【発明の効果】
本発明は請求項１に記載の発明では、色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、画素をフィールド内で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する画像について、画素をフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有するようにし、
また請求項２に記載の発明では、色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、少なくとも当該画素位置がシフトされる固体撮像素子の連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と同色成分の画像について、少なくとも当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と異なる色成分の画像について、当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有するようにしたので、それぞれの領域および色に適した特性で画像の取り込みが可能となる。すなわち、画像の精細度を決定する静止領域については画素数の少ない撮像素子を用いても時間をかけることにより十分高精細に撮像することができる。また、動領域については従来の動画撮像と同一速度で撮像でき、自然な動画像を撮像できる。
以上から、本発明のカラー撮像装置では画素数の少ない固体撮像素子を用いても高精細な動画の撮像が可能である。このため、ＨＤＴＶなどの高精細な動画撮像装置を低コストで実現できる。さらに、ＨＤＴＶ用などの高解像度の撮像素子を用いて本発明を実施すれば、従来にはない超高精細な動画の撮像が可能となる。
【００５１】
また、本発明は連続する複数のフレームまたはフィールド画像を合成する画像合成手段、および撮像画像から動領域を検出する動領域検出手段を備えているので動領域を検出して取り出すことができるため、受信側への伝送に当たってはこの動領域と静止領域において１コマ前に動領域であった部分のみの信号を送ればよく伝送信号を容易に圧縮することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の概略構成を示すブロック図である。
【図２】第１の実施例でのフレーム合成法を示す図である。
【図３】本発明の第２の実施例の概略構成を示すブロック図である。
【図４】本発明の第３の実施例の概略構成を示すブロック図である。
【図５】本発明の第４の実施例の概略構成を示すブロック図である。
【図６】本発明の第４の実施例の撮像画像と出力画像の画素位置関係をフレームおよびフィールド毎に示す図である。
【図７】本発明の第４の実施例の撮像画像と出力画像の画素位置関係をフレームおよびフィールド毎に示す図である。
【図８】本発明の第４の実施例の撮像画像と出力画像の画素位置関係をフレームおよびフィールド毎に示す図である。
【図９】本発明の第４の実施例の撮像画像と出力画像の画素位置関係をフレームおよびフィールド毎に示す図である。
【図１０】本発明の第５の実施例の概略構成を示すブロック図である。
【図１１】第５の実施例で用いるイメージシフト法の説明図である。
【図１２】本発明の第６の実施例の概略構成を示すブロック図である。
【図１３】第６の実施例における動領域検出部での動き検出信号の算出法を示す図である。
【図１４】第６の実施例の撮像画像と出力画像の画素位置関係を示す図である。
【図１５】本発明によるイメージシフト法による高解像度化の原理説明図である。
【図１６】従来のダイクロイックプリズムを用いるカラー撮像装置の概略構成図である。
【符号の説明】
２ レンズ
３ 圧電素子
４ ダイクロイックプリズム
５Ｒ 補間処理部
５Ｇ 補間処理部
５Ｂ 補間処理部
６Ｒ 動領域検出部
６Ｇ 動領域検出部
６Ｂ 動領域検出部
７ フレーム合成部
８ 画像合成部
９Ｒ 出力端子
９Ｇ 出力端子
９Ｂ 出力端子
１１Ｒ ＣＣＤエリアセンサ
１１Ｇ ＣＣＤエリアセンサ
１１Ｂ ＣＣＤエリアセンサ
４１ ダイクロイックプリズム
【産業上の利用分野】
本発明は、動画像入力技術に関し、詳しくは色分解プリズムと複数の固体撮像素子を用い高精細なカラー撮像装置に関するものである。
【０００２】
【従来の技術】
カラー画像を高精細に撮像する方法として、従来、ダイクロイックプリズムと呼ばれる色分解プリズムを使用する方法が用いられている。この方法は、ダイクロイックプリズムによりレンズ通過後の光を赤，緑，青などの複数の色成分に分解し、各色成分毎の被写体像を複数の位置に結像し、これら複数の被写体像を複数の固体撮像素子により撮像する方法である。
【０００３】
従来のダイクロイックプリズムを使用するカラー撮像装置の構成を図１６に示す。図１６において、４はダイクロイックプリズム、４Ｒ，４Ｇ，４Ｂは前記ダイクロイックプリズム４の出射側端面、１Ｒ，１Ｇ，１Ｂは固体撮像素子（総称するときは１という）、２はレンズである。各色成分の被写体像はダイクロイックプリズム４の出射側端面４Ｒ，４Ｇ，４Ｂにそれぞれ結像される。そして、これらの被写体像は各出射側端面４Ｒ，４Ｇ，４Ｂに接着剤等で張り付けられた固体撮像素子１Ｒ，１Ｇ，１Ｂによりそれぞれ撮像され、各色成分毎の画像信号が生成される。
【０００４】
【発明が解決しようとする課題】
上記、従来のダイクロイックプリズム４を用いるカラー撮像装置の解像度は、使用する固体撮像素子１の画素数によって決まる。固体撮像素子１の画素数を増やす方法としては微細加工技術を駆使し、画素密度を高めることによる方法が主流であるが、固体撮像素子１のサイズを大きくして画素数を増やす方法もある。しかし、画素密度を高める方法ではプロセスが難しくなる問題もあり、さらに画素面積縮小による感度低下の問題も生じる。近年、この方法によりＨＤＴＶ用の２００万画素の固体撮像素子１が開発されているが、特に感度の低下を考慮した場合、この画素数はもはや限界に近く、現状ではさらに画素数を増加させ解像度を向上することは困難となっている。
【０００５】
一方、画素密度は変えずに固体撮像素子１のサイズを大きくして画素数を増やす方法では、製造歩留りを低下させコスト増加につながる。このため、専ら天文などの科学用や軍事用に用途は限られている。上記問題の他、１つの固体撮像素子１内の画素数を増やすことにより高解像度化を図る従来の方法では、画素数増加に伴い固体撮像素子１の駆動速度や、ディジタル化の際のＡ／Ｄ変換速度等を高速化しなければならないという問題も深刻化している。
【０００６】
本発明の目的は、固体撮像素子の画像密度を高めたり、画素数を増加させることなく解像度を向上させたカラー撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明にかかるカラー撮像装置は、色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、画素をフィールド内で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する画像について、画素をフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有するものである。
【０００８】
また、本発明にかかるカラー撮像装置は、色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、少なくとも当該画素位置がシフトされる固体撮像素子の連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と同色成分の画像について、少なくとも当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と異なる色成分の画像について、当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有するものである。
【０００９】
さらに、上記イメージシフト法を適用する固体撮像素子は色分解された各色成分の中で輝度成分に最も近い色成分の被写体像の撮像に用いる。
【００１０】
【作用】
本発明においては、ダイクロイックプリズムで分解した赤，緑，青の被写体像を３つの固体撮像素子で撮像する場合について説明する。この場合、輝度成分に最も近い色成分は緑成分であり、イメージシフト法を適用する固体撮像素子では緑成分の被写体像を撮像する。
【００１１】
本発明によれば、緑成分画像がイメージシフト法により高精細化される。イメージシフト法による高精細化の原理図を図１５に示す。固体撮像素子では、２次元の光学像情報を読み取り電気信号に変換する光電変換部（感光部）が図１５に示すように離散的に配置されており、隣接する光電変換部の間には撮像には直接寄与しない非感光部が存在する。イメージシフト法とはこの非感光部の存在を利用し、画像のサンプリング点を倍増することにより、入力画像の高精細化を図る方法である。
【００１２】
すなわち、あるフレームで入力した画像（図１５（ａ））と、次のフレームで被写体像と固体撮像素子の画素の相対的な位置関係を画素ピッチの１／２ずらして入力した画像（図１５（ｂ））を合成すれば、それぞれのフレーム画像において固体撮像素子の非感光部にあたる領域の光学像情報がもう一方のフレーム画像ではサンプリングされていることになり、結局、図１５（ｃ）に示すように実効的に２倍の画素密度で画像を読み取ったことに相当し、高精細化が可能になる。図１５では簡単なため２枚の画像を水平方向に補間する方法について説明したが、水平方向、垂直方向ともに補間による高精細化が可能であり、さらに、画素ピッチの１／３ずつずらして１方向について３倍の高密度化も可能である。
【００１３】
イメージシフト法は上述のように複数のフレーム（またはフィールド）合成により高精細化を実現する方法であり、したがって動領域では多重像が生じるため適用できない。そこで、本発明では動領域検出手段を用い、これよりの検出信号が所定のレベルより小さい場合には、イメージシフト法に基づく合成信号を出力し、静止領域にのみイメージシフト法による高精細化法を適用する。この結果、高精細化されるのは静止領域のみとなるが、人間の目の視覚特性が動領域に対しては静止領域に比べ解像力が劣ることを考慮すれば、静止領域のみ高精細化することにより視覚的には画面全体が高精細となる。
【００１４】
また、本発明では緑成分の静止領域のみ高精細化されることになるが、一般にカラー画像では輝度成分のみ高精細にすることにより視覚的に高精細な画像を再現できることが知られている。したがって、本発明のように輝度成分に近い色成分画像のみ高精細にすることにより、高精細なカラー画像を出力することができる。
【００１５】
本発明は、動領域と静止領域では要求される解像度が異なること、およびカラー画像の解像度が緑成分の解像度に大きく依存する点に着目し、上述の手段を用いそれぞれの領域および色成分に適した特性で画像の取り込みを行うものであり、画素数の少ない固体撮像素子で高精細なカラー撮像装置を提供するものである。
【００１６】
【実施例】
〔実施例１〕
本発明の第１の実施例の概略構成を図１に示す。図１において、１１Ｒ，１１Ｇ，１１ＢはＣＣＤエリアセンサ（以下、単にＣＣＤと呼ぶ）、２はレンズ、３は圧電素子、４はダイクロイックプリズム、４Ｒ，４Ｇ，４Ｂは前記ダイクロイックプリズム４の出射側端面、５Ｒ，５Ｇ，５Ｂは補間処理部、６Ｒ，６Ｇ，６Ｂは動領域検出部、７はフレーム合成部、８は画像合成部、９Ｒ，９Ｇ，９Ｂは出力端子である。なお、図１において、増幅器やＡ／Ｄ変換器は省略した。
【００１７】
実施例１では、固体撮像素子としてＣＣＤを用いている。３つのＣＣＤのうち赤成分画像と青成分画像を撮像するＣＣＤ１１Ｒおよび１１Ｂは通常の３板式ＣＣＤカメラと同様に、ダイクロイックプリズム４の出射側端面４Ｒ，４Ｂに接着し固定する。ＣＣＤ１１Ｇは上下左右に圧電素子３を取り付け、ダイクロイックプリズム４の出射側端面４Ｇに接近して配置する。この圧電素子３によりＣＣＤ１１Ｇを垂直，水平方向に画素ピッチの１／２の幅でフレーム周期に同期させながらシフトさせる。
【００１８】
ＣＣＤ１１Ｒ，１１Ｇおよび１１Ｂで撮像された信号は、それぞれ補間処理部５Ｒ，５Ｇ，５Ｂでの補間処理によって、画素密度をＣＣＤによる撮像画素数の４倍（水平，垂直各２倍）とする。各補間処理部５Ｒ，５Ｇ，５Ｂでの補間法は、水平方向についてはフィールド内補間し、一方、垂直方向については動領域検出部６Ｒ，６Ｂからの信号を用いて、動領域ではフィールド内補間、静止領域ではフィールド間補間とする静／動適応型の補間処理を行う。
【００１９】
さらに、ＣＣＤ１１Ｇからの画像信号については、フレーム合成部７で合成する。フレーム合成部７での合成方法を図２に示す。図２（ａ）はＣＣＤの光電変換部の配列図であり、これをイメージシフト法で左，下，右，上の繰り返しでフレーム周期に同期してシフトさせる。したがって、画像合成部８において各フレームで撮像した画像を合成すると、合成画像における画素の位置関係は図２（ｂ）に示すようになる。ここで、Ｐ１を第ｎフレームで撮像した画像の画素とすると、Ｐ２は第ｎ＋１フレームの画素、Ｐ３は第ｎ＋２フレームの画素、Ｐ４は第ｎ＋３フレームの画素となる。
【００２０】
画像合成部８には、補間処理部５Ｇからの画像信号およびフレーム合成部７からの画像信号を入力し、さらに、動領域検出部６Ｇからの動き検出信号を入力する。そして、動き検出信号が大きい場合は補間処理部５Ｇからの画像信号を出力し、また、動き検出信号が小さい場合はフレーム合成部７からの画像信号を出力する。画像合成部８で合成された信号を緑成分画像の出力信号とし出力端子９Ｇより出力する。一方、赤および青成分の画像信号は補間処理部５Ｒ，５Ｂで補間処理された後、出力端子９Ｒおよび９Ｂからそれぞれ出力される。
【００２１】
動領域検出部６Ｒ，６Ｇおよび６Ｂでの動き検出信号の生成法はＮＴＳＣで用いられている公知の方法を用いる。なお、動領域検出部６Ｇでの動き検出信号の生成法は前記の他、文献（特願平５−２２２０４号参照）に記載の方法を採用することができる。
【００２２】
上記画像合成部８に入力されるフレーム合成部７からの信号は高精細化された緑成分画像であり、これが動き検出信号があるレベルより小さいとき出力されることから、緑成分画像の静止領域が高精細化される。
〔実施例２〕
本発明の第２の実施例の概略構成を図３に示す。本実施例におけるレンズ２，ダイクロイックプリズム４，ＣＣＤ１１Ｒ，１１Ｇ，１１Ｂ，圧電素子３等の光学系構成は、実施例１と同じにする。本実施例では、画像合成部８で用いる動き検出信号として動領域検出部６Ｒおよび６Ｂの出力信号を用いる。すなわち、赤成分画像および青成分画像から得た動き検出信号を用いる。そして、これら２つの動き検出信号のうち、いずれか一方が大きい場合は補間処理部５Ｇからの画像信号を出力し、また動き検出信号が小さい場合はフレーム合成部７からの画像信号を出力する。画像合成部８で合成された信号を緑成分画像の出力信号とし出力端９Ｇより出力する。
【００２３】
なお、この実施例２では、以上の点を除き実施例１と同じ動作を行う。
〔実施例３〕
本発明の第３の実施例の概略構成を図４に示す。図４において、１１１Ｇ，１１２ＧはＣＣＤ、４１はダイクロイックプリズム、４１Ｒ，４１Ｂ，４１１Ｇ，４１２Ｇは前記ダイクロイックプリズム４１の出射側端面である。なお、図４ではダイクロイックプリズム４１の構成の詳細は省略した。
【００２４】
本実施例では、入射光を赤，青および２つの緑光に分岐するダイクロイックプリズム４１を使用する。すなわち、赤，青および２つの緑成分の被写体像をダイクロイックプリズム４１の４つの出射側端面４１Ｒ，４１Ｂ，４１１Ｇ，４１２Ｇに結像し、これを４つのＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇにより撮像する。緑成分画像撮像用の２つのＣＣＤのうちの１つ１１２Ｇは上下左右に圧電素子３を取り付け、ダイクロイックプリズム４１の出射側端面４１２Ｇに近接して配置する。また、緑成分画像撮像用の他のＣＣＤ１１１Ｇ、および赤成分画像、青成分画像を撮像するＣＣＤ１１Ｒおよび１１Ｂはダイクロイックプリズム４１の出射側端面４１１Ｇ，４１Ｒ，４１Ｂにそれぞれ接着し固定する。
【００２５】
ＣＣＤ１１２Ｇは圧電素子３により垂直，水平方向に画素ピッチの１／２の幅でフレーム周期に同期させながらシフトさせる。そして、実施例１と同様の方法により画像信号をフレーム合成部７で合成する。
【００２６】
ＣＣＤ１１Ｒ，１１１Ｇ，１１Ｂで撮像された信号はそれぞれ補間処理部５Ｒ，５Ｇ，５Ｂでの補間処理によって、画素密度をフレーム合成部７から出力される画像と同一とする。補間処理部５Ｒおよび５Ｂでの補間法は、水平方向についてはフィールド内補間し、一方、垂直方向については動領域検出部６Ｒ，６Ｂからの信号を用いて動領域ではフィールド内補間、静止領域ではフィールド間補間とする静／動適応型の補間処理を行う。また、補間処理部５Ｇでの処理は動領域、静止領域にかかわらず全画面についてフィールド内補間処理を施す。
【００２７】
画像合成部８には、補間処理部５Ｇからの画像信号およびフレーム合成部７からの画像信号を入力し、さらに動領域検出部６Ｇからの動き検出信号を入力する。そして、動き検出信号が大きい場合は補間処理部５Ｇからの画像信号を出力し、また、動き検出信号が小さい場合はフレーム合成部７からの画像信号を出力する。画像合成部８で合成された信号を緑成分画像出力信号とし出力端子９Ｇより出力する。一方、赤および青成分の画像信号は補間処理部５Ｒ，５Ｂで補間処理された後、出力端子９Ｒおよび９Ｂからそれぞれ出力される。
【００２８】
なお、動領域検出部６Ｒおよび６Ｂでの動き検出信号の生成法は、ＮＴＳＣで用いられている公知の方法を用いる。画像合成部８に入力されるフレーム合成部７からの信号は高精細化された緑成分画像であり、これが動き検出信号が小さいとき出力されることから、緑成分画像の静止領域が高精細化される。
〔実施例４〕
本発明の第４の実施例の概略構成を図５に示す。本実施例におけるレンズ２，ダイクロイックプリズム４１，ＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇ，圧電素子３等の光学系構成は実施例３と同じとする。本実施例では、補間処理部５Ｇでの補間処理において、ＣＣＤ１１１Ｇの画像信号に加え、ＣＣＤ１１２Ｇで撮像された画像信号も利用する。補間処理部５Ｇにおける補間処理法を図６〜図９により説明する。
【００２９】
図６〜図９において、実線の正方形で示される画素はＣＣＤ１１１Ｇで撮像された緑成分画像の画素であり、円形で示される画素がＣＣＤ１１２Ｇで撮像された画素である。また、網掛けおよび斜線で塗りつぶされた正方形、および円形は各フィールドでサンプリングされた画素である。また、図６〜図９において、Pq(m,n)(q=1〜4、m=i,i+1、n=j,j+1)は画素位置を示す。ここで、ｉ，ｉ＋１は各ＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇの水平方向の画素アドレス、ｊ，ｊ＋１は垂直方向の画素アドレス（ライン番号）である。さらに、図６〜図９において、ｋ，ｋ＋１…は補間処理後の画像におけるライン番号である。
【００３０】
ＣＣＤ１１２Ｇではイメージシフト法により撮像されるため、フレーム毎に画素位置が異なる。いま、第ｎフレームでの画素配置がＣＣＤ１１１Ｇの画素位置（Ｐ１（ｍ，ｎ）で示す位置）と同じとする。ただし、ＣＣＤ１１１ＧとＣＣＤ１１２Ｇで画素配列を１ラインずらして配置するものとする。第ｎフレームにおける画素配置を図６に示す。図６（ａ）は奇数フィールドの画素配置、図６（ｂ）は偶数フィールドの画素配置を示す。両ＣＣＤ１１１Ｇ，１１２Ｇは１ラインずれて配置されているため、奇数フィールドで、ＣＣＤ１１１Ｇではｊ番目のラインの画素がサンプリングされるのに対し、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサンプリングされる。第ｎフレームの奇数フィールドでは補間処理部５Ｇからｋ，ｋ＋２、…ラインの画像を出力する。したがって、補間処理部５Ｇからの出力画像では両ＣＣＤ１１１Ｇ，１１２Ｇからの信号が奇数ラインおよび偶数ラインの信号としてそれぞれ出力される。ただし、Ｐ２（ｍ，ｎ）で示される画素ではサンプリングデータがないため、左右のＰ１（ｍ，ｎ）で示される画素の平均値をとりその画素の値とすることにより補間される。
【００３１】
図６（ｂ）に第ｎフレームの偶数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプリングされる。しかし、このフィールドで補間処理部５Ｇから出力されるラインはｋ＋１，ｋ＋２，…であり、このラインの画素（Ｐ３（ｍ，ｎ），Ｐ４（ｍ，ｎ）で示す画素）はサンプリングされていない。そこで、（１），（２）式にしたがって内挿法によりサンプリングされた画素からＰ３（ｍ，ｎ），Ｐ４（ｍ，ｎ）で示す画素の値を求めて出力する。
【００３２】
【数１】
P3(i,j)={P1(i,j)+P1(i+1,j)+P1(i,j+1)+P1(i+1,j+1)} ／４ ……（１）
P4(i,j)={P1(i,j)+P1(i,j+1)} ／２ ……（２）
図７（ａ）に第ｎ＋１フレームの奇数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサンプリングされる。ここで、ＣＣＤ１１１Ｇでは前フレームの奇数フィールドと同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で示される画素）がサンプリングされるのに対し、ＣＣＤ１１２Ｇではイメージシフト法により画素位置がＣＣＤの撮像面上で右に１／２画素ピッチ分（出力側で１画素ピッチ分）だけシフトし、サンプリング画素はｊ＋１番目のラインのＰ２（ｍ，ｎ）で示す画素となる。このフィールドでは補間処理部５Ｇからｋ，ｋ＋２，…ラインの画像が出力される。そこで、出力画像でのｋラインにおけるＰ２（ｍ，ｎ）で示される画素では、左右のＰ１（ｍ，ｎ）で示される画素の平均値をとりその画素の値とし、一方、ｋ＋２ラインにおけるＰ１（ｍ，ｎ）で示される画素では、左右のＰ２（ｍ，ｎ）で示される画素の平均値をとりその画素の値とする。
【００３３】
図７（ｂ）に第ｎ＋１フレームの偶数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプリングされる。しかし、このフィールドで補間処理部５Ｇから出力されるラインはｋ＋１，ｋ＋３，…であり、このラインの画素（Ｐ３，Ｐ４で示す画素）はサンプリングされていない。そこで、（３），（４）式にしたがってサンプリング画素からＰ３，Ｐ４で示す画素の値を求めて出力する。
【００３４】
【数２】
P3(i,j)={P1(i,j)+P1(i+1,j)+2 x P2(i,j+1)} ／４ ……（３）
P4(i,j)={2 x P1(i,j)+P2(i-1,j+1)+P2(i,j+1)} ／４ ……（４）
図８（ａ）に第ｎ＋２フレームの奇数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサンプリングされる。ＣＣＤ１１２Ｇでは前フレームの奇数フィールドと同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で示される画素）がサンプリングされるのに対し、ＣＣＤ１１２Ｇではイメージシフト法により画素位置がＣＣＤの撮像面上で下に１／２画素ピッチ分（出力側で１画素ピッチ分）だけシフトし、サンプリング画素はｊ＋１番目のラインのＰ３（ｍ，ｎ）で示す画素となる。このフィールドでは補間処理部５Ｇからｋ，ｋ＋２，…ラインの画像が出力される。そこで、出力画像でのｋラインおけるＰ２（ｍ，ｎ）で示される画素では左右のＰ１で示される画素の平均値をとりその画素の値とし、一方、ｋ＋２ラインにおけるＰ１（ｍ，ｎ）およびＰ２（ｍ，ｎ）で示される画素では（５），（６）式にしたがってサンプリング画素からこれらの画素の値を求めて出力する。
【００３５】
【数３】
P1(i,j+1)={P3(i-1,j+1)+P3(i,j+1)+P1(i,j)} ／３ ……（５）
P2(i,j+1)={4 x P3(i,j+1)+P1(i,j)+P1(i+1,j)} ／６ ……（６）
図８（ｂ）に第ｎ＋２フレームの偶数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプリングされる。このフィールドでは補間処理部５Ｇからｋ＋１，ｋ＋３，…ラインの画像が出力されるが、これらのラインにおけるＰ３およびＰ４で示される画素はサンプリングされていない。そこで、ｋ＋１ラインのＰ４で示される画素では左右のＰ３で示される画素の平均値をとりその画素の値とし、一方、ｋ＋３ラインにおけるＰ３およびＰ４で示される画素では（７），（８）式にしたがってサンプリング画素からこれらの画素の値を求めて出力する。
【００３６】
【数４】
P3(i,j+1)={P1(i,j+1)+P1(i+1,j+1)+P3(i,j+2)} ／３ ……（７）
P4(i,j+1)={4 x P1(i,j+1)+P3(i-1,j+2)+P3(i,j+2)} ／６ ……（８）
図９（ａ）に第ｎ＋３フレームの奇数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサンプリングされる。ＣＣＤ１１１Ｇでは前フレームの奇数フィールドと同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で示される画素）がサンプリングされるのに対し、ＣＣＤ１１２Ｇではイメージシフト法により画素位置がＣＣＤの撮像面上で左に１／２画素ピッチ分（出力側で１画素ピッチ分）だけシフトし、サンプリング画素はｊ＋１番目のラインのＰ４で示す画素となる。このフィールドでは補間処理部５Ｇからｋ，ｋ＋２，…ラインの画像が出力される。そこで、出力画像でのｋラインおけるＰ２（ｍ，ｎ）で示される画素では左右のＰ１（ｍ，ｎ）で示される画素の平均値をとりその画素の値とし、一方、ｋ＋２ラインにおけるＰ１（ｍ，ｎ）およびＰ２（ｍ，ｎ）で示される画素では（９），（１０）式にしたがってサンプリング画素からこれらの画素の値を求めて出力する。
【００３７】
【数５】
P1(i,j+1)={P1(i,j)+2 x P4(i,j+1)} ／３ ……（９）
P2(i,j+1)={P1(i,j)+P1(i+1,j)+2xP4(i,j+1)+2xP4(i+1,j+1)} ／６……（１０）
図９（ｂ）に第ｎ＋３フレームの偶数フィールドでの画素配置を示す。このフィールドではＣＣＤ１１１Ｇではｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプリングされる。このフィールドでは補間処理部５Ｇからｋ＋１，ｋ＋３，…ラインの画像が出力されるが、これらのラインにおける、Ｐ３およびＰ４で示される画素はサンプリングされていない。そこで、ｋ＋１ラインのＰ４で示される画素では左右のＰ３で示される画素の平均値をとりその画素の値とし、一方、ｋ＋３ラインにおけるＰ３およびＰ４で示される画素では（１１），（１２）式にしたがってサンプリング画素からこれらの画素の値を求めて出力する。
【００３８】
【数６】
P3(i,j+1)={P4(i,j+2)+P4(i+1,j+2)+2xP1(i,j+1)+P1(i+1,j+1)} ／６……（１１）
P4(i,j+1)={2xP1(i,j+1)+P4(i,j+2)} ／３ ……（１２）
以上４フレーム（８フィールド）の処理が順次繰り返して行われる。この実施例４では以上述べた補間処理部５Ｇでの処理を除き、実施例１と同じである。本実施例では補間処理をＣＣＤ１１２Ｇからの信号を用いるため、緑成分画像の動領域も高精細にすることができる。
〔実施例５〕
本発明の第５の実施例の概略構成を図１０に示す。本実施例におけるレンズ２，ダイクロイックプリズム４１，ＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇ，圧電素子３等の光学系構成は実施例３と同じとする。この実施例５でも補間処理部５Ｇでの補間処理において、ＣＣＤ１１１Ｇの画像信号に加え、ＣＣＤ１１２Ｇで撮像された画像信号も利用する。さらに、本実施例ではフレーム合成部７でＣＣＤ１１２Ｇの画像信号に加え、ＣＣＤ１１１Ｇからの緑成分画像信号も用いてフレーム合成を行う。
【００３９】
この実施例５で、ＣＣＤ１１２Ｇ用いるイメージシフト法を図１１に示す。図１１において、実線の正方形で示される画素はＣＣＤ１１１Ｇで撮像される緑成分画像の画素であり、円形で示される画素がＣＣＤ１１２Ｇで撮像される画素である。前記各実施例で用いたイメージシフト法では画素ピッチの１／２ずつ右，下，左，上の順でシフトさせて、４フレームで１つの画素が４つの位置をサンプリングしたのに対し、この実施例５では下，左，右上の順でシフトさせてＣＣＤ１１１Ｇでサンプリングされる位置を除く３つの位置を３フレームでサンプリングする。そして、フレーム合成はＣＣＤ１１２Ｇで撮像された３フレーム分の画素およびＣＣＤ１１１Ｇで撮像された１フレーム分の画素を合成して行う。
【００４０】
なお、この実施例５では上記フレーム合成部７での処理を除き、実施例４と同様の動作である。
〔実施例６〕
本発明の第６の実施例の概略構成を図１２に示す。図１２において、７Ｒおよび７Ｂはフィールド間補間処理部、８Ｒ，８Ｇおよび８Ｂは画像合成部、ＡＲ，ＡＢおよび６ＲＧＢは加算器、ＨＦはハイパスフィルタである。この実施例６におけるレンズ２，ダイクロイックプリズム４，ＣＣＤ１１Ｒ，１１Ｇ，１１Ｂ，圧電素子３等の光学系構成は実施例１と同じとする。上記各実施例では、いずれも赤および青成分画像の静止領域の高精細化を現フィールドと前フィールドの２フィールド間の補間で実現したが、この実施例６ではこの補間処理後の信号に緑成分の高周波成分を加えることにより、より高精細な赤および青成分画像を実現する。すなわち、フレーム合成部７Ｇで合成された緑成分の画像信号のうちハイパスフィルタＨＦを通過させた信号を、フィールド間補間処理部７Ｒおよび７Ｂで補間処理された青成分および赤成分の画像信号にそれぞれ加算器ＡＲ，ＡＢで加算する。この処理は、赤および青成分画像と緑成分画像の高周波成分間の相関性を利用して、赤および青成分画像の高精細化を実現する処理である。
【００４１】
上記高精細化処理を行うためには、現フィールドから過去８フィールドにわたり注目画素が動領域でないことが条件となる。したがって、動領域検出部６Ｒおよび６Ｂでは前記実施例のようにＮＴＳＣ等で用いられている公知の方法を使用することはできない。そこで、本実施例では過去８フィールド間の輝度変化を全て検出する。図１３にこの実施例６での動領域検出部６Ｒおよび６Ｂでの動き検出信号の算出法を示す。いま、現フィールドを第ｍフィールドとし、図１４のＰ１（ｉ，ｊ）で示される画素の動き係数の算出をするものとする。なお、赤および青成分画像用のＣＣＤ１１Ｒ，１１Ｂは固定されているため、図１４で実線の四角で示される画素のみサンプリングされることになる。第ｍフィールドでの画素Ｐ１（ｉ，ｊ）の信号値をＰ１（ｉ，ｊ）m と表すことにすれば、本実施例での動領域検出部６Ｒでの動き検出信号ｋR は（１３）式で与えるものとする。
【００４２】
【数７】
【００４３】
この実施例６では赤，緑および青成分画像で動領域を同一とするため１つの動き検出信号ｋで各色成分画像の動領域と静止領域の判定を行う。動き検出信号ｋは（１４）式により算出する。
【００４４】
【数８】
ｋ＝kR ＋ kG ＋ kB ……（１４）
上記動き検出信号ｋを用い、画像合成部８Ｒ，８Ｇおよび８Ｂでそれぞれ静止領域画像と動領域画像を合成する。
【００４５】
本実施例でも赤および青成分画像の撮像用ＣＣＤは固定されているため、これらの画像には高周波成分は含まれないが、緑成分画像の高周波成分との相関性を利用して、これを加えることにより赤および青成分画像の高精細化を実現する。
【００４６】
以上においては、本発明の６つの実施例を示したにとどまり、本発明の精神を脱することなく種々の変更が可能なことはいうまでもない。例えば、上記実施例では固体撮像素子としてＣＣＤを用いたが、固体撮像素子の種類を問わず実施することが可能である。
【００４７】
また、上記実施例では静止領域の緑成分画像をＣＣＤを１方向について画素ピッチの１／２だけずらした画像を合成して生成したが、画素ピッチの１／３または１／４づつずらし、さらに解像度の高い画像を合成することも可能である。
【００４８】
また、上記実施例では圧電素子３でＣＣＤ１１Ｒ，１１Ｂ，１１Ｇ，１１１Ｇ，１１２Ｇ等を振動させるシフト手段によるイメージシフト法を用いて、撮像素子上で被写体像をシフトさせたが、例えば、ダイクロイックプリズムと撮像素子の間で透明板を振動させる方法等いずれのシフト手段を用いても本発明の実施が可能である。
【００４９】
また、上記実施例では、ダイクロイックプリズムを用いる３ＣＣＤ方式および４ＣＣＤ方式について述べたが、２個のＣＣＤを用い赤成分と青成分の画像を１つのＣＣＤで撮像する方法でも本発明の実施は可能である。
【００５０】
【発明の効果】
本発明は請求項１に記載の発明では、色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、画素をフィールド内で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する画像について、画素をフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有するようにし、
また請求項２に記載の発明では、色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、少なくとも当該画素位置がシフトされる固体撮像素子の連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と同色成分の画像について、少なくとも当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と異なる色成分の画像について、当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有するようにしたので、それぞれの領域および色に適した特性で画像の取り込みが可能となる。すなわち、画像の精細度を決定する静止領域については画素数の少ない撮像素子を用いても時間をかけることにより十分高精細に撮像することができる。また、動領域については従来の動画撮像と同一速度で撮像でき、自然な動画像を撮像できる。
以上から、本発明のカラー撮像装置では画素数の少ない固体撮像素子を用いても高精細な動画の撮像が可能である。このため、ＨＤＴＶなどの高精細な動画撮像装置を低コストで実現できる。さらに、ＨＤＴＶ用などの高解像度の撮像素子を用いて本発明を実施すれば、従来にはない超高精細な動画の撮像が可能となる。
【００５１】
また、本発明は連続する複数のフレームまたはフィールド画像を合成する画像合成手段、および撮像画像から動領域を検出する動領域検出手段を備えているので動領域を検出して取り出すことができるため、受信側への伝送に当たってはこの動領域と静止領域において１コマ前に動領域であった部分のみの信号を送ればよく伝送信号を容易に圧縮することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の概略構成を示すブロック図である。
【図２】第１の実施例でのフレーム合成法を示す図である。
【図３】本発明の第２の実施例の概略構成を示すブロック図である。
【図４】本発明の第３の実施例の概略構成を示すブロック図である。
【図５】本発明の第４の実施例の概略構成を示すブロック図である。
【図６】本発明の第４の実施例の撮像画像と出力画像の画素位置関係をフレームおよびフィールド毎に示す図である。
【図７】本発明の第４の実施例の撮像画像と出力画像の画素位置関係をフレームおよびフィールド毎に示す図である。
【図８】本発明の第４の実施例の撮像画像と出力画像の画素位置関係をフレームおよびフィールド毎に示す図である。
【図９】本発明の第４の実施例の撮像画像と出力画像の画素位置関係をフレームおよびフィールド毎に示す図である。
【図１０】本発明の第５の実施例の概略構成を示すブロック図である。
【図１１】第５の実施例で用いるイメージシフト法の説明図である。
【図１２】本発明の第６の実施例の概略構成を示すブロック図である。
【図１３】第６の実施例における動領域検出部での動き検出信号の算出法を示す図である。
【図１４】第６の実施例の撮像画像と出力画像の画素位置関係を示す図である。
【図１５】本発明によるイメージシフト法による高解像度化の原理説明図である。
【図１６】従来のダイクロイックプリズムを用いるカラー撮像装置の概略構成図である。
【符号の説明】
２ レンズ
３ 圧電素子
４ ダイクロイックプリズム
５Ｒ 補間処理部
５Ｇ 補間処理部
５Ｂ 補間処理部
６Ｒ 動領域検出部
６Ｇ 動領域検出部
６Ｂ 動領域検出部
７ フレーム合成部
８ 画像合成部
９Ｒ 出力端子
９Ｇ 出力端子
９Ｂ 出力端子
１１Ｒ ＣＣＤエリアセンサ
１１Ｇ ＣＣＤエリアセンサ
１１Ｂ ＣＣＤエリアセンサ
４１ ダイクロイックプリズム
Claims (2)
- 色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、画素をフィールド内で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する画像について、画素をフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有することを特徴とするカラー撮像装置。 - 色分解プリズムと複数の固体撮像素子を備えたカラー撮像装置において、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の画素位置をフィールドあるいはフレーム周期に同期させて、画素ピッチの所定の整数分の１の長さづつ水平方向、垂直方向、および水平，垂直の両方向にシフトさせるシフト手段と、
前記複数の固体撮像素子のうち、少なくとも１つの固体撮像素子の撮像画像から動領域を検出する動領域検出手段と、
前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像について、少なくとも当該画素位置がシフトされる固体撮像素子の連続する複数のフィールドあるいはフレームでの撮像画像を合成することにより、水平，垂直それぞれの精細度を該固体撮像素子の前記所定の整数倍に高精細化した画像信号を得るフレーム合成手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と同色成分の画像について、少なくとも当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第１の補間処理手段と、
前記シフト手段によって画素位置がシフトされない固体撮像素子が撮像する、前記シフト手段によって画素位置がシフトされる固体撮像素子が撮像する画像と異なる色成分の画像について、当該画素位置がシフトされない固体撮像素子の撮像画像の画素を用いてフィールド内もしくはフィールド間で補間処理することにより、画素密度を前記フレーム合成手段から出力される画像と同一とした画像信号を得る第２の補間処理手段と、
前記フレーム合成手段からの画像信号と、該画像信号の画像と同色成分の撮像画像を補間処理した、前記第１の補間処理手段からの画像信号と、前記動領域検出手段からの動き検出信号とが入力され、前記動き検出信号が所定のレベルより小さい場合には、前記フレーム合成手段からの画像信号を出力し、前記動き検出信号が所定のレベルより大きい場合には、前記第１の補間処理手段からの画像信号を出力する画像合成手段と
を有することを特徴とするカラー撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12319693A JP3648638B2 (ja) | 1993-04-28 | 1993-04-28 | カラー撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12319693A JP3648638B2 (ja) | 1993-04-28 | 1993-04-28 | カラー撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06315154A JPH06315154A (ja) | 1994-11-08 |
| JP3648638B2 true JP3648638B2 (ja) | 2005-05-18 |
Family
ID=14854576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12319693A Expired - Fee Related JP3648638B2 (ja) | 1993-04-28 | 1993-04-28 | カラー撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3648638B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7483065B2 (en) * | 2004-12-15 | 2009-01-27 | Aptina Imaging Corporation | Multi-lens imaging systems and methods using optical filters having mosaic patterns |
| CN101578885B (zh) * | 2007-08-07 | 2012-09-12 | 松下电器产业株式会社 | 摄像处理装置以及摄像装置、图像处理方法 |
| CN101578886B (zh) | 2007-08-07 | 2011-11-23 | 松下电器产业株式会社 | 摄像处理装置以及摄像装置、图像处理方法以及计算机程序 |
| CN101601306B (zh) * | 2007-09-07 | 2011-05-18 | 松下电器产业株式会社 | 多色图像处理装置以及信号处理装置 |
| EP2334085B1 (en) * | 2009-02-05 | 2019-10-02 | Panasonic Intellectual Property Management Co., Ltd. | Imaging processor |
| JP6432315B2 (ja) * | 2014-12-04 | 2018-12-05 | 株式会社Ｊｖｃケンウッド | 撮像装置及び撮像方法 |
-
1993
- 1993-04-28 JP JP12319693A patent/JP3648638B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06315154A (ja) | 1994-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4142340B2 (ja) | 撮像装置 | |
| JP3735867B2 (ja) | 輝度信号生成装置 | |
| JP3648638B2 (ja) | カラー撮像装置 | |
| JP5159461B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| JPH07203318A (ja) | 撮像装置 | |
| JP3346481B2 (ja) | 動画入力装置 | |
| JP2000023046A (ja) | 撮像装置 | |
| JP4385578B2 (ja) | 撮像装置 | |
| JP3535623B2 (ja) | カラー撮像装置 | |
| KR100665489B1 (ko) | 촬상 장치 및 촬상 방법 | |
| JP3055809B2 (ja) | 電子内視鏡装置 | |
| JP3458443B2 (ja) | 高精細固体撮像装置 | |
| JPH05276452A (ja) | 撮像装置 | |
| JPH06292094A (ja) | 撮像装置 | |
| JPH05504873A (ja) | テレビ電話カメラのスループット圧縮方法及びテレビ電話カメラ | |
| JP2552399B2 (ja) | 電子内視鏡装置 | |
| JPH08256345A (ja) | 撮像装置及び画像信号処理装置 | |
| JP2533547B2 (ja) | 固体撮像装置 | |
| JP2000261817A (ja) | 撮像装置 | |
| JPH0712217B2 (ja) | カラ−固体撮像装置 | |
| JPS60264186A (ja) | 固体撮像装置 | |
| JPH06209435A (ja) | 画像入出力伝送システム | |
| JP2000295531A (ja) | 撮像装置 | |
| JP2003018470A (ja) | 撮像装置、撮像方法、プログラム、および媒体 | |
| JPS60264185A (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20050202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |