JP5002242B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、入射光に対して波長制限をかけて光電変換部に入射させる色フィルタを備えた撮像装置及びその制御方法に関するものである。

近年、ディジタルカメラやビデオカメラ等の撮像装置においては、撮像素子としてＣＣＤやＣＭＯＳ型イメージセンサー（以後、このＣＭＯＳ型イメージセンサーを「ＣＭＯＳセンサー」と称する）を使用するのが一般的である。

上述した撮像装置のうち、ＣＭＯＳセンサーを使用するものは、フォトダイオード（以後、このフォトダイオードを「ＰＤ」と称する）で発生した光キャリアをＭＯＳトランジスタのゲート電極（フローティングディフュージョン＝ＦＤ）に蓄積する。そして、走査回路からの駆動タイミングに従って、その電位変化を出力部へ電荷増幅して出力するものである。このＣＭＯＳセンサーとその周辺回路部とを含め、全てＣＭＯＳプロセスで実現したＭＯＳ型固定撮像素子は、近年、特に注目されている。

この撮像素子は、カラー画像を撮像するために、画素を構成するＰＤの上面に色フィルタを配設しているものが一般的である。例えば、原色系の色フィルタとしては、１画素毎に、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のいずれかの色フィルタを対応させる構造（いわゆるベイヤー配列構造）で撮像素子の出力信号の色分離を行い、各々の色信号として出力を行う。そして、当該色信号をガンマ変換及び輝度信号・色差信号として処理を行い、カラー画像を生成する。

また、画像として、通常、人が見た状態と等価になるよう、可視光領域のみを透過させるために、色フィルタの上面に、長波長側の光を除去するための赤外吸収フィルタや赤外カットフィルタ等を配設していることが一般的である。

特開２００５−６０６６号公報 特開２００３−２５９３８０号公報

ところで、近年、撮像装置の使用用途として、一般な撮影（昼光撮影等）のみでなく、天体撮影への展開が求められている。当該天体撮影で要望される主なポイントは、赤い星雲等を描写するために、一般撮影ではカットしている近赤外領域、特にＨα輝線（波長６５６．３ｎｍ）近辺の透過率があることである。

ここで、従来の天体撮影用撮像装置に用いるフィルタの分光特性の一例を図７に示し、従来の一般撮影（昼光撮影等）用撮像装置に用いるフィルタの分光特性の一例を図８に示す。図７及び図８には、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の各色フィルタ、並びに、上述した長波長側の放射線を除去するための赤外カットフィルタ（もしくは赤外吸収フィルタ）の各波長における分光特性（感度特性）が示されている。また、一般撮影（昼光撮影等）用撮像装置においては、図８からわかるように、赤色透過は、波長６５０ｎｍ〜６８０ｎｍ近辺の光を非透過とすることで、透過領域を可視光に対応させている。

また、図８の一般撮影（昼光撮影等）用撮像装置に用いるフィルタと図７の天体撮影用撮像装置に用いるフィルタとの近赤外領域における透過特性を比較した一例を図９に示す。
図９からわかるように、図７に示す天体撮影用撮像装置に用いるフィルタは、図８に示す一般撮影（昼光撮影等）用撮像装置に用いるフィルタと比べて、赤色透過において波長６５０ｎｍ〜６８０ｎｍ近辺の光の透過率が高く設定されている。

しかしながら、図７に示す天体撮影用撮像装置では、波長６５６．３ｎｍであるＨα輝線を透過させた場合、一般的な昼光環境下での撮影時に、長波長側（赤色光）の透過が多くなりすぎて、赤みがかった画像となってしまうという問題がある。

そのため、現状では、色フィルタの透過波長について、天体撮影及び一般撮影のどちらも可能な波長設定を行うことが非常に困難であった。

上述の問題とは異なるが、透過波長による問題を回避するための提案として、昼夜兼用を目的として、ベイヤー配列の色フィルタのうち、１つを赤外透過フィルタとし、赤色フィルタと切り替えるという提案がなされている（特許文献１参照。）。また、光源によるホワイトバランスの補正を目的として、分光の異なる赤色もしくは緑色フィルタを備え、色差信号を求めてホワイトバランス用色信号として使用する提案がなされているフィルタ（特許文献２参照。）。

しかしながら、特許文献１に示すように、色フィルタのうちの１つを完全に赤外透過フィルタ化してしまうと、一般撮影時に使用するのは困難になってしまうという問題がある。
また、特許文献２に示すように、分光の異なる同色フィルタを使用する提案では、あくまでホワイトバランス用として使用する目的であり、赤外領域の問題についての回避策としては不充分である。

本発明は上述の問題点にかんがみてなされたものであり、昼光撮影等の一般撮影と天体撮影との両方の撮影において生成される各々の画像データを、共に高品質とすることを実現する撮像装置及びその制御方法を提供することを目的とする。

本発明の撮像装置は、外部から入射した入射光を電気信号に変換する光電変換素子を有する画素が２次元状に配設された光電変換部と、前記光電変換部の上方に前記各画素に対応して設けられ、前記入射光に対して波長制限をかけて前記光電変換部に入射させる色フィルタとを備えた撮像素子を有する撮像装置であって、前記色フィルタには、少なくとも、可視光領域に感度をもつ第１の赤色フィルタと、前記可視光領域と共に近赤外領域まで感度をもつ第２の赤色フィルタとが含まれており、異なる複数の撮影モードのいずれかの撮影モードを設定可能な撮影モード設定手段と、前記撮影モード設定手段により設定された撮影モードに応じて、前記第１の赤色フィルタに対応する画素の第１の出力信号と前記第２の赤色フィルタに対応する画素の第２の出力信号とに基づく赤色信号の生成処理を行う処理手段と、を有する。

本発明の撮像装置の制御方法は、外部から入射した入射光を電気信号に変換する光電変換素子を有する画素が２次元状に配設された光電変換部と、前記光電変換部の上方に前記各画素に対応して設けられ、前記入射光に対して波長制限をかけて前記光電変換部に入射させる色フィルタとを備えた撮像素子を有する撮像装置の制御方法であって、前記色フィルタには、少なくとも、可視光領域に感度をもつ第１の赤色フィルタと、前記可視光領域と共に近赤外領域まで感度をもつ第２の赤色フィルタとが含まれており、異なる複数の撮影モードのいずれかの撮影モードを設定し、設定された撮影モードに応じて、前記第１の赤色フィルタに対応する画素の第１の出力信号と前記第２の赤色フィルタに対応する画素の第２の出力信号とに基づく赤色信号の生成処理を行う。

本発明によれば、昼光撮影等の一般撮影と天体撮影との両方の撮影において生成される各々の画像データを、共に高品質とすることができる。
さらに、第１の赤色フィルタ及び第２の赤色フィルタに対応する各画素の出力信号に基づいて赤色信号を生成するようにしたので、従来設けられていた赤外カットフィルタ（もしくは赤外吸収フィルタ）等の部材を削減することができる。これにより、コスト的な利点を獲得することも可能となる。

以下、添付図面を参照しながら、本発明の実施の形態について説明する。

図１は、本発明の実施の形態に係る電子カメラ（撮像装置）１００の概略構成を示すブロック図である。
図１において、１１０は、被写体の光学像１０１を撮像素子１１４に結像させるための周知の撮影用レンズである。１１１は、システム制御回路部１５０による制御に基づき、撮影用レンズ１１０を制御するレンズ制御部である。

１１２は、撮像素子１１４の露光量を制御するシャッターである。１４０は、システム制御回路部１５０による制御に基づき、シャッター１１２を制御するシャッター制御部である。

１１５は、撮影用レンズ１１０を透過してきた光の余分な波長（色再現に影響する不要となる波長）をカットするためのローパスフィルタ（以下、これを「ＬＰＦ」と称する）であり、撮影用レンズ１１０と撮像素子１１４との間に配設されている。１１４は、撮影用レンズ１１０、シャッター１１２及びＬＰＦ１１５を介して入射した被写体の光学像（入射光）１０１を画像信号として撮像する撮像素子である。本実施の形態では、撮像素子１１４として、ＣＭＯＳセンサーを使用している。

ここで、撮像素子１１４の内部構成について説明する。
図２は、撮像素子１１４の内部構成を説明するための模式図である。
図２（ａ）に示すように、撮像素子１１４は、外部から入射した被写体の光学像（入射光）１０１を電気信号に変換する光電変換素子であるＰＤを有する画素が２次元行列状に配設された、半導体からなる光電変換部１１４１を備えている。そして、撮像素子１１４は、光電変換部１１４１の上面に、画素毎に、光を透過・集光するためのマイクロレンズ（ＭＬ）１１４２と、当該ＭＬ１１４２の上方に、ベイヤー配列で構成され分光透過率の異なる色フィルタ（ＣＦ）１１４３を有して構成されている。即ち、ＣＦ１１４３は、光電変換部１１４１の上方に各画素に対応して設けられ、入射光に対して波長制限をかけて光電変換部１１４１に入射させるものである。

ここで、図２（ｂ）に示すように、ＣＦ１１４３には、２次元行列状に配設された各画素に対応して、第１の赤色フィルタ（Ｒ１）、第２の赤色フィルタ（Ｒ２）、緑色フィルタ（Ｇ）及び青色フィルタ（Ｂ）のうちのいずれかのフィルタが設けられている。

図２（ａ）に示すように、通常は、ＬＰＦ１１５の一部として、赤外光をカットするための赤外カットフィルタＩＲ_Ｃｕｔ（もしくは赤外吸収フィルタ）を配設するが、本実施の形態においては、当該フィルタを使用していない。

図１に説明に戻って、１１６は、撮像素子１１４から出力されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換器である。１１８は、撮像素子１１４、Ａ／Ｄ変換器１１６及びＤ／Ａ変換器１２６にクロック信号や制御信号を供給するタイミング発生回路部（ＴＧ）であり、メモリ制御回路部１２２及びシステム制御回路部１５０によって制御される。

１２０は、画像処理回路部であり、Ａ／Ｄ変換器１１６からの画像データ（ディジタル信号）あるいはメモリ制御回路部１２２からの画像データに対して、所定の画素補間処理や色変換処理を行う。さらに、画像処理回路部１２０は、必要に応じて撮像した画像データを用いて所定の演算処理を行う。

１２２は、メモリ制御回路部であり、Ａ／Ｄ変換器１１６、タイミング発生回路部（ＴＧ）１１８、画像処理回路部１２０、画像表示メモリ１２４、Ｄ／Ａ変換器１２６、及び、メモリ１３０を制御する。

ここで、Ａ／Ｄ変換器１１６からの画像データは、画像処理回路部１２０及びメモリ制御回路部１２２を介して、あるいは直接、メモリ制御回路部１２２を介して、画像表示メモリ１２４あるいはメモリ１３０に書き込まれる。

１２４は、画像表示メモリである。１２６は、ディジタル信号をアナログ信号に変換するＤ／Ａ変換器である。１２８は、例えば、ＴＦＴ方式のＬＣＤからなる画像表示部である。１３０は、撮影された静止画像データや動画像データを格納するためのメモリであり、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶容量を有している。

１４２は、システム制御回路部１５０による制御により、ＡＦ（オートフォーカス）処理を行う測距制御部である。１４４は、電子カメラ１００による撮影環境における周囲温度を測定するための温度計である。１４６は、システム制御回路部１５０による制御により、ＡＥ（自動露出）処理を行う測光制御部である。また、測光制御部１４６は、フラッシュ部１４８と連携することにより、フラッシュ撮影機能も有する。１４８は、暗時の撮影に使用するフラッシュ部であり、ＡＦ補助光の投光機能等も兼ねている。

１５０は、電子カメラ１００全体を統括的に制御するシステム制御回路部であり、周知のＣＰＵなどを内蔵して構成されている。１５２は、システム制御回路部１５０の動作用の定数、変数、プログラムなどを記憶する記憶手段であるところのメモリであり、予め設定されているシェーディング補正データ等は、当該メモリ１５２に格納されている。１５４は、システム制御回路部１５０でのプログラムの実行に応じて、動作状態やメッセージなどを表示する表示部である。１５６は、後述するプログラムなどが格納された電気的に消去・記録可能なＥＥＰＲＯＭ等の記憶手段であるところの不揮発性メモリである。

１６０は、システム制御回路部１５０における各種の動作指示を入力するための周知のメインスイッチ（起動スイッチ）、シャッタースイッチ、モード設定ダイアル等を含んだ操作部である。

シャッタースイッチとしては、例えば、押し込むことで２つのスイッチ（ＳＷ１、ＳＷ２）が段階的にＯＮし、第１段階（ＳＷ１ ＯＮ）でＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理などが動作し、第２段階（ＳＷ２ ＯＮ）でシャッター１１２等の制御をし、撮像素子１１４から読み出した信号をＡ／Ｄ変換器１１６、メモリ制御回路部１２２を介して画像データとしてメモリ１３０に書き込む記録処理や、画像処理回路部１２０やメモリ制御回路部１２２での演算を用いた現像処理、メモリ１３０から画像データを読み出して圧縮を行い、記録媒体１７０に画像データを書き込む記録処理という一連の処理の動作開始を行わせる。

モード設定ダイアルとしては、例えば、各種撮影モード（自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、夜景撮影モード、昼光撮影モード、天体撮影モード、ポートレート撮影モード等）の切り替えを行う。

更に、操作部１６０には、上述した以外に、単写／連写を切り替える単写／連写スイッチ、静止画／動画撮像モード切り替えスイッチ、撮影感度（ＩＳＯ感度）を設定するＩＳＯ感度設定スイッチ、各種システムに電源供給するための電源スイッチが含まれる。なお、本実施の形態では、動画撮像モードという文言を使用するが、当該動画撮像とは、動画記録に限ったものではなく、ビューファインダー等に画像をほぼリアルタイムで表示させる表示用動画撮像も含んだものである。

１８２は、電池検出回路やＤＣ−ＤＣコンバータ等から構成されている電源制御部である。１８６は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池などの二次電池、あるいは、ＡＣアダプタなどからなる電源部である。１７０は、メモリカードやハードディスクなどの着脱可能な記録媒体である。

次に、ＣＦ１１４３の分光特性（感度特性）について説明する。
図３は、撮像素子１１４が有しているＣＦ１１４３の分光特性の一例を示す特性図である。この図３に示すＣＦ１１４３の分光特性は、ＬＰＦ１１５を介したＣＦ１１４３の分光特性を示している。

図２（ｂ）に示すように各ベイヤー配列で配設されたフィルタにおいて、図３に示すように、その感度は、短波長側から、青色フィルタ（Ｂ）、緑色フィルタ（Ｇ）、第１の赤色フィルタ（Ｒ１）、第２の赤色フィルタ（Ｒ２）となっている。

ここで、第１の赤色フィルタ（Ｒ１）と第２の赤色フィルタ（Ｒ２）の分光感度は、近赤外領域（図３の長波長側）で異なっている。具体的には、第２の赤色フィルタ（Ｒ２）がＨα輝線（波長６５６．５ｎｍ）近辺まで感度が高くなっているのに対して、第１の赤色フィルタ（Ｒ１）ではＨα輝線の近辺での感度が低めになっている。即ち、第１の赤色フィルタ（Ｒ１）は可視光領域に感度をもつフィルタであり、第２の赤色フィルタ（Ｒ２）は可視光領域と共に近赤外領域まで感度をもつフィルタとなっている。したがって、近赤外領域の光に関しては、第１の赤色フィルタ（Ｒ１）に発生する出力に比べて、第２の赤色フィルタ（Ｒ２）の出力レベルが高くなる。

図３に示したような分光特性をもつＣＦ１１４３を有する撮像素子１１４の出力信号を色変換処理する際、画像処理回路部１２０によって各画素の出力信号をＲ、Ｇ、Ｂの三原色を使った（ベイヤーによる）色変換を行う。この色変換処理を行う際に、本実施の形態においては、赤色信号Ｒの出力として、同じ比率でＲ１及びＲ２を使用するのではなく、例えば、Ｈα輝線のある近赤外領域を強調したい天体撮影等においては、『Ｒ＝Ｒ２』（Ｒ２のみ使用）とする。なお、この際、可視光領域の赤色信号を加える意味で、Ｒ＝Ｒ１＋Ｒ２としてもよい。

また、他の撮影（例えば、一般的な昼光撮影等）においては、近赤外感度による赤味を抑えた方がより色再現性が良いため、例えば、図４に示す、『Ｒ＝（Ｒ１−Ｒ２）』（この場合、図４のｘ及びｙは１）等に代表される２画素差分処理を行うものとする。この場合、当然ながら、Ｒ１及びＲ２の出力感度が波長−出力の対応が取れるように、差分演算を行う際に、図４のＲ＝（ｘ・Ｒ１）−（ｙ・Ｒ２）のように、各Ｒ１及びＲ２に対応する画素の出力信号に係数（ｘ、ｙ）を掛けてもよい。ここで、ｘは、Ｒ１に対応する画素の出力信号（第１の出力信号）に掛け合わせる係数（第１の係数）であり、ｙは、Ｒ２に対応する画素の出力信号（第２の出力信号）に掛け合わせる係数（第２の係数）である。即ち、画像処理回路部（処理手段）１２０では、撮影条件に応じて、第１の赤色フィルタ（Ｒ１）に対応する画素の出力信号（第１の出力信号）と第２の赤色フィルタ（Ｒ１）に対応する画素の出力信号（第２の出力信号）とから、赤色信号Ｒを決定する処理を行う。

上述した色変換処理の変更は、例えば、当該電子カメラ１００の設定モード（例えば、図１のメモリ１５２において設定された撮影モード）によって変更すればよい。この場合、電子カメラ１００の設定モードが『天体撮影モード』ならば、上述したように、例えばＲ＝Ｒ２とし、当該設定モードが天体撮影モード以外の『昼光撮影を含む一般撮影モード』ならば、例えばＲ＝（Ｒ１−Ｒ２）というように変更等を行う。また、撮影条件（長秒撮影・測光値・リモコン撮影等）が天体撮影の条件に近い場合は、例えば、自動的にＲ２の使用比率を上げる（即ち、係数ｙを大きくする）にようにしてＲの値を変更してもよい。

次に、電子カメラ（撮像装置）１００の駆動方法について説明する。
図５は、本発明の実施の形態に係る電子カメラ（撮像装置）１００の駆動方法を示すフローチャートである。

まず、ステップＳ１０１において、システム制御回路部１５０は、例えば、操作部１６０のモード設定ダイアル（撮影モード設定手段）等から、操作者により設定された撮影モードを検出する。ここで、検出された撮影モードは、前述したように、メモリ１５２に記憶されて設定される。

続いて、ステップＳ１０２において、システム制御回路部１５０は、ステップＳ１０１で検出した撮影モードが天体撮影モードであるか否かを判断する。この判断の結果、天体撮影モードである場合には、ステップＳ１０３に進み、一方、天体撮影モード以外の一般撮影モードである場合には、ステップＳ１０４に進む。

ステップＳ１０３において、システム制御回路部１５０は、設定された天体撮影モードに基づいて、例えば、その内部メモリに記憶されている設定値や操作部１６０による設定条件等により、当該天体撮影モードによる電子カメラ１００の撮影条件を設定する。一方、ステップＳ１０４において、システム制御回路部１５０は、設定された一般撮影モードにおける各撮影モードに基づいて、例えば、その内部メモリに記憶されている設定値や操作部１６０による設定条件等により、当該各撮影モードに応じた電子カメラ１００の撮影条件を設定する。

ステップＳ１０３又はＳ１０４に処理が終了した後、ステップＳ１０５において、システム制御回路部１５０は、ステップＳ１０３又はＳ１０４で設定された撮影条件に基づく撮影を行う。

具体的に、システム制御回路部１５０は、設定された撮影条件に基づいて、レンズ制御部１１１に撮影用レンズ１１０の駆動を行わせ、また、シャッター制御部１４０にシャッター１１２の駆動を行わせる等の制御を行う。これにより、撮像素子１１４には、撮影用レンズ１１０、シャッター１１２及びＬＰＦ１１５を介して、被写体の光学像（入射光）１０１が入射する。そして、撮像素子１１４では、光電変換部１１４１において、第１の赤色フィルタ（Ｒ１）及び第２の赤色フィルタ（Ｒ２）を含むＣＦ１１４３を透過した入射光を、各画素毎に電気信号（画像信号）に変換する。

その後、撮像素子１１４で撮像された電気信号（画像信号）は、Ａ／Ｄ変換器１１６において、アナログ／デジタル変換されて、画像処理回路部１２０に画像データとして出力される。

続いて、ステップＳ１０６において、画像処理回路部１２０は、システム制御回路部１５０による制御に基づいて、Ａ／Ｄ変換器１１６から出力された画像データに対して、色変換処理を行う。具体的に、画像処理回路部１２０は、赤色信号Ｒについては、設定された撮影条件（撮影モード）に応じて、第１の赤色フィルタ（Ｒ１）に対応する画素の出力信号と第２の赤色フィルタ（Ｒ２）に対応する画素の出力信号とに基づいて決定する。この画像処理回路部１２０による色変換処理について、以下に図６を用いてより詳細に説明する。

図６は、本発明の実施の形態に係る電子カメラ（撮像装置）１００において、画像処理回路部１２０で色変換処理した後の各色フィルタの分光特性の一例を示す特性図である。

図６に示す例では、一般撮影及び天体撮影において共に、赤色信号Ｒについては、色変換処理の際に、第１の赤色フィルタ（Ｒ１）及び第２の赤色フィルタ（Ｒ２）に対応する各画素の出力信号の差分演算による処理を行う場合を示している。そして、赤色信号Ｒについては、算出した演算処理結果に基づいて、また、その他の青色信号Ｂ及び緑色信号Ｇについては、それぞれ、青色フィルタ（Ｂ）及び緑色フィルタ（Ｇ）に対応する画素の出力信号に基づいて、色変換処理を行っている。

具体的に、赤色信号Ｒについて、図６に示した例では、一般撮影時には近赤外領域の感度を除外したＲ＝（ｘ・Ｒ１）−（ｙ・Ｒ２）による演算処理を行い、天体撮影時には近赤外領域に感度を延ばしたＲ＝（ｘ・Ｒ１）−（ｚ・Ｒ２）による演算処理をしている。ここで、ｘは、Ｒ１に対応する画素の出力信号（第１の出力信号）に掛け合わせる係数（第１の係数）であり、ｙ及びｚ（ｚはｙと異なる値）は、Ｒ２に対応する画素の出力信号（第２の出力信号）に掛け合わせる係数（第２の係数）である。即ち、画像処理回路部１２０では、Ｒ１及びＲ２に対応する各々の画素の出力信号について演算時に用いる比率（掛け合わせる係数の比率：ｙ／ｘ，ｚ／ｘ）を撮影条件によって変更させて赤色信号Ｒを決定し、近赤外領域の感度を変化させている。また、画像処理回路部１２０では、第１の赤色フィルタ（Ｒ１）に対応する画素の出力信号と第２の赤色フィルタ（Ｒ２）に対応する画素の出力信号とを差分処理することによって、入射光の赤外領域における電気信号を除去するようにしている。

その後、画像処理回路部１２０において所定の画像処理が行われた後、ステップＳ１０７において、画像処理回路部１２０で処理された画像データが画像表示メモリ１２４あるいはメモリ１３０に記録される。

以上のステップＳ１０１〜Ｓ１０７の処理を経ることにより、Ｒ１及びＲ２に対応する各々の画素の出力信号から、撮影条件に応じて生成された赤色信号Ｒにおける画像データの記録が行われる。

本実施の形態によれば、異なる感度をもつ赤色フィルタ（Ｒ１、Ｒ２）に対応する画素を備え、撮影条件によって使用する各画素の出力信号の比率を変更することによって、１つの撮像装置で一般撮影及び天体撮影の両撮影を行うことができる。これにより、撮像装置における撮影可能シーンを拡張することができる。

また、赤色フィルタの分光感度の設定（Ｒ１−Ｒ２の差分処理を行うこと等）によって、従来設けられていた赤外カットフィルタ（もしくは赤外吸収フィルタ）等の部材を削減することができ、コスト的な利点を獲得することも可能となる。

なお、赤色信号Ｒを算出するための演算処理に関しては、本実施の形態のように画像処理回路部１２０内で行うのが一般的であり、画像処理回路部１２０の色変換動作（ＲＡＷ画像から色変換）前もしくは色変換動作中に行うのが最も効果的である。しかしながら、本発明においてはこれに限定されるものではなく、例えば、ＲＡＷ画像化する際のＡ／Ｄ変換器１１６で演算を行っても何ら問題はない。

（本実施の形態の変形例）
上述した形態では、赤色信号Ｒとして、第１の赤色フィルタ（Ｒ１）及び第２の赤色フィルタ（Ｒ２）に対応する画素の出力信号を同一の演算結果＝出力値として画像処理（色変換処理）を行うような手法を用いている。しかしながら、当該手法は、簡易ながら、２画素分に１画素データの補間を行うため、解像度がわずかながら下がってしまうという難点がある。

そこで、本実施の形態の変形例として、Ｒ１及びＲ２において、各々の画素の出力信号に対して、撮影条件によって、各々のＲ１及びＲ２に対応する各画素に掛ける係数を変化させるようにする。これにより、各画素の解像度を損なうことなく、各撮影シーンに応じた色再現をより高品質に実現することができる。

例えば、天体撮影モード時には、Ｒ１における画素の出力値としては、Ｒ１の画素の出力信号と（Ｒ１−Ｒ２）の差分出力信号とを比較し、その差が所定よりも大きい場合（≒近赤外出力が大きい場合）には、Ｒ１における出力値にもＲ２を用いるようにする。一方、その差が所定よりも小さい場合には、Ｒ１の画素の出力信号もしくはそれに係数（例えば、ＣＭＯＳセンサの出力信号の所定エリアでの（Ｒ１／Ｒ２）の比率等）掛けした値を出力値として用いて、Ｒ１の画素の出力信号を生かすようにする。ここで、Ｒ２の画素の出力信号は、自己の出力をそのまま使用してよい。

また、例えば、昼光撮影等の一般撮影モード時には、Ｒ２における画素の出力値としては、Ｒ２の画素の出力信号と（Ｒ１−Ｒ２）の差分出力信号とを比較し、その差が所定よりも小さい場合（≒近赤外出力が小さい場合）には、Ｒ２の画素の出力信号を、一般撮影用出力として代用できるとして使用する。ここで、Ｒ１の画素の出力信号は、（Ｒ１−Ｒ２）の差分出力信号を使用する。

上記のように、出力値に応じて、演算方法・画素使用比率を変更させることで、より有効に画素出力信号を使用した画像処理が可能となる。

なお、本発明の実施の形態で記載している出力とは、生画像（ＲＡＷ画像）データの出力に限定されるものではなく、色変換等に使用する画素出力レベル（いわゆる画像処理に使用する画素出力レベル）として判定できれば、何ら問題はない。即ち、ＲＡＷ画像データとして出力する値が、すでに本実施の形態における演算処理を行った出力である必要はない。例えば、当該ＲＡＷ画像データに撮影モード等の情報も付帯情報として備え、当該付帯情報から、色変換等の画像処理を行う際にどのような演算処理を行うかを判定して各画素出力レベルの処理を行うことも可能である。

また、演算処理においても差分・係数等の演算に関しては、本実施の形態に記載の方法のみに限定されるものではなく、例えば、Ｒ１、Ｒ２の出力の平均値を使用したり、所定エリアでのＲ１、Ｒ２の比率を画像全体に使用する等の演算を行っても何ら問題はない。

さらには、本発明は、本実施の形態で説明した分光に特化したものではなく、異なる２種類の分光より近赤外と可視光の２つの分光を導き出すことが特徴であるため、例えば、『Ｒ１、Ｒ２の分光がともに急峻なものであるものを使用し、２つの画素の加算、乗算等により最適なＲ感度を求める』ものや、『赤外カットフィルタは省かず、可視光エリアで急峻な分光をもつＲ１と、有効波長が広く近赤外まで網羅したＲ２を使用し、一般撮影モードではＲ１及びＲ２ともに自己の出力を使用し、天体撮影モードではＲ２の出力を基にＲ信号を生成する』もの等も本発明の意とするところである。

加えて、本実施の形態ではふれていないが、画像データを色変換する際に使用する画像変換のパラメータに関しては、各モード（天体撮影モード、一般撮影モード等）で個別に持つことは何ら問題ないものである。また、本実施の形態では、撮像素子としてＣＭＯＳセンサを用いているが、本発明はそれに限定されるものではなく、例えば、撮像素子としてＣＣＤを用いた撮像装置であっても、同様の効果を得られるものである。

前述した本実施の形態に係る電子カメラ（撮像装置）１００を構成する図１の各手段、並びに電子カメラ１００の駆動方法を示した図５の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体を用いることができる。また、この際の通信媒体としては、光ファイバ等の有線回線や無線回線などが挙げられる。

また、コンピュータが供給されたプログラムを実行することにより本実施の形態に係る電子カメラ１００の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して本実施の形態に係る電子カメラ１００の機能が実現される場合や、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて本実施の形態に係る電子カメラ１００の機能が実現される場合も、かかるプログラムは本発明に含まれる。

本発明の実施の形態に係る電子カメラ（撮像装置）の概略構成を示すブロック図である。 撮像素子の内部構成を説明するための模式図である。 撮像素子が有しているＣＦの分光特性の一例を示す特性図である。 図３に示す分光特性において、第１の赤色フィルタ（Ｒ１）における出力信号と第２の赤色フィルタ（Ｒ２）における出力信号を差分処理した際の分光特性の一例を示す特性図である。 本発明の実施の形態に係る電子カメラ（撮像装置）の駆動方法を示すフローチャートである。 本発明の実施の形態に係る電子カメラ（撮像装置）において、画像処理回路部で色変換処理した後の各色フィルタの分光特性の一例を示す特性図である。 従来の天体撮影用撮像装置に用いるフィルタの分光特性の一例を示す特性図である。 従来の一般撮影（昼光撮影等）用撮像装置に用いるフィルタの分光特性の一例を示す特性図である。 図８の一般撮影（昼光撮影等）用撮像装置に用いるフィルタと図７の天体撮影用撮像装置に用いるフィルタとの近赤外領域における透過特性を比較した一例を示す特性図である。

符号の説明

１００ 電子カメラ（撮像装置）
１０１ 被写体の光学像（入射光）
１１０ 撮影用レンズ
１１１ レンズ制御部
１１２ シャッター
１１４ 撮像素子
１１５ ローパスフィルタ（ＬＰＦ）
１１６ Ａ／Ｄ変換器
１１８ タイミング発生回路部（ＴＧ）
１２０ 画像処理回路部
１２２ メモリ制御回路部
１２４ 画像表示メモリ
１２６ Ｄ／Ａ変換器
１２８ 画像表示部
１３０ メモリ
１４０ シャッター制御部
１４２ 測距制御部
１４４ 温度計
１４６ 測光制御部
１４８ フラッシュ部
１５０ システム制御回路部
１５２ メモリ
１５４ 表示部
１５６ 不揮発性メモリ
１６０ 操作部
１７０ 記録媒体
１８２ 電源制御部
１８６ 電源部
１１４１ 光電変換部
１１４２ マイクロレンズ（ＭＬ）
１１４３ 色フィルタ（ＣＦ）

Claims (6)

1. 外部から入射した入射光を電気信号に変換する光電変換素子を有する画素が２次元状に配設された光電変換部と、前記光電変換部の上方に前記各画素に対応して設けられ、前記入射光に対して波長制限をかけて前記光電変換部に入射させる色フィルタとを備えた撮像素子を有する撮像装置であって、
   前記色フィルタには、少なくとも、可視光領域に感度をもつ第１の赤色フィルタと、前記可視光領域と共に近赤外領域まで感度をもつ第２の赤色フィルタとが含まれており、
   異なる複数の撮影モードのいずれかの撮影モードを設定可能な撮影モード設定手段と、
   前記撮影モード設定手段により設定された撮影モードに応じて、前記第１の赤色フィルタに対応する画素の第１の出力信号と前記第２の赤色フィルタに対応する画素の第２の出力信号とに基づく赤色信号の生成処理を行う処理手段と、
   を有することを特徴とする撮像装置。
2. 前記撮影モード設定手段により所定の撮影モードが設定された場合に、前記処理手段は、前記第１の赤色フィルタに対応する画素の第１の出力信号と前記第２の赤色フィルタに対応する画素の第２の出力信号とを差分処理して、前記赤色信号を生成する処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮影モード設定手段により前記所定の撮影モードが設定された場合に、前記処理手段は、第１の係数を掛け合わせた前記第１の出力信号と第２の係数を掛け合わせた前記第２の出力信号とを差分処理して前記赤色信号を生成し、前記撮影モードに応じて、前記第１の係数と前記第２の係数を変更することを特徴とする請求項２に記載の撮像装置。
4. 前記撮影モード設定手段により前記所定の撮影モードが設定された場合に、前記処理手段は、前記第１の出力信号と前記第２の出力信号とを差分処理することによって赤外領域成分を除去することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記撮影モード設定手段は、少なくとも、天体撮影に適した撮影条件に係る撮影モードと一般撮影に適した撮影条件に係る撮影モードとを設定可能であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 外部から入射した入射光を電気信号に変換する光電変換素子を有する画素が２次元状に配設された光電変換部と、前記光電変換部の上方に前記各画素に対応して設けられ、前記入射光に対して波長制限をかけて前記光電変換部に入射させる色フィルタとを備えた撮像素子を有する撮像装置の制御方法であって、
   前記色フィルタには、少なくとも、可視光領域に感度をもつ第１の赤色フィルタと、前記可視光領域と共に近赤外領域まで感度をもつ第２の赤色フィルタとが含まれており、
   異なる複数の撮影モードのいずれかの撮影モードを設定し、設定された撮影モードに応じて、前記第１の赤色フィルタに対応する画素の第１の出力信号と前記第２の赤色フィルタに対応する画素の第２の出力信号とに基づく赤色信号の生成処理を行うことを特徴とする撮像装置の制御方法。

Images