JP4486762B2 - 画像撮影方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像撮影方法及び装置に係り、特に、ＣＣＤを用いたデジタルスチルカメラ等における感度向上技術に関する。
【０００２】
【従来の技術】
従来のカメラは、レンズ等の光学系を介してフィルムに画像を撮影する、いわゆる銀塩方式のカメラが主であったが、近年、この銀塩カメラに代わり、レンズ等の光学系を介して、画像をＣＣＤ等の光電変換素子により撮像し、メモリカード等の記録媒体に画像情報を記録するように構成されたデジタルスチルカメラが実用化されている。
【０００３】
このようなＣＣＤを用いたデジタルスチルカメラでは、図５に示すようにＣＣＤの分光感度が、人間の目の分光感度と異なり、７００nm以上の赤外光領域に感度を有している。そこで、従来のＣＣＤを用いたデジタルスチルカメラでは、通常その撮像光路内に、例えば図６に示すような分光吸収波形を有するＩＲカットフィルタを配置して、赤外光領域をカットし、色分離を向上させるようにしている。すなわち、撮影時における撮像素子の感度が不足している（これを低感度という。）か、あるいは撮影時における撮像素子の感度に余裕がある（これを高感度という。）かにかかわらずＩＲカットフィルタを配置するという物理的手段によって色分離を向上させている。
【０００４】
ところで、一般に、カメラにおいては、感度が不足する場合には、通常、絞りを開放にして撮影するようにするが、それでも感度が不足する場合には、シャッター速度を遅くしたりしている。しかし、それでも感度が足りない場合には、ＣＣＤを用いたデジタルスチルカメラにおいては、ＣＣＤの印加電圧を上げる（ゲインを上げる）という方法で対応している。
【０００５】
【発明が解決しようとする課題】
しかしながら、感度を上げるために、上記のように絞りを開放にすると被写界深度が浅くなり、またシャッタ速度を遅くすると手ブレを起こす割合が増加し、画像がぼけ易くなるという問題がある。また、ゲインを上げると、ノイズが増加し、画質が劣化するという問題がある。
【０００６】
本発明は、前記従来の問題に鑑みてなされたものであり、撮影の際、撮像素子の感度が不足しているか否か判定し、その結果に応じた撮影及び色分離処理をするようにし、特に感度が不足している場合には、手ブレやノイズの発生を増加させることなく感度を向上させることのできる画像撮影方法及び装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
前記課題を解決するために、本発明の第１の態様は、撮影光学系を介して撮像素子に被写体を撮影し、該撮像素子からの撮像信号に対し、色分離処理を含む所定の処理を施して画像信号を得る画像撮影方法であって、撮影時に前記撮像素子の感度が不足しているか否かを判定し、前記撮像素子の感度が不足している場合には、該撮像素子の分光感度のオーバーラップ領域を相対的に増加させると共に前記色分離処理の強度を前記感度の不足の程度に応じて相対的に増加させ、撮像素子の感度に余裕がある場合には、前記撮像素子の分光感度のオーバーラップ領域を相対的に減少させると共に前記色分離処理の強度を前記感度の余裕の程度に応じて相対的に減少させるようにして撮影することを特徴とする画像撮影方法を提供する。
【０００８】
また、前記撮像素子の分光感度のオーバーラップ領域が赤外光領域であることが好ましい。
【０００９】
また、前記色分離処理が下色除去処理であることが好ましい。
【００１０】
また、同様に前記課題を解決するために、本発明の第２の態様は、撮影光学系を介して被写体を撮影する撮像素子と、該撮像素子からの撮像信号に対し、色分離処理を含む所定の処理を施して画像信号を得る手段とを有する画像撮影装置であって、前記撮像素子の感度が不足しているか否かを判定する手段と、前記撮像素子の感度が不足している場合に該撮像素子の分光感度のオーバーラップ領域を相対的に増加させる手段、及び、前記撮像素子の感度が不足している場合に前記色分離処理の強度を前記感度の不足の程度に応じて相対的に増加させる手段と、前記撮像素子の感度に余裕がある場合に該撮像素子の分光感度のオーバーラップ領域を相対的に減少させる手段、及び、前記撮像素子の感度に余裕がある場合に前記色分離処理の強度を前記感度の余裕の程度に応じて相対的に減少させる手段と、を有することを特徴とする画像撮影装置を提供する。
【００１１】
また、前記撮像素子の分光感度のオーバーラップ領域が赤外光領域であることが好ましい。
【００１２】
さらに、前記色分離処理が下色除去処理であることが好ましい。
【００１３】
【発明の実施の形態】
以下、本発明に係る画像撮影方法及び装置について、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係る画像撮影装置の概略を示すブロック図である。
画像撮影装置１は、例えば、静止画用のデジタルスチルカメラや動画用のデジタルビデオカメラであり、ＣＣＤ１４で構成される撮像素子を備えている。通常撮影時においては、撮影レンズ１０、ＩＲカットフィルタ１２等を介して得られる被写体の光画像は、撮像素子としてのＣＣＤ１４上に結像される。ＣＣＤ１４は、結像された光画像を電気信号に光電変換し、図示しない制御回路からの指示により、アナログ画像信号を出力する。このアナログ画像信号は、Ａ／Ｄ変換器１６で、８ビットのデジタル画像信号ＲＧＢに変換される。
【００１５】
この８ビットのデジタル画像信号ＲＧＢは、データ変換部１８で、露光量データｒｇｂに変換される。露光量データｒｇｂは、色分離処理部２０において、色分離処理が施され、色分離処理後の露光量データｒ’ｇ’ｂ’は、データ変換部２２で、再度８ビットのデジタル画像信号Ｒ’Ｇ’Ｂ’に変換されて、画像出力部２４に出力される。画像出力部２４は、画像をモニタに表示したり、所定の記録媒体に画像データを出力する。
【００１６】
また、画像撮影装置１は、受光センサ２６、感度検出部２８及びＩＲカットフィルタ取り外し手段３０を有している。感度検出部２８は、受光センサ２６で検知された被写界の明るさの情報を受け、ＣＣＤ１４の感度が不足しているか否か判定する。そして、感度不足（低感度）であると判定された場合には、ＩＲカットフィルタ取り外し手段３０は、ＩＲカットフィルタ１２を、撮影光路から取り除き、ＩＲカットフィルタ１２が挿入されている場合に比べて、ＣＣＤ１４の分光感度のオーバーラップ領域が相対的に増加するようにする。また、感度検出部２８の感度不足検出信号は、色分離処理部２０にも送られ、感度不足検出信号を受け取った色分離処理部２０は、色分離処理の強度を同様に相対的に増加させるようにする。一方、感度に余裕がある（高感度）と判定された場合には、上とは逆にＩＲカットフィルタ１２を、撮影光路に挿入し、ＣＣＤ１４の分光感度のオーバーラップ領域及び色分離処理の強度をそれぞれ相対的に減少させる。なお、このオーバーラップ領域の増減と色分離処理の強度の増減は、両方をともに行うようにしてもよいし、そのどちらかのみを行うようにしてもよい。
これらの詳細については、後述する。
また、画像撮影装置１には、詳しい説明は省略するが、以上述べたもの以外にも、通常の、信号の増幅を行うアンプやホワイトバランス回路やガンマ補正その他の画像処理を行う回路等、および各回路の制御を行う制御回路が設けられている。また、ＡＦ（自動合焦）機構やＡＥ（自動露出）機構等を備えるようにしてもよい。ＡＥ機構を有する場合には、ＡＥ機構で、低感度か否かを検出するようにしてもよい。
【００１７】
以下、本実施形態の作用について説明する。
本実施形態は、例えば、特に、暗い照明の下で暗い物体を撮影する場合のように、感度が不足する低感度の場合に、撮影光路内からＩＲカットフィルタを取り除き、ＣＣＤに入射する光のうち今までＩＲカットフィルタによりカットされていた赤外光領域を回復し、その分ＩＲカットフィルタが配置されている場合とくらべて相対的にＣＣＤの分光感度のオーバーラップ領域を増加させ、感度を向上させようとするものである。また、このとき、感度は向上するが色分離が下がるため、後述するよう色分離処理の強度をも相対的に増加させるようにするとよい。例えば、下色除去処理等のノイズを悪化させないマスキング手法による信号処理を行い、色の濁りを除去するようにする。
また、ＣＣＤの感度に余裕がある高感度の場合には、上とは逆に、撮影光路内にＩＲカットフィルタを挿入し、その分ＩＲカットフィルタを取り除いた場合とくらべて相対的にＣＣＤの分光感度のオーバーラップ領域を減少させようとするものである。また、このとき、色分離処理の強度をも相対的に減少させるようにするとよい。
【００１８】
画像撮影装置１により撮影を行う際、まず受光センサ２６により被写体の明るさを検出する。受光センサ２６によって検出された明るさの情報は、感度検出部２８に送られ、感度検出部２８において、ＣＣＤ１４の感度が不足しているか否か、すなわち低感度か高感度かが判定される。
この判定は、例えば次のようにして行うようにしてもよい。すなわち、ＩＲカットフィルタ１２を撮影光路内に挿入して撮影し、Ｇ（緑）チャンネルの全画面に亘る平均値が８０より小さい場合には、ＣＣＤ１４の感度不足すなわち低感度と判定し、また、上記平均値が８０より大きい場合には、ＣＣＤ１４の感度に余裕があるすなわち高感度であると判定する。
低感度であると判定された場合には、感度検出部２８は、ＩＲカットフィルタ取り外し手段３０に信号を送り、撮影光路からＩＲカットフィルタ１２を取り外すようにする。
このように、低感度の場合には、ＩＲカットフィルタ１２が無い状態で撮影が行われる。
【００１９】
ＩＲカットフィルタ１２を撮影光路から取り除いて撮影するため、ＣＣＤ１４の分光感度は、例えば、図５に示したようになり、赤外光領域においても感度を有し、分光感度のオーバーラップ領域が拡大され、感度が向上される。
被写体の光画像は、ＣＣＤ１４上に結像され、ＣＣＤ１４によって電気信号に光電変換され、アナログ画像信号として出力される。このアナログ画像信号はＡ／Ｄ変換器１６により８ビットのデジタル画像データＲＧＢに変換される。
この８ビットのデジタル画像データＲＧＢは、図２に示すように、データ変換器１８により露光量データｒｇｂに変換され、引き続き色分離処理部２０において色分離処理が施された後、データ変換器２２により、再び露光量データｒ’ｇ’ｂ’から８ビットのデジタル画像データＲ’Ｇ’Ｂ’に戻される。その後デジタル画像データＲ’Ｇ’Ｂ’は、画像出力部２４から出力される。
【００２０】
ここで、データ変換器１８における、８ビットのデジタル画像データＲＧＢから露光量データｒｇｂへの変換は、図３に示すＩＴＵ−Ｒ（International Telecommunication Union-Radio communication sector) によって規定されたＨＤＴＶの推奨規格であるＢＴ７０９を用いて行われる。なお、図２のＢＴ７０９^-1の指数−１は、光量データ（quantum level)から露光量データ（exposure) への変換であることを示す。あるいは、この変換は、ＩＥＣ（International Electrotechnical Commission)によって規定されたモニタ規格であるｓＲＧＢを用いて行うようにしてもよい。
【００２１】
次に、色分離処理部２０における色分離処理（マスキング処理）は、次の式（１）、（２）、（３）に示されるような、各色データからそれぞれ一定値を引き去るいわゆる下色除去処理によって行われる。
ｒ’＝ｒ−０．１０ ・・・・・・（１）
ｇ’＝ｇ−０．１２ ・・・・・・（２）
ｂ’＝ｂ−０．１３ ・・・・・・（３）
【００２２】
なお、上のように下色除去量を固定とせず、次のように、ＩＲカットフィルタを用いて撮影した画像データと、ＩＲカットフィルタを除いて撮影した画像データとを比較することにより、下色除去量を適応的に決定するようにしてもよい。
すなわち、図４に示すように、ＩＲカットフィルタ１２を用いて撮影して得られた画像データ（Ｒ0 ，Ｇ0 ，Ｂ0 ）、及びＩＲカットフィルタ１２を用いずに撮影して得られた画像データ（Ｒ，Ｇ，Ｂ）を、それぞれＢＴ７０９を用いて露光量データ（ｒ0 ，ｇ0 ，ｂ0 ）及び（ｒ，ｇ，ｂ）に変換する。
【００２３】
そして、画像中の一定範囲に亘る、 ｒ0 ，ｇ0 ，ｂ0 の画面平均ｒ01，ｇ01, ｂ01を求める。同様に、ｒ，ｇ，ｂについても、画像中の一定範囲に亘るｒ，ｇ，ｂの画面平均ｒ1 ，ｇ1 ，ｂ1 を求める。そして、これらの差を求める。
Δｒ＝ｒ1 −ｒ01
Δｇ＝ｇ1 −ｇ01
Δｂ＝ｂ1 −ｂ01
【００２４】
そして、前記式（１）、（２）、（３）の代わりに次の式（４）、（５）、（６）を用いることにより適応的な下色除去処理が実現される。
ｒ’＝ｒ−Δｒ ・・・・・・（４）
ｇ’＝ｇ−Δｇ ・・・・・・（５）
ｂ’＝ｂ−Δｂ ・・・・・・（６）
【００２５】
なお、色分離処理は、上に説明したような下色除去処理に限定されるものではなく、次の式（７）に示すような露光量データ上でのマトリクス演算によるものでもよい。
【数１】

または、次の式（８）に示すように、８ビットデータ上でのマトリクス演算によるものであってもよい。
【数２】

【００２６】
このとき、感度検出部２８が検出した、低感度の程度に応じて下色除去処理あるいはマトリクス演算等の色分離処理の強度を増加するようにしてもよい。すなわち、色分離処理部２０は、感度検出部２８から受け取った検出信号に基づいて前記下色除去量やマトリクス演算の係数を変更し、色分離処理の強度を変更するようにしてもよい。
【００２７】
また、この色分離処理の強度の変更は、画像出力部２４の画像表示を見て撮影者が画像撮影装置１を操作することにより、行うようにしてもよい。また、予め低感度の環境で撮影することがわかっている場合には、撮影者が撮影時にＩＲカットフィルタを外すようにしてもよいし、はじめからＩＲカットフィルタを外した画像撮影装置を用意して、撮影するようにしてもよい。
【００２８】
色分離処理部２０において色分離処理を施された画像データ（ｒ’，ｇ’，ｂ’）は、データ変換部２２で、再度８ビットのデジタル画像データ（Ｒ’，Ｇ’，Ｂ’）に変換される。この変換も、図３に示すＢＴ７０９を用いて行われる。
変換後のデジタル画像データは、画像出力部２４から出力される。
【００２９】
このように、低感度であると判定された場合に、ＩＲカットフィルタを外すことにより、色分離は下がるが、信号レベルは（いわゆる、「下駄を履いた」状態となり）、信号レベルが上がるので、熱雑音に起因するノイズを相対的に低減することができる。また、下色除去等のノイズを悪化させないマスキング処理を用いて色の濁りを除去するようにすることで、手ブレやノイズの犠牲を払うことなく感度を向上させるという目的を達成することができる。
【００３０】
また、一方、感度検出部２８において、高感度であると判定された場合には、感度検出部２８は、ＩＲフィルタ取り外し手段３０に信号を送り、撮影光路にＩＲフィルタ１２を挿入するようにする。そして、高感度の場合には、ＩＲフィルタ１２が配置された状態で撮影が行われる。ＩＲフィルタ１２を配置して撮影するため、ＣＣＤ１４の分光感度のオーバーラップ領域は、ＩＲフィルタが無い場合に比べて相対的に減少する。
また、このとき、色分離処理部２０における色分離処理においても、その処理強度を低感度の場合と比較して、相対的に減少させるようにする。
【００３１】
すなわち、従来は、撮影時の感度に関わりなく、常にＩＲフィルタの挿入という物理的手段によって色分離を行っていたところ、本実施形態では、撮影時における撮像素子の感度が不足するか否か、すなわち低感度か高感度かを判定し、高感度の場合には、ＩＲフィルタを挿入するという物理的手段により色分離を行うようにし、また、低感度の場合には、ＩＲフィルタを取り外し、主に例えば行列演算の係数を変更する等のソフトウエア処理によって色分離を行うようにしたものである。
以上、本発明の画像撮影方法及び装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００３２】
【発明の効果】
以上説明した通り、本発明によれば、撮影の際、撮影光量に応じた撮影及び色分離処理を行うことができ、特に、撮像素子の感度が不足している場合に、手ブレやノイズの発生を増加させることなく感度を向上させることができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係る画像撮影装置の概略を示すブロック図である。
【図２】 本実施形態における画像データ変換の様子を示す説明図である。
【図３】 画像データと露光量との変換を行う規格であるＢＴ７０９とｓＲＧＢを示す線図である。
【図４】 適応的な下色除去の方法を示す説明図である。
【図５】 ＣＣＤの分光感度の例を示す線図である。
【図６】 ＩＲカットフィルタの分光吸収波形の例を示す線図である。
【符号の説明】
１ 画像撮影装置
１０ 撮影レンズ
１２ ＩＲカットフィルタ
１４ ＣＣＤ
１６ Ａ／Ｄ変換器
１８、２２ データ変換器
２０ 色分離処理部
２４ 画像出力部

Claims (18)

1. 撮影光学系を介して撮像素子に被写体を撮影し、該撮像素子からの撮像信号に対し、色分離処理を含む所定の処理を施して画像信号を得る画像撮影方法であって、
   撮影時に前記撮像素子の感度が不足しているか否か判定し、
   前記撮像素子の感度が不足している場合には、該撮像素子の分光感度のオーバーラップ領域を相対的に増加させると共に前記色分離処理の強度を前記感度の不足の程度に応じて相対的に増加させ、
   前記撮像素子の感度に余裕がある場合には、前記撮像素子の分光感度のオーバーラップ領域を相対的に減少させると共に前記色分離処理の強度を前記感度の余裕の程度に応じて相対的に減少させるようにして撮影することを特徴とする画像撮影方法。
2. 前記撮像素子の感度が不足しているか否かの判定は、前記撮影時に受光センサによって検知された被写界の明るさの情報に基づいて行う請求項１に記載の画像撮影方法。
3. 前記撮像素子の感度が不足しているか否かの判定は、ＩＲカットフィルタを用いて予備撮影を行い、得られた画像のＧチャンネルの全面に亘る平均値が８０未満の場合は不足であると判断することにより行う請求項２に記載の画像撮影方法。
4. 前記撮像素子の感度が不足しているか否かの判定は、前記撮影時に自動露出機構によって行う請求項１に記載の画像撮影方法。
5. 前記撮像素子の分光感度のオーバーラップ領域が赤外光領域である請求項１〜４のいずれかに記載の画像撮影方法。
6. 前記オーバーラップ領域の増減は、ＩＲカットフィルタの挿脱により行う請求項１〜５のいずれかに記載の画像撮影方法。
7. 前記色分離処理が前記感度の程度に応じた下色除去処理である請求項１〜６のいずれかに記載の画像撮影方法。
8. 前記下色除去処理は、ＩＲカットフィルタを用いて撮影した画像データと、該ＩＲカットフィルタを除いて撮影した画像データとの比較結果に基づいて行うものである請求項７に記載の画像撮影方法。
9. 前記色分離処理が前記感度の程度に応じたマトリクス演算である請求項１〜６のいずれかに記載の画像撮影方法。
10. 撮影光学系を介して被写体を撮影する撮像素子と、該撮像素子からの撮像信号に対し、色分離処理を含む所定の処理を施して画像信号を得る手段とを有する画像撮影装置であって、
    前記撮像素子の感度が不足しているか否かを判定する手段と、
    前記撮像素子の感度が不足している場合に該撮像素子の分光感度のオーバーラップ領域を相対的に増加させる手段、及び、前記撮像素子の感度が不足している場合に前記色分離処理の強度を前記感度の不足の程度に応じて相対的に増加させる手段と、
    前記撮像素子の感度に余裕がある場合に該撮像素子の分光感度のオーバーラップ領域を相対的に減少させる手段、及び、前記撮像素子の感度に余裕がある場合に前記色分離処理の強度を前記感度の余裕の程度に応じて相対的に減少させる手段と、
    を有することを特徴とする画像撮影装置。
11. さらに、被写界の明るさを検知する受光センサを有し、
    前記撮像素子の感度が不足しているか否かを判定する手段は、前記受光センサによって検知された被写界の明るさの情報に基づいて判定を行うものである請求項１０に記載の画像撮影装置。
12. 前記撮像素子の感度が不足しているか否かを判定する手段は、ＩＲカットフィルタを用いて予備撮影を行い、得られた画像のＧチャンネルの全面に亘る平均値が８０未満の場合は不足であると判断することにより判定を行う請求項１１に記載の画像撮影装置。
13. 前記撮像素子の感度が不足しているか否かを判定する手段は、自動露出機構である請求項１０に記載の画像撮影装置。
14. 前記撮像素子の分光感度のオーバーラップ領域が赤外光領域である請求項１０〜１３のいずれかに記載の画像撮影装置。
15. 前記オーバーラップ領域の増減は、ＩＲカットフィルタの挿脱により行う請求項１０〜１４のいずれかに記載の画像撮影装置。
16. 前記色分離処理が前記感度の程度に応じた下色除去処理である請求項１０〜１５のいずれかに記載の画像撮影装置。
17. 前記下色除去処理は、ＩＲカットフィルタを用いて撮影した画像データと、該ＩＲカットフィルタを除いて撮影した画像データとの比較結果に基づいて行うものである請求項１６に記載の画像撮影装置。
18. 前記色分離処理が前記感度の程度に応じたマトリクス演算である請求項１０〜１５のいずれかに記載の画像撮影装置。

Images