JP4630781B2 - 波長成分の割合検出装置及びそれを用いた撮像装置 - Google Patents

波長成分の割合検出装置及びそれを用いた撮像装置 Download PDF

Info

Publication number
JP4630781B2
JP4630781B2 JP2005278634A JP2005278634A JP4630781B2 JP 4630781 B2 JP4630781 B2 JP 4630781B2 JP 2005278634 A JP2005278634 A JP 2005278634A JP 2005278634 A JP2005278634 A JP 2005278634A JP 4630781 B2 JP4630781 B2 JP 4630781B2
Authority
JP
Japan
Prior art keywords
image sensor
wavelength region
color filter
infrared wavelength
wavelength component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005278634A
Other languages
English (en)
Other versions
JP2007089084A (ja
JP2007089084A5 (ja
Inventor
大輔 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005278634A priority Critical patent/JP4630781B2/ja
Priority to US11/534,881 priority patent/US7623167B2/en
Priority to EP06121197A priority patent/EP1768390B1/en
Priority to AT06121197T priority patent/ATE551832T1/de
Priority to KR1020060093209A priority patent/KR100866177B1/ko
Publication of JP2007089084A publication Critical patent/JP2007089084A/ja
Publication of JP2007089084A5 publication Critical patent/JP2007089084A5/ja
Application granted granted Critical
Publication of JP4630781B2 publication Critical patent/JP4630781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Description

本発明は、可視波長領域から赤外波長領域の波長光を撮像して得られる撮像信号に基づいて、光源に含まれる波長成分の割合を検出する波長成分の割合検出装置と、それを用いた撮像装置に関するものである。
従来、可視波長領域から赤外波長領域まで撮影領域を拡張した撮像装置として、例えば、特開2003−219254号公報(特許文献1)「撮影モード切換え機能付きカメラ」が提案されている。
この従来例は、赤外カットフィルタの挿脱を自動的に行い、撮影モードを切換える赤外/可視共用カメラに関するもので、撮像素子から得られる輝度信号と色情報に基づいて撮影モードを決定している。
撮影モードの決定方法は、現在の撮影モードがカラー撮影モードの場合、輝度信号Yと予め設定された閾値Y2との大小判別によって撮影モードの決定を行っている。
現在の撮影モードが白黒撮影モードの場合、輝度信号Yと予め設定された閾値Y1との大小判別によって撮影モードの決定を行っている。
なお、閾値Y1とY2は、Y1>Y2と設定することで、赤外カットフィルタの除去により輝度信号が増加し、カラー撮影モード→白黒撮影モード→カラー撮影モード・・・を繰返すハンチングを防止している。
現在の撮影モードが白黒撮影モードの場合、輝度信号の他に色信号の分析を行い撮影モードの決定をしている。
色信号の分析は、赤色信号/緑色信号及び青色信号/緑色信号の2つの色比を求め、2つの色比が規定した分布範囲内に入るか否かによって撮像信号が近赤外光によるものか否かを判断している。
ここで撮像素子の色別の感度特性に着目すると、800[nm]付近から長波長に対しては、色の種類にかかわらずほぼ感度が同一になる特徴を有する。
このため、撮像信号が近赤外光によるものの場合は、前記2つの色比が規定した分布範囲内に収まるとしている。
撮像信号が近赤外光によるものと判断した場合、白黒撮影モードのままとする。
また、前記色信号の分析は、撮影画面全体の色信号の平均値を利用しても良い。
しかし、撮像画面を複数のブロックに分割し、各ブロックの色信号の平均値に対し、各々撮像信号が近赤外光によるものか否かの判断を行っても良いとしている。
特開2003−219254号公報
上述の従来の赤外カットフィルタの挿脱を自動的に行うカメラでは、650[nm]〜800[nm]までの赤外波長成分の検出及び光源に含まれる可視波長成分と赤外波長成分の割合を検出できなかった。
このため、白熱灯や太陽光等の可視波長成分と赤外波長成分の両方を含む混合光源下において、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度が不安定となる問題がある。
そこで、本発明は、赤外波長成分及び光源に含まれる可視波長成分と赤外波長成分の割合を検出し、白熱灯あるいは太陽光等の可視波長成分と赤外波長成分の両方を含む混合光源下において、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度を安定することができる波長成分の割合検出装置及びそれを用いた撮像装置を提供することを目的とする。
上記の目的を達成するために本発明に係る波長成分の割合検出装置は、被写体からの反射光が入射される撮像光学系と、
前記撮像光学系から前記反射光が入射され透過される撮像素子カラーフィルタと、
前面に配置される前記撮像素子カラーフィルタを介して前記反射光が入射され、前記撮像素子カラーフィルタの可視波長領域から赤外波長領域の波長光を撮像し撮像信号を出力する撮像素子と、
前記撮像信号から撮影画面中の複数の領域について色差信号を平均化して抽出する抽出手段と、
前記撮像素子カラーフィルタの赤外波長領域において赤色成分が多く透過される第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの赤外波長領域において3色成分がほぼ同量透過される第2の赤外波長領域の波長成分の光量とが、光源に占める割合を前記抽出された色差信号に基づいて各々検出する検出手段と、を有したことを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記抽出された色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記抽出された色差信号の分布が、前記撮像素子カラーフィルタの分光透過特性に基づく定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価することで、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を、前記検出手段は各々検出することを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記定義線は、前記撮像素子カラーフィルタの第1の赤外波長領域と、前記撮像素子カラーフィルタの第2の赤外波長領域に各々単波長光を照射して前記色差信号の分布を検出し、前記色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記撮像素子カラーフィルタの第1の赤外波長領域における前記検出された色差信号の分布を近似した近似線であり、
前記規定座標は、前記撮像素子カラーフィルタの第2の赤外波長領域における前記検出された色差信号の分布が集中する座標の近似座標であることを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記位置関係に基づいて評価することとは、前記抽出された色差信号と、前記定義線及び前記規定座標との最短距離の分散値を求め、前記分散値を各々総和したものを前記撮像素子カラーフィルタの第1の赤外波長領域及び前記撮像素子カラーフィルタの第2の赤外波長領域の評価値とし、
予め記憶してある前記分散値の総和と、前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合との相関データから、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を検出することを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、被写体からの反射光が入射される撮像光学系と、
前記撮像光学系から前記反射光が入射され透過される撮像素子カラーフィルタと、
前面に配置される前記撮像素子カラーフィルタを介して前記反射光が入射され、前記撮像素子カラーフィルタの可視波長領域から赤外波長領域の波長光を撮像し撮像信号を出力する撮像素子と、
前記撮像信号から撮影画面中の複数の領域について色差信号と輝度信号を平均化して抽出する抽出手段と、
前記撮像素子カラーフィルタの赤外波長領域において赤色成分が多く透過される第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの赤外波長領域において3色成分がほぼ同量透過される第2の赤外波長領域の波長成分の光量とが、光源に占める割合を前記抽出された色差信号と輝度信号との比に基づいて各々検出する検出手段と、を有したことを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記撮像素子により前記可視波長領域から前記赤外波長領域の波長光を撮像して得られた撮像信号から、撮影画面中の複数の領域について色差信号と輝度信号を平均化して抽出する抽出手段と、
前記抽出された色差信号と輝度信号との比を求める算出手段と、
前記色差信号と輝度信号との比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系において、前記算出された色差信号と輝度信号との比の分布が、前記撮像素子カラーフィルタの分光透過特性に基づく定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価することで、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を、前記検出手段は各々検出することを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記定義線は、前記撮像素子カラーフィルタの第1の赤外波長領域と、前記撮像素子カラーフィルタの第2の赤外波長領域に各々単波長光を照射して前記色差信号と輝度信号との比の分布を検出し、前記色差信号と輝度信号との比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系において、前記第1の赤外波長領域における前記検出した色差信号と輝度信号との比の分布を近似した近似線であり、
前記規定座標は、前記第2の赤外波長領域における前記検出された色差信号と輝度信号との比の分布が集中する座標の近似座標であることを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記位置関係に基づく評価することとは、前記算出された色差信号と輝度信号との比と、前記定義線及び前記規定座標との最短距離の分散値を求め、前記分散値を各々総和したものを前記撮像素子カラーフィルタの第1の赤外波長領域及び前記撮像素子カラーフィルタの第2の赤外波長領域の評価値とし、
予め記憶してある前記分散値の総和と、前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合との相関データから、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を検出することを特徴とする。
さらに、本発明に係る撮像装置は、前記波長成分の割合検出装置と、
前記撮像光学系と前記撮像素子カラーフィルタの間の光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ移動手段と、
前記撮像素子から得られる前記撮影画面全体の前記輝度信号、及び、請求項1から8のいずれかに記載の波長成分の割合検出装置により得られる前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合に基づいて、前記撮影画面中の可視波長成分の輝度を算出する可視波長成分の輝度算出手段と、
前記算出された前記可視波長成分の輝度に基づいて、前記フィルタ移動手段を制御して前記光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ切換え手段と、を有することを特徴とする。
図1に各光源に含まれる波長成分の光量の割合の違いを示す。
通常の赤外カットフィルタのカット波長帯域は650[nm]付近であり、赤外カットフィルタ挿入時は、650[nm]以降の赤外波長成分の光量は全てカットされる。
光源が蛍光灯の場合、図1に示されるように赤外波長成分の光量をほとんど含まないため、赤外カットフィルタ挿入に伴う光量の変化はほとんどない。
しかし、光源が白熱灯や赤外照明の場合、図1に示されるように赤外波長成分の光量を多く含むため、赤外カットフィルタ挿入に伴う光量の減少が大きい。
赤外カットフィルタの除去時において、光源に含まれる赤外波長成分の光量の割合を検出することができれば、赤外カットフィルタ挿入時の可視波長成分のみの光量を算出することが可能である。
それに基づいて赤外カットフィルタの挿入タイミングを決定すれば、カラー撮影画面の輝度を安定化させることが可能である。
第1の赤外波長領域及び第2の赤外波長領域は、原色または補色カラーフィルタの赤外波長領域における各色の分光透過特性に基づいて定義される。
図2に原色カラーフィルタの分光透過特性図、図3に補色カラーフィルタの分光透過特性図が示される。
図2に示されるように原色カラーフィルタの650[nm]〜820[nm]付近の波長帯では、赤色信号Rが最も透過率が高く、緑色信号G及び青色信号Bの透過率は低い。
よってこの波長成分の光が、前面に原色カラーフィルタを配した撮像素子に入射した場合、得られる色情報は赤色成分が支配的となる。
図3に示されるように補色カラーフィルタの650[nm]〜820[nm]付近の波長帯では、イエローYe(R+G)及びマゼンダMg(R+B)の透過特性がほぼ同一であり、透過率が最も高い。このため、シアンCy(G+B)の透過率のみ低い。
よって、この波長成分をもつ光が、前面に補色カラーフィルタを配した撮像素子に入射した場合においても、得られる色情報は赤色成分が支配的となる。
この赤色成分が支配的となる領域を第1の赤外波長領域とする。
また、図2及び図3に示されるように820[nm]付近〜長波長の波長帯では、原色及び補色カラーフィルタのどちらにおいても、3色成分がほぼ同量透過される。
よって、この波長成分の光が、前面に原色または補色カラーフィルタを配した撮像素子に入射した場合に得られる色情報は無彩色となる。
この色情報が無彩色を示す領域を第2の赤外波長領域とする。
第1の赤外波長領域及び第2の赤外波長領域の波長帯域の幅は、撮像素子カラーフィルタの分光透過特性によって若干変わる。
しかし、一般的な撮像素子カラーフィルタにおける赤外波長領域では、赤色成分が多く透過される第1の赤外波長領域と、3色成分がほぼ同量透過される第2の赤外波長領域とに大別することができる。
ここで、原色及び補色カラーフィルタの第1の赤外波長領域及び第2の赤外波長領域の波長帯において、撮像素子の輝度信号出力が同値になるように、単波長光(例えば650[nm]から40[nm]毎)を照射して色差信号を取得する。
色差信号のR−Y軸とB−Y軸とから成る直交座標系において、原色カラーフィルタにおける第1の赤外波長領域及び第2の赤外波長領域の各単波長光の色差信号とその近似線が図4に示される。
また、補色カラーフィルタにおける第1の赤外波長領域及び第2の赤外波長領域の各単波長光の色差信号とその近似線が図5に示される。
第1の赤外波長領域に相当する650[nm]〜820[nm]付近までの色差信号は、図4及び図5共に形状は異なる。
しかし、赤色信号Rから無彩色を表す座標中心までの近似線上に分布する特性を有し、これを本発明における定義線とする。即ち、定義線=近似線である。
また、第2の赤外波長領域に相当する820[nm]以降の色差信号は全て無彩色を表す座標中心に分布する特徴を有し、これを本発明における規定座標とする。
本発明における定義線は、使用する原色または補色カラーフィルタの分光透過特性によって形状が変化するため、使用する撮像素子カラーフィルタ毎に分光透過特性より算出、もしくは測定して定義線を求めておく必要がある。
ここで、光源に赤外成分がほとんど無い蛍光灯下、もしくは、赤外カットフィルタを介した撮影した場合、つまり、可視波長成分のみでの撮影をした場合を説明する。
この可視波長成分のみでの撮影をした場合に撮影画面中の複数の領域について平均化して抽出された色差信号の分布が図6(A)に示されたものと仮定する。
この可視波長成分に第1の赤外波長領域の波長成分が加わると、前記抽出された色差信号は前記可視波長成分での色差信号と、第1の赤外波長領域の色差信号、つまり近似線上の座標が表す色差信号との混合色となる。
よって、可視波長成分に第1の赤外波長領域の波長成分が加わった場合、色差信号の分布は図6(B)に示されるように近似線の近傍に集中する特性を有する。
近似線の近傍に集中する度合いは、可視波長成分に対する第1の赤外波長領域の波長成分の比率に依存し、第1の赤外波長領域の波長成分が多いほど近似線の近傍に集中する。
可視波長成分に第2の赤外波長領域の波長成分が加わると、前記抽出された色差信号は前記可視波長成分での色差信号と、第2の赤外波長領域の色差信号、つまり規定座標が表す無彩色の色差信号との混合色となる。
よって、可視波長成分に第2の赤外波長領域の波長成分が加わった場合、色差信号の分布は図6(C)に示されるように規定座標の近傍に集中する特性を有する。
規定座標の近傍に集中する度合いは、可視波長成分に対する第2の赤外波長領域の波長成分の比率に依存し、第2の赤外波長領域の波長成分が多いほど規定座標の近傍に集中する。
ここで、これら第1の赤外波長領域及び第2の赤外波長領域の波長成分が、撮影画面中の複数の領域について抽出された色差信号に及ぼす影響特性を利用する。
色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記抽出された色差信号が、定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価する。
この評価により光源に含まれる第1の赤外波長領域及び第2の赤外波長領域の波長成分の割合を各々検出することが可能である。
前記抽出された色差信号が、定義線の近傍に集中している度合いを定量的に評価する方法として、前記抽出された各々の色差信号と、定義線との最短距離の分散値を算出する。 さらに、それら分散値を総和したものを評価値として用いるようにする。
前記算出された定義線との分散値の総和と第1の赤外波長領域の波長成分の割合は、一般的な被写体において図8(A)に示される関係がある。
よって、前記関係データを予め記憶手段に記憶しておけば、前記算出された定義線との分散値の総和と記憶データに基づいて、第1の赤外波長領域の波長成分の割合を決定することができる。
前記抽出された色差信号が、規定座標の近傍に集中している度合いを定量的に評価する方法として、前記抽出された各々の色差信号と、規定座標との最短距離の分散値を算出する。さらに、それら分散値を総和したものを評価値として用いるようにする。
前記算出された規定座標との分散値の総和と第2の赤外波長領域の波長成分の割合は、一般的な被写体において図8(B)に示される関係がある。
よって、前記関係データを予め記憶手段に記憶しておけば、前記算出された規定座標との分散値の総和と記憶データに基づいて、第2の赤外波長領域の波長成分の割合を決定することができる。
前記抽出された各々の色差信号と、定義線及び規定座標との最短距離の分散値を算出し、それら分散値を総和することで、前記抽出された各々の色差信号が、どのようなばらつきをもって分布しているかも評価することできる。
例えば、図7に示される被写体に含まれる色が、第1の赤外波長領域における色(定義線付近)及び第2の赤外波長領域における色(規定座標付近)に近い色が大半を占めていたとする。
第1の赤外波長領域及び第2の赤外波長領域に近い色が分布する範囲は、定義線及び規定座標の周辺となり、最短距離の分散値は小さくなる。
しかし、撮影画面中における複数の領域のうち、1つの領域でも定義線及び規定座標からはなれた分布をもつものがあれば、最短距離の分散値は大きくなる。
このため、全ての分散値の総和は、第1の赤外波長領域及び第2の赤外波長領域の波長成分が混入した光源下で撮影した分散値の総和より大きくなる。
よって、図7に示される色差信号の分布が定義線及び規定座標付近に偏っている場合であっても、赤外波長成分A及びBの割合の決定を大きく誤ることがない。
本発明の波長成分の割合検出装置によれば、赤外カットフィルタを除去した状態において、撮影画面の全光量のうち赤外成分がどの程度の割合を占めるかを検出できる。
このため、可視成分の光量、すなわち赤外カットフィルタを挿入した状態における撮影画面の輝度を予測することができる。
よって、予測した撮影画面の輝度に基づいて、赤外カットフィルタの挿入のタイミングを決定すれば、赤外カットフィルタ挿入後の撮影画面の輝度を安定化させることができる。
本発明の撮像装置によれば、撮像装置である赤外カットフィルタ切換え機能付きカメラに、前記波長成分の割合検出装置を備えることで、赤外カットフィルタ挿入時の可視成分の輝度を予測できる。
このため、撮影光源の種類にかかわらず赤外カットフィルタの自動挿脱を適切なタイミングで行うことができる。
以下、本発明を、その実施例に基づいて、図面を参照して説明する。
図9を参照して本発明の実施例1の波長成分の割合検出装置を説明する。
さらに、図10を参照して本発明の実施例1の波長成分の割合検出装置が組み込まれた
本発明の実施例の撮像装置である赤外カットフィルタ切換え機能付きカメラを説明する。ここで赤外カットフィルタ切換え機能とは、撮像光学系と撮像素子カラーフィルタの間の光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ移動手段を備えることである。図10に示される撮像光学系1において、撮像した被写体からの反射光は光路長補正フィルタ2を透過し、撮像素子の前面に配置される撮像素子カラーフィルタ4を介して撮像素子5に入射される。
撮像素子5からのアナログ撮像信号は増幅器7によって増幅され、A/D変換器8によってデジタル撮像信号に変換される。
撮像信号出力201は、A/D変換器8からの撮像信号を赤色信号R、青色信号B、緑色信号Gに分解した撮像信号出力である。
WB処理部202は撮像信号のRゲイン及びBゲインを調整し、適切なホワイトバランスに調整する処理部である。
色分離マトリクス(MTX)203は、適正なホワイトバランスに調整された赤色信号R、青色信号B、緑色信号Gを、色差信号R−Y、B−Y及び、輝度信号Yに変換する処理部である。
色差信号R−Y、B−Y及び、輝度信号Yは映像信号合成部211により映像信号として合成され外部へ出力される。
赤外カットフィルタ3が除去され、光路長補正フィルタ2が挿入されている場合、その映像信号は赤外光の混入により色バランスが崩れてしまう。
よって、光路長補正フィルタ2が挿入されている状態での撮影では、通常、映像信号合成部211において、色分離マトリクス203から得られる色差信号R−Y、B−Yを破棄し、輝度信号Yのみの白黒映像を出力している。
本発明の実施例1の波長成分の割合検出装置100は、図10に示される映像信号処理回路200において得られる色差信号R−Y、B−Yを用いて波長成分の割合を検出する装置である。さらに、映像信号処理回路200及びマイクロコンピュータ300における演算処理の一部である。
図9に示される波長成分の割合検出装置における撮像信号出力201は、撮像光学系と撮像素子カラーフィルタを介した撮像素子より、可視波長領域から赤外波長領域の波長光を撮像して得られた撮像信号の出力である。
図9に示される波長成分の割合検出装置における撮像信号出力201は、図10に示される赤外カットフィルタ切換え機能付きカメラにおいては、光路長補正フィルタ2が挿入された状態で撮像された撮像信号の出力である。
WB処理部202は撮像信号のRゲイン及びBゲインを調整し、適切なホワイトバランスに調整する処理部である。
しかし、赤外波長領域の波長光が混入した映像信号は色バランスが崩れているため、Rゲイン及びBゲインを固定値として調整しても良い。
色分離マトリクス(MTX)203は、赤色信号R、青色信号B、緑色信号Gを、色差信号R−Y、B−Y及び、輝度信号Yに変換する。
変換された撮像信号のうち、色差信号R−Y、B−Yは画面分割部204に入力される。
画面分割部204は撮影画面中の色差信号を複数の領域に分割する処理部であり、分割された複数の領域に各々含まれる色差信号は、平均値演算部205において分割された複数の領域ごとに平均化される。
画面分割部204において、撮影画面の分割数を増やし領域を細分化するほど、色差信号の抽出精度が向上する。
画面分割数の増加に伴う、各領域における抽出色の変化の様子が図11に示される。
分割数が少ないと抽出される色は被写体の色と背景色との混合色となる。
分割数が増えるに従って、被写体の色と背景色との分離が明確になり、分割数が十分な数に達すると被写体の色及び背景色を、純色または純色に近い混合色で抽出できる。
よって、撮影画面中に含まれる被写体の色を正確に抽出できる確率を上げるには、撮影画面の分割数を増やし、可能な限り領域を細分化して色差信号を抽出することが望ましい。
画面分割部204及び平均値演算部205によって平均化抽出された色差信号R−Y、B−Yは波長成分割合演算部301に入力される。
波長成分割合演算部301は、入力された色差信号R−Y、B−Y、WB処理部202におけるホワイトバランスの調整値、及びメモリ302における格納データを参照して波長成分の割合を決定する。
波長成分割合演算部301における具体的な処理が図12に示される。
ステップS500において、平均値演算部204から得られる色差信号R−Y、B−Yを画面分割部204で分割した領域の数だけ格納する。
次に、ステップS501において、WB処理部202におけるホワイトバランスの調整値を読み出し、前処理から変更がないか確認する。
色差信号R−Y、B−Yはホワイトバランスの調整値よって値が異なるため、ステップS501において変更が確認された場合、ステップS502の処理が必要となる。
つまり、現在のホワイトバランス調整値に対応したR−Y軸とB−Y軸とから成る直交座標系の定義線及び規定座標を、メモリ302から読み込み直すステップS502の処理が必要である。
色差信号R−Y、B−Yが、同じ撮影画像から取り出したもの、あるいはホワイトバランス調整値が前処理の撮影画面と同様であった場合、ホワイトバランスの調整値に変更がないためステップS502の処理は省略される。
また、WB処理部202において、ホワイトバランス調整値を常に固定とした場合も、同様にステップS502の処理は省略される。
ステップS503において、色差信号R−Y、B−Yと定義線との最短距離を演算する。
ステップS504において、前記最短距離の分散値を演算し、ステップS505で前記分散値を格納する。
ステップS506において、撮影画面を分割した領域全てについてステップS503からステップS505までの処理がなされたかを確認する。
領域全てについて処理が終了していない場合、ステップS503からステップS505までの処理を繰返す。
領域全てについて処理が終了した場合は、ステップS507に進み、ステップS505において格納された分散値を総和する処理を行う。
ステップS508では、ステップS507で演算された分散値の総和と、予めメモリ302に記憶してある分散値総和と赤外波長成分Aの割合との相関データ(図8(A)参照)を照合し、赤外波長成分Aの割合PIRAを決定する。
ステップS509において、色差信号R−Y、B−Yと規定座標との最短距離を演算する。
ステップS510において、前記最短距離の分散値を演算し、ステップS511で前記分散値を格納する。
ステップS512において、撮影画面を分割した領域全てについてステップS509からステップ511までの処理がなされたかを確認する。
領域全てについて処理が終了していない場合、ステップS509からステップS511までの処理を繰返す。
領域全てについて処理が終了した場合は、ステップS513に進み、ステップS511において格納された分散値を総和する処理を行う。
ステップS514では、ステップS513で演算された分散値の総和と、予めメモリ302に記憶してある分散値総和と赤外波長成分Bの割合との相関データ(図8(B)参照)を照合し、赤外波長成分Bの割合PIRBを決定する。
赤外波長成分Aの割合PIRAを決定するステップS503からステップS508までの処理と、赤外波長成分Bの割合PIRBを決定するステップS509からステップS514までの処理は、どちらを先に行っても良い。
図10に示される波長成分の割合検出装置100での処理を行い演算された第1の赤外波長領域の波長成分及び第2の赤外波長領域の波長成分の割合PIRA、PIRBは、可視波長成分輝度演算部311に入力される。
可視波長成分輝度演算部311は、以下により光源に含まれる可視波長成分の輝度を演算する(輝度算出手段)
つまり、第1の赤外波長領域の波長成分及び第2の赤外波長領域の波長成分の割合PIRA、PIRBと、平均値演算部205から得られる撮影画面全体の平均輝度Yを用いて、光源に含まれる可視波長成分の輝度を演算する。
演算された可視波長成分の輝度YVは撮影モード決定部312に入力される。
撮影モード決定部312は、入力された可視波長成分の輝度YVと予め設定してある撮影モード切換え条件閾値YDとを比較し、撮影モードを切換えるか否かを決定する。
可視波長成分輝度演算部311及び撮影モード決定部312はマイクロコンピュータ300における演算処理の一部であり、行われる処理は波長成分割合演算部301の処理(図12参照)の後に続く処理である。
次に、図13に示される可視波長成分輝度演算部311及び撮影モード決定部312で行われる処理について説明する。
ステップS580において第1の赤外波長領域の波長成分及び第2の赤外波長領域の波長成分の割合値PIRA、PIRBより、1−(PIRA+PIRB)を演算処理する。
これにより光源に含まれる第1の赤外波長領域及び第2の赤外波長領域以外の波長成分、すなわち、可視波長成分の割合を算出する。
次に、ステップS581において、平均値演算部205より撮影画面全体の平均輝度Yを取得する。
ステップS582において、取得した平均輝度YとステップS580において演算した可視波長成分の割合とを乗算することで、光源に含まれる可視波長成分の輝度Yを演算する。
演算された可視波長成分の輝度Yは撮影モード決定部312の処理へ入力される。
ステップS583において、予め設定してある撮影モード切換え閾値Yと可視波長成分の輝度Yの比較を行う。
可視波長成分の輝度Yが撮影モード切換え閾値Yの値を上回っていれば、撮影モードの切換えを決定する。
撮影モードの切換えを決定した場合、ステップS584において、制御回路9にフィルタの切換え信号を出力する。
このステップS584と共に、ステップS585において、映像信号合成部211に色差信号R−Y、B−Yの破棄を中止し、カラー映像信号の合成処理を行うよう信号を出力する。
制御回路9は、撮影モード決定部312からの信号を受け、フィルタ駆動モータ6にフィルタ駆動のための制御信号を送る。
また、映像信号合成部211は撮影モード決定部312からの信号を受け、色差信号R−Y、B−Yの破棄を中止し、色差信号R−Y、B−Y及び輝度信号Yを合成したカラー映像信号を出力する。
上記のように構成すると、光源に含まれる可視波長成分の輝度Yを検出することができ、可視波長成分の輝度Yと予め設定した撮影モード切換え閾値Yに基づいて撮影モードを決定することできる。
よって、光源に含まれる赤外波長成分の量に関わらず、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度を、撮影モード切換え閾値Y付近の値で安定化させることができる。
次に本発明の波長成分の割合検出装置において、低輝度下の撮影における波長成分の割合検出に対応した本発明の実施例2について説明する。
低輝度下における撮影を考えた場合、撮像素子から得られる色差信号R−Y、B−Yは、輝度信号Yの低下に伴い、同様に低下する。
図14において、同一色を低輝度Y及びYにおいて撮影した場合に得られる色差信号R−Y、B−Yの分布の違いが示される。
低輝度Y及びYにはY<Yの関係があり、低輝度Yにおいて撮影した場合に、ある色の色差信号と、R−Y軸、B−Y軸から成る直交座標系の中心との距離がr、rであったと仮定する。
ここで、低輝度Yにおいて撮影した場合、前記色の色差信号と、R−Y軸、B−Y軸から成る直交座標系の中心との距離は凡そr×Y/Y、r×Y/Yの関係を有する。
ここで、低輝度Y及びYにおいて色差信号と輝度信号との比であるR−Y/Y及びB−Y/Yを演算し、R−Y/Y軸、B−Y/Y軸から成る直交座標系の中心との距離を算出する。
この算出と共にr/Y、r/Yの値を得ることができる。
よって、低輝度下における撮影の場合には、色差信号と輝度信号との比であるR−Y/Y及びB−Y/Yを評価値として用いることで、輝度信号Yの値によらない色情報の評価が可能となる。
ここで色差信号と輝度信号の比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系の定義線及び規定座標について説明する。
原色及び補色カラーフィルタの第1の赤外波長領域及び第2の赤外波長領域の波長帯において、撮像素子の輝度信号出力が同値になるように単波長光(例えば650[nm]から40[nm]毎)を照射する。
この照射により色差信号を取得した結果が図4及び図5に示される。
よって、色差信号と輝度信号の比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系におきかえても、原色及び補色カラーフィルタにおける定義線及び規定座標の形状は図15に示されるように同様となる。
色差信号であるR−Y軸とB−Y軸とから成る直交座標系における場合と同様に以下のように波長成分の割合を検出することが可能である。
つまり、複数の領域について平均化抽出された各々の色差信号と輝度信号との比の分布が、前記R−Y/Y軸とB−Y/Y軸とから成る直交座標系における定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価する。この評価により波長成分の割合を検出することが可能である。
このため、低輝度下の撮影における波長成分の割合検出に対応した図16に示される実施例の構成も可能である。
この図16に示される実施例は、色差信号と輝度信号との比であるR−Y/Y軸、B−Y/Y軸とから成る直交座標系を用いて波長成分の割合を検出する構成である。
図16に示される波長成分の割合検出装置を組み込んだ赤外カットフィルタ切換え機能付きカメラを図17を参照して説明する。
なお、図16及び図17に示される符号の内、図9及び図10に示される実施例と同様の機能を有する部分については、同符号で示される。
図17に示される撮像光学系1において、撮像した被写体からの反射光は光路長補正フィルタ2を透過し、撮像素子カラーフィルタ4を介して撮像素子5に入射される。
撮像素子5からのアナログ撮像信号は増幅器7によって増幅され、A/D変換器8によってデジタル撮像信号に変換される。
撮像信号出力201は、A/D変換器8からの撮像信号を赤色信号R、青色信号B、緑色信号Gに分解した撮像信号出力である。
WB処理部202は撮像信号のRゲイン及びBゲインを調整し、適切なホワイトバランスに調整する処理部である。
色分離マトリクス(MTX)203は、適正なホワイトバランスに調整された赤色信号R、青色信号B、緑色信号Gを、色差信号R−Y、B−Y及び、輝度信号Yに変換する処理部である。
色差信号R−Y、B−Y及び、輝度信号Yは映像信号合成部211により映像信号として合成され外部へ出力される。
赤外カットフィルタ3が除去され、光路長補正フィルタ2が挿入されている場合、その映像信号は赤外光の混入により色バランスが崩れてしまう。
よって、光路長補正フィルタ2が挿入されている状態での撮影では、通常、映像信号合成部211において、色分離マトリクス203から得られる色差信号R−Y、B−Yを破棄し、輝度信号Yのみの白黒映像を出力している。
本発明の実施例の波長成分の割合検出装置100は、図17に示される映像信号処理回路200において得られる色差信号R−Y、B−Yを用いて波長成分の割合を検出する装置である。
この波長成分の割合を検出する装置は、映像信号処理回路200及びマイクロコンピュータ300における演算処理の一部である。
図16に示される波長成分の割合検出装置における撮像信号出力201は、撮像光学系と撮像素子カラーフィルタを介した撮像素子より、可視波長領域から赤外波長領域の波長光を撮像して得られた撮像信号の出力である。
図16に示される波長成分の割合検出装置における撮像信号出力201は、図10に示される赤外カットフィルタ切換え機能付きカメラにおいては、光路長補正フィルタ2が挿入された状態で撮像された撮像信号の出力である。
WB処理部202は撮像信号のRゲイン及びBゲインを調整し、適切なホワイトバランスに調整する処理部である。
しかし、赤外波長領域の波長光が混入した映像信号は色バランスが崩れているため、Rゲイン及びBゲインを固定値として調整しても良い。
色分離マトリクス(MTX)203は、赤色信号R、青色信号B、緑色信号Gを、色差信号R−Y、B−Y及び、輝度信号Yに変換する。
変換された撮像信号のうち、色差信号R−Y、B−Y及び輝度信号Yは画面分割部251に入力される。
画面分割部251は撮影画面中の色差信号及び輝度信号を複数の領域に分割する処理部であり、分割された複数の領域に各々含まれる色差信号及び輝度信号は、平均値演算部252において分割された複数の領域ごとに平均化される。
画面分割部251において、撮影画面の分割数を増やし領域を細分化するほど、色差信号と輝度信号の抽出精度が向上する。
画面分割数の増加に伴う、各領域における抽出色及び輝度の変化の様子が図11に示される。
分割数が少ないと抽出される情報は、被写体と背景の色及び輝度が混合した情報となる。
分割数が増えるにしたがって、被写体と背景との色及び輝度の分離が明確になっていき、分割数が十分な数に達すると被写体と背景の情報を、実際の色及び輝度と近い値で抽出できるようになる。
よって、撮影画面中に含まれる被写体の色及び輝度を正確に抽出できる確率を上げるには、撮影画面の分割数を増やし、可能な限り領域を細分化して色差信号と輝度信号を抽出することが望ましい。
画面分割部251及び平均値演算部252によって平均化抽出された色差信号R−Y、B−Y及び輝度信号Yは、R−Y/Y、B−Y/Y演算部351において、色差信号と輝度信号の比であるR−Y/Y、B−Y/Yに変換される。
変換された色差信号と輝度信号の比であるR−Y/Y、B−Y/Yは、波長成分割合演算部352に入力される。
波長成分割合演算部352は、入力された色差信号と輝度信号の比R−Y/Y、B−Y/Y、WB処理部202におけるホワイトバランスの調整値、及びメモリ353における格納データを参照して波長成分の割合を決定する。
図18を参照して、波長成分割合演算部352における具体的な処理を説明する。
ステップS550において、平均値演算部252から得られる色差信号R−Y、B−Yを画面分割部251で分割した領域の数だけ格納する。
次にステップS551において、WB処理部202におけるホワイトバランスの調整値を読み出し、前処理から変更がないか確認する。
色差信号と輝度信号の比R−Y/Y、B−Y/Yはホワイトバランスの調整値よって値が異なる。
このため、ステップS551において変更が確認された場合、以下のステップS552の処理が必要である。
つまり、現在のホワイトバランス調整値に対応したR−Y/Y軸とB−Y/Y軸とから成る直交座標系の定義線及び規定座標をメモリ353から読み込み直すステップS552の処理が必要である。
色差信号と輝度信号の比R−Y/Y、B−Y/Yが、同じ撮影画像から取り出したものである場合、あるいは、ホワイトバランス調整値が前処理の撮影画面と同様であった場合、ホワイトバランスの調整値に変更がない。
このため、ステップS552の処理は省略される。
また、WB処理部202において、ホワイトバランス調整値を常に固定とした場合も、同様にステップS552の処理は省略される。
ステップS553において、色差信号と輝度信号の比R−Y/Y、B−Y/Yと定義線との最短距離を演算する。
ステップS554において、前記最短距離の分散値を演算し、ステップS555で前記分散値を格納する。
ステップS556において、撮影画面を分割した領域全てについてステップS553からステップS555までの処理がなされたかを確認する。
領域全てについて処理が終了していない場合、ステップS553からステップS555までの処理を繰返す。
領域全てについて処理が終了した場合は、ステップS557に進み、ステップS555において格納された分散値を総和する処理を行う。
ステップS558では、ステップS557で演算された分散値の総和と、予めメモリ353に記憶してある分散値総和と赤外波長成分Aの割合との相関データを照合し、赤外波長成分Aの割合PIRAを決定する。
ステップS559において、色差信号と輝度信号の比R−Y/Y、B−Y/Yと規定座標との最短距離を演算する。
ステップS560において、前記最短距離の分散値を演算し、ステップS561で前記分散値を格納する。
ステップS562において、撮影画面を分割した領域全てについてステップS559からステップ561までの処理がなされたかを確認する。
領域全てについて処理が終了していない場合、ステップS559からステップS561までの処理を繰返す。
領域全てについて処理が終了した場合は、ステップS563に進み、ステップS561において格納された分散値を総和する処理を行う。
ステップS564では、ステップS563で演算された分散値の総和と、予めメモリ353に記憶してある分散値総和と赤外波長成分Bの割合との相関データを照合し、赤外波長成分Bの割合PIRBを決定する。
赤外波長成分Aの割合PIRAを決定するステップS553からステップS558までの処理と、赤外波長成分Bの割合PIRBを決定するステップS559からステップS564までの処理は、どちらを先に行っても良い。
図17において波長成分の割合検出装置100での処理を行い演算された赤外波長成分A及びBの割合PIRA、PIRBは、可視波長成分輝度演算部311に入力される。
可視波長成分輝度演算部311は赤外波長成分A及びBの割合PIRA、PIRBと、平均値演算部205から得られる撮影画面全体の平均輝度Yを用いて、光源に含まれる可視波長成分の輝度を演算する。
演算された可視波長成分の輝度Yは撮影モード決定部312に入力される。
撮影モード決定部312は、入力された可視波長成分の輝度Yと予め設定してある撮影モード切換え条件閾値Yとを比較し、撮影モードを切換えるか否かを決定する。
可視波長成分輝度演算部311及び撮影モード決定部312はマイクロコンピュータ300における演算処理の一部であり、行われる処理は波長成分割合演算部352の処理(図18参照)の後に続く処理である。
なお、可視波長成分輝度演算部311及び撮影モード決定部312で行われる処理は、図9及び図10に示される実施例の場合と同様の処理であり、図13に示される。
ステップS580において第1の赤外波長領域及び第2の赤外波長領域の割合値PIRA、PIRBより、1−(PIRA+PIRB)を演算処理する。
これにより光源に含まれる第1の赤外波長領域及び第2の赤外波長領域以外の波長成分、すなわち可視波長成分の割合を算出する。
次に、ステップS581において、平均値演算部205より撮影画面全体の平均輝度Yを取得する。
ステップS582において、取得した平均輝度YとステップS580において演算した可視波長成分の割合とを乗算することで、光源に含まれる可視波長成分の輝度Yを演算する。
演算された可視波長成分の輝度Yは撮影モード決定部312の処理へ入力される。
ステップS583において、予め設定してある撮影モード切換え閾値Yと可視波長成分の輝度Yの比較を行う。
可視波長成分の輝度Yが撮影モード切換え閾値Yの値を上回っていれば、撮影モードの切換えを決定する。
撮影モードの切換えを決定した場合、ステップS584において、制御回路9にフィルタの切換え信号を出力する。
このステップS584と共に、ステップS585において、映像信号合成部211に色差信号R−Y、B−Yの破棄を中止し、カラー映像信号の合成処理を行うよう信号を出力する。
制御回路9は、撮影モード決定部312からの信号を受け、フィルタ駆動モータ6にフィルタ駆動のための制御信号を送る。
また、映像信号合成部211は撮影モード決定部312からの信号を受け、色差信号R−Y、B−Yの破棄を中止し、色差信号R−Y、B−Y及び輝度信号Yを合成したカラー映像信号を出力する。
上記のように構成すると、低輝度下においても光源に含まれる可視波長成分の輝度Yをより正確に検出することができる。
さらに、可視波長成分の輝度Yと予め設定した撮影モード切換え閾値Yに基づいて撮影モードを決定することできる。
よって、光源に含まれる赤外波長成分の量に関わらず、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度を、撮影モード切換え閾値Y付近の値で安定化させることができる。
各光源に含まれる波長成分の光量の割合の特性図である。 原色カラーフィルタの分光透過特性図である。 補色カラーフィルタの分光透過特性図である。 原色カラーフィルタに赤外波長成分の単波長光を照射した場合における波長別の色差信号の推移状態図である。 補色カラーフィルタに赤外波長成分の単波長光を照射した場合における波長別の色差信号の推移状態図である。 可視波長成分のみの光源下で同一被写体を照射した場合において、補色カラーフィルタで抽出された色差信号の分布状態図である。 可視波長成分と赤外波長成分Aとの混合光源下で同一被写体を照射した場合において、補色カラーフィルタで抽出された色差信号の分布状態図である。 可視波長成分と赤外波長成分Bとの混合光源下で同一被写体を照射した場合において、補色カラーフィルタで抽出された色差信号の分布状態図である。 被写体に含まれる色が、第1の赤外波長領域及び第2の赤外波長領域の波長成分が示す色と近い色に偏っている場合における、色差信号の分布と距離分散の関係図である。 一般的な被写体における定義線との分散値の総和と補色カラーフィルタの第1の赤外波長領域の波長成分の割合との関係図である。 一般的な被写体における規定座標との分散値の総和と補色カラーフィルタの第2の赤外波長領域の波長成分の割合との関係図である。 本発明の実施例の波長成分の割合検出装置の部分構成図である。 本発明の実施例の波長成分の割合検出装置を用いた本発明の実施例の撮像装置である赤外カットフィルタ切換え機能付きカメラの構成図である。 本発明の実施例の波長成分の割合検出装置における画面分割数による色差信号の抽出精度の説明図である。 波長成分割合演算部におけるフローチャートである。 可視波長成分輝度演算部及び撮影モード決定部におけるフローチャートである。 低輝度における輝度信号と色差信号の関係説明図である。 色差信号と輝度信号との比R−Y/Y軸とB−Y/Y軸とから成る直交座標系における定義線及び規定座標図である。 低輝度下の撮影に対応した形態の波長成分の割合検出装置の説明図である。 本発明の実施例の波長成分の割合検出装置を用いた本発明の実施例の撮像装置である赤外カットフィルタ切換え機能付きカメラの構成図である。 低輝度下の撮影に対応した形態での波長成分割合演算部におけるフローチャートである。
符号の説明
1 撮像光学系
2 光路長補正フィルタ
3 赤外カットフィルタ
4 撮像素子カラーフィルタ
5 撮像素子
7 増幅器
8 A/D変換器
100 波長成分の割合検出装置
200 映像信号処理回路
201 撮像信号出力
202 WB処理部
203 色分離マトリクス(MTX)
211 映像信号合成部
300 マイクロコンピュータ

Claims (9)

  1. 被写体からの反射光が入射される撮像光学系と、
    前記撮像光学系から前記反射光が入射され透過される撮像素子カラーフィルタと、
    前面に配置される前記撮像素子カラーフィルタを介して前記反射光が入射され、前記撮像素子カラーフィルタの可視波長領域から赤外波長領域の波長光を撮像し撮像信号を出力する撮像素子と、
    前記撮像信号から撮影画面中の複数の領域について色差信号を平均化して抽出する抽出手段と、
    前記撮像素子カラーフィルタの赤外波長領域において赤色成分が多く透過される第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの赤外波長領域において3色成分がほぼ同量透過される第2の赤外波長領域の波長成分の光量とが、光源に占める割合を前記抽出された色差信号に基づいて各々検出する検出手段と、を有したことを特徴とする波長成分の割合検出装置。
  2. 前記抽出された色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記抽出された色差信号の分布が、前記撮像素子カラーフィルタの分光透過特性に基づく定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価することで、
    前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を、前記検出手段は各々検出することを特徴とする請求項1記載の波長成分の割合検出装置。
  3. 前記定義線は、前記撮像素子カラーフィルタの第1の赤外波長領域と、前記撮像素子カラーフィルタの第2の赤外波長領域に各々単波長光を照射して前記色差信号の分布を検出し、前記色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記撮像素子カラーフィルタの第1の赤外波長領域における前記検出された色差信号の分布を近似した近似線であり、
    前記規定座標は、前記撮像素子カラーフィルタの第2の赤外波長領域における前記検出された色差信号の分布が集中する座標の近似座標であることを特徴とする請求項2記載の波長成分の割合検出装置。
  4. 前記位置関係に基づいて評価することとは、前記抽出された色差信号と、前記定義線及び前記規定座標との最短距離の分散値を求め、前記分散値を各々総和したものを前記撮像素子カラーフィルタの第1の赤外波長領域及び前記撮像素子カラーフィルタの第2の赤外波長領域の評価値とし、
    予め記憶してある前記分散値の総和と、前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合との相関データから、
    前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を検出することを特徴とする請求項2または3記載の波長成分の割合検出装置。
  5. 被写体からの反射光が入射される撮像光学系と、
    前記撮像光学系から前記反射光が入射され透過される撮像素子カラーフィルタと、
    前面に配置される前記撮像素子カラーフィルタを介して前記反射光が入射され、前記撮像素子カラーフィルタの可視波長領域から赤外波長領域の波長光を撮像し撮像信号を出力する撮像素子と、
    前記撮像信号から撮影画面中の複数の領域について色差信号と輝度信号を平均化して抽出する抽出手段と、
    前記撮像素子カラーフィルタの赤外波長領域において赤色成分が多く透過される第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの赤外波長領域において3色成分がほぼ同量透過される第2の赤外波長領域の波長成分の光量とが、光源に占める割合を前記抽出された色差信号と輝度信号との比に基づいて各々検出する検出手段と、を有したことを特徴とする波長成分の割合検出装置。
  6. 前記撮像素子により前記可視波長領域から前記赤外波長領域の波長光を撮像して得られた撮像信号から、撮影画面中の複数の領域について色差信号と輝度信号を平均化して抽出する抽出手段と、
    前記抽出された色差信号と輝度信号との比を求める算出手段と、
    前記色差信号と輝度信号との比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系において、前記算出された色差信号と輝度信号との比の分布が、前記撮像素子カラーフィルタの分光透過特性に基づく定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価することで、
    前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を、前記検出手段は各々検出することを特徴とする請求項5記載の波長成分の割合検出装置。
  7. 前記定義線は、前記撮像素子カラーフィルタの第1の赤外波長領域と、前記撮像素子カラーフィルタの第2の赤外波長領域に各々単波長光を照射して前記色差信号と輝度信号との比の分布を検出し、前記色差信号と輝度信号との比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系において、前記第1の赤外波長領域における前記検出した色差信号と輝度信号との比の分布を近似した近似線であり、
    前記規定座標は、前記第2の赤外波長領域における前記検出された色差信号と輝度信号との比の分布が集中する座標の近似座標であることを特徴とする請求項6記載の波長成分の割合検出装置。
  8. 前記位置関係に基づく評価することとは、前記算出された色差信号と輝度信号との比と、前記定義線及び前記規定座標との最短距離の分散値を求め、前記分散値を各々総和したものを前記撮像素子カラーフィルタの第1の赤外波長領域及び前記撮像素子カラーフィルタの第2の赤外波長領域の評価値とし、
    予め記憶してある前記分散値の総和と、前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合との相関データから、
    前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を検出することを特徴とする請求項6または7記載の波長成分の割合検出装置。
  9. 請求項1から8のいずれかに記載の波長成分の割合検出装置と、
    前記撮像光学系と前記撮像素子カラーフィルタの間の光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ移動手段と、
    前記撮像素子から得られる前記撮影画面全体の前記輝度信号、及び、請求項1から8のいずれかに記載の波長成分の割合検出装置により得られる前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合に基づいて、前記撮影画面中の可視波長成分の輝度を算出する可視波長成分の輝度算出手段と、
    前記算出された前記可視波長成分の輝度に基づいて、前記フィルタ移動手段を制御して前記光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ切換え手段と、を有することを特徴とする撮像装置。
JP2005278634A 2005-09-26 2005-09-26 波長成分の割合検出装置及びそれを用いた撮像装置 Active JP4630781B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005278634A JP4630781B2 (ja) 2005-09-26 2005-09-26 波長成分の割合検出装置及びそれを用いた撮像装置
US11/534,881 US7623167B2 (en) 2005-09-26 2006-09-25 Wavelength component proportion detection apparatus and image-pickup apparatus
EP06121197A EP1768390B1 (en) 2005-09-26 2006-09-25 Wavelength component proportion detection apparatus and image-pickup apparatus
AT06121197T ATE551832T1 (de) 2005-09-26 2006-09-25 Vorrichtung zur erfassung der wellenlängenkomponentenproportion und bildaufnahmevorrichtung
KR1020060093209A KR100866177B1 (ko) 2005-09-26 2006-09-26 파장성분의 비율검출장치 및 촬상장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005278634A JP4630781B2 (ja) 2005-09-26 2005-09-26 波長成分の割合検出装置及びそれを用いた撮像装置

Publications (3)

Publication Number Publication Date
JP2007089084A JP2007089084A (ja) 2007-04-05
JP2007089084A5 JP2007089084A5 (ja) 2008-11-13
JP4630781B2 true JP4630781B2 (ja) 2011-02-09

Family

ID=37460916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005278634A Active JP4630781B2 (ja) 2005-09-26 2005-09-26 波長成分の割合検出装置及びそれを用いた撮像装置

Country Status (5)

Country Link
US (1) US7623167B2 (ja)
EP (1) EP1768390B1 (ja)
JP (1) JP4630781B2 (ja)
KR (1) KR100866177B1 (ja)
AT (1) ATE551832T1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4310317B2 (ja) * 2006-02-06 2009-08-05 キヤノン株式会社 可視成分割合算出方法、およびそれを用いた光学機器
JP2008005253A (ja) * 2006-06-22 2008-01-10 Sharp Corp 撮影装置、撮影装置の制御方法、撮影装置の制御プログラム、および撮影装置の制御プログラムを記録した記録媒体
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
JP4895385B2 (ja) * 2007-04-10 2012-03-14 キヤノン株式会社 撮像装置
WO2009076184A2 (en) * 2007-12-05 2009-06-18 Electro Scientific Industries, Inc. Method and apparatus for achieving panchromatic response from a color-mosaic imager
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
WO2012170949A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US8717464B2 (en) * 2011-02-09 2014-05-06 Blackberry Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
WO2012170954A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
KR101808375B1 (ko) 2011-06-10 2017-12-12 플리어 시스템즈, 인크. 저전력 소형 폼 팩터 적외선 이미징
JP6011778B2 (ja) * 2012-05-22 2016-10-19 株式会社富士通ゼネラル 暗視撮像装置および赤外線照射装置および暗視撮像システム
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
CN104395716B (zh) * 2012-09-14 2016-12-14 夏普株式会社 传感器、显示装置
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
CN105814887B (zh) * 2014-01-08 2017-10-27 三菱电机株式会社 图像生成装置
JP6360816B2 (ja) * 2015-08-25 2018-07-18 株式会社 日立産業制御ソリューションズ 撮像装置及び撮像方法
JP7057221B2 (ja) * 2018-05-24 2022-04-19 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US11284044B2 (en) 2018-07-20 2022-03-22 Nanolux Co. Ltd. Image generation device and imaging device
CN110062168B (zh) * 2019-05-05 2021-04-27 北京七鑫易维信息技术有限公司 眼动追踪设备的拍摄参数调整方法、装置、设备及介质
CN113681564A (zh) * 2021-09-06 2021-11-23 广州科语机器人有限公司 机器人及机器人的测距控制方法、存储介质和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224469A (ja) * 1999-02-03 2000-08-11 Sony Corp 撮像装置
JP2003219254A (ja) * 2002-01-25 2003-07-31 Matsushita Electric Ind Co Ltd 撮影モード切換え機能付きカメラ
JP2006238114A (ja) * 2005-02-25 2006-09-07 Ikegami Tsushinki Co Ltd 撮像用照明の判定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3392886B2 (ja) 1992-06-18 2003-03-31 ペンタックス株式会社 スチルビデオカメラ
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
JP3583952B2 (ja) 1999-08-04 2004-11-04 三洋電機株式会社 白黒/カラー切換カメラ
JP2002374539A (ja) 2001-06-15 2002-12-26 Olympus Optical Co Ltd ホワイトバランス補正可能なカメラ
JP4310317B2 (ja) * 2006-02-06 2009-08-05 キヤノン株式会社 可視成分割合算出方法、およびそれを用いた光学機器
US7960807B2 (en) * 2007-02-09 2011-06-14 Intersil Americas Inc. Ambient light detectors using conventional CMOS image sensor process
WO2009076184A2 (en) * 2007-12-05 2009-06-18 Electro Scientific Industries, Inc. Method and apparatus for achieving panchromatic response from a color-mosaic imager

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224469A (ja) * 1999-02-03 2000-08-11 Sony Corp 撮像装置
JP2003219254A (ja) * 2002-01-25 2003-07-31 Matsushita Electric Ind Co Ltd 撮影モード切換え機能付きカメラ
JP2006238114A (ja) * 2005-02-25 2006-09-07 Ikegami Tsushinki Co Ltd 撮像用照明の判定方法

Also Published As

Publication number Publication date
EP1768390B1 (en) 2012-03-28
US7623167B2 (en) 2009-11-24
JP2007089084A (ja) 2007-04-05
KR20070034963A (ko) 2007-03-29
EP1768390A3 (en) 2010-05-05
US20070070224A1 (en) 2007-03-29
KR100866177B1 (ko) 2008-10-30
ATE551832T1 (de) 2012-04-15
EP1768390A2 (en) 2007-03-28

Similar Documents

Publication Publication Date Title
JP4630781B2 (ja) 波長成分の割合検出装置及びそれを用いた撮像装置
US9225855B2 (en) Imaging apparatus, imaging system, and control method for increasing accuracy when determining an imaging scene based on input image data and information stored in an external information processing apparatus
JP5377691B2 (ja) オートホワイトバランスを備える画像処理装置
EP3573330B1 (en) Image pickup apparatus having auto day-night function, control method therefor, and storage medium storing control program therefor
EP2775719A1 (en) Image processing device, image pickup apparatus, and storage medium storing image processing program
US8466983B2 (en) Image processing apparatus performing white balance control
US9036045B2 (en) Image processing apparatus and image processing method
JP5814799B2 (ja) 画像処理装置及び画像処理方法
US7880805B2 (en) Method of calculating ratio of visible light component and image pickup apparatus using same
US20090231462A1 (en) Image-pickup apparatus and white-balance control method provided therefor
US7148921B2 (en) White balance adjustment method, image sensing apparatus, program, and storage medium
US20210360214A1 (en) Image processing apparatus, image processing method, and storage medium
JP2003259389A (ja) 撮像装置
JP5100615B2 (ja) 撮像装置
JP2003219254A (ja) 撮影モード切換え機能付きカメラ
US5313277A (en) Image pickup device having white balance control function
JP4895385B2 (ja) 撮像装置
US11451719B2 (en) Image processing apparatus, image capture apparatus, and image processing method
KR20100104498A (ko) 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법
JP4435704B2 (ja) 撮像用照明の判定方法
JP2010145704A (ja) 撮像装置
JP2006155491A (ja) シーンチェンジ検出方法
JP2776965B2 (ja) 撮像装置
JPH0693781B2 (ja) 自動白バランス制御回路
JP2009284010A (ja) 画像処理装置、撮像装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080925

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090406

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4630781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150