JP3645502B2 - 撮像装置及び映像信号処理方法 - Google Patents
撮像装置及び映像信号処理方法 Download PDFInfo
- Publication number
- JP3645502B2 JP3645502B2 JP2001200200A JP2001200200A JP3645502B2 JP 3645502 B2 JP3645502 B2 JP 3645502B2 JP 2001200200 A JP2001200200 A JP 2001200200A JP 2001200200 A JP2001200200 A JP 2001200200A JP 3645502 B2 JP3645502 B2 JP 3645502B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- imaging
- reference value
- exposure amount
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 106
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000006835 compression Effects 0.000 claims description 42
- 238000007906 compression Methods 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 23
- 230000006837 decompression Effects 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 37
- 101000806846 Homo sapiens DNA-(apurinic or apyrimidinic site) endonuclease Proteins 0.000 description 27
- 101000835083 Homo sapiens Tissue factor pathway inhibitor 2 Proteins 0.000 description 27
- 102100026134 Tissue factor pathway inhibitor 2 Human genes 0.000 description 27
- 101100219315 Arabidopsis thaliana CYP83A1 gene Proteins 0.000 description 21
- 101100269674 Mus musculus Alyref2 gene Proteins 0.000 description 21
- 101100140580 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) REF2 gene Proteins 0.000 description 21
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000003908 quality control method Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
Description
【発明の属する技術分野】
本発明は例えば監視用ビデオカメラ等の撮像装置及び映像信号処理方法に関し、特に被写体の暗い部分から明るい部分まで十分なコントラスト(階調)が得られるように映像信号のダイナミックレンジを広くする技術に関する。
【0002】
【従来の技術】
従来の監視用ビデオカメラ等で使用される撮像装置にあっては、CCD(電荷結合デバイス)等の撮像素子を用いて、撮像素子から得られる映像信号に所定の信号処理(KNEE、ガンマ、ディテール、ホワイトバランス等)を施すことにより最終映像信号を得ている。
【0003】
ところが、CCD等の撮像素子は、一般にダイナミックレンジが狭く、暗い部分から明るい部分の輝度差が大きい被写体を忠実に撮像することが困難である。このような問題を緩和する技術として、被写体を異なる撮像条件で撮像した2種の映像信号を適当な割合で加算(合成)してダイナミックレンジを広げる方法が知られている。その先行技術例として、特開2000−209492号公報(以下、第1の先行技術文献と記す)に示される撮像装置を取り上げて簡単に説明する。
【0004】
この文献に示される撮像装置では、適度に絞りを開いて撮像した第1の映像信号と、絞りを絞って撮像した暗い第2の映像信号を交互に得る。そして、第1の映像信号を規定の振幅レベルまで圧縮した後、所定の明るさに相当する閾値以上においては、圧縮された第1の映像信号を所定の係数で減衰させ、第2の映像信号を所定の係数で増大させて両者を加算することで、広ダイナミックレンジの映像信号を得ている。
【0005】
また、映像信号のダイナミックレンジを拡大する他の方法が示される先行技術例として、特開平10−233966号公報(以下、第2の先行技術文献と記す)、特開平11−164195号公報(以下、第3の先行技術文献と記す)がある。
【0006】
第2の先行技術文献に示される撮像装置では、撮像素子(CCD)から露光量の異なる2つの信号を交互に得て、露光量の小さい信号に階調補正を行った後、補正後の信号を露光量の大きい信号と合成することで、高輝度部分で十分な階調特性が得られるようにしている。
【0007】
また、第3の先行技術文献に示される撮像装置では、低速及び高速のシャッターで互いに明るさの異なる映像信号を交互に取得し合成して最終映像信号を得るが、その合成関数を最大輝度レベルが基準値を超えるか否かに応じて予め用意された複数の合成関数の中から選択するようにしている。
【0008】
【発明が解決しようとする課題】
しかしながら、上記第1乃至第3の先行技術文献に示されるような従来の撮像装置では、高輝度部の階調は得られるものの、ダイナミックレンジの小さい暗い被写体を撮像した場合には、絞りを絞って撮像(露光量を少なくして撮像)した映像信号に十分な明るさが得られず、加算する信号がほとんどない状態で、通常の絞り(露光量を多くして撮像)で撮像した映像信号を所定の基準レベル以下に圧縮してしまうために、かえってコントラストが低下した映像となってしまう。
【0009】
また、ダイナミックレンジの大きな被写体を撮像した場合には、通常の絞り(露光量を多くして撮像)で撮像した映像信号の圧縮基準レベルが一定であるため、加算部分のダイナミックレンジが固定となり、明るい部分のコントラストが十分に得られないことがある。
【0010】
一方、上記のように2種の露光条件の映像信号を交互に得て合成する手法は、フィールド毎に異なる電子シャッター速度(低速1/60秒と高速)で得られる映像を合成する方式に適用すると、従来のCCDや信号処理ICを流用して低コストにてダイナミックレンジの拡大効果がある。しかしながら、通常(合成しない通常の撮像状態)と比較して、映像の垂直解像度が半分となり、かつ、コマ数も半分(毎秒60→30)となってしまう。このため、広いダイナミックレンジが不要な被写体であっても、垂直解像度が低く、動きの不自然な映像しか得られない。
【0011】
本発明の目的は、被写体の明暗の差に応じて通常撮像モードとダイナミックレンジ拡大撮像モードを自動的に切り換えることができ、広ダイナミックレンジ撮像モードでは被写体の暗い部分から明るい部分まで十分なコントラストが得られ、しかも通常撮像モードとダイナミックレンジ拡大撮像モードとの切り換え時に急激な映像変化を緩和することのできる撮像装置及び映像信号処理方法を提供することにある。
【0012】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る撮像装置は、被写体を撮像し1フレーム2フィールドの映像信号を生成する撮像素子と、前記撮像素子への露光量をフィールド毎に少なくとも2段階に設定する露光量制御手段と、この露光量制御手段により露光量を多くして撮像したときに前記撮像素子から出力される第1の映像信号を、そのレベルが第1の基準値以上のときにレベル圧縮する圧縮手段と、前記露光量制御手段により露光量を少なくして撮像したときに前記撮像素子から出力される第2の映像信号を、そのレベルが第2の基準値以上の信号に対してレベル圧縮または伸長する圧縮伸長手段と、前記圧縮手段からの信号と前記圧縮伸長手段からの信号とを加算して、前記撮像素子の持つダイナミックレンジ以上の広ダイナミックレンジの出力映像信号を生成する加算手段と、前記第2の映像信号の明るさから露光量の多い状態での映像信号か露光量の少ない状態での映像信号かを検出する明るさ検出手段と、この明るさ検出手段の検出結果で露光量の多い状態での映像信号であることが検出されたとき、前記第1の基準値及び前記第2の基準値を減少させ、露光量の少ない状態での映像信号であることが検出されたとき、前記第1の基準値及び第2の基準値を増大させる基準値制御手段と、前記第1の基準値が予め決められた設定値以上となった時には、露光量を2段階に設定せずに通常撮像モードとし、前記第1の基準値が前記設定値に満たない時には、露光量を2段階に設定してダイナミックレンジ拡大撮像モードに切り換えるモード切換手段とを具備することを特徴とする。
【0013】
また、本発明に係る映像信号処理方法は、撮像素子を用いて被写体を撮像し1フレーム2フィールドの映像信号を生成する場合に、前記撮像素子への露光量を要求に応じてフィールド毎に少なくとも2段階に設定する露光量設定ステップと、この露光量設定ステップにより前記撮像素子への露光量を多くして撮像したときに前記撮像素子から出力される第1の映像信号を、そのレベルが第1の基準値以上のときにレベル圧縮する圧縮ステップと、この露光量設定ステップにより前記撮像素子への露光量を少なくして撮像したときに前記撮像素子から出力される第2の映像信号を、そのレベルが第2の基準値以上の信号に対してレベル圧縮または伸長する圧縮伸長ステップと、前記圧縮ステップで得られる映像信号と前記圧縮伸長ステップで得られる映像信号とを加算して、前記撮像素子の持つダイナミックレンジ以上の広ダイナミックレンジの出力映像信号を生成する加算ステップと、前記第2の映像信号の明るさから露光量の多い状態での映像信号か露光量の少ない状態での映像信号かを検出する明るさ検出ステップと、前記明るさ検出ステップの検出結果で露光量の多い状態での映像信号であることが検出されたとき、前記第1の基準値及び前記第2の基準値を減少させ、露光量の少ない状態での映像信号であることが検出されたとき、前記第1の基準値及び第2の基準値を増大させる基準値制御ステップと、前記第1の基準値が予め決められた設定値以上となった時には、露光量を2段階に設定せずに通常撮像モードとし、前記第1の基準値が前記設定値に満たない時には、露光量を2段階に設定してダイナミックレンジ拡大撮像モードに切り換えるモード切換ステップとを具備することを特徴とする。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0015】
図1は本発明の実施の形態における撮像装置の構成を示すブロック図を示している。
【0016】
図1において、符号1は撮像装置に入力される撮像の露光量を調整するためのレンズ絞りである。このレンズ絞り1で撮像の露光量が多段階に設定される。レンズ絞り(露光量調節手段)1で露光量が調整された撮像は撮像素子(CCD)2へ導かれ、この撮像素子2によって光電変換されてアナログ映像信号となる。撮像素子2は、電子シャッター機能を有し、多段階のシャッター速度が得られる。露光条件の選択には、レンズ絞り1の絞り値、撮像素子2のシャッター速度のいずれも利用可能である。ここでは、高速シャッターで設定される映像の露光量調整をシャッター速度制御によって行い、低速シャッターで設定される映像の露光量調整にレンズ絞り1の絞り値制御によって行うものとする。
【0017】
撮像素子2においてそれぞれ異なる露光条件で撮像されたアナログ映像信号は、サンプル/ホールド回路(S/H)3及びアナログ/デジタル変換器(A/D)4によりデジタル映像信号に変換され、信号処理回路5へ出力され、所定の映像信号処理(KNEE、ガンマ、ディテール、ホワイトバランス等)が施される。
【0018】
上記信号処理回路5は、A/D4から出力された映像信号の中から、少ない露光量で撮像された映像信号の明るさデータを抽出し、明るさ検出回路14へ出力する。この明るさ検出回路14は、入力された明るさデータから、画面全体あるいは所定領域の明るさの積分値またはピーク値を検出して制御回路13へ出力する。
【0019】
この制御回路13は、CPU等で構成され、明るさ検出回路14からの明るさ検出データに基づいて、レンズ絞り1の絞り値、撮像素子2のシャッター速度、後述の切換スイッチ7を切換制御すると共に、後述の圧縮回路8を制御するための基準レベルREF1、圧縮/伸長回路9を制御するための基準レベルREF2を決定し、それぞれの圧縮率、伸長率を制御する。さらに、入力された明るさデータに基づいて、後述の画質制御回路15を制御するための画質制御信号を生成する。
【0020】
尚、画質制御回路15の機能は、所定のタイミングで信号処理回路5にて行うようにしてもよい。
【0021】
信号処理回路5から出力される映像信号S1は、画像の1画面分を記憶する1画面メモリ6に入力される。この1画面メモリ6は、入力された映像信号S1を1画面分遅延するもので、遅延された映像信号S2は切換スイッチ7の固定端子a1及びb2に供給される。また、信号処理回路5から出力される映像信号S1は、遅延されることなく、直接切換スイッチ7の固定端子b1及びa2に供給される。
【0022】
上記1画面メモリ6は、図2に示すように、それぞれ1画面分の映像信号相当の記憶容量を有する第1メモリブロックAと第2メモリブロックBと、これらのメモリA,Bの入出力を切り換えるスイッチSW1,SW2により構成される。各メモリブロックA,Bのリード・ライト及びスイッチSW1,SW2の切り換えは、制御回路13からのメモリ制御信号に基づいて行われる。
【0023】
ここで、シャッター速度を低速にした状態で撮像した露光量の多い映像信号をVS、シャッター速度を高速にした状態で撮像した露光量の少ない映像信号をVFと定義する。
【0024】
切換スイッチ7は、制御回路13により、可動端子c1及びc2が適当なタイミングで固定端子a1とb1、a2とb2に交互に接続されるように切換制御される。この結果、端子c1からは露光量の多い映像信号VSが出力され、端子c2からは露光量の少ない映像信号VFが出力される。
【0025】
端子c1から出力された映像信号VSは画質制御回路15を介して圧縮回路8に入力され、この圧縮回路8によって制御回路13からの制御信号に基づき圧縮処理が施される。この映像信号をVS′とする。また、端子c2から出力された映像信号VFは、圧縮/伸長回路9に入力され、この圧縮/伸長回路9によって制御回路13からの制御信号に基づき圧縮/伸長処理が施される。この映像信号をVF′とする。
【0026】
上記のように、圧縮回路8の圧縮率は制御回路13により制御される。以下、この制御をREF1制御と称する。また、圧縮/伸長回路9の圧縮/伸長率は制御回路13により制御される。以下、この制御をREF2制御と称する。これらのREF1制御及びREF2制御については後に説明する。
【0027】
圧縮回路8から出力された映像信号VS′及び圧縮/伸長回路9から出力された映像信号VF′は加算器10で加算された後、NTSCエンコーダ11に入力されてNTSC信号にエンコードされた後、デジタル/アナログ変換器(D/A)12でアナログ映像信号に変換されて、最終映像信号として出力される。
【0028】
上記構成において、以下にその制御動作について説明する。
【0029】
本発明の実施の形態では、制御回路13において、明るさ検出データに応じて映像信号VS′及びVF′を合成する割合を制御するための合成基準レベルREF1,REF2を可変することができるようになっている。そして、明るさ検出回路14において、入力された明るさデータから露光量が少ない撮像であることが検出された場合には、制御回路13は基準レベルREF1,REF2を大きくし、加算器10から得られる映像信号に低速シャッターで得られた映像信号VS′が多く含まれるように制御する。このように構成することでダイナミックレンジの小さい暗い被写体から最適なコントラストを得られる。
【0030】
また、明るさ検出回路14において、入力された明るさデータから露光量が多い撮像であることが検出された場合には、制御回路13は基準レベルREF1,REF2を小さくし、加算器10から得られる映像信号に高速シャッターで得られた映像信号VF′が多く含まれるように制御する。このように構成することでダイナミックレンジの大きい明るい被写体からも最適なコントラストを得られる。
【0031】
図3に基準レベルを可変制御させることによって得られる加算信号を模式的に示し、以下にその制御内容を説明する。
【0032】
まず、切換スイッチ7から出力される低速シャッター時の映像信号VSは、撮像素子2の露光量に応じて出力レベルが上昇するが、この場合の、撮像素子出力の最大値で飽和する。高速シャッター時の映像信号VFも同様である。
【0033】
低速シャッター時の映像信号VSが入力される圧縮回路8は、入力される映像信号VSを制御回路13から与えられる基準レベルREF1と比較し、映像信号VSのレベルが基準レベルREF1以下の場合はそのまま出力し、基準レベルREF1と同レベルあるいはそれ以上の場合は全て基準レベルREF1へ圧縮して映像信号VS′として出力する。この図では、露光量が多いため基準レベルREF1を低くした場合▲1▼と、露光量が少ないため基準レベルREF1を高くした場合▲2▼の両者を示しており、VS′▲1▼が基準レベルREF1を低くした場合、VS′▲2▼が基準レベルREF1を高くした場合の圧縮回路8から出力される映像信号VS′である。
【0034】
また、高速シャッターの映像信号VFが入力される圧縮/伸張回路9は、入力される映像信号VFを制御回路13から与えられる基準レベルREF2と比較し、映像信号VFのレベルが基準レベルREF2以下の場合は出力をカットし、基準レベルREF2と同レベルあるいは基準レベルREF2を超える場合は、映像信号VFからREF2レベル分を差し引いて映像信号VF′として出力する。この図では露光量が多いため基準レベルREF2を低くした場合▲1▼と、露光量が少ないため基準レベルREF2を高くした場合▲2▼の両者を示しており、VF′▲1▼が基準レベルREF2を高くした場合、VF′▲2▼が基準レベルREF2を低くした場合の映像信号VF′である。
【0035】
加算器10から出力される加算信号は、上記圧縮回路8から出力された映像信号VS′と圧縮伸張回路9から出力された映像信号VF′が加算されたものである。REF1のレベルとREF2のレベルを高くした場合は、加算信号▲1▼はVS′▲1▼+VF′▲1▼となり、REF1のレベルとREF2のレベルを低くした場合は、加算信号▲2▼はVS′▲2▼+VF′▲2▼となる。
【0036】
尚、上記REF1のレベルとREF2のレベルは独立に決定されるものではなく、連動して決定されることが望ましい。
【0037】
次に、被写体の明暗の差に応じて通常撮像モードとダイナミックレンジ拡大撮像モードを自動的に切り換える処理について説明する。ここでは既存の撮像素子や信号処理装置を流用可能とするため、撮像素子2が1フレーム2フィールドの映像信号を生成するものとし、2種類の露光は電子シャッターによりフィールド単位で切り換えるものとして考える。
【0038】
まず、露光量の多い撮像は1/60秒固定の低速シャッターを用い、露光量の少ない撮像は速度可変の高速シャッターを用いる。また、2種類の露光量はフィールド毎に切り換える。その様子を図4に示す。ここでは、EVENフィールドのとき高速シャッターで撮像し、ODDフィールドのとき低速シャッターで撮像するものとする。その2つの映像を先に述べた合成基準レベル(REF1、REF2)に基づいて合成する。
【0039】
EVENフィールドでは、明るさに応じて高速シャッターの速度を自動制御し、その高速シャッター値に対する最適な合成基準レベルREF1、REF2を決定する。すなわち、高速シャッター値がより高速に設定される場合(すなわち明るいものを撮像していてダイナミックレンジが大きい傾向にある)は合成基準レベルREF1、REF2を下げる方向に制御する。逆に、高速シャッター値が低速方向に設定される場合(すなわち暗いものを撮像していてダイナミックレンジは小さい傾向にある)は合成基準レベルREF1、REF2を上げる方向に制御する。この制御を、図5に示すように行うと、被写体が暗くてダイナミックレンジの必要のない被写体では、合成基準レベルREF1が映像出力の最大値(ホワイトクリップ値レベル)まで上昇することになる。
【0040】
上記の制御により、最終出力は低速シャッターの映像そのものとなる。つまり、ホワイトクリップ値レベル以上には加算できないため、合成基準レベルREF1がホワイトクリップ付近に達した状態を検出して、通常撮像モードに切り換えることにより、切り換え前後で明るさ、ダイナミックレンジの変化させることなく自然に映像を切り換えることが可能となる。
【0041】
一方、切換スイッチ7の端子c1から出力される映像信号VSを画質制御回路15に入力し、この画質制御回路15にて、合成後の映像の画質が良くなるように補正を行う。例えば、暗い部分がよりはっきりと見えるように、ガンマ特性のカーブを変えたり、ディテールが良好となるように制御する。このとき、図6に示すように、補正量を通常撮像モードの値に徐々に収束させる。この結果、通常撮像モードに切り換わったときに補正量の変化による画質の変化が目立たないようにすることができる。図6の例では合成基準レベルREF1によって補正量を制御している。
【0042】
次に、1画面メモリ6に対するメモリ制御について説明する。
【0043】
1画面メモリ6は、図2に示したように、第1及び第2のメモリブロックA,Bを備える。制御回路13は、通常撮像モード、2種類の露光によるダイナミックレンジ拡大撮像モード(以後WDR撮像モードと記す)でスイッチSW1,SW2の接続状態を切り換えて、各メモリブロックA,Bの入出力を選択的に切換制御し、同時に各メモリブロックA,Bのリード・ライトを切換制御する。
【0044】
通常撮像モードでは、図7(a)に示すように、第1メモリブロックAに入力データを書き込んでいる状態でその第1メモリブロックAから既に書き込まれたデータを読み出す。読み出されるデータは、現在書き込んでいるデータではなく、前回書き込んだデータとなる。つまり、1フィールド前のデータである。次のフィールドでは、第2メモリブロックBに入力データを書き込みながら、同じ第2メモリブロックBから既に書き込まれた1フィールド前のデータを読み出す。このように、A,Bアクセスをフィールド毎に行う。
【0045】
一方、WDR撮像モードでは、1つ前のフィールドの映像(高速シャッターとする)と現在のフィールドの映像(低速シャッターの映像とする)を合成するために、図7(b)に示すような動作となる。つまり、第1メモリブロックAに書き込んでいるときは、第2メモリブロックBに書き込まれている1フィールド前のデータを読み出す。そのときの合成画像は第1メモリブロックAに書き込んでいるデータと第2メモリブロックBに書き込まれている1フィールド前のデータになる。同様に、第2メモリブロックBに書き込んでいるときは、第1メモリブロックAに書き込まれている1フィールド前のデータを読み出す。そのときの合成画像は第2メモリブロックBに書き込んでいるデータと第1メモリブロックAに書き込まれている1フィールド前のデータになる。
【0046】
全体のタイミング図を図8に示す。図8において、A*、B**は時間の進行を示している。メモリは第1メモリブロックAと第2メモリブロックBの2ブロックである。ここで、図8に示すように、WDR撮像モードから通常撮像モードに切り換わる時に、B4のフィールドは通常撮像モードで出力されるため、映像の明るさに変化が起きないように、低速シャッターの設定にしておく必要がある。すなわち、B4+A3の出力は、実際には合成基準レベルREF1がホワイトクリップレベルであるため、A3そのものとなり、シャッター値を変更しても問題はない。そこで、B4は通常撮像モードへの切換直後に出力されるため、明るさを低速シャッターの値に合わせておく。
【0047】
以上のように制御することによって、通常撮像モードとWDR撮像モード間で明るさの変化なく自然に切り換えることができる。
【0048】
図9にモード切換制御の動作フローチャートを示す。2フィールド待ちは図8のB4の設定が確実に行われるようにするためである。このフローチャートではモード切換タイミングのフィールド順について触れていないが、実際はEVENフィールドから制御が開始されるように設定される。
【0049】
図9において、まず合成基準レベルREF1とホワイトクリップレベルWCとを比較し(S1)、REF1≧WCならば(Y)、現在のモードがWDR撮像モードか判定する(S2)。この判定において、WDR撮像モードでなければ(N)、通常撮像モードのまま処理を継続する。
【0050】
ステップS2において、現在のモードがWDR撮像モードと判定された場合には(Y)、電子シャッターの速度を通常撮像モード(EVENフィールド:1/60秒、ODDフィールド:1/60秒)とし(S3)、2フィールド待ちを確認した後(S4)、メモリ制御切換(WDRをONからOFFへ切り換える)を行い(S5)、以後、通常撮像モードの処理を行う。
【0051】
ステップS1において、REF1≧WCでなければ(N)、現在のモードがWDR撮像モードか判定する(S6)。この判定において、WDR撮像モードならば(Y)、WDR撮像モードのまま処理を継続する。
【0052】
ステップS6において、現在のモードがWDR撮像モードでないと判定された場合には(N)、電子シャッターの速度をWDR撮像モード(EVENフィールド:自動(高速)、ODDフィールド:1/60秒(低速))とし(S7)、メモリ制御切換(WDRをOFFからONへ切り換える)を行い、以後、WDR撮像モードの処理を行う。
【0053】
以上の映像信号処理方法によれば、ダイナミックレンジの必要な被写体に対しては、2種類の露光で得られた映像を合成することによってダイナミックレンジの拡大した映像出力が得られ、ダイナミックレンジの必要のない被写体に対しては、自動的に、かつ、明るさの変化なく通常露光でフィールド毎に得られた映像に切り換えることができる。
【0054】
そのため、2種類の露光をフィールド毎に行う方式では、ダイナミックレンジの拡大した合成後の映像は垂直解像度、コマ数が劣化するが、ダイナミックレンジの必要ない被写体を撮像した場合は、通常撮像モードに自動的に切り換えられるため、垂直解像度、コマ数の劣化を防止することができる。
【0055】
尚、本発明は上記した実施の形態に限定されるものではない。例えば、露光量の調整にシャッター速度だけでなく、レンズ絞り1の絞り値を併用することも可能である。この外、その要旨を逸脱しない範囲で、種々変形して実施することができる。
【0056】
【発明の効果】
以上述べたように本発明によれば、ダイナミックレンジの必要な被写体に対しては、2種類の露光で得られた映像を合成することにより、ダイナミックレンジの拡大した映像出力を得られ、ダイナミックレンジの必要のない被写体に対しては、自動的に、かつ、明るさの変化なく通常露光のフィールド毎の映像出力に切り換えることができる。
【0057】
そのため、2種類の露光をフィールド毎に行う方式において、ダイナミックレンジ拡大撮像モードでは垂直解像度、コマ数は劣化するが最適なコントラストが得られ、ダイナミックレンジの必要ない被写体を撮像した場合は、自動的にフィールド毎の映像信号を順次出力する通常撮像モードに切り換わり、垂直解像度、コマ数の劣化を防止することができる撮像装置及び映像信号処理方法を提供することができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態における撮像装置の構成を示すブロック図。
【図2】 図1の1画面メモリの具体的な構成を示すブロック図。
【図3】 本発明の実施の形態にかかるダイナミックレンジ拡大時の加算信号を模式的に示す図。
【図4】 本発明の実施の形態にかかる各フィールド出力の合成を概念的に示すタイミング図。
【図5】 本発明の実施の形態にかかる合成基準レベルの制御特性を示す特性図。
【図6】 本発明の実施の形態にかかる画質制御回路の補正量特性を示す特性図。
【図7】 本発明の実施の形態にかかる通常撮像モードとダイナミックレンジ拡大撮像モードのメモリ制御の様子を示すブロック図。
【図8】 本発明の実施の形態にかかるモード切換時のメモリアクセス制御の様子を示すタイミング図。
【図9】 本発明の実施の形態にかかるモード切換制御の動作を示すフローチャート。
【符号の説明】
1…レンズ絞り
2…撮像素子(CCD)
3…サンプルホールド回路(S/H)
4…アナログ/デジタル変換器(A/D)
5…信号処理回路
6…1画面メモリ
7…切換スイッチ
8…圧縮回路
9…圧縮/伸長回路
10…加算器
11…NTSCエンコーダ
12…デジタル/アナログ変換器(D/A)
13…制御回路
14…明るさ検出回路
15…画質制御回路
A…第1メモリブロック
B…第2メモリブロック
SW1,SW2…切換スイッチ
VS…低速シャッター時の映像信号
VF…高速シャッター時の映像信号
Claims (12)
- 2種類の露光で撮像しそれぞれの映像信号を合成出力するレンジ拡大撮像モードと単一露光で撮像しその映像信号を出力する通常撮像モードを有する撮像手段と、
前記撮像手段によって得られる映像信号から明るさを検出する明るさ検出手段と、
前記明るさ検出手段の検出レベルに応じて前記撮像手段の通常撮像モードとレンジ拡大撮像モードとを選択的に切り換える制御手段とを具備し、
前記撮像手段は、
撮像時に1フレーム2フィールドの映像信号を生成する撮像素子と、
前記撮像素子への露光量をフィールド毎に切り替えることで少なくとも2段階に設定する露光量切換手段と、
前記露光量切換手段により露光量を多くして撮像したときに前記撮像素子から出力される第1の映像信号を、そのレベルが第1の基準値以上のときにレベル圧縮する圧縮手段と、
前記露光量切換手段により露光量を少なくして撮像したときに前記撮像素子から出力される第2の映像信号を、そのレベルが前記第1の基準値より低い第2の基準値以上のときにレベル圧縮し前記第2の基準値に満たないときにレベル伸長する圧縮伸長手段と、
前記圧縮手段からの信号と前記圧縮伸長手段からの信号とを加算して、前記撮像素子の持つダイナミックレンジ以上の広ダイナミックレンジの映像信号を生成する加算手段とを備え、
前記通常撮像モードでは前記圧縮手段でレベル圧縮された第1の映像信号を出力し、前記レンジ拡大撮像モードでは前記加算手段で得られる映像信号を出力することを特徴する撮像装置。 - 前記明るさ検出手段は、前記第2の映像信号の明るさを検出し、
前記制御手段は、前記明るさ検出手段の検出レベルから前記撮像手段の出力が露光量の多い状態での映像信号か露光量の少ない状態での映像信号かを判断し、露光量の多い状態での映像信号であるとき、前記第1の基準値及び前記第2の基準値を減少させ、露光量の少ない状態での映像信号であるとき、前記第1の基準値及び第2の基準値を増大させ、前記第1の基準値が予め決められた設定値以上となった時には、露光量を2段階に設定せずに通常撮像モードとし、前記第1の基準値が前記設定値に満たない時には、露光量を2段階に設定してレンジ拡大撮像モードに切り換えることを特徴とする請求項1記載の撮像装置。 - 前記設定値は、前記撮像素子のホワイトクリップ値に相当する値とする請求項1記載の撮像装置。
- 前記露光量切換手段は、前記撮像素子の電子シャッターの速度を切り換えて露光量を切り換えることを特徴とする請求項1記載の撮像装置。
- さらに、前記第1の映像信号に合成後の見栄えを向上させるための画質補正を行う画質補正手段を備え、
前記制御手段は、前記画質補正手段の補正量を前記第1の基準値の制御と連動して制御することを特徴とする請求項1記載の撮像装置。 - 前記制御手段は、前記第1の基準値が前記設定値以上となったときは、前記補正量を通常撮像モードにおける通常設定値に制御し、前記設定値に満たないときは、補正量を最大値に制御することを特徴とする請求項5記載の撮像装置。
- 2種類の露光で撮像しそれぞれの映像信号を合成出力するレンジ拡大撮像モードと単一露光で撮像しその映像信号を出力する通常撮像モードを有する撮像部で得られる映像信号から明るさを検出し、この明るさ検出レベルに応じて前記通常撮像モードと前記レンジ拡大撮像モードとを選択的に切り換える撮像装置に用いられ、
撮像部が、撮像素子を用いて1フレーム2フィールドの映像信号を生成し、前記撮像素子への露光量を要求に応じてフィールド毎に切り替えることで少なくとも2段階に設定する機能を有するとき、
前記露光量設定により前記撮像素子への露光量を多くして撮像したときに前記撮像素子から出力される第1の映像信号を、そのレベルが第1の基準値以上のときにレベル圧縮する圧縮ステップと、
前記露光量設定により前記撮像素子への露光量を少なくして撮像したときに前記撮像素子から出力される第2の映像信号を、そのレベルが前記第1の基準値より低い第2の基準値以上のときレベル圧縮し、前記第2の基準レベルに満たないときレベル伸長する圧縮伸長ステップと、
前記圧縮ステップで得られる映像信号と前記圧縮伸長ステップで得られる映像信号とを加算して、前記撮像素子の持つダイナミックレンジ以上の広ダイナミックレンジの出力映像信号を生成する加算ステップとを備え、
前記通常撮像モードでは前記圧縮手段でレベル圧縮された第1の映像信号を出力させ、前記レンジ拡大撮像モードでは前記加算ステップで得られた映像信号を出力させることを特徴とする撮像装置の映像信号処理方法。 - さらに、前記第2の映像信号の明るさを検出する明るさ検出ステップと、
この明るさ検出ステップの検出レベルから露光量の多い状態での映像信号か露光量の少ない状態での映像信号かを判断する露光量判断ステップと、
前記露光量判断ステップで露光量の多い状態での映像信号であると判断されたとき、前記第1の基準値及び前記第2の基準値を減少させ、露光量の少ない状態での映像信号であると判断されたとき、前記第1の基準値及び第2の基準値を増大させる基準値制御ステップと、
前記第1の基準値が予め決められた設定値以上となった時には、露光量を2段階に設定せずに通常撮像モードとし、前記第1の基準値が前記設定値に満たない時には、露光量を2段階に設定してダイナミックレンジ拡大撮像モードに切り換えるモード切換ステップとを備えることを特徴とする請求項7記載の撮像装置の映像信号処理方法。 - 前記モード切換ステップは、前記設定値を前記撮像素子のホワイトクリップ値に相当する値とする請求項8記載の撮像装置の映像信号処理方法。
- 前記露光量設定は、前記撮像素子の電子シャッターの速度を切り換えて露光量を設定することを特徴とする請求項7記載の撮像装置の映像信号処理方法。
- さらに、撮像部が前記第1の映像信号に合成後の見栄えを向上させるための画質補正を行う画質補正ステップと、
この画質補正ステップの補正量を前記第1の基準値の制御に連動して制御する補正量制御ステップとを備えることを特徴とする請求項7記載の撮像装置の映像信号処理方法。 - 前記補正量制御ステップは、前記第1の基準値が前記設定値以上となったときは、前記補正量を通常撮像モードにおける通常設定値に制御し、前記設定値に満たないときは、補正量を最大値に制御することを特徴とする請求項11記載の撮像装置の映像信号処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001200200A JP3645502B2 (ja) | 2001-06-29 | 2001-06-29 | 撮像装置及び映像信号処理方法 |
US09/983,319 US6867805B2 (en) | 2001-06-29 | 2001-10-24 | Image pickup device and video signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001200200A JP3645502B2 (ja) | 2001-06-29 | 2001-06-29 | 撮像装置及び映像信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003018457A JP2003018457A (ja) | 2003-01-17 |
JP3645502B2 true JP3645502B2 (ja) | 2005-05-11 |
Family
ID=19037359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001200200A Expired - Fee Related JP3645502B2 (ja) | 2001-06-29 | 2001-06-29 | 撮像装置及び映像信号処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6867805B2 (ja) |
JP (1) | JP3645502B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048561A (ja) * | 2002-07-15 | 2004-02-12 | Fuji Photo Film Co Ltd | 撮像装置及び測光装置 |
JP4452161B2 (ja) | 2004-11-12 | 2010-04-21 | パナソニック株式会社 | 撮像装置 |
JP2007288522A (ja) * | 2006-04-17 | 2007-11-01 | Fujifilm Corp | 撮像装置及び固体撮像素子駆動方法 |
JP5163031B2 (ja) * | 2007-09-26 | 2013-03-13 | 株式会社ニコン | 電子カメラ |
JP4561912B2 (ja) * | 2008-09-12 | 2010-10-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
JP4770907B2 (ja) * | 2008-10-21 | 2011-09-14 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
JP5005731B2 (ja) * | 2009-05-25 | 2012-08-22 | パナソニック株式会社 | カメラ装置および露光制御方法 |
KR101133733B1 (ko) * | 2009-12-10 | 2012-04-09 | 삼성전자주식회사 | 전자 셔터를 이용한 다단계 노출 방법 및 이를 이용한 촬영 장치 |
JP5439197B2 (ja) * | 2010-01-15 | 2014-03-12 | オリンパスイメージング株式会社 | 撮像装置、撮像方法、および、撮像プログラム |
JP5617445B2 (ja) * | 2010-08-31 | 2014-11-05 | ソニー株式会社 | 撮像装置、および信号処理方法、並びにプログラム |
JP5257487B2 (ja) * | 2011-05-30 | 2013-08-07 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
CN104052933A (zh) * | 2013-03-15 | 2014-09-17 | 聚晶半导体股份有限公司 | 动态范围模式的判定方法及其图像获取装置 |
CN105376490B (zh) * | 2015-11-19 | 2019-03-12 | 浙江宇视科技有限公司 | 一种模式切换方法、装置及使用模式切换方法的终端设备 |
US10148888B2 (en) * | 2016-05-18 | 2018-12-04 | Texas Instruments Incorporated | Image data processing for multi-exposure wide dynamic range image data |
JP2017220843A (ja) | 2016-06-09 | 2017-12-14 | ソニー株式会社 | 撮像制御装置および方法、並びに車両 |
CN105959566A (zh) * | 2016-06-21 | 2016-09-21 | 北京奇虎科技有限公司 | 一种摄像模式切换的方法、装置及行车记录仪 |
CN107809591B (zh) * | 2017-11-13 | 2019-09-10 | Oppo广东移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0156988B1 (de) * | 1984-02-28 | 1987-07-22 | Siemens Aktiengesellschaft | Röntgendiagnostikgerät |
US5734424A (en) * | 1990-08-08 | 1998-03-31 | Canon Kabushiki Kaisha | Image pickup apparatus capable of providing moving video signal and still video signal |
JP3154484B2 (ja) | 1990-11-22 | 2001-04-09 | キヤノン株式会社 | 撮像装置 |
US5293240A (en) * | 1991-03-16 | 1994-03-08 | Kabushiki Kaisha Toshiba | Color imaging system using solid state image sensor with signal charge read controller |
EP0561633B1 (en) * | 1992-03-18 | 1998-05-13 | Sony Corporation | Solid-state imaging apparatus |
US5463421A (en) * | 1992-05-30 | 1995-10-31 | Sony Corporation | Solid-state image apparatus which sweeps out independently ineffective electric charges so that the exposure period can be varied within a range from one field period to one frame period |
JP2919715B2 (ja) | 1993-06-30 | 1999-07-19 | 株式会社豊田中央研究所 | 撮像装置 |
DE19634066C2 (de) * | 1996-08-21 | 1998-05-28 | Siemens Ag | Katapultrasterlade eines Röntgendiagnostikgerätes |
JP3578246B2 (ja) | 1997-02-21 | 2004-10-20 | 松下電器産業株式会社 | 固体撮像装置 |
JPH1175118A (ja) | 1997-08-29 | 1999-03-16 | Matsushita Electric Ind Co Ltd | ビデオカメラ |
JPH11164195A (ja) | 1997-12-01 | 1999-06-18 | Olympus Optical Co Ltd | 撮像装置 |
JPH11346334A (ja) | 1998-06-02 | 1999-12-14 | Sony Corp | 固体撮像装置 |
JP2000078463A (ja) | 1998-08-28 | 2000-03-14 | Nikon Corp | 画像取り込み装置 |
JP2000209492A (ja) | 1999-01-14 | 2000-07-28 | Toshiba Corp | 撮像装置 |
JP3596387B2 (ja) * | 1999-11-22 | 2004-12-02 | 松下電器産業株式会社 | 高輝度圧縮回路 |
JP3642245B2 (ja) * | 2000-01-14 | 2005-04-27 | 松下電器産業株式会社 | 固体撮像装置 |
-
2001
- 2001-06-29 JP JP2001200200A patent/JP3645502B2/ja not_active Expired - Fee Related
- 2001-10-24 US US09/983,319 patent/US6867805B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6867805B2 (en) | 2005-03-15 |
JP2003018457A (ja) | 2003-01-17 |
US20030001962A1 (en) | 2003-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3645502B2 (ja) | 撮像装置及び映像信号処理方法 | |
JP3642245B2 (ja) | 固体撮像装置 | |
US5801773A (en) | Image data processing apparatus for processing combined image signals in order to extend dynamic range | |
US5638118A (en) | Image sensing device with diverse storage times used in picture composition | |
EP0725536B1 (en) | Method and apparatus for image sensing with dynamic range expansion | |
JP3630905B2 (ja) | 撮像方法及び撮像装置 | |
JP3074967B2 (ja) | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 | |
JP3801126B2 (ja) | 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム | |
US5162914A (en) | Image sensing device with diverse storage fumes used in picture composition | |
US6882754B2 (en) | Image signal processor with adaptive noise reduction and an image signal processing method therefor | |
KR20030097687A (ko) | 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법 | |
JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
JP3702222B2 (ja) | 撮像装置及び映像信号処理方法 | |
JP2002033956A (ja) | 撮像装置 | |
JP3297485B2 (ja) | 撮像装置 | |
JP3092397B2 (ja) | 撮像装置 | |
JPH11155108A (ja) | 映像信号処理装置と処理方法、それを用いたビデオカメラ | |
JPH10322592A (ja) | 電子カメラの制御方法及び装置 | |
JP2000307921A (ja) | 画像処理装置 | |
JP2002199272A (ja) | 撮像装置および撮像方法 | |
JPH11155098A (ja) | 信号処理装置および方法 | |
JP2005109579A (ja) | 固体撮像素子を用いた撮像装置 | |
JPH06326918A (ja) | カムコーダの周辺部明暗補正回路 | |
JPH1023324A (ja) | 撮像装置 | |
JP3825938B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050203 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 9 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |