JP4444218B2 - 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム - Google Patents

動画用明るさ補正装置ならびにその制御方法およびその制御プログラム Download PDF

Info

Publication number
JP4444218B2
JP4444218B2 JP2006046104A JP2006046104A JP4444218B2 JP 4444218 B2 JP4444218 B2 JP 4444218B2 JP 2006046104 A JP2006046104 A JP 2006046104A JP 2006046104 A JP2006046104 A JP 2006046104A JP 4444218 B2 JP4444218 B2 JP 4444218B2
Authority
JP
Japan
Prior art keywords
image
brightness
brightness correction
correction parameter
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006046104A
Other languages
English (en)
Other versions
JP2007228200A (ja
Inventor
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006046104A priority Critical patent/JP4444218B2/ja
Priority to US11/709,173 priority patent/US7970271B2/en
Publication of JP2007228200A publication Critical patent/JP2007228200A/ja
Application granted granted Critical
Publication of JP4444218B2 publication Critical patent/JP4444218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

この発明は,動画用明るさ補正装置ならびにその制御方法およびその制御プログラムに関する。
被写体を撮像するときに,被写体像のうち主要な被写体像の部分が適正な明るさとなるように階調補正を行うものがある(特許文献1)。しかしながら,この補正は,静止画を想定しているものであり,動画については考えられていない。
特開2005-159650
また,動画について階調補正を行うものもあるが(特許文献2),被写体像のうち顔などの特定の対象画像部分を考慮するものではない。このために,特定の対象画像部分が暗くなってしまうことがある。
特開2005-204195号公報
この発明は,動画であっても特定の対象画像部分(顔,目などの画像部分)の明るさが比較的適正なものとなるようにすることを目的とする。
この発明による動画用明るさ補正装置は,一定周期で順に一駒ずつ与えられる多数駒の被写体像を構成する一の被写体像の中から対象画像部分を検出する対象画像部分検出手段,上記対象画像部分検出手段によって検出された対象画像部分の明るさにもとづいて静止画用明るさ補正パラメータを算出する静止画用明るさ補正パラメータ算出手段,上記一の被写体像よりも前の他の被写体像にもとづいて,上記静止画用明るさ補正パラメータ算出手段によって算出された静止画用明るさ補正パラメータを調整する調整用パラメータを算出する調整用パラメータ算出手段,上記調整用パラメータ算出手段によって算出された調整用パラメータを用いて上記静止画用明るさ補正パラメータ算出手段により算出された静止画用明るさ補正パラメータを調整して動画用明るさ補正パラメータを算出する動画用明るさ補正パラメータ算出手段,および上記動画用明るさ補正パラメータ算出手段によって算出された動画用明るさ補正パラメータを用いて上記一の被写体像よりも後の補正対象被写体像の明るさを補正する明るさ補正手段を備えていることを特徴とする。
この発明は,上記動画用明るさ補正装置に適した制御方法も提供している。すなわち,この方法は,一定周期で順に一駒ずつ与えられる多数駒の被写体像を構成する一の被写体像の中から対象画像部分を検出し,検出された対象画像部分の明るさにもとづいて,静止画用明るさ補正パラメータを算出し,上記一の被写体像よりも前の他の被写体像にもとづいて,算出された静止画用明るさ補正パラメータを調整し,算出された調整用パラメータを用いて,算出された静止画用明るさ補正パラメータを調整して動画用明るさ補正パラメータを算出し,算出された動画用明るさ補正パラメータを用いて上記一の被写体像よりも後の補正対象被写体像の明るさを補正するものである。
この発明は,上記の制御方法を実現するためのプログラムも提供している。
この発明によると,一定周期で順に一駒ずつ多数駒の被写体像が与えられる。一の被写体像の中から対象画像部分が検出される。検出された対象画像部分の明るさにもとづいて静止画用明るさ補正パラメータが算出される。また,一の被写体像よりも前の他の被写体像にもとづいて,静止画用明るさ補正パラメータを調整(補正)するための調整用パラメータが算出される。算出された調整用パラメータを用いて静止画用補正パラメータが調整されることにより,動画用補正パラメータが算出される。算出された動画用補正パラメータを用いて,一の被写体像よりも後の補正対象被写体像の明るさが補正される。以前の駒の被写体像の明るさと対象画像部分の明るさとを考慮して補正対象被写体像の明るさが補正されるようになる。補正対象被写体像の対象画像部分の明るさも比較的適正となり,かつ動画として全体として見た場合も急激な明るさ変化を未然に防止できる。
上記調整用パラメータ算出手段は,たとえば,上記他の被写体像にもとづいて得られる上記動画用補正パラメータを算出するものである。以前に算出された動画補正パラメータを調整用パラメータとして用いることとなる。
上記調整用パラメータ算出手段は,たとえば,上記他の被写体像における対象画像部分の明るさにもとづいて算出される静止画用明るさ補正パラメータを算出するものでもよい。以前に算出された静止画用明るさ補正パラメータを調整用パラメータとして用いることとなる。
上記動画用明るさ補正パラメータ算出手段によって算出される動画用明るさ補正パラメータが,上記調整用パラメータ算出手段によって算出された調整用パラメータから一定範囲内のものが好ましい。急激な明るさ変動を未然に防止できる。
上記静止画用明るさ補正パラメータ算出手段は,上記対象画像部分の明るさと上記一の被写体像全体の明るさとにもとづいて静止画用明るさ補正パラメータを算出するものでもよい。被写体像全体の明るさも考慮して静止画用明るさ補正パラメータが算出されるようになる。
上記静止画用明るさ補正パラメータ算出手段は,上記対象画像部分の明るさと上記一の被写体像全体の明るさのヒストグラムとにもとづいて静止画用明るさ補正パラメータを算出するものもよい。
上記明るさ補正手段は,たとえば,上記補正対象被写体像を表す画像データのゲイン調整および階調補正の少なくとも一方を含む信号処理により明るさ補正を行うものである。
被写体を一定周期で撮像し,多数駒の被写体像を表す画像データを一駒分ずつ一定周期で出力する撮像装置をさらに備えてもよい。この場合,上記対象画像部分検出手段は,たとえば,上記撮像装置から出力される被写体像データによって表される多数駒の被写体像を構成する一の被写体像の中から対象画像部分を検出するものとなる。そして,上記明るさ補正手段は,たとえば,上記動画用明るさ補正パラメータ算出手段によって算出された動画用明るさ補正パラメータにもとづいて上記補正対象被写体像の露光量を制御する露出制御装置である。
図1は,この発明の実施例を示すもので,ディジタル・スチル・カメラの電気的構成を示すブロック図である。
ディジタル・スチル・カメラの全体の動作は,制御回路2によって統括される。制御回路2には,CPU3,ROM4およびRAM5が含まれており,互いにバス接続されている。ディジタル・スチル・カメラには,二段ストローク・タイプのシャッタ・レリーズ・ボタン,電源ボタン,モード設定ダイアル,メニュー・ボタン,決定ボタン,上下左右の矢印が押下可能に形成されているいわゆる十字ボタンなどの操作ボタン類1が設けられている。この操作ボタン類1からの出力信号は,制御回路5に与えられる。また露光量が一定以下のときにフラッシュ発光する装置24も制御回路5に接続されている。
撮像モードが設定されると,レンズ駆動回路12によって位置決めされる撮像レンズ11によって被写体像を表す光線束が集光される。被写体像を表す光線束は,絞り駆動回路14によって絞り値が制御される絞り13を介して,CCDのような撮像素子15の受光面上に入射する。撮像素子制御回路16によって撮像素子15が制御されることにより,一定周期で被写体が撮像され,撮像素子から被写体像を表すアナログ映像信号が一定周期で一駒分ずつ出力される(動画信号出力)。
映像信号は,アナログ信号処理回路17において,相関二重サンプリング,白バランス補正などの所定のアナログ信号処理が行われる。アナログ信号処理回路17から出力された映像信号は,アナログ/ディジタル変換回路18においてディジタル画像データに変換される。変換されたディジタル画像データは,制御回路5およびディジタル信号処理回路19に入力する。ディジタル信号処理回路19において,後述するゲイン補正,ガンマ補正などの所定のディジタル信号処理が行われる。
ディジタル信号処理回路19から出力された画像データは,メモリ21を介して表示装置23にも与えられる。表示装置23の表示画面上に,一定周期で撮像された被写体像(動画,いわゆるスルー画像)が表示される。
この実施例によるディジタル・スチル・カメラにおいては,被写体像の中から顔の画像部分を検出することができる。このために,ディジタル・スチル・カメラには,顔検出回路20が設けられており,ディジタル信号処理回路19から出力された画像データは,顔検出回路20に入力する。顔検出回路20において,顔の画像部分の位置等の検出結果が得られる。検出結果を示すデータは,制御回路5に入力する。
制御回路5には,上述したように,被写体像全体を表す画像データおよび顔検出結果を示すデータが入力する。顔検出結果を示すデータに基づいて,被写体像全体を表す画像データのうち,顔の画像部分を表すデータが抽出される。詳しくは後述するように,一定周期で順に得られる被写体像の顔の明るさにもとづいて,その後の被写体像の顔の画像部分の明るさが適正なものとなるように,かつ急激な明るさの変化が無いように被写体像の明るさが補正される。顔の画像部分の明るさ補正が動画に適して実行される。
シャッタ・レリーズ・ボタンの第一段階の押下があると,被写体像全体を表すデータを用いて,撮像素子15の露光量が適正となるように(被写体像が適正な明るさとなるように)撮像素子15および絞り13が制御回路5によって制御される。顔の画像部分を表す画像データを用いて露出制御を行ってもよいし,後述するように明るさ補正が露出制御により行われる場合には,その明るさ補正により決定される露出量となるように制御してもよい。
シャッタ・レリーズ・ボタンの第二段階の押下があると,上述のようにしてディジタル信号処理回路19から出力された画像データは,メモリ21に与えられ,一時的に記憶される。画像データは,メモリ21から読み出され,メモリ・カード22に与えられることにより,メモリ・カード22に記録される。
図2は,ディジタル信号処理回路19の電気的構成を示すブロック図である。
上述のように,アナログ/ディジタル変換回路18において変換された画像データは,ディジタル信号処理回路19を構成するオフセット補正回路31に入力する。オフセット補正回路31において黒レベルのオフセット処理が行われてゲイン補正回路32に入力する。ゲイン補正回路32において,制御回路2からの制御信号にもとづいて,入力した画像データのゲイン調整が行われて,リニア・マトリクス回路33に入力する。リニア・マトリクス回路33において色補正が行われてガンマ補正回路34に入力する。画像データは,ガンマ補正回路34において制御回路2からの制御信号にもとづいてガンマ補正が行われて同時化回路35に入力する。同時化回路35において同時化処理が行われた画像データは,YC変換回路36において,輝度データYおよび色差データCに変換される。輝度データYは輪郭強調回路37において輪郭強調処理が行われてディジタル信号処理回路19から出力される。色差データCは色差マトリクス38においてさらに色補正されてディジタル信号処理回路38から出力される。
この実施例においては,動画に適した明るさ補正を行うために,まず,静止画に適した明るさ補正のための補正パラメータ(静止画補正パラメータ)が算出される。被写体像の顔画像部分の明るさと被写体像全体の明るさのヒストグラムとにもとづいて,静止画補正パラメータが算出される。もっとも被写体像の顔画像部分の明るさのみを用いてもよいし,被写体像全体の明るさのヒストグラムを用いずに被写体像全体の明るさの代表値を用いてもよい。
図3は,被写体を一定周期で撮像することにより得られる多数駒の被写体像のうちの一駒の被写体像の一例である。
被写体像40について顔検出回路20において顔検出処理が行われることにより,被写体像40から顔の画像部分41が検出される。検出された顔の画像部分41を表す画像データ(輝度データ)が制御回路2に与えられることにより,制御回路2において顔の画像部分41の明るさが算出される。
図4は,被写体像41の明るさのヒストグラムを示している。
上述したように,アナログ/ディジタル変換回路18から出力された画像データが制御回路2に入力する。制御回路2において,被写体像40についてのヒストグラムが図4に示すように生成されることとなる。
被写体像40の顔の画像部分41の明るさおよび被写体像40の明るさのヒストグラムが得られると,これらの顔の画像部分41の明るさと被写体像40の明るさのヒストグラムとから,静止画用明るさ補正パラメータが算出される。この静止画用明るさ補正パラメータは,被写体像40を,動画の中の一駒と考えずに単に静止画の一駒と考えたときに明るさを補正するために適したものである。
図5は,被写体を一定周期で撮像することにより得られる多数駒の被写体像の一部の被写体像を示している。
被写体が一定周期で撮像されることにより,時刻t(n-2k),t(n-k)およびtnにおいて,それぞれ被写体像40(n-2k),40(n-k)および40nが得られる。もちろん,変数k=1であれば,これらの被写体像40(n-2k),40(n-k)および40nは,隣り合った連続した駒の被写体像であるし,変数kが2以上の整数であれば被写体像40(n-2k)と40(n-k)との間,および被写体像40(n-k)と40nとの間には被写体像が存在することとなる。これらの被写体像40(n-2k),40(n-k)および40nにおいて顔検出処理が行われることにより,顔の画像部分41(n-2k),41(n-k)および41nが検出される。
それぞれの被写体像40(n-2k),40(n-k)および40nにおいて,上述したように顔画像部分41(n-2k),41(n-k)および41nが検出され,顔画像部分41(n-2k),41(n-k)および41nの明るさが算出される。また,上述したようにそれぞれの被写体像40(n-2k),40(n-k)および40n の明るさのヒストグラムも求められる。それぞれの被写体像40(n-2k),40(n-k)および40nの静止画用明るさパラメータS(n-2k),S(n-k)およびSnが算出される。
この実施例において動画を考慮した明るさ補正パラメータ(動画用明るさ補正パラメータ)を算出する場合には,静止画明るさパラメータとその静止画明るさパラメータが算出された被写体像よりも前の駒の被写体像を用いて算出された動画用明るさ補正パラメータとが利用される。たとえば,被写体像40nから動画用明るさ補正パラメータMnを算出する場合には,被写体像40nから得られる静止画用明るさ補正パラメータSnと被写体像40nの以前の駒の被写体像40(n-k)を用いて算出された動画用明るさ補正パラメータM(n-k)(調整用パラメータ)とが用いられる。この動画用明るさ補正パラメータMnを算出するための一般式は,式1によって表される。
Figure 0004444218
より具体的には,式2または式3によって表される。
Mn=M(n-k)+Min[Sn-M(n-k),steplimit] ・・・式2
但し,Sn−M(n-k)>0
Mn=M(n-k)-Min[Sn-M(n-k),steplimit] ・・・式3
但し,Sn−M(n-k)<0 または Sn-M(n-k)=0
式2および式3において,Min[Sn-M(n-k),steplimit]はSn-M(n-k)またはsteplimit(所定の制限値)のうちの小さい方が選択されることを示す。したがって,式2または式3では,動画用明るさ補正パラメータMnは,以前に算出された動画用明るさ補正パラメータM(n-k)から所定の制限値steplimitで規定される値以上には増加または減少しないこととなる。動画用明るさ補正パラメータMnを用いて明るさ補正された場合でも急激な明るさ変動を抑えることができる。
このようにして算出された動画用明るさ補正パラメータMnを用いて,動画用明るさ補正パラメータMnが算出された以降に得られる被写体像の明るさが補正される。単に顔画像部分の明るさを考慮して明るさ補正パラメータを算出するのではなく,以前に得られた被写体像の明るさを考慮して,その後の被写体像の明るさを補正するので,動画のように連続した被写体像であっても明るさのちらつきを未然に防止できる。被写体像40nだけでなく,その他の被写体像についても同様にして動画用明るさ補正パラメータが算出されるのはいうまでもない。
図6は,ディジタル・スチル・カメラの処理手順を示すフローチャートである。
撮像モードが設定されると(ステップ51でYES),被写体が撮像され,被写体像が順々に得られる。得られた被写体像の中から顔の画像部分が検出され(ステップ52),顔の画像部分が検出されると(ステップ53でYES),その顔の画像部分の明るさが算出される(ステップ54)。顔画像部分が検出されなければ(ステップ53でNO),ステップ54の処理はスキップされる。
つづいて,所定の駒の被写体像の静止画用明るさ補正パラメータSnが算出される(ステップ55)。以前に算出された動画用明るさ補正パラメータが存在するかどうかが確認される(ステップ56)。存在しなければ(ステップ56でNO),所定の動画用明るさ補正パラメータに決定される(ステップ57)。存在すると(ステップ56でYES),上述したように,以前に算出された動画用明るさ補正パラメータM(n-k)と現在の駒の被写体像から算出された静止画用明るさ補正パラメータSnとから,新たな動画用明るさ補正パラメータMnが算出される(ステップ58)。
決定または算出された動画用明るさ補正パラメータを用いて,そのパラメータの算出後に得られた被写体像について明るさ補正が行われる(ステップ59)。次の動画用明るさ補正パラメータの算出のために,決定または算出された動画用補正パラメータが保存される(ステップ60)。
図7は,露出決定処理手順を示すフローチャートである。このフローチャートにおいて決定される露出量が上述した静止画明るさ補正パラメータの一例である。
まず,顔画像部分の明るさEVfaceが算出される(ステップ71)。つづいて,被写体像全体の明るさの代表値EVfullおよびヒストグラムが算出される(ステップ72,73)。得られた各値から露出制御のための明るさEVtotalが決定される(ステップ74)。
露出制御のための明るさEVtotalは,図8に示すように被写体像42を多数の領域43に分割した場合に,それらの分割領域43の測光値をEVareaとすると,式4から得られる。
EVtotal=f(EVface,EVarea[i])・・・式4
このようにして得られた露出制御のための明るさEVtotalが上述した静止画用の明るさ補正パラメータの一つとして利用できる。さらに,得られた露出制御のための明るさEVtotalを静止画パラメータとして利用した場合には,上述のようにして,この明るさEVtotalを用いて動画用明るさ補正パラメータに対応する明るさを算出できる。算出された動画明るさ補正パラメータに対応する明るさ(EV値)となるように絞り値,シャッタ速度などの露出制御が行われることにより,動画に適した明るさ補正が行われたこととなる。
図9は,露出決定処理手順の他の一例を示すフローチャートである。
まず,顔画像部分の明るさが算出される(ステップ81)。
顔スポット測光が行われるように設定されていなければ(ステップ84でNO),顔の画像部分と被写体像全体とから露出量が決定される。このために被写体像全体の明るさが算出される(ステップ85)。算出された被写体像全体の明るさと顔画像部分の明るさとにもとづいて露出量が決定される(ステップ84)。
被写体像全体の明るさをEVfull,顔の画像部分の明るさをEVfaceとすると,露出量EVtotalは,式5から算出できる。但し,wface,wfullは重み付け係数である。
Figure 0004444218
顔スポット測光が行われるように設定されていると(ステップ84でYES),顔の画像部分の明るさにもとづいて露出量が決定される(ステップ87)。
明るさ補正パラメータは,ゲイン係数でもよい。
図10は,ゲイン補正回路32の入出力特性を示している。
ゲイン補正回路32の入力をx,出力をy,ゲイン係数をgとすると,入出力は,式6により表される。
y=g・x・・・式6
動画を構成する一駒の被写体像の中にある顔画像部分の明るさが適正な明るさとなるようにゲイン係数gが決定され(このようにして決定されたゲイン係数gが上述した静止画明るさ補正パラメータに対応する),かつそのゲイン係数gから動画用明るさ補正パラメータに対応するゲイン係数が制御回路2において決定される。決定されたゲイン係数が制御回路2からゲイン補正回路32に与えられることにより,動画に適した明るさ補正がゲイン補正回路32において行われることとなるのは理解されよう。
図11は,ガンマ補正曲線の一例である。
通常のガンマ補正が行われた後(デフォルトγ後)を入力の横軸,明るさ補正が行われたガンマ補正が行われた後(補正γ後)を出力の縦軸として表されている。
顔の画像部分の明るさに相当する入力を制御点Pとする。この制御点Pの値が静止画に適した明るさ補正された場合の目標値v(この目標値vが上述した静止画用明るさ補正パラメータSnに相当する)が算出される。さらに,以前に算出された動画用明るさ目標値q(この目標値qは上述した以前の駒の動画用明るさ補正パラメータM(n-k)に対応する)が利用される。算出された静止画用の明るさの目標値vと以前に算出された動画用の明るさの目標値qとを用いて,動画用明るさ目標値r(この目標値rは上述した動画用明るさ補正パラメータMnに対応する)が算出される。
上述した式2および式3に対応する目標値q,v,rの関係は,制限値をsとすると,v−q>0の場合,r=q+min(v−s),v−q<0またはv−q=0の場合,r=q−min(v−s)となる。
このようにして動画用明るさ目標値rが算出されると,原点(0,0)と制御点Pと明るさ目標値との値(P,v)とガンマ補正曲線の最大値の値(xmax,ymax)とからスプライン補間を用いて動画用の明るさ補正パラメータであるガンマ補正曲線γrが得られる。デフォルトのガンマ補正曲線にもとづくガンマ補正が行われた画像データに対して,算出されたガンマ補正曲線γrにもとづくガンマ補正が行われることにより,上述のように動画に適した明るさ補正が行われたこととなる。また,図11においては,わかりやすくするために目標値vまたはqをそれぞれ通るガンマ補正曲線γvおよびγqも図示されている。
図12は,ガンマ補正を利用した場合における動画用明るさ補正パラメータを算出する処理手順を示すフローチャートである。
まず,顔の画像部分の明るさが算出され(ステップ91),被写体像全体のヒストグラムが求められる(ステップ92)。
つづいて,上述したように,算出された顔の画像部分の明るさがガンマ補正された場合に適正な明るさとなるようなガンマ補正後の静止画用明るさ目標値vが算出される(ステップ93)。さらに,算出された静止画用目標値vと以前に算出された動画用明るさ目標値qとを用いて,動画用明るさ目標値rが算出される(ステップ94)。
上述のように,原点(0,0)と制御点Pと明るさ目標値との値(P,v)とガンマ補正曲線の最大値の値(xmax,ymax)とからスプライン補間を用いて動画用の明るさ補正パラメータであるガンマ補正曲線γrが得られる(ステップ95)。その後,デフォルトのガンマ補正曲線と動画用の明るさ補正パラメータであるガンマ補正曲線γrとが合成されたトータル・ガンマ補正曲線が作成される(ステップ96)。作成されたトータル・ガンマ補正曲線を示すデータが上述したガンマ補正回路34に設定されるようになる(ステップ97)。このようにして,ガンマ補正回路34において動画に適した明るさ補正が行われるようになる。
図13および図14は,他の実施例を示すものである。
図13は,被写体を一定周期で撮像することにより得られる多数駒の被写体像の一部の被写体像を示すもので,図5に対応している。この図において図5に示すものと同一物については同一符号を付して説明を省略する。
図5に示すものでは,動画用明るさ補正パラメータは,新たに生成された静止画用明るさ補正パラメータと以前に生成された動画用明るさ補正パラメータとから生成されているが,図13に示すものでは,動画用明るさ補正パラメータは,新たに生成された静止画用明るさ補正パラメータと以前に生成された静止画用明るさ補正パラメータとから生成される。
時刻tnにおいて得られる被写体像40tから静止画用明るさ補正パラメータSnが算出される。算出された静止画用明るさ補正パラメータSnと時刻tn以前の時刻t(n-1)において得られた被写体像40tから算出された静止画用明るさ補正パラメータS(n-k)とから動画用明るさ補正パラメータMnが算出される。動画用明るさ補正パラメータMnの一般式は,式7によって表される。
Figure 0004444218
式7は,より具体的には,式8により表される。但し,W(n-k),wnは重みづけ係数である。
Mn=w(n-k)・S(n-k)+wn・Sn・・・式8
このように静止画用明るさ補正パラメータを用いて動画用明るさ補正パラメータを算出することもできる。
図14は,ディジタル・スチル・カメラの処理手順を示すフローチャートの一例である。この図において図6に示す処理と同一の処理については同一符号を付して説明を省略する。
図6に示す処理では,静止画用明るさ補正パラメータと以前に生成された動画用明るさ補正パラメータとから新たな動画用明るさ補正パラメータが生成されているが,図14に示す処理では,上述したように,以前の静止画用明るさ補正パラメータS(n-k)と現在の駒の静止画用明るさ補正パラメータSnとから動画用明るさ補正パラメータMnが生成される(ステップ61)。生成された動画用明るさ補正パラメータMnを用いて,その後に得られた被写体像の明るさが補正される。
上述の実施例においては,ディジタル・スチル・カメラにおいて撮像モードが設定された場合に動画用明るさ補正パラメータが算出され,算出された明るさ補正パラメータを用いて動画に適した明るさ補正が行われているが,撮像モードではなく,再生モードにおいて同様に動画に適した明るさ補正を行うこともできる。たとえば,メモリ・カード22に記録されている動画データを読み出して,読み出された動画データについて明るさ補正処理を行うことができる。
また,上述した明るさ補正処理のプログラムを生成してディジタル・スチル・カメラにインストールすることにより,上述した明るさ補正処理を行うこともできる。ディジタル・スチル・カメラにプログラムをインストールする場合には,メモリ・カード22にそのプログラムを記録しておき,ディジタル・スチル・カメラによって,メモリ・カード22からプログラムが読み取られることとなろう。
さらに,上述した処理はディジタル・スチル・カメラにおいて行われているが,ディジタル・スチル・カメラ以外のムービ・ビデオ・カメラ,画像データを再生するパーソナル・コンピュータ,再生装置などでも実現できるのはいうまでもない。パーソナル・コンピュータなどによって実現する場合には,上述した処理を実行するためのプログラムがCD-ROM(コンパクト・ディスク−リード・オンリ・メモリ)などの記録媒体に格納され,その記録媒体からプログラムがパーソナル・コンピュータにインストールされることとなろう。
ディジタル・スチル・カメラの電気的構成を示すブロック図である。 ディジタル信号処理回路の電気的構成を示すブロック図である。 被写体像の一例である。 被写体像の明るさのヒストグラムである。 撮像によって一定周期で得られる被写体像の一例である。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 露出決定処理手順を示すフローチャートである。 被写体像の一例である。 露出決定処理手順を示すフローチャートである。 ゲイン補正曲線を示している。 ガンマ補正曲線を示している。 動画用明るさ補正パラメータ算出処理手順を示すフローチャートである。 撮像によって一定周期で得られる被写体像の一例である。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。
符号の説明
2 制御回路
19 ディジタル信号処理回路
20 顔検出回路
32 ゲイン補正回路
34 ガンマ補正回路
Mn,M(n-k),M(n-2k) 動画用明るさ補正パラメータ
Sn,S(n-k),S(n-2k) 静止画用明るさ補正パラメータ

Claims (8)

  1. 一定周期で順に一駒ずつ与えられる多数駒の被写体像を構成する一の被写体像の中から画像部分を検出する画像部分検出手段,
    上記画像部分検出手段によって検出された画像部分の明るさにもとづいて静止画用明るさ補正パラメータを算出する静止画用明るさ補正パラメータ算出手段,
    上記一の被写体像よりも前の他の被写体像の明るさにもとづいて算出された動画用明るさ補正パラメータまたは上記他の被写体像における顔画像部分の明るさにもとづいて算出された静止画用パラメータの一方と上記静止画用明るさ補正パラメータ算出手段により算出された静止画用明るさ補正パラメータとから動画用明るさ補正パラメータを算出する動画用明るさ補正パラメータ算出手段,および
    上記動画用明るさ補正パラメータ算出手段によって算出された動画用明るさ補正パラメータを用いて上記一の被写体像よりも後の補正対象被写体像の明るさを補正する明るさ補正手段,
    を備えた動画用明るさ補正装置。
  2. 上記動画用明るさ補正パラメータ算出手段によって算出される動画用明るさ補正パラメータが,上記他の被写体像の明るさにもとづいて算出された動画用明るさパラメータから一定範囲内のものである,請求項1に記載の動画用明るさ補正装置。
  3. 上記静止画用明るさ補正パラメータ算出手段は,上記画像部分の明るさと上記一の被写体像全体の明るさとにもとづいて静止画用明るさ補正パラメータを算出するものである,請求項1または2に記載の動画用明るさ補正装置。
  4. 上記静止画用明るさ補正パラメータ算出手段は,上記画像部分の明るさと上記一の被写体像全体の明るさのヒストグラムとにもとづいて静止画用明るさ補正パラメータを算出するものである,請求項1から3のうちいずれか一項に記載の動画用明るさ補正装置。
  5. 上記明るさ補正手段が,上記補正対象被写体像を表す画像データのゲイン調整および階調補正の少なくとも一方を含む信号処理により明るさ補正を行うものである,請求項1から4のうちいずれか一項に記載の動画用明るさ補正装置。
  6. 被写体を一定周期で撮像し,多数駒の被写体像を表す画像データを一駒分ずつ一定周期で出力する撮像装置をさらに備え,
    上記画像部分検出手段は,上記撮像装置から出力される被写体像データによって表される多数駒の被写体像を構成する一の被写体像の中から画像部分を検出するものであり,
    上記明るさ補正手段は,上記動画用明るさ補正パラメータ算出手段によって算出された動画用明るさ補正パラメータにもとづいて上記補正対象被写体像の露光量を制御する露出制御装置である,
    請求項1から5のうちいずれか一項に記載の動画用明るさ補正装置。
  7. 顔画像部分検出手段が,一定周期で順に一駒ずつ与えられる多数駒の被写体像を構成する一の被写体像の中から画像部分を検出し,
    静止画用明るさ補正パラメータ算出手段が,検出された対象画像部分の明るさにもとづいて,静止画用明るさ補正パラメータを算出し,
    動画用明るさ補正パラメータ算出手段が,上記一の被写体像よりも前の他の被写体像の明るさにもとづいて算出された動画用明るさ補正パラメータまたは上記他の被写体像における顔画像部分の明るさにもとづいて算出された静止画用パラメータとの一方と算出された静止画用明るさ補正パラメータとから動画用明るさ補正パラメータを算出し,
    明るさ補正手段が,算出された動画用明るさ補正パラメータを用いて上記一の被写体像よりも後の補正対象被写体像の明るさを補正する,
    動画用明るさ補正装置の制御方法。
  8. 一定周期で順に一駒ずつ与えられる多数駒の被写体像を構成する一の被写体像の中から画像部分を検出させる工程,
    検出された画像部分の明るさにもとづいて,静止画用明るさ補正パラメータを算出させる工程,
    上記一の被写体像よりも前の他の被写体像の明るさにもとづいて算出された動画用明るさ補正パラメータまたは上記他の被写体像における顔画像部分の明るさにもとづいて算出された静止画用パラメータとの一方と算出された静止画用明るさ補正パラメータとから動画用明るさ補正パラメータを算出させる工程,
    算出された動画用明るさ補正パラメータを用いて上記一の被写体像よりも後の補正対象被写体像の明るさを補正させる工程を含む動画用明るさ補正装置を制御するプログラム。
JP2006046104A 2006-02-23 2006-02-23 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム Active JP4444218B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006046104A JP4444218B2 (ja) 2006-02-23 2006-02-23 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム
US11/709,173 US7970271B2 (en) 2006-02-23 2007-02-22 Brightness correction apparatus for moving images, and method and program for controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006046104A JP4444218B2 (ja) 2006-02-23 2006-02-23 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム

Publications (2)

Publication Number Publication Date
JP2007228200A JP2007228200A (ja) 2007-09-06
JP4444218B2 true JP4444218B2 (ja) 2010-03-31

Family

ID=38428286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006046104A Active JP4444218B2 (ja) 2006-02-23 2006-02-23 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム

Country Status (2)

Country Link
US (1) US7970271B2 (ja)
JP (1) JP4444218B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4444218B2 (ja) * 2006-02-23 2010-03-31 富士フイルム株式会社 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム
JP4924228B2 (ja) * 2007-06-19 2012-04-25 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8687230B2 (en) * 2008-03-31 2014-04-01 Brother Kogyo Kabushiki Kaisha Image processor
JP2010016664A (ja) * 2008-07-04 2010-01-21 Hitachi Ltd 撮像装置
JP5132497B2 (ja) * 2008-09-16 2013-01-30 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP5203115B2 (ja) * 2008-09-29 2013-06-05 京セラ株式会社 動画像再生装置および動画像再生方法
JP5202245B2 (ja) * 2008-11-20 2013-06-05 キヤノン株式会社 撮像装置およびその制御方法
JP2010193186A (ja) * 2009-02-18 2010-09-02 Nikon Corp 画像編集装置、撮像装置、および画像編集プログラム
JP5031877B2 (ja) * 2010-01-06 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
US10055824B2 (en) * 2014-03-28 2018-08-21 Nec Corporation Image correction device, image correction method and storage medium
US10628929B2 (en) * 2018-05-28 2020-04-21 Augentix Inc. Method and computer system of image enhancement

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0444685B1 (en) * 1990-03-01 1996-01-17 Minolta Co., Ltd. Camera having learning function
JP3133517B2 (ja) * 1992-10-15 2001-02-13 シャープ株式会社 画像領域検出装置、該画像検出装置を用いた画像符号化装置
US5544239A (en) * 1992-12-14 1996-08-06 Intel Corporation Method and apparatus for improving motion analysis of fades
US6836288B1 (en) * 1999-02-09 2004-12-28 Linvatec Corporation Automatic exposure control system and method
JP4794786B2 (ja) 2001-09-28 2011-10-19 株式会社リコー 撮像装置、自動露出方法、およびその方法をコンピュータが実行するためのプログラム
JP4077217B2 (ja) 2002-03-04 2008-04-16 株式会社リコー 自動露出制御装置及びそのプログラム
JP2005159650A (ja) 2003-11-25 2005-06-16 Canon Inc 画像処理装置、画像処理方法ならびに記憶媒体、プログラム
JP4595330B2 (ja) 2004-01-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4679175B2 (ja) 2005-02-25 2011-04-27 富士通株式会社 撮像システム及び制御装置
JP4422667B2 (ja) * 2005-10-18 2010-02-24 富士フイルム株式会社 撮影装置および撮影方法
JP4444218B2 (ja) * 2006-02-23 2010-03-31 富士フイルム株式会社 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム
JP4990007B2 (ja) * 2007-04-10 2012-08-01 ローム株式会社 画像処理回路、半導体装置、画像処理装置

Also Published As

Publication number Publication date
JP2007228200A (ja) 2007-09-06
US7970271B2 (en) 2011-06-28
US20070196098A1 (en) 2007-08-23

Similar Documents

Publication Publication Date Title
JP4444218B2 (ja) 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
JP4424292B2 (ja) 撮像装置、露出制御方法およびプログラム
JP2007189544A (ja) 撮像装置
US8237854B2 (en) Flash emission method and flash emission apparatus
US20220124237A1 (en) Apparatus for generating high-dynamic-range image, method, and storage medium
JP2009044367A (ja) 撮影方法及び撮影装置
JP4717720B2 (ja) 画像処理装置および方法並びにプログラム
EP1998552B1 (en) Imaging apparatus and image processing program
JP2007329619A (ja) 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。
US8390693B2 (en) Image processing apparatus
US7876366B2 (en) Electronic camera
JP2006287814A (ja) 撮像装置及び動きベクトル決定方法
US20130089270A1 (en) Image processing apparatus
US8102446B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
JP4305200B2 (ja) 撮像装置および方法、並びにプログラム
JP4857856B2 (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
JP4028395B2 (ja) デジタルカメラ
JP4067775B2 (ja) ホワイトバランス調整装置
JP2012156580A (ja) 画像処理装置
JP2003299107A (ja) 撮像装置
JP7273642B2 (ja) 画像処理装置及びその制御方法及びプログラム
JP5094454B2 (ja) 撮像装置及びその制御方法
KR20110014071A (ko) 촬상장치 및 촬상방법
JP5307572B2 (ja) 撮像システム、映像信号処理プログラム、および撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080715

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090717

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20091014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100113

R150 Certificate of patent or registration of utility model

Ref document number: 4444218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250