JP4325777B2 - 映像信号処理方法および映像信号処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、二次元ＣＣＤ撮像デバイスを用いた各種機器、例えば、デジタルスチルカメラ、ビデオカメラ、スキャナー等における、映像信号処理方法および映像信号処理装置に関するもので、特に、上記ＣＣＤ撮像デバイスの光学的な黒レベルと映像信号の黒レベルの差である黒レベル段差（以下「ＯＢ段差」という）の補正に関するものである。
【０００２】
【従来の技術】
上記の技術分野に属する従来技術の一つとして特開平５−１１０９４１号公報記載のものがある。これは、ＣＣＤ撮像デバイスの感光部から転送部を介して１フィールドごとに出力データを読み出し、１フィールドごとの出力データ読み出し後最初の水平同期信号に同期して、再度感光部の１ライン分の出力データを読み出す出力制御回路を備えることを特徴とし、フィールド走査ごとに得られる黒レベル補正信号により、手動による調整をすることなく、黒レベル段差を補正することができるようにしたものである。
【０００３】
上記の技術分野に属する従来技術の別の例として特開２０００−１５２０９８記載のものがある。これは、撮像素子から得られる映像信号のＯＢレベル算出手段と係数演算手段と減算回路を備え、ＯＢレベル算出手段の出力に係数演算回路で係数を掛け、ＯＢ段差信号を生成し、減算回路を用いて、映像信号からＯＢ段差信号を減算することで、ＯＢ段差を補正するというものである。
【０００４】
【発明が解決しようとする課題】
近年、特にデジタルカメラの世界では、小型化、高性能・高機能化、高速化が進んでいる。一方、消費電力の面からみると、明らかに増加傾向にあるとまではいえないが、減少傾向にあるともいえない状況である。このように、機器で消費する電力は変わらず、一方で小型化や高速化が進んでくると、機器内の温度が上昇し、様々な弊害を引き起こすことになる。
【０００５】
中でもデジタルカメラにおける撮像素子として広く用いられているＣＣＤ撮像デバイスは、熱による特性劣化が激しい。熱によって特性が劣化すると、温度キズと呼ばれる画素単位での暗電流の増加による特異点の発生、飽和信号量の低下、画面全体の暗電流の増加、などの不具合が生じる。その中で、画面全体の暗電流の増加というのは、正確には、ＣＣＤの構造上、ＯＢ（オプティカルブラック：Ｏｐｔｉｃａｌ Ｂｌａｃｋ）部と有効画素部とで増加量が異なることをいう。これは、ＯＢ部がアルミ遮光膜で覆われているためで、フォトダイオードとアルミ遮光膜間に寄生容量が発生し、有効画素部より表面準位が低くなるからである。この現象を一般的にＯＢ段差と呼んでいる。
【０００６】
従って、一般的に暗電流成分は有効画素部の方が大きくなるが、ＣＣＤの信号は、後段のＣＤＳ（相関二重サンプリング）でサンプリングされる際、ＯＢ部の出力レベルを黒レベルとしてクランプを行うため、ＯＢ部と有効画素部で黒レベルが異なると、遮光した状態であっても、あたかも光が入っているかのように、画面が明るくなるというような不具合が発生する。
【０００７】
ビデオカメラなどの動画を撮影する機器や、デジタルスチルカメラにおいて、いわゆるモニタリング状態では、入射光量が少ない低照度時は、フレームレートが一定のため、カメラのように露光時間を長くしてＣＣＤの信号量を増やすということはできないので、後段のアンプでＣＣＤ出力を増幅する。そのレベルは約３０ｄＢほどである。
例えば、ＯＢ段差が５ｍＶある状態で、３０ｄＢもの利得をかけられると、ＯＢ段差による暗電流量だけで、１６０ｍＶものレベルに達してしまうことになる。これは、暗電流量だけで、得ようとする基準信号レベルに達しってしまっていることを意味する。このようにＯＢ段差を補正しないと著しい画質劣化を生ずることになる。
【０００８】
ここまで説明してきたように、ＯＢ段差とは、熱によるペデスタルレベルの変動、言い換えれば、ＣＣＤの出力信号をＣＤＳでサンプリングするために発生してしまうオフセット量のことである。
本発明は、上記ＯＢ段差を補正するとともに、最良のタイミングで、かつ、誤差を最小限にＯＢ段差を求めることができ、さらには、ＯＢ段差を補正することにより生ずる不具合を改善することができる映像信号処理方法および映像信号処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記オフセット量は、以下に示す方法で算出することが可能である。
図２に示すように、横軸に露光時間、縦軸に二次元ＣＣＤ撮像デバイス（以下「ＣＣＤ」という）の出力信号レベルをとると、飽和領域の手前まで比例関係が成り立っている。従って、ＣＣＤの出力信号レベルをｙ、露光時間をｔとし、同一絞り、同一画角、同一光量条件下における信号の変化量、傾き係数をａとすると
ｙ＝ａｔ・・・（１）
と表すことができる。ここで係数ａは使用するＣＣＤ固有のものであり、温度変化などで変化するものではない。次にこの式にＯＢ段差が発生したときのオフセット量を表すｂというパラメータを入れると
ｙ＝ａｔ＋ｂ・・・（２）
となる。
【００１０】
次に、露光時間をα％にした露光時間をα／１００×ｔ、そのときのＣＣＤ出力信号レベルをｙ'とすると、上記パラメータｂは、機内の温度変化に依存するが、短時間ではほとんど変化が無いので、
ｙ'＝ａ×α／１００×ｔ＋ｂ・・・（３）
と表すことができる。
ここで、（２）式をａについて解くように変形して（３）式に代入し、ｂについて解くと、
ｂ＝（１００ｙ'―αｙ）／（１００−α）・・・（４）
となる。この式は、短時間に或る決められた割合（α）で変化させた露光時間で、少なくとも２回の露光をし、それぞれの露光時におけるＣＣＤの信号レベル（ｙ、ｙ'）を知ることにより、ＯＢ段差量ｂを知ることができることを示している。
【００１１】
しかし、先に示した条件の中で、ユーザーが使用中に同一画角、同一光量条件を保つことは難しいと考えられる。そこで、１回あたりの誤差を少なくする工夫が必要になる。例えば、αをできるだけ大きくとるようにすることもその一つであり、さらには、次に述べるような各種の工夫をするとよい。まず、図５に示すように、或る決められた回数繰り返してこの動作を行い、それらの累積値を繰り返し回数で割った平均値を使用する。あまりにも変化が大きい時は、入射光量は急激に変化する可能性はあるが、ＯＢ段差量は急激に変化するような性質のものではないので、図７に示すように、入射光量が大きく変わってしまったと判断して、累積しないようなリミット値を設ける。あるいは、自動露出（ＡＥ）制御値、例えば、シャッタースピード値、あるいはＡＧＣ値から、画角の変化を予測し、変化の少ないときを選んで上述のＯＢ段差算出シーケンスを行う。また、ユーザーの使用方法を考慮したとき、記録前段階では、画角は大きく変化しないと想定できるので、図８に示すように、実際に撮影する前段階の際に限定して行う。
【００１２】
一方、ＯＢ段差を上記の方法で算出する際、露光時間を意識的に変化させるため、そのまま映像を出力すれば、ＡＥのハンチングやフリッカーを起こしたような画像が出力されることになってしまう。しかし、予め決められた割合（α％）で露光時間を変化させているのであるから、その増減分を補うように、映像出力にゲインをかけることができる。そのようにすることで、ユーザーに違和感を与えないようにすることができる。
もちろん、ゲインをかけるポイントとしては、ＣＣＤの信号量を知るために設けられた、Ｙ評価値算出回路の後段でなければならない。
【００１３】
ここで、ＯＢ段差を補正することによる画質への２次的な不具合を考えてみる。例えば、ＣＣＤ出力信号のダイナミックレンジの設定は、一般的にＯＢ段差が無い状態で行なわれる。そのダイナミックレンジは、原色ＣＣＤの場合、相対感度の高いＧ（緑色）信号によって決められていることが多い。しかし、熱による暗電流が発生すると次第にＯＢ段差が大きくなってくるのに対し、飽和信号レベルはそれほど変化しないため、ＯＢ段差が無いときとに比べ、ＣＣＤ出力信号のダイナミックレンジが小さくなってしまう。Ｇ信号を基準としてＲ（赤）、Ｂ（青）信号にゲインを掛け、ホワイトバランスをとるが、上述のようにＣＣＤのダイナミックレンジが狭くなってしまうと、基準であるＧ信号は信号処理装置内でフルレンジまで行かなくなる一方、Ｒ、Ｂは、ホワイトバランスのゲインを掛けられるため、Ｇ信号の飽和には関係なく、信号処理装置のフルレンジに達することができる（図９〜図１２参照）。
【００１４】
このようなことが起きると、図９に示すような、撮影視野内に、１．輝度が飽和レベルである白い雲や、２．人物の白シャツなどがあり、特に、１．の白い雲のようなハイライト部分で、白が白にならず、赤紫色になるようなことがある。図１１に示す段差有りの場合、上記１．のようなハイライト部分についてのＲｇａｉｎ、Ｂｇａｉｎ補正の欄は、ＲとＢ信号は飽和レベルに達しているのに対し、Ｇ信号は飽和レベルに達しておらず、白が白にならず、赤紫色になることを示している。このような不具合を防ぐために、算出したＯＢ段差補正量に応じて、信号処理装置内でＧ信号にゲインを掛け、フルスケールまで達するようにする必要がある。図１２に示す段差有りの場合のＲｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎ補正の欄はこれを示している。
さらには、Ｇ信号に補正のためのゲインを掛けることにより、ランダムノイズも大きくなるので、信号処理装置内の画像補正係数、例えば、コアリングレベルを上げることによって、アパーチャー強調がランダムノイズにかからないようにする必要も発生する。
【００１５】
このようにして得られたＯＢ段差補正量をもって、実際に記録をする場合について考えてみる。まず、動画が記録可能なカメラを考えたとき、ＯＢ段差量を算出するシーケンスが、動画記録中に入ってしまうことは、必ずしもユーザーが望むところではない。なぜならば、ＯＢ段差量を算出するためには、意図的に異なる露光時間で露光する必要があるが、このときの露光レベルを適正な露光レベルに合せるべく、上述のような方法で輝度レベルを補正したとしても、完全に補正できるとは考え難いからである。モニタリングの動作中であれば気にならなかったとしても、記録されてしまうと気になるということは良くある。また、ＯＢ段差は短時間では著しく変化する性質のものではない。このように動画記録画像に違和感を残すことが無いように、実際の記録時は、ＯＢ段差量の算出シーケンスを実行しないようにする必要があろう。
【００１６】
次に、デジタルスチルカメラのように静止画記録を主たる機能とする機器の場合について考える。近年、デジタルスチルカメラは高画素化が進み、高画素対応のし易さから、インターレースタイプのＣＣＤを採用するケースが多い。このインターレーススキャンタイプＣＣＤの構造は、大きく分けると画素部と垂直転送部とからなる。熱による暗電流の大部分はこの２つの領域で発生している。以下、画素部暗電流量をｅ１、垂直転送部暗電流量をｅ２とする。上記のように、熱による暗電流の大部分は画素部と垂直転送部で発生しているため、モニタリング中に算出されるＯＢ段差量の中身は、ほぼｅ１＋ｅ２で表すことができる。しかし、インターレーススキャンのＣＣＤにおいては、記録の際、いわゆる垂直転送路の掃き出しを行い、垂直転送路に発生する不要電荷を排出することが一般的である。従って、記録の際には、上記垂直転送部暗電流量ｅ２分を差し引くようにする必要がある。なお、このｅ１：ｅ２は、ＣＣＤの設計段階で決まっている既知のものである。
【００１７】
しかし、この比率を考慮するだけでは、まだ誤差が大きい。というのは、露光フレーム内で電子シャッタを用いて露光時間制御をするため、画素部暗電流量ｅ１が変化していることを考慮する必要があるからである。つまり、電子シャッタを使用している期間は、画素部に溜まった電荷を基板に掃き捨てるので、光電変換によって生じる電荷のみならず、暗電流によって生ずる不要電荷も掃き捨てられているのである。
【００１８】
以上のことより、インターレーススキャンタイプのＣＣＤを用いたデジタルスチルカメラで、静止画を記録する場合につき、減算すべき記録時のＯＢ段差補正値ｙ（ｐｉｘ）を求めてみる（図１３参照）。
まず、モニタリング中に算出されていたＯＢ段差補正量ｙは、そのうち画素部に起因するものをｙ（ｐｉｘ）、垂直転送部に起因するものをｙ（Ｖ）とすると、
ｙ＝ｙ（ｐｉｘ）＋ｙ（Ｖ）・・・（５）
【００１９】
ここで、ｙ（ｐｉｘ）は、モニタリング中のフレーム期間をＴ、そのうち、電子シャッタパルスが出力されていない期間をｔ、電子シャッタパルスが全く出力されなかったとき、モニタリング時のフレーム期間に画素部で発生するであろうＯＢ段差補正量をｘとすると
ｙ（ｐｉｘ）＝ｘ・ｔ／Ｔ・・・（６）
と表すことができる。一方ｙ（Ｖ）は、ＣＣＤの特性から得られている、画素部と垂直転送部との暗電流発生比率（ｅ２／ｅ１）をｋとすると、
ｙ（Ｖ）＝ｅ２／ｅ１×ｘ＝ｋｘ・・・（７）
と表すことができる。従って（５）式は、
ｙ＝ｘ・ｔ／Ｔ＋ｋｘ・・・（８）
となり、ｘについて解くと
ｘ＝ｙ／（ｔ／Ｔ＋ｋ）・・・（９）
となる。これを（６）式に代入すれば、
ｙ（ｐｉｘ）＝ｙ・ｔ／（ｔ＋Ｔｋ）・・・（１０）
となり、静止画記録時、減算すべき記録時のＯＢ段差補正値を得ることができる。
【００２０】
ここまで求めてきた、静止画記録時のＯＢ段差補正量も、デジタルカメラ特有の長秒時露光の際には誤差が大きくなってしまう。長秒時露光とは、被写体輝度が暗い時、モニタリング時のフレーム期間を数フレームかけ、連続して露光制御することである。上記の計算式では、１フレーム分のＯＢ段差量しか考慮されていなかったので、長秒時露光に対応した式に変形する必要が生ずる。
また、長時間露光が必要になるときは、モニタリングの期間、フレームレートが一定であるため、信号処理装置に入る前に、ＣＣＤ出力信号に利得を掛けていることが一般的であるが、記録の際には元の基準利得に戻す。従って、モニタリング期間に求めたＯＢ段差補正量には、この利得が掛かっているので、その利得分差し引く必要も生ずる。
【００２１】
以上のことを考慮し、長秒時露光における、減算すべき記録時のＯＢ段差補正値を求める（図１５参照）。
まず、モニタリング中に掛けられていた、基準利得に対する利得上昇分をｇとすると、
ｇ＝２０ｌｏｇＸ・・・（１１）
ここでＸは、通常記録時に対して、モニタリング時何倍の利得が掛けられていたかを表す変数としている。
（１１）式より、
Ｘ＝１０＾（ｇ／２０）・・・（１２）
となるので、モニタリング中に算出されたＯＢ段差補正量のうち、画素部に起因するものをＧｙ（ｐｉｘ）、利得を掛けていないときをｙ（ｐｉｘ）とすると、
ｙ（ｐｉｘ）＝Ｇｙ（ｐｉｘ）／Ｘ・・・（１３）
Ｇｙ（ｐｉｘ）＝ｙ（ｐｉｘ）×Ｘ・・・（１４）
の関係にある。
【００２２】
長秒時露光の１フレーム目は、ほぼ１フレームだけの露光のときに求めた（１０）式が成り立つ（但し、ゲインが掛けられた状態のｙという意味でＧｙに変更）とし、２フレーム以降は、前述の定義の通りｘである。従って、
Ｇｙ（ｐｉｘ）＝Ｇｙ・ｔ／（ｔ＋Ｔｋ）＋（ｎ−１）・ｘ・・・（１５）
また、ｘは（９）式より、
ｘ＝Ｇｙ／（ｔ／Ｔ＋ｋ）・・・（１６）
であるから、
Ｇｙ（ｐｉｘ）＝Ｇｙ・ｔ／（ｔ＋Ｔｋ）＋（ｎ−１）・Ｇｙ／（ｔ／Ｔ＋ｋ）
＝（ｔ＋（ｎ−１）・Ｔ）・Ｇｙ／（ｔ＋ｋＴ）
ここで、ｔ＋（ｎ−１）Ｔは、実露光期間Ｔｅｘｐといえるので、
Ｇｙ（ｐｉｘ）＝Ｔｅｘｐ・Ｇｙ／（ｔ＋ｋＴ）・・・（１７）
最後に、（１４）式を（１７）式に代入すれば、
ｙ（ｐｉｘ）＝Ｔｅｘｐ・Ｇｙ／（Ｘ・（ｔ＋ｋＴ））・・・（１８）
以上により、静止画長秒時記録時、減算すべき記録時のＯＢ段差補正値を得ることができる。
【００２３】
以上述べて来た通り、本発明は、ＯＢ段差を補正するとともに、最良のタイミングで、かつ、誤差を最小限にＯＢ段差を求めることができ、さらには、ＯＢ段差を補正することにより生ずる不具合の改善、および画像記録時の処理方法について言及するものである。
【００２４】
先に示した先願の２例は、ＯＢ段差を補正するという点では同じであるが、達成方法が異なるため、本発明の方がコスト面、実装面、または得られる画像の画質という点においてメリットがある。また、先願の２例には、実際にＯＢ段差を補正したときに懸念される不具合については言及されていなかった。
【００２５】
特開平５−１１０９４１号公報記載の発明については、出力制御回路（特別なタイミングジェネレータ）を作る必要があることと、サンプルホールド用にコンデンサが必要になるなど、コスト、実装面でデメリットがある。
【００２６】
特開２０００−１５２０９８公報記載の発明については、この方式を実施する際には、係数ｋを求めるために、調整する必要があり、さらには、温度管理して調整するか、機器内に温度センサーを取り付け、調整時の温度を知る必要がある。また、温度を管理したとしても、温度による暗電流の増加は８度でおおよそ２倍というように、経験則的な部分が強く、正確に補正できるとは考え難い。さらに、フィードバックループが無いので、どれだけ映像信号を減算したかを知るすべが無い。闇雲にＣＣＤ出力を減算して行くと、ダイナミックレンジが少なからず小さくなり、ＤＳＰ側のダイナミックレンジと不釣り合いになってしまう。ＣＣＤ側のダイナミックレンジが小さくなると、γ処理をしている関係で、高輝度部分でホワイトバランスがずれ、空がピンク色になる、などの不具合が生じてしまうが、このような不具合に対しての補正方法等については、言及されていない。
【００２７】
【発明の実施の形態】
以下、図面を参照しながら本発明にかかる映像信号処理方法および映像信号処理装置の実施の形態について説明する。
図１は、本発明を実現するための回路の一例を示したものである。図１において、二次元ＣＣＤ撮像デバイス（以下「ＣＣＤ」という）１で光電変換によって発生した電荷は、タイミングジェネレータ（以下「ＴＧ」という）６、垂直駆動部（以下「ＶＤｒ」という）５から出力される水平・垂直の駆動パルスを受け、相関二重サンプリング、アナログデジタル変換部（以下「ＣＤＳ・Ａ／Ｄ」という）に運ばれる。ＣＤＳ・Ａ／Ｄでは、ＣＤＳ回路２でＣＣＤ１の出力信号を相関２重サンプリングし、所定のゲイン（Ｇｂ）をＡＧＣアンプ回路３で掛けられ、Ａ／Ｄ変換部４でＡ／Ｄ変換した１０ｂｉｔデジタル信号が、信号処理装置に送られる。この例では、１０ｂｉｔＡ／Ｄ変換で記述したが、最近では、１２ｂｉｔのＡ／Ｄ変換を使用することも珍しくない。
露光時間の変更は、ＣＰＵ８―ＴＧ６間のシリアル通信で、ＴＧ６が出力する電子シャッタパルスの本数を変更することによって行われる。
【００２８】
信号処理装置に送られたデータは、ＯＢ（オプティカルブラック）クランプ回路９で、ＯＢ部のレベルが０になるようにクランプされる。このとき、ＯＢ部と有効画素部に段差があっても、そのまま次段の４Ｈメモリー回路１０に送られることとなる。４Ｈメモリー回路１０では、現信号と合せ５水平期間分のデータを、ＲＧＢ分離回路１１に送る。ＲＧＢ分離回路１１で、上記データはＲ（赤），Ｇ（緑），Ｂ（青）それぞれの信号に分離され、ＲＧＢ補間回路１２で補間され、Ｒ，Ｇ，Ｂそれぞれのプレーン画に対応する信号が作られる。
【００２９】
ここで、Ｙ演算装置２０で、Ｙが演算され、これを少なくとも２フレーム、露光時間を変えて露光した結果から、ＯＢ段差の補正が必要かどうか、インターフェース２４を介してＣＰＵ８によって判断される。もし、ＯＢ段差補正が必要な場合は、ＯＢ段差補正回路１３にて、所定の値だけ減算され、ホワイトバランス（以下「ＷＢ」という）回路１４に送られる。ＷＢ回路１４では、ＡＷＢ評価値出力回路２３からの情報に基づいて、Ｒ，Ｂ信号にゲインが掛けられる。
【００３０】
ＷＢ回路１４から出力されたＲ，Ｇ，Ｂ信号は、次に利得補正回路１５に送られる。この利得補正回路１５は、ＯＢ段差補正が行われた場合、ＯＢ段差補正回路１３で減算された分を補うように、利得をＲ，Ｇ，Ｂに掛ける役割と、ＯＢ段差量を算出する際、露光時間が適正露光から逸脱したとき、出力ビデオ信号で違和感の無いように補正するための回路である。
【００３１】
ＯＢ段差補正が行われると、ＷＢ回路１４からの出力点であるｅ点でのＧ出力の飽和レベルは、例えば８ｂｉｔ処理であれば２５５、１０ｂｉｔ処理であれば１０２３になるはずのものがその値にはならず、それぞれ２４０とか、９５０とかになってしまう。そこで、利得補正回路１５では、前者の場合であれば約０．５ｄＢ、後者であれば、約０．６５ｄＢの利得がＲ，Ｇ，Ｂそれぞれに掛けられる。
【００３２】
また、ＯＢ段差量を算出する際は、ＣＰＵ８からＴＧ６に電子シャッタの本数を変えるように指令する。例えば、ＯＢ段差量の算出を、ｎフレーム目から２フレームかけて行う場合、ｎフレーム目ではそれまでの自動露出制御部（以下「ＡＥ」という）が制御していた露出量、電子シャッタ本数で露光し、ｎ＋１フレーム目に露光時間を半分にするべく、電子シャッタ本数を変更したとする。そのとき、利得補正回路１５で、ｎ＋１フレーム目の信号に６ｄＢ掛けることで、ｎフレーム目と同じ出力レベルにすることができる。
【００３３】
この利得補正は、ＯＢ段差補正回路１３の後段で、かつ、γ補正部１６の前段である必要がある。なぜならば、ＯＢ段差補正の前に利得補正をしても、ＯＢ段差補正回路で１３減算されれば、今まで述べてきたことは意味がなくなり（フルレンジまで行かないという不具合の解決にはならない）、γ補正回路１６より後段にあっては、非線形処理をγ補正回路１６で行うため、単純な乗算回路では補正できないからである。
【００３４】
次に、Ｒ，Ｇ，Ｂ信号は、γ補正回路１６に送られる。ここで非線型処理をされ、γＲ、γＧ、γＢが出力される。γＲ、γＧ、γＢ信号は、色差マトリックス回路１７で、ＲＧＢ→ＹＣｂＣｒに変換され、アパーチャー形成回路１９で形成されたアパーチャー成分をＹ信号にミックスし、メモリーコントローラ１８を介して、フレームバッファー７に送られる。
【００３５】
上記アパーチャー形成回路１９とは、輪郭の強調成分の形成を行う回路で、主に輪郭強調をする入力レベル変化のしきい値の設定（コアリングレベル）、輪郭強調の度合い（アパーチャーゲイン）、輪郭強調成分の強さの制限（リミット）を設定値としてもっている。そこで、例えば、ＯＢ段差量を算出するとき、露光時間を変化させた分、利得補正回路１５でゲインを掛けるようにしているが、当然ゲインを掛ければノイズレベルも大きくなってしまうので、コアリングレベルを上げ、ノイズ成分に輪郭強調がかからないようにする等の手段をとる。こうすることにより、より自然な画像を得ることができる。
最後にフレームバッファー７に蓄えられた映像信号は、メモリーコントローラ１８から次フレームに読み出され、ビデオエンコーダ２６を通して、外部に出力される。
【００３６】
以上が、一連の信号の流れである。次に、モニタリング中の実際のＯＢ段差算出シーケンスについて述べる。
図３、図４は、ＯＢ段差量の算出を定期的に行う場合を示す。図３、図４の(１)では、露光時間を変え、露光量ｙ１、ｙ１'を得る。ｙ１、ｙ１'は、露光フレームの次のフレームで読み出され、信号処理装置に送られ、ＯＢ段差の算出を前述の通り行う。この期間をｂ１として示している。
【００３７】
ｂ１期間に算出されたＯＢ段差量ｂ１に、算出に要した次のフレームから、相当ＯＢ段差補正量が、ＯＢ段差補正回路１３にセットされる。以上の動作をあるモニタリング動作中、一定期間おいて繰り返し行うことで、ＯＢ段差補正量の更新をして行く。ある一定期間を置いてＯＢ段差量の算出をしているのは、なるべく基準露光量を逸脱した露光をしないようにするためである。また、この期間の置き方は、機器の電源投入直後は、短時間の間に機器内の温度が上昇するのに対し、長時間モニタリング後は、機器内の温度は飽和し始め、その変化も鈍くなってくるので、そのような特性に合すべく間隔をおいても良い。
【００３８】
図３、図４の（２）では、上述と同じように、ＯＢ段差量の算出を定期的に行っているが、ＯＢ段差量を１度算出するのに、３回露光量を変えてした場合を示している。それぞれの露光量をｙ１、ｙ１'、ｙ１''で示している。このように露光量の違う露光を数多く行い、それらｙを直線近似し、ｂ１を求めれば、本来のＯＢ段差量に対するずれを少なくすることができる。但し、それだけｂを算出するための時間が掛かってしまうので、１シーケンス中に極端に被写体輝度が変わる（撮影フレームが変化する）可能性も高くなってしまうので、３回程度が妥当と考える。
【００３９】
図５、図６は、ＯＢ段差量の算出を定常的に行う場合を表したものである。このように定常的に行うことは、タイマーを使う必要がなくなり、制御ソフトを簡略化できるとともに、ＯＢ段差量の算出という意味でも、毎回算出されているので、現状に適合したＯＢ段差量を常に更新できるというメリットもある。
図５（１）では、適正露光および適正露光より短い露光を１シーケンスとするＯＢ段差量の算出を定常的に行い、かつ、３シーケンスを１セットとして、それぞれのシーケンスで得られたｂ１１、ｂ１２、ｂ１３の平均をもって、実際に補正する値Ｂ１を求める様子を示したものである。また、その様子をグラフで示したものが図６（１）（２）（３）である。
【００４０】
図５（２）では、１シーケンスを３回ずつ、そして露光時間を変えてそれを３回行い、計９フレームを使ってＢ１を算出する様子を表している。
図７は、図５（１）における１、２、３、４フレームでのＣＣＤＯＵＴ輝度レベルが、図示の関係にあったとき、３フレームから４フレームの間に著しい被写体輝度の変化があった場合、３、４の近似式から得られたｂ１２は、その前のセットで得られていたｂに対し、或る幅を持ったｂ±ｂｌｉｍｉｔから外れた値になっているので、Ｂ１を求める際、計算対象から外すことを意味するものである。ＯＢ段差補正量は、それほど急激に変化するような性質では無いため、このような場合は、被写体輝度が変化したと判断することができるのである。このように、それまでのＯＢ段差補正量から逸脱した結果が出た場合は、平均する対象から外すことで補正量の精度を高めるようにする。
【００４１】
図８は、静止画記録前を使って、ＯＢ段差量の算出を行う場合を表したものである。静止画記録前は、フォーカス動作を行う必要があるため、ユーザーがカメラを使用する場合、画角の変化が起こり難い。この時を利用してＯＢ段差量の算出を行えば、図５に示したようなしきい値を設ける必要がなくなる可能性があり、また、モニタリング中にＯＢ段差の補正をしていないので、２次的な不具合、例えば、ノイズが増えたように感じるなどの不具合も起こらない。また、ＯＢ補正量の算出シーケンスの開始を、レリーズ信号をもって行うようにすれば、一定時間おく場合に必要としていたタイマーを使う必要も無くなる。
図８（１）では、２回を１シーケンスとするＯＢ段差量算出を３セット行い、その平均をもって記録する場合を、図８（２）では、３回を１シーケンスとするＯＢ段差量算出を３セット行い、その平均をもって記録する場合を表している。
【００４２】
このように、本発明において、ＯＢ段差量を算出する際、誤差を生ずる最も大きな原因は、１シーケンス中で被写体輝度が変わることである。しかし、被写体の輝度変化が激しいときであるか否かは、ＡＥの制御値を見れば予想できることであるので、被写体輝度の変化が少ないときを選んで、ＯＢ段差量の算出を行うということも有効な手段である。
ＣＰＵ８は、各部の動作を制御する制御手段として、また、ＯＢ段差量その他を算出する演算手段として機能する。
【００４３】
【発明の効果】
請求項１および１１記載の映像信号処理方法および処理装置においては、異なる露光量の２フレーム以上の輝度信号レベルから、ＯＢ段差量を算出し、その段差を補正することができる。
【００４４】
請求項２および１２記載の映像信号処理方法および処理装置においては、請求項１または１１記載の発明において、ＯＢ段差補正量の算出を定常的に行うことで、ソフト制御の簡略化を図ることができ、また、タイムリーにＯＢ段差の補正をすることが可能となる。
【００４５】
請求項３および１３記載の映像信号処理方法および処理装置においては、請求項１または１１記載の発明において、ＯＢ段差補正量の算出を定期的に行うことで、必要に応じ、効率的にＯＢ段差の補正をすることが可能となる。
【００４６】
請求項４および１４記載の映像信号処理方法および処理装置においては、請求項１または１４記載の発明において、ＯＢ段差補正量の算出をフォーカス動作時に限定して行うことで、画角が変わり難い状況でＯＢ段差量の算出を行うことができ、より正確なＯＢ段差補正量算出のためのデータを採取することができる。
【００４７】
請求項５および１５記載の映像信号処理方法および処理装置においては、請求項１または１１記載の発明において、ＯＢ段差補正量の算出を自動露出制御値の変化の少ないときに限定して行うことで、輝度変化の変わり難い状況でＯＢ段差量の算出を行うことができ、より正確なＯＢ段差補正量算出の為のデータを採取することができる。
【００４８】
請求項６および１６記載の映像信号処理方法および処理装置においては、ＯＢ段差補正量算出中に、輝度変化があったことを判定する手段をもっていることで、より正確なＯＢ段差補正量算出の為のデータを採取することができる。
【００４９】
請求項７および１７記載の映像信号処理方法および処理装置においては、ＯＢ段差補正によって減算された信号レベルに、減算した量から算出された所定の利得を映像信号に掛けることで必要な利得が得られるようにしたことで、ホワイトバランスを崩すことなく、また、低輝度部分から、ハイライト部まで、正確な色を再現することができる。
【００５０】
請求項８および１８記載の映像信号処理方法および処理装置においては、請求項７または１７記載の発明において、映像信号に掛けられたゲインによって増幅してしまうノイズを、画像補正係数を調整することで、目立たなくすることができる。
【００５１】
請求項９および１９記載の映像信号処理方法および処理装置においては、ＯＢ段差補正量を算出する際、適正露光量に対して、逸脱した露光時間で露光をする必要があるが、変化させた露光時間をもとに、後段のゲイン調整回路で所定のゲインを掛けることで、出力信号としては一定レベルを保つことができる。
【００５２】
請求項１０および２０記載の映像信号処理方法および処理装置においては、動画記録の際、記録開始からＯＢ段差補正量の算出シーケンスを止めることで、記録画像に不快な部分を残さないようにすることができる。
【図面の簡単な説明】
【図１】本発明にかかる映像信号処理方法および映像信号処理装置を実施するための回路例を示すブロック図である。
【図２】一般的なＣＣＤ撮像デバイスの露光時間に対する出力輝度レベルの関係の例を示すグラフである。
【図３】本発明の一実施形態である定期的演算の例を示すタイミングチャートである。
【図４】上記定期的演算の場合の、露光時間対ＣＣＤ出力輝度レベルの関係の例を示すグラフである。
【図５】本発明の別の実施形態である定常的演算の例を示すタイミングチャートである。
【図６】上記定常的演算の場合の、露光時間対ＣＣＤ出力輝度レベルの関係の例を示すグラフである。
【図７】上記定常的演算における露光時間対ＣＣＤ出力輝度レベルの関係の例を示すグラフであって、ＯＢ段差量が大きく変化した場合の例を示すグラフである。
【図８】本発明の別の実施形態である限定的演算の例を示すタイミングチャートである。
【図９】ハイライト部分を含む被写体の例を示す撮影視野図である。
【図１０】ＯＢ段差がない場合に、ハイライト部分を含む被写体を撮影したときの、各部の信号レベルの例を示すグラフである。
【図１１】ＯＢ段差がある場合に、ハイライト部分を含む被写体を撮影したときの、各部の信号レベルの例を示すグラフである。
【図１２】ＯＢ段差がある場合に、ハイライト部分を含む被写体を撮影し、Ｒ，Ｇ，Ｂの各ゲインを補正したときの、各部の信号レベルの例を示すグラフである。
【図１３】インターレーススキャンタイプＣＣＤを用いたデジタルスチルカメラで静止画を記録する場合のＯＢ段差補正の例を示すタイミングチャートである。
【図１４】上記ＯＢ段差補正を行った場合の露光時間対ＣＣＤ出力輝度レベルの関係を示すグラフである。
【図１５】デジタルスチルカメラで、長秒時露光における、減算すべき記録時のＯＢ段差補正値を求める動作の例を示すタイミングチャートである。
【符号の説明】
１ 二次元ＣＣＤ撮像デバイス
２ 相関二重サンプリング回路
３ ＡＧＣ回路
８ 制御手段としてのＣＰＵ
９ ＯＢクランプ回路
１２ ＲＧＢ補間回路
１３ ＯＢ段差補正回路
１５ 利得補正回路

Claims (20)

1. 二次元ＣＣＤ撮像デバイスに対する光入力がないときの電気的出力レベルであるオプティカル黒レベルと、映像信号の黒レベルとの差である黒レベル段差（以下「ＯＢ段差」という）を補正するために、上記二次元ＣＣＤ撮像デバイスの適正露光時間およびそれとは異なる遮光しない状態の露光時間で露光した少なくとも２フレーム以上の輝度信号レベルと、上記撮像デバイス固有の露光時間と、輝度信号レベルの傾き係数からＯＢ段差量を算出し、信号処理回路の入力段でＯＢ段差を補正することを特徴とする映像信号処理方法。
2. 上記ＯＢ段差量の算出を機器の電源投入直後から定常的に行い、それぞれのフレームで得られたＯＢ段差量を積算し、採取したフレーム数で割った値をもって補正値とすることを特徴とする請求項１記載の映像信号処理方法。
3. 上記ＯＢ段差量の算出を、機器の電源投入直後と、ある一定時間をおいて定期的に行い、それぞれのフレームで得られたＯＢ段差量を積算し、採取したフレーム数で割った値をもって補正値とすることを特徴とする請求項１記載の映像信号処理方法。
4. 補正値の算出を、フォーカス動作のときに限定して行うことを特徴とする請求項１、２または３記載の映像信号処理方法。
5. 補正値の算出を、自動露出制御値の変化の少ないときに行うことを特徴とする請求項１、２または３記載の映像信号処理方法。
6. ＯＢ段差量を算出した結果が、前回算出した結果と著しく異なり、予め設定された閾値を超えるような結果になったときは、この結果を積算対象から除外するべく制御することを特徴とする請求項２、３、４または５記載の映像信号処理方法。
7. 得られたＯＢ段差補正値をもとに映像信号を信号処理回路の入力段で補正する際、ＯＢ段差補正値に応じて信号処理回路内ＯＢクランプ回路次段の利得調整回路で、必要分の利得を補正するようにしたことを特徴とする請求項２、３、４または５記載の映像信号処理方法。
8. 利得補正量に応じて増加するランダムノイズを目立たなくするために、画像補正係数を調整することを特徴とする請求項７記載の映像信号処理方法。
9. ＯＢ段差量を算出するために適正露光時間とは異なる露光時間で露光した際、輝度レベルが適正露光で露光したときの輝度レベルになるように、映像信号処理回路後段の利得調整回路で輝度レベルを補正することを特徴とする請求項１記載の映像信号処理方法。
10. ＯＢ段差の補正を行うことができ、かつ動画撮影が可能なデジタルスチルカメラにおいて、実際の記録の際には、自動的に記録操作前の補正値で固定し、記録動作後、元の制御に戻ることを特徴とする請求項２、３、４または５記載の映像信号処理方法。
11. 二次元ＣＣＤ撮像デバイスに対する光入力がないときの電気的出力レベルであるオプティカル黒レベルと、映像信号の黒レベルとの差である黒レベル段差を補正するために、上記二次元ＣＣＤ撮像デバイスの適正露光時間およびそれとは異なる遮光しない状態の露光時間で露光した少なくとも２フレーム以上の輝度信号レベルと、上記撮像デバイス固有の露光時間と、輝度信号レベルの傾き係数からＯＢ段差量を算出し、信号処理回路の入力段でＯＢ段差を補正するＯＢ段差補正回路を有することを特徴とする映像信号処理装置。
12. ＯＢ段差補正回路は、ＯＢ段差量の算出を機器の電源投入直後から定常的に行い、それぞれのフレームで得られたＯＢ段差量を積算し、採取したフレーム数で割った値をもって補正値とすることを特徴とする請求項１１記載の映像信号処理装置。
13. ＯＢ段差補正回路は、ＯＢ段差量の算出を、機器の電源投入直後と、ある一定時間をおいて定期的に行い、それぞれのフレームで得られたＯＢ段差量を積算し、採取したフレーム数で割った値をもって補正値とすることを特徴とする請求項１１記載の映像信号処理装置。
14. ＯＢ段差補正回路は、補正値の算出を、フォーカス動作のときに限定して行うことを特徴とする請求項１１、１２または１３記載の映像信号処理装置。
15. ＯＢ段差補正回路は、補正値の算出を、自動露出制御値の変化の少ないときに行うことを特徴とする請求項１１、１２または１３記載の映像信号処理装置。
16. ＯＢ段差量を算出した結果が、前回算出した結果と著しく異なり、予め設定された閾値を超えるような結果になったときは、この結果を積算対象から除外するべくＯＢ段差補正回路を制御する制御手段を有することを特徴とする請求項１２、１３、１４または１５記載の映像信号処理装置。
17. 得られたＯＢ段差補正値をもとに映像信号を信号処理回路の入力段で補正する際、ＯＢ段差補正値に応じて必要分の利得を補正する利得調整回路を、信号処理回路内ＯＢクランプ回路次段に有することを特徴とする請求項１２、１３、１４または１５記載の映像信号処理装置。
18. 利得補正量に応じて増加するランダムノイズを目立たなくするために、画像補正係数を調整する手段を有することを特徴とする請求項１７記載の映像信号処理装置。
19. ＯＢ段差量を算出するために適正露光時間とは異なる露光時間で露光した際、輝度レベルが適正露光で露光したときの輝度レベルになるように、輝度レベルを補正する利得調整回路を、映像信号処理回路後段に有することを特徴とする請求項１１記載の映像信号処理装置。
20. ＯＢ段差の補正を行うことができ、かつ動画撮影が可能なデジタルスチルカメラにおいて、実際の記録の際には、自動的に記録操作前の補正値で固定し、記録動作後、元の制御に戻す制御手段を有することを特徴とする請求項１２、１３、１４または１５記載の映像信号処理装置。

Images