JP4719505B2 - 映像信号処理装置及び映像信号処理方法 - Google Patents

Description

本発明は、オプティカルブラック段差補正が可能な映像信号処理装置及び映像信号処理方法に関するものである。

一般にレンズ系と撮像素子とを有する撮像装置においては、例えばレンズ系による周辺光量落ちなどによって撮像される画像にシェーディングなどの障害が発生する恐れがある。このような障害に対しては、例えばレンズ系を多枚数で設計して障害の発生を防止することも行われるが、このような多枚数で設計されるレンズ系は高価であり、コンパクトカメラ等には採用が困難な場合が多い。

一方、例えば半導体撮像素子を用いる機器のように信号の取り出しがＸＹ座標に従って行われる場合には、取り出された映像信号に対するデジタル処理によって画像を補正することができる。そこで従来から、例えば安価なレンズ系で撮像したために生じる歪みや、周辺光量落ち、色にじみ等のレンズシェーディングをデジタル補正する技術が提案されている。例えば特許文献１では、一般にレンズシェーディングはレンズ系光軸から補正画素までの距離の関数になっていると考えられるため、いわゆるピタゴラスの定理を利用したｄ＝√（Ｘ＾２＋Ｙ＾２）でレンズ系光軸から補正画素までの距離ｄを計算して、レンズ系光軸から補正画素までの距離の関数であるシェーディング係数を各補正画素に適用して補正を実施する技術が提案されている。

このようなシェーディング補正を適用する際には、各画素のＯＢ（オプティカルブラック）段差を先に補正することで、ＯＢ段差をシェーディング補正により過補正しないようにすることが一般的である。

また、ＷＢ（ホワイトバランス）検出のような処理も、ＯＢ段差が存在すると正しく検出できないため、各画素のＯＢ段差を先に補正することが一般的である。

そのため、ＯＢレベルを検出してＯＢ段差を補正する方法としては、被写体確認のために撮像素子から画素間引きしながら連続フィールドを読み出して映像信号を処理する「モニタモード（ＥＶＦ）」においては、図１３のように前のフィールドのＯＢレベル検出結果を用いてＯＢ段差を補正し、記録画像撮影のために撮像素子から全画素を単写もしくは連写で読み出して映像信号を処理する「静止画像モード（本画像）」においては、図１３のように撮像素子から映像信号を読み出す際にＯＢレベルを検出し、その映像信号を一旦メモリに保持して、映像信号をメモリから読み出す際に，ＯＢ段差を補正するのが一般的である。

特開２００４−２６６７５０号公報

しかしながら、上記のように静止画撮影モードにおいてＯＢ段差を補正するために映像信号を一旦メモリに保持してまた読み出すという処理をすると、次の撮影までの間隔が長くなってしまい、ユーザのストレスやシャッターチャンスの喪失などにつながってしまう。

そこで、本発明の目的は、映像信号を一旦メモリに保存することなくオプティカルブラック段差の補正を行うことを可能とし、次の撮影までの間隔を短くすることにある。

本発明の映像信号処理装置は、映像信号領域とオプティカルブラック領域とを有する撮像素子と、前記撮像素子から読み出した第１の映像信号における前記オプティカルブラック領域の出力から、前記第１の映像信号のオプティカルブラックレベルを検出する検出手段と、前記撮像素子から読み出した、前記第１の映像信号よりも画素数の多い第２の映像信号に対して、オプティカルブラックレベルの補正を行う補正手段とを有し、前記補正手段は、前記第１の映像信号を読み出した後に前記第２の映像信号を読み出すものであって、少なくともシャッタ秒時および感度のいずれかを前記第２の映像信号を読み出すときのパラメータにあわせて前記第１の映像信号を生成して読み出し、前記検出手段により検出された前記第１の映像信号のオプティカルブラックレベルに基づいて、前記第２の映像信号のオプティカルブラックレベルを補正することを特徴とする。

本発明によれば、検出されたオプティカルブラックレベルに基づいて、そのオプティカルブラックレベルが検出されたオプティカルブラック領域以降に出力される映像信号を補正するように構成したので、映像信号を一旦メモリに保存することなくオプティカルブラック段差の補正を行うことが可能となり、次の撮影までの間隔を短くすることができる。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る映像信号処理装置を説明するための、概略ブロック図である。図1において、１００は映像信号処理装置である。なお、映像信号処理装置の一例として電子カメラ等が挙げられる。

１０は撮影像を光学的に結像させる撮像レンズ、１１は撮影像の露出を調節するシャッタ、１２は撮影像をアナログの電気信号に変換する撮像素子、１４は撮像素子１２のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。ここで、Ａ／Ｄ変換器１４から出力されたデジタルデータを、以下ではＣＣＤ−ＲＡＷデータと称す。

１６はＤ／Ａ変換器、１８はＴＦＴ ＬＣＤ等からなる画像表示部である。メモリ４０に書き込まれた表示用の画像データはＤ／Ａ変換器１６を介してデジタルデータからアナログデータに変換され、画像表示部１８により表示される。また、撮像素子１２から映像信号を連続的に読み出し、画像表示部１８に表示することで、電子ビューファインダ機能を実現する。

２０はメモリカードやハードディスク等の記録媒体であり、撮影された画像データ等は記録媒体２０に記録される。

３０は画像処理回路であり、撮影、あるいは記録されたＣＣＤ−ＲＡＷデータに対してＷＢ補正処理や所定の画素補間処理や色変換処理等の現像処理やリサイズ処理を行う。

４０はＲＯＭ９６のデータを展開したり撮影した画像データを一時的に格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記録容量備えている。例えば、Ａ／Ｄ変換器１４から出力された画像のデジタルデータがメモリ制御回路５０、画像処理回路３０、ＪＰＥＧ回路６０を介して、あるいは直接メモリ制御回路５０を介して、メモリ４０に書き込まれる。

５０はメモリ制御回路であり、Ａ／Ｄ変換器１４、Ｄ／Ａ変換器１６、記録媒体２０、画像処理回路３０、メモリ４０、ＪＰＥＧ回路６０、ＯＢ検出回路７０、ＯＢ補正回路７２、シェーディング補正回路７４、ＷＢ検出回路へのデータフローを制御する。

６０はベースラインＪＰＥＧ方式により画像データを圧縮・伸長するＪＰＥＧ回路である。

７０は、ＯＢ（オプティカルブラック）レベルを検出するＯＢ検出回路である。撮像素子のカラーフィルタ配列に応じて、例えばＲ／Ｇ／Ｂ各色毎に映像信号を積分することでＯＢレベルを検出する。

７２は、映像信号からＯＢ検出回路７０のＯＢレベルをクランプしてＯＢ段差補正をするＯＢ補正回路である。

７４は、シェーディング補正回路である。映像信号に光学中心からの距離に応じたシェーディング補正係数を乗算する。また、本発明においてはこれに限らず、例えば、水平座標に応じたシェーディング補正係数や垂直座標に応じたシェーディング補正係数を乗算するようにしても良いし、２次元座標に応じたシェーディング補正係数を乗算するように構成しても構わない。

７６は、ＷＢ（ホワイトバランス）検出回路である。９０はモードダイアルスイッチ９２による設定に従い、またＲＯＭ９６（読み出し専用メモリ）に格納された内容に従い、撮像装置１００全体及び撮像装置１００を構成する各回路の動作制御を行うシステム制御回路である。

９２は操作部で、例えば、電源オフ、撮影モード、再生モード等の各機能モードを切り替え設定をすることができる。９６は読み出し専用メモリ（ＲＯＭ）で、システム制御回路５０が使用するプログラム及び、シェーディング補正回路７２が使うシェーディング補正係数等が予め記憶されている。

以下、図２から図６を用いて本発明の第１の実施形態における映像信号処理装置の動作について説明する。

図３は、撮像素子１２から読み出される信号の映像信号領域、ＯＢ領域と、画像表示部１８に適合する程度のものとして選択された比較的少ない画素からの映像信号を読み出すように駆動するＥＶＦから、撮像素子の全画素若しくは比較的多い画素からの映像信号を読み出すように駆動する本画像撮影に移行する様子を説明するための図である。図中、３０１の矩画像形が映像信号領域で、その周りの斜線の領域３０２がＯＢ領域である。ＶＤは垂直同期タイミング信号である。本画像のＯＢレベルはＯＢ検出回路７０により破線の矩形３０３の領域から検出される。

図４は、図３の処理を説明するためのタイミングチャートである。Ｔ＝ｔ０〜ｔ１では、ＥＶＦ処理によりＥＶＦを表示する。Ｔ＝ｔ１〜ｔ２では、本画像の露光を実施する。Ｔ＝ｔ２〜ｔ３では、本画像の読み出しを実施する。その際、図３の破線矩形３０３で示した垂直ＯＢ領域からＯＢ検出回路７０によりＯＢレベルを検出し、それ以降読み出される映像信号に対してＯＢ補正回路７２によりＯＢ段差補正を実施する。そのＯＢ段差補正された映像信号をシェーディング補正回路７４によりシェーディング補正する。また、ＯＢ段差補正された映像信号からＷＢ検出回路７６によりＷＢを検出する。

ＯＢ検出方法としては本画像の垂直ＯＢ領域を利用する方法を説明したが、本発明においてはこれに限らず、例えば、図５、図６にあるように、本画像の水平ＯＢ領域からラインごとにＯＢレベルを検出してこれによりＯＢ補正を実施するようにしても構わない。

図２は、図３、図４の処理にかかわるシステム制御回路９０の制御を説明するためのフローチャートである。

ＥＶＦ動作中（ステップＳ１０）にユーザによりレリーズボタンが押されると（ステップＳ１２）、本画像撮影が開始される。本画像を露光し（ステップＳ１４）、所定のシャッタ秒時でシャッタを閉じ（ステップＳ１６）、撮像素子１２に結像された映像信号を読み出す（ステップＳ１８）。読み出された映像信号に対して、図３から図６で説明した手順でＯＢ検出、ＯＢ段差補正、シェーディング補正、ＷＢ検出を行う（ステップＳ２０）。

＜第２の実施形態＞
本発明の第２の実施形態における映像信号処理装置を説明するための概略ブロック図は、図１と同じである。以下、図７から図１２を用いて本発明の第２の実施形態における映像信号処理装置の動作について説明する。

図８は、撮像素子１２から読み出される信号の映像信号領域、ＯＢ領域と、ＥＶＦから本画像撮影に移行する様子を説明するための図である。図中、８０１の矩形が映像信号領域で、その周りの斜線の領域８０２がＯＢ領域である。ＶＤは垂直同期タイミング信号である。本画像のＯＢレベルはＯＢ検出回路７０により破線の矩形８０３の領域から検出される。

図９は、図８の処理を説明するためのタイミングチャートである。Ｔ＝ｔ０〜ｔ１では、ＥＶＦ処理によりＥＶＦを表示する。また、図８の破線矩形８０３で示される領域からＯＢ検出回路７０によりＯＢレベルを検出する。ＥＶＦ動作中も直前のフィールドでＯＢ検出されその検出ＯＢレベルによりＯＢ段差補正がなされるが、ＯＢ検出はＯＢ段差補正前のＯＢ領域信号を用いて行われる。

Ｔ＝ｔ１〜ｔ２では、本画像の露光を実施する。その際、直前のフィールドのＥＶＦ処理におけるシャッタ秒時、感度、及び本画像露光時のシャッタ秒時、感度等のパラメータを用いて、直前のＥＶＦによるＯＢ検出結果から本画像のＯＢレベルを算出する。Ｔ＝ｔ２〜ｔ３では、本画像の読み出しを実施する。読み出された映像信号は、算出されたＯＢレベルを用いて、ＯＢ補正回路７２によりＯＢ段差補正される。そのＯＢ段差補正された映像信号をシェーディング補正回路７４によりシェーディング補正する。また、ＯＢ段差補正された映像信号からＷＢ検出回路７６によりＷＢを検出する。

図７は、図８、図９の処理にかかわるシステム制御回路９０の制御を説明するためのフローチャートである。

ＥＶＦ動作中（ステップＳ１００）にユーザによりレリーズボタンが押されると（ステップＳ１０２）、本画像撮影が開始される。本画像を露光しつつ、ＥＶＦのＯＢ検出値から本画像のＯＢレベルを算出する（ステップＳ１０４）。その後、所定のシャッタ秒時でシャッタを閉じ（ステップＳ１０６），撮像素子１２に結像された映像信号を読み出す（ステップＳ１０８）。読み出された映像信号に対して、図８から図９で説明した手順でＯＢ段差補正、シェーディング補正、ＷＢ検出を行う（ステップＳ１１０）。

上記の方法だけに限らず、他の実施形態として、以下のようにして本画像のＯＢレベルを得ても構わない。

図１１は、撮像素子１２から読み出される信号の映像信号領域、ＯＢ領域と、ＥＶＦから本画像撮影に移行する様子を説明するための図である。図中、１１０１の矩形が映像信号領域で、その周りの斜線の領域１１０２がＯＢ領域である。ＶＤは垂直同期タイミング信号である。本画像のＯＢレベルはＯＢ検出回路７０により破線の矩形１１０３の領域から検出される。

図１２は、図１１の処理を説明するためのタイミングチャートである。Ｔ＝ｔ０までは、ＥＶＦ処理によりＥＶＦを表示する。Ｔ＝ｔ０〜ｔ１では、シャッタ秒時、感度等のパラメータを本画像処理にあわせてＥＶＦ読み出しをして、図１１の点線矩形で示される領域からＯＢ検出回路７０によりＯＢ検出し、ＥＶＦは表示しない。ＥＶＦ動作中も直前のフィールドでＯＢ検出されその検出ＯＢレベルによりＯＢ段差補正がなされるが、ＯＢ検出はＯＢ段差補正前のＯＢ領域信号を用いて行われる。

Ｔ＝ｔ１〜ｔ２では、本画像の露光を実施する。Ｔ＝ｔ２〜ｔ３では、本画像の読み出しを実施する。読み出された映像信号は、直前のＥＶＦ処理で検出されたＯＢレベルを用いて、ＯＢ補正回路７２によりＯＢ段差補正される。そのＯＢ段差補正された映像信号をシェーディング補正回路７４によりシェーディング補正する。また、ＯＢ段差補正された映像信号からＷＢ検出回路７６によりＷＢを検出する。

図１０は、図１１、図１２の処理にかかわるシステム制御回路９０の制御を説明するためのフローチャートである。

ＥＶＦ動作中（ステップＳ２００）にユーザによりレリーズボタンが押されると（ステップＳ２０２）、ＥＶＦ動作のままシャッタ秒時、感度等のパラメータを本画像とあわせてＯＢ検出される（ステップＳ２０４）。続いて本画像撮影が開始される。本画像を露光し（ステップＳ２０６）、所定のシャッタ秒時でシャッタを閉じ（ステップＳ２０８）、撮像素子１２に結像された映像信号を読み出す（ステップＳ２１０）。読み出された映像信号に対して、図１１から図１２で説明した手順でＯＢ段差補正、シェーディング補正、ＷＢ検出を行う（ステップＳ２１２）。

以上のように、上記実施形態によれば、本画像のセンサからの読み出し中にＯＢ段差補正を実施することで、センサ読み出し中に本画像のＯＢ段差補正と輝度シェーディング補正、ＷＢ検出等の処理を重ねることが可能となり、次の撮影までの間隔を短くすることが出来る。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施形態に係る映像信号処理装置を説明するための概略ブロック図である。 本発明の第１の実施形態に係る映像信号処理装置のシステム制御回路の動作を説明するためのフローチャートである。 本発明の第１の実施形態に係る映像信号処理装置の動作を説明するためのセンサ読み出しイメージ図である。 本発明の第１の実施形態に係る映像信号処理装置の動作を説明するためのタイミングチャートである。 本発明の第１の実施形態に係る映像信号処理装置の動作を説明するためのセンサ読み出しイメージ図である。 本発明の第１の実施形態に係る映像信号処理装置の動作を説明するためのタイミングチャートである。 本発明の第２の実施形態に係る映像信号処理装置のシステム制御回路の動作を説明するためのフローチャートである。 本発明の第２の実施形態に係る映像信号処理装置の動作を説明するためのセンサ読み出しイメージ図である。 本発明の第２の実施形態に係る映像信号処理装置の動作を説明するためのタイミングチャートである。 本発明の他の実施形態に係る映像信号処理装置のシステム制御回路の動作を説明するためのフローチャートである。 本発明の他の実施形態に係る映像信号処理装置の動作を説明するためのセンサ読み出しイメージ図である。 本発明の他の実施形態に係る映像信号処理装置の動作を説明するためのタイミングチャートである。 従来技術における映像信号処理装置の動作を説明するためのセンサ読み出しイメージ図である。

符号の説明

１０：撮影レンズ
１１：シャッタ
１２：撮像素子
１４：Ａ／Ｄ変換器
１６：Ｄ／Ａ変換器
１８：画像表示部
２０：記録媒体
３０：画像処理回路
４０：メモリ
５０：メモリ制御回路
６０：ＪＰＥＧ回路
７０：ＯＢ検出回路
７２：ＯＢ段差補正回路
７４：輝度シェーディング補正回路
７６：ＷＢ検出回路
９０：システム制御回路
９２：操作部
９６：メモリ（ＲＯＭ）
１００：撮像装置

Claims (4)

1. 映像信号領域とオプティカルブラック領域とを有する撮像素子と、
   前記撮像素子から読み出した第１の映像信号における前記オプティカルブラック領域の出力から、前記第１の映像信号のオプティカルブラックレベルを検出する検出手段と、
   前記撮像素子から読み出した、前記第１の映像信号よりも画素数の多い第２の映像信号に対して、オプティカルブラックレベルの補正を行う補正手段とを有し、
   前記補正手段は、前記第１の映像信号を読み出した後に前記第２の映像信号を読み出すものであって、少なくともシャッタ秒時および感度のいずれかを前記第２の映像信号を読み出すときのパラメータにあわせて前記第１の映像信号を生成して読み出し、前記検出手段により検出された前記第１の映像信号のオプティカルブラックレベルに基づいて、前記第２の映像信号のオプティカルブラックレベルを補正することを特徴とする映像信号処理装置。
2. 前記補正手段にてオプティカルブラックレベルが補正された第２の映像信号に対して、シェーディング補正を行うシェーディング補正回路を有することを特徴とする請求項１に記載の映像信号処理装置。
3. 少なくともシャッタ秒時および感度のいずれかを、第１の映像信号よりも画素数の多い第２の映像信号を読み出すときのパラメータにあわせて、前記第１の映像信号を生成して読み出す第１の読み出し工程と、
   前記第１の映像信号におけるオプティカルブラック領域の出力から、前記第１の映像信号のオプティカルブラックレベルを検出する検出工程と、
   撮像素子から前記第２の映像信号を読み出す第２の読み出し工程と、
   前記検出工程において検出された前記第１の映像信号のオプティカルブラックレベルに基づいて、前記第２の映像信号のオプティカルブラックレベルを補正する補正工程と、を有することを特徴とする映像信号処理方法。
4. 少なくともシャッタ秒時および感度のいずれかを、第１の映像信号よりも画素数の多い第２の映像信号を読み出すときのパラメータにあわせて、前記第１の映像信号を生成して読み出す第１の読み出し工程と、
   前記第１の映像信号におけるオプティカルブラック領域の出力から、前記第１の映像信号のオプティカルブラックレベルを検出する検出工程と、
   撮像素子から前記第２の映像信号を読み出す第２の読み出し工程と、
   前記検出工程において検出された前記第１の映像信号のオプティカルブラックレベルに基づいて、前記第２の映像信号のオプティカルブラックレベルを補正する補正工程とをコンピュータに実行させるためのプログラム。

Images