JP5544285B2 - 画像信号処理装置及び画像信号処理方法 - Google Patents

Description

本発明は、画像信号処理装置及び画像信号処理方法に関する。

本技術分野の背景技術として、例えば、特開２０１０−２７３３７８号公報（特許文献１）がある。該公報には、「[課題]ノイズリダクションを行う際、暗電流ノイズが発生しても精度の良い欠陥検出を行うこと、また暗電流ノイズの増加による撮像ダイナミックレンジの低下をできるだけ防ぐことが可能な撮像装置、該撮像装置によるノイズ除去方法およびノイズ除去プログラムを提供すること。[解決手段]被写体を撮像するための複数の画素を有する撮像手段と、非遮光状態で得られる明時信号を取得する明時信号取得手段と、遮光状態で得られる暗時信号を取得する暗時信号取得手段と、得られる明時信号または暗時信号を増幅する第１の増幅手段と、取得された明時信号から取得された暗時信号を減算して減算信号を出力する減算手段と、減算された減算信号を増幅する第２の増幅手段と、明時信号を取得する際の撮像条件を取得する撮像条件取得手段と、取得した撮像条件に基づいて、第１の増幅手段及び第２の増幅手段のゲインを変更するゲイン補正手段を備える。」と記載されている（要約参照）。

特開２０１０−２７３３７８号公報

例えば一般的なデジタルカメラやデジタルビデオカメラなどの撮像装置には、入射光を光電変換する撮像素子が使用されている。撮像素子には、出力特性が異なる画素や、異常に高い信号を出力する画素、いわゆる白キズが存在する。そのため、撮像素子が出力した信号をそのまま用いると画質に悪影響を及ぼす。デジタルカメラやデジタルビデオカメラの高画質化には、これらのキズを補正する手段が必要となる。

このようなキズを補正するための一般的なノイズリダクション技術としては、以下のようなものがある。まずシャッタを閉じた状態で撮影を行い、暗画像をメモリに保存しておき、次にシャッタを開いた状態で通常の撮影を行って明画像を得る。得られた明画像から暗画像を減算することで、ノイズリダクションを実現する。ただし、この手法では、明画像の飽和している画素の補正を精度よく行うことができない上に、撮影のたびに暗画像及び明画像の2枚の画像を撮影しなければならず、消費電力が増加する。

特許文献１（特開２０１０−２７３３７８号公報）では、ノイズリダクションを行う際、明時信号及び暗時信号及び明時信号から暗時信号を減算した信号のゲインを温度に応じて変更することで暗電流ノイズが発生しても精度のよい欠陥検出を行う撮像装置を提案している。しかし、温度が上昇した場合は、ゲインの制御によるノイズ発生量及び質の変動が大きいため、温度の変化に伴って増減するキズを精度よく補正するのに不十分になることがある。

そこで、本発明は、温度の変化に伴って増減するキズを精度よく補正する画像信号処理装置及び画像信号処理方法の提供を目的とする。例えば、温度に応じてキズ検出のための閾値を制御することで、キズを高精度に補正する画像信号処理装置及び画像信号処理方法を提供する。これにより、ノイズを低減することが可能であり、例えば、エンコード時にビットレートを抑えることが期待できる。

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。

本発明によれば、撮像素子において温度の変化に伴って増減するキズを精度よく補正することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明における基本構成の一例を説明する図 キズ補正部１０２がキズを検出する方法の一例を説明する図 本実施例のキズ補正制御の一例を示す図 ステップＳ３０３（図３）で、温度計測部１０５から得られる温度情報と、温度情報及び閾値が対応づけられた温度-閾値テーブルを用いてキズ検出のための閾値を制御する処理の流れの一例を示す図 ステップＳ３０４（図３）で、温度計測部１０５から得られる温度情報に応じてキズ検出時の露光時間を制御する処理の流れの一例を示す図 温度計測部１０５から得られる温度情報が不正である場合の処理の一例を示す図 検出したキズの個数に応じて、キズの再検出を行うか否かを判定する処理の流れの一例を示す図 画像信号処理装置への電源供給が開始してから出画されるまでの間にキズ検出を行う処理の流れの一例を示す図

以下、本発明の実施形態を図面を用いて説明する。

本発明における実施例について詳細に説明する。図１は、本発明における基本構成の一例を説明する図である。撮像部１０１は、被写体からの入射光の光量を調整する絞り、該絞りを通った光を集めるためのレンズ、該レンズが集めた光を光電変換し画像信号として出力する撮像素子などで構成される。キズ補正部１０２は、撮像部１０１からの画像信号に含まれるキズを検出し、それらを補正する。画像信号補正部１０３は、キズ補正部１０２からの画像信号に対して画像信号補正処理を行う。画像出力部１０４は、画像信号補正部１０３からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、画像信号補正部１０３からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。なお、本実施例では画像信号補正部と画像信号処理を行う画像出力部を個別に図示しているが、画像信号補正部が画像出力部の一部に含まれていても構わない。温度計測部１０５は、撮像素子周辺の温度を計測する。システム制御部１０６は、必要時に温度計測部から得た情報を用いて、撮像部１０１、キズ補正部１０２、画像信号補正部１０３、画像出力部１０４を制御する。

以上の構成により、温度の変化に伴って増減するキズを精度よく補正することができる。

図２は、キズ補正部１０２がキズを検出する方法の一例を説明する図である。横軸は画素を表わし、縦軸は各画素の輝度レベルを表わす。本実施例では、キズ検出用閾値と、各画素の輝度レベルを比較し、輝度レベルが閾値よりも大きい場合に、該画素を欠陥画素であると判定し、キズとして検出する。本手法により、いわゆる白キズを検出することができる。本手法は、キズが連続、隣接して発生していても検出が可能である。なお、その他の手段として、図示はしないが閾値と、注目画素もしくは周辺画素、またはその両方の輝度レベルから算出した評価値を比較し、該評価値が閾値よりも大きい場合に、該注目画素を欠陥画素であると判定し、キズとして検出しても良い。これにより、隣接画素との関係を用いてキズか否かを判定できるため、黒レベルが安定しないノイズの多い画像であっても、白キズを含む所望のキズを検出することができる。

図３は、本実施例のキズ補正制御の一例を示す図である。ステップＳ３０１で温度計測部１０５が撮像素子付近の温度を計測、取得し、システム制御部１０６はステップＳ３０２でＡＧＣを設定する。ステップＳ３０３では、システム制御部１０６はキズ検出のための閾値を設定し、ステップＳ３０４でシステム制御部１０６は露光時間を設定する。ステップＳ３０５では、キズ補正部１０２はキズの検出を行い、ステップＳ３０６でキズ補正部１０２はキズ補正を開始する。なお、ステップＳ３０２からステップＳ３０４までの処理は順序が異なっていても構わない。

図４は、ステップＳ３０３（図３）で、温度計測部１０５から得られる温度情報と、温度情報及び閾値が対応づけられた温度-閾値テーブルを用いてキズ検出のための閾値を制御する処理の流れの一例を示す図である。ここでは、キズを検出しやすくするため、露光時間を長く設定し、また、ある程度のＡＧＣのゲインをかけた状態でキズ検出するものとする。これは、露光時間を長くすることで、撮像素子付近の温度が低い状態でも、将来的に温度が上昇した際に目立つキズに成長する画素を検出しやすくなるためである。また、ＡＧＣは撮像素子付近の温度が高い状態で変化させると画質の変化が顕著になるため、ある程度にゲインを抑えておく。キズ検出処理が開始すると、ステップＳ４０１でシステム制御部１０６は、温度情報及び閾値が対応づけられた温度-閾値テーブルを参照する。このとき、該テーブルはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などに値を保存し、それを用いても構わない。ステップＳ４０２では、システム制御部１０６は、前記テーブル及び温度情報から図２に示した欠陥画素と判定する信号レベルを規定する閾値を算出し、算出した閾値をステップＳ４０３で設定し、処理を終了する。以上の様に温度によって閾値を制御することで、キズ検出個数が極端に多くならないよう抑制することができる。なお、閾値は、温度-閾値テーブルではなく、関数式と温度情報から算出しても構わない。関数式を用いる場合、温度と適正な閾値の関係を詳細に把握することが可能であり、かつ、テーブルとして保存しておく方法に比べて保持するデータを削減できる。

以上より、撮像素子付近の温度に応じてキズ検出のための閾値を制御することが可能であるため、温度に応じて増減するキズを精度よく補正することができる。

図５は、ステップＳ３０４（図３）で、温度計測部１０５から得られる温度情報に応じてキズ検出時の露光時間を制御する処理の流れの一例を示す図である。前述のように、キズを検出しやすくするために露光時間を長く設定するが、極度に温度が上昇した際に極端にキズの個数や大きさが増大することがある。その場合、キズ補正することによって画像劣化を招くことがある。この問題に対応するため、本実施例では、検出するキズの個数が極端に多くならないよう撮像素子付近の温度に応じて露光時間を制御する。ステップＳ５０１では、システム制御部１０６は、温度計測部１０５から得られた温度情報が閾値以上か否かを判定する。該温度情報が閾値以上の場合は、ステップＳ５０２で、システム制御部１０６は、温度情報及び閾値が対応づけられた温度-露光時間テーブルを参照する。このとき、該テーブル及び前記閾値はＥＥＰＲＯＭなどに値を保存し、それを用いても構わない。ステップＳ５０３では、システム制御部１０６は、前記テーブル及び温度情報から露光時間を算出し、算出した露光時間をステップＳ５０４で設定し、処理を終了する。ステップＳ５０１で、温度情報が閾値よりも小さい場合は、ステップＳ５０５で、システム制御部１０６は、露光時間の初期値を設定する。これにより、極度に温度が上昇した際に極端にキズの個数や大きさが増大することを抑制できる。なお、露光時間は、温度-露光時間テーブルではなく、関数式と温度情報から算出しても構わない。関数式を用いる場合、温度と適正な露光時間の関係を詳細に把握することが可能であり、かつ、テーブルとして保存しておく方法に比べて保持するデータを削減できる。

以上より、極度に温度が上昇した場合でも、キズ補正によって画像劣化することなく精度よくキズ補正することができる。

図６は、温度計測部１０５から得られる温度情報が不正である場合の処理の一例を示す図である。例えば、ビデオカメラのレンズに付属しており、基板上の抵抗と合成抵抗を取り、マイコンのADで温度情報として取得する種類の温度計測部を使用する場合、測定する温度にばらつきが発生することがある。また、故障、誤動作によって不正な値を出力することがある。このような場合に、温度に応じた設定値の自動制御を行うと、キズの検出個数が異常に増大するなど、精度よくキズを補正することができない。このような問題を回避するために、本実施例では温度計測部から得た温度情報が許容範囲であるか否かを検査し、その結果に応じてキズ検出条件を制御する。図６では、前記検査結果に応じてキズ検出のための閾値を制御する処理について説明する。ステップＳ６０１では、システム制御部１０６は、温度計測部１０５から得た温度情報が正常範囲であるか否かを判定する。このとき、正常範囲を示す温度の上限及び下限の値はＥＥＰＲＯＭに保存しておき、それを用いても構わない。温度が正常範囲内だった場合は、ステップＳ６０２でシステム制御部１０６は、キズ検出のための閾値の初期値を設定し、処理を終了する。温度が正常範囲外だった場合は、ステップＳ６０３で、システム制御部１０６は、正常範囲外の温度用の閾値の設定値を参照し、該参照値をステップＳ６０４でキズ検出のための閾値として設定する。このとき、正常範囲外の温度用の閾値の設定値をＥＥＰＲＯＭに保存し、それ用いても構わない。

以上により、温度計測部が故障、誤動作などによって不正な値を出力した場合でも、キズ補正によって画質が劣化することを回避することができる。

図７は、検出したキズの個数に応じて、キズの再検出を行うか否かを判定する処理の流れの一例を示す図である。キズを極度に多く検出、補正すると、本来キズが存在していなかった画素にキズ（ノイズ）を発生させるなどの弊害が発生することがある。本実施例では、キズの検出個数を制限することで、この問題に対応する。検出したキズの個数は、キズ補正部１０２が算出するものとする。ステップＳ７０１で温度計測部１０５が撮像素子付近の温度を計測、取得し、システム制御部１０６はステップＳ７０２でＡＧＣを設定する。ステップＳ７０３では、システム制御部１０６はキズ検出のための閾値を設定し、ステップＳ７０４でシステム制御部１０６は露光時間を設定する。ステップＳ７０５では、キズ補正部１０２はキズの検出を行い、ステップＳ７０６では、システム制御部１０６はキズ補正部１０２が算出した検出キズ個数を参照し、該検出キズ個数が許容範囲か否かを判定する。許容範囲内である場合は、ステップＳ７０７にて、キズ補正部１０２がキズ補正を開始し、処理を終了する。ステップＳ７０６で、前記検出キズ個数が許容範囲外である場合は、ステップＳ７０２に戻り、ＡＧＣまたは閾値または露光時間、またはそのうちの複数の設定を変えて再度キズ検出を行う。このとき、ＡＧＣ及び閾値及び露光時間の変化量はＥＥＰＲＯＭに保存しておき、それらを用いても構わない。前記変化量は、検出キズ個数と連動したものであっても良いし、定数であっても構わない。なお、ステップＳ７０２からステップＳ７０４までの処理は順序が異なっていても構わない。

以上により、キズを極度に多く検出、補正することによって、本来キズが存在していなかった画素にキズ（ノイズ）を発生させるなどの弊害を抑制することができる。

図８は、画像信号処理装置への電源供給が開始してから出画されるまでの間にキズ検出を行う処理の流れの一例を示す図である。キズを検出するには、アイリスを閉じるなどして遮光する必要があるが、例えばビデオカメラでは、ビデオカメラが一度記録可能な状態になってしまうと、遮光する機会がほとんどなくなるため、カメラ起動時にできるだけ多くのキズを検出することが重要となる。本実施例では、カメラ起動時にアイリスを閉じて露光時間を長くしてキズを検出することで、カメラ起動時にできるだけ多くのキズを検出する。ステップＳ８０１では、システム制御部１０６は、ＡＧＣ、キズ検出閾値、露光時間などの設定を行う。ステップＳ８０２では、システム制御部１０６は、アイリスを閉じるよう撮像部１０１に命令する。ステップＳ８０３では、キズ補正部１０２はキズの検出を行い、ステップＳ８０４では、システム制御部１０６は、アイリスを開けるよう撮像部１０１に命令し、ステップＳ８０５で出画される。

以上より、カメラ起動時にできるだけ多くのキズを検出できるため、本発明はカメラ起動直後からキズが補正された高画質の映像を提供可能であり、また、キズ検出のために起動後に遮光して映像の記録ができなくなる状態を作らずに済む。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１…撮像部、１０２…キズ補正部、１０３…画像信号補正部、１０４…画像出力部、１０５…温度計測部、１０６…システム制御部

Claims (6)

1. 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
   撮像素子の欠陥画素を検出する欠陥画素検出手段と、
   該欠陥画素検出手段で検出した欠陥画素の数を算出する算出手段と、
   該欠陥画素検出手段で検出した欠陥画素を補正する欠陥画素補正手段と、
   該欠陥画素補正手段からの信号に対して任意の領域ごとに画像信号補正を行う画像信号補正手段と、
   撮像素子付近の温度を計測する温度計測手段と、
   画像信号処理システムを統括して制御するシステム制御手段と、を具備し、
   前記システム制御手段は、
   前記温度計測手段から得た温度情報が許容範囲内である場合は、欠陥画素検出閾値を上げる制御およびゲイン制御を抑制する制御、もしくは、欠陥画素検出閾値を上げる制御またはゲイン制御を抑制する制御のうち何れか一方の制御を行うことで補正する欠陥画素の数を許容可能な数以下に保ち、
   前記温度計測手段から得た温度情報が許容範囲外である場合は、正常範囲外の温度用の設定値である欠陥画素検出閾値を用いて欠陥画素を検出し、検出した欠陥画素を補正するように前記欠陥画素検出手段を制御する、
   ことを特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において、
   前記欠陥画素検出手段が欠陥画素を検出する際の検出条件を算出する関数式を保持し、
   前記関数式及び、前記温度計測手段から得られる温度情報を用いて、欠陥画素を検出する際の前記検出条件を算出し、
   該検出条件を用いて前記欠陥画素検出手段が欠陥画素の検出を行うこと、
   を特徴とする画像信号処理装置。
3. 請求項１に記載の画像信号処理装置において、
   前記欠陥画素検出手段が欠陥画素を検出する際の検出条件及び、前記温度計測手段から得られる温度情報を対応づけた情報をテーブルとして保持し、
   該テーブル情報と前記温度計測手段から得られた温度情報を用いて、欠陥画素を検出する際の前記検出条件を算出し、
   該検出条件を用いて前記欠陥画素検出手段が欠陥画素の検出を行うこと、
   を特徴とする画像信号処理装置。
4. 請求項１から請求項３のいずれかに記載の画像信号処理装置において、
   前記システム制御手段は、前記欠陥画素数算出手段から得られた欠陥画素数に応じて、検出される欠陥画素の数が許容可能な数以下になるように再度欠陥画素の検出を行うべく欠陥画素を検出するための設定を見直すこと、
   を特徴とする画像信号処理装置。
5. 請求項１から請求項４のいずれかに記載の画像信号処理装置において、
   前記欠陥画素検出手段による欠陥画素検出を、画像信号処理装置への電源供給が開始してから出画されるまでの間に行うこと、
   を特徴とする画像信号処理装置。
6. 撮像素子を有する画像信号処理装置の画像信号処理方法であって、
   被写体からの入射光を光電変換し画像信号として出力する撮像ステップと、
   前記撮像素子の欠陥画素を検出する欠陥画素検出ステップと、
   該欠陥画素検出ステップで検出した欠陥画素の数を算出する算出ステップと、
   該欠陥画素検出ステップで検出した欠陥画素を補正する欠陥画素補正ステップと、
   該欠陥画素補正ステップからの信号に対して任意の領域ごとに画像信号補正を行う画像信号補正ステップと、
   前記撮像素子付近の温度を計測する温度計測ステップと、を具備し、
   前記温度計測ステップで得た温度情報が許容範囲内である場合は、欠陥画素検出閾値を上げる制御およびゲインを抑制する制御、もしくは、欠陥画素検出閾値を上げる制御またはゲイン制御を抑制する制御のうち何れか一方の制御を行うことで補正する欠陥画素の数を許容可能な数以下に保ち、
   前記温度計測ステップで得た温度情報が許容範囲外である場合は、正常範囲外の温度用の設定値である欠陥画素検出閾値を用いて欠陥画素を検出し、検出した欠陥画素を補正するように制御する、
   ことを特徴とする画像信号処理方法

Images