JP5227906B2 - 映像記録システム - Google Patents

Description

本発明は、例えば、撮像装置と情報処理装置とからなる映像記録システムに関する。

本技術分野の背景技術として、特開平８−７９５７１号公報（特許文献１）がある。該公報には、「［目的］直交変換を用いたフレーム巡回型のノイズ除去装置において、画質劣化を発生することなく、従来以上のＳ／Ｎ改善効果を得る。［構成］フレーム巡回型のノイズ除去装置において、フレーム差分信号はアダマール変換回路１０５で複数の空間周波数成分に分解された後、非線形処理回路１０６で各々非線形処理が施され、アダマール逆変換回路１０７で合成され元の時間軸上の信号に変換される。また、アダマール変換成分のうち２次元低域成分を用いる動き検出回路１０８を設け、フレーム差分信号から動き成分を検出する。係数回路１０９では、動き検出回路１０８の検出結果で係数を制御し、その係数をアダマール逆変換の出力信号に乗算し、ノイズ成分とする。このノイズ成分を、入力映像信号から減算する。以上の構成で、入力映像信号の特徴に応じたノイズ抽出が行え、画質劣化を生じず高いＳ／Ｎ改善効果を得ることができる。」と記載されている（要約参照）。

特開平８−７９５７１号公報

近年、半導体デバイスの高速化、撮像素子の微細化、ディジタル画像処理技術の発展などによって、ディジタル映像記録システムがより一般的になってきている。これは、例えば民生用のビデオカメラや監視カメラシステムが身近に存在するようになったことからも見て取れる。このような状況において、映像の高品質化に対する要求が高まっている。高品質化にも様々な観点あるが、数々の要因によって映像に混入するノイズをいかにして除去するかがとりわけ重要な課題となっている。

映像に混入するノイズは、画像中に位置や強度がランダムに発生するランダムノイズ、画像中に固定的に出現する固定パターンノイズ、散発的に見られるスパイクノイズなどに大別できる。これらのうちのランダムノイズは、視聴者に映像のちらつきやザラザラ感を与える原因となり、画像品質の低下をもたらす大きな要因である。このランダムノイズを除去する方法として、映像の時間方向の相関性を利用したフレーム巡回型ノイズ除去装置が一般的に用いられている。

さらに、このタイプのノイズ除去装置の改良版として、直交変換の一種であるアダマール変換を組み合わせたノイズ除去装置が開示されている。

特開平８−７９５７１号公報においては、ノイズ成分の抽出を行い、それを入力信号から減算してノイズ除去が可能であるとしている。また、動き検出により、入力信号における動きのある部分と静止している部分に対して適した割合でノイズ除去が可能であるとしている。

前記のフレーム巡回型ノイズ除去装置および特開平８−７９５７１号公報にて示すような改良型フレーム巡回型ノイズ除去装置においては、前フレームのデータを現在のフレームのデータに加算することにより、ランダムノイズを除去することが可能であるが、特に画像内の動きのある箇所において、二重写しのような残像が残ってしまう。このような弊害を取り除くため、画像内の動きのある箇所と静止している箇所を判別し、動きのある箇所は前フレームのデータを加算する割合（以下、循環係数と称する）を減らして残像の発生を防ぎ、動きのない箇所においては循環係数を増やしてランダムノイズを除去するという制御を行う。その際、特開平８−７９５７１号公報に示すようにアダマール変換を用いて動きのある箇所と静止している箇所を判別するなどの工夫がなされることにより判別効率を高めることができるが、前記手法を用いてもなお動きのある箇所を高い精度で判別するのは困難であるという点について考慮がなされていなかった。

また、特にディジタル画像の撮像系においては、光の三原色（Ｒ（赤）、Ｇ（緑）、Ｂ（青））を分けて処理を行う必要があるが、ＲＧＢを別々に処理することにより、本来は存在しないはずの偽色や色ノイズを発生させる可能性がある点についても考慮がなされていなかった。

また、民生のディジタル画像撮像システムでは、ノイズ除去の工程の後に、信号処理によって失われた高周波成分を付加するエッジ強調処理を行うのが一般的であり、そのための回路を別途設ける必要があり、ソフトウェア実装では処理負荷の増大、ＬＳＩなどのハードウェア実装では回路規模や消費電力が増大してしまう点についても考慮がなされていなかった。

先に述べた課題の全部または一部を解決または改善するため、特許請求の範囲に記載の発明を提供する。

例えば、撮像システムへの入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、その周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、その周波数変換信号とそのフレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、その入力映像信号に対してフィルタ処理を行うフィルタリング手段と、その相関度生成手段の出力を用いてそのフィルタ処理の処理内容を制御する制御手段とを設け、その入力映像信号に対してその周波数変換信号とそのフレーム遅延信号との相関性に応じてフィルタ処理を行うことにより、動きのある箇所を高い精度で判別してノイズ除去を行うという１つの効果が達成される。

また、例えば、撮像システムへの入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、その周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、その周波数変換信号とそのフレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、その周波数変換信号に逆変換を施す逆変換手段と、その逆変換手段の出力に対してフィルタ処理を行うフィルタリング手段と、その相関度生成手段の出力を用いてそのフィルタ処理の処理内容を制御する制御手段とを設け、その逆変換手段の出力に対してその周波数変換信号とそのフレーム遅延信号との相関性に応じてフィルタ処理を行うことによっても同様の効果が達成される。

また、例えば、撮像システムへの入力映像信号を生成する手段として、光を電気信号に変換する撮像素子と、その撮像素子に集光して結像させる光学系と、その撮像素子から出力される電気信号を入力とし、信号処理を施して一つもしくは複数の処理結果を出力する信号処理手段とを設け、前記信号処理手段を、赤、緑、青の三色の色信号を生成する色信号生成手段とすることにより、偽色や色ノイズを発生させることなくノイズ除去を行うという効果が達成される。

また、例えば、前記信号処理手段を、輝度信号及び色差信号を生成する手段、もしくは輝度信号のみを生成する手段とすることにより、動きのある箇所は高い精度で判別しつつ処理負荷や回路規模を低減させるという効果が達成される。

また、例えば、その相関性を入力としてノイズ除去の強度パラメータを生成する第１のパラメータ生成手段と、その相関性を入力としてエンハンス処理の強度パラメータを生成する第２のパラメータ生成手段と、そのノイズ除去の強度パラメータとそのエンハンス処理の強度パラメータを入力として、元の入力映像信号に対して直交変換を施した第２の周波数変換信号や、逆変換信号に再び直交変換を施した第２の周波数変換信号に対して非線形処理を加える非線形処理手段を設けることにより、前記非線形処理手段において空間周波数に応じたノイズ低減処理とエンハンス処理を行うことができ、処理負荷や回路規模を大幅に増やすことなくノイズ除去およびエッジ強調処理を行うという効果が達成される。

例えば、動きのある箇所と静止している箇所を高精度に判別することができ、画像特性に応じた循環係数を用いたランダムノイズ除去が可能となるという効果がある。

また、例えば、偽色や色ノイズを発生させずにランダムノイズ除去を行うことが可能となるという効果がある。

また、例えば、処理負荷や回路規模削減、電力削減の効果がある。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態を表す図である。 パラメータ生成部１２５、およびノイズ削減処理部１０７の処理を表す図である。 ノイズ削減処理部１１４の処理を表す図である。 コアリング処理部における入出力特性を表す図である。 エンハンス処理部における入出力特性を表す図である。 コアリング処理とエンハンス処理の両方の特性を有する入出力特性の例を表す図である。 本発明の第２の実施形態を表す図である。 本発明の第２の別の実施形態を表す図である。 本発明の第２の別の実施形態を表す図である。 本発明の第３の実施形態を表す図である。 本発明の第２の別の実施形態を表す図である。 本発明の第２の別の実施形態を表す図である。

以下、図面を用いて、本発明の実施形態を説明する。

本発明の第１の実施例を図１に示す。図１は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系１０１、撮像素子１０２、デモザイキング処理部１０３、周波数変換部１０４〜１０６、ノイズ削減処理部１０７〜１０９、フレームメモリ１１０、周波数変換部１１１〜１１３、ノイズ削減処理部１１４〜１１６、周波数逆変換部１１７〜１１９、輝度信号生成部１２０、色差信号生成部１２１、符号化部１２２、および記録媒体１２３を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。

図示していない被写体より発せられた光はまず光学系１０１によって集光される。光学系１０１に関して詳細は図示されていないが、複数のレンズ、合焦および倍率調整のためにレンズを移動させるモータ、これを制御する制御系等から構成される。

光学系１０１によって集光された光は撮像素子１０２によって電気信号に変換される。撮像素子１０２は実際に感光するＣＣＤやＣＭＯＳ等の撮像部のほか、アナログ電気信号をサンプリングしてディジタル電気信号に変換するＡＤ変換回路、周囲の光量によってゲイン調整を行うＡＧＣ回路、撮像素子に駆動のためのタイミング信号を供給するタイミングジェネレータ、およびこれらを制御する制御回路等によって構成される。

撮像素子１０２によってディジタル電気信号に変換された映像信号は、デモザイキング処理部１０３によって処理され、Ｒ成分信号、Ｇ成分信号、Ｂ成分信号を出力する。例えば、撮像素子１０２で使用されている撮像部がＢａｙｅｒ配列型のイメージセンサである場合、全てのサンプリング位置におけるＲ成分信号、Ｇ成分信号、Ｂ成分信号がそろっているわけではない。このような場合、デモザイキング処理部１０３は、サンプリング位置において不足している成分の信号を周辺画素からの画素補間などの適切な処理により生成して出力する。なお、使用する撮像部の種類によっては、撮像素子１０２から出力される時点でＲ成分信号、Ｇ成分信号、Ｂ成分信号が全てそろっている場合がある。このような場合、デモザイキング処理部１０３は存在しなくても良いものとする。

デモザイキング処理部１０３から出力された各色成分の信号は、それぞれ別の周波数変換部１０４〜１０６に入力され、ある画素単位ごと（例えば４画素×４画素、８画素×８画素など）で周波数変換される。周波数変換は、例えば離散コサイン変換（ＤＣＴ）やアダマール変換、ウェーブレット変換などである。

周波数変換部１０４〜１０６で周波数変換された各色成分の信号は、フレームメモリ１２４に格納され、フレーム遅延（フィールド遅延でもよい）されて読み出される。フレームメモリ１２４は、後述するフレームメモリ１１０と物理的に共通でもよいし、別の記録メモリであってもよいものとする。

周波数変換部１０４〜１０６で周波数変換された各色成分の信号、およびフレームメモリ１２４からフレーム遅延されて読み出された各色成分の信号は、色成分に対応したパラメータ生成部１２５〜１２７へ入力される。パラメータ生成部１２５〜１２７では、周波数変換された各色成分の信号とそれをフレーム遅延した信号の相関より、後段の空間領域でのノイズ除去に関するパラメータが生成され、面間ノイズ削減処理部１０７〜１０９へ供給される。また、周波数領域でのノイズ除去に関するパラメータが生成され、面内ノイズ削減処理部１１４〜１１６へ供給される。

面間ノイズ削減処理部１０７〜１０９では、空間領域の映像データを用いて、フレーム巡回型の面間ノイズ除去が行われる。ノイズ除去処理の具体的な内容については、後述する。

空間領域でのノイズ削減処理が施された各色成分信号は、フレームメモリ１１０に格納され、これと並行して、周波数変換部１１１〜１１３に供給される。周波数変換部１１１〜１１３では、所定の画素単位ごとで周波数変換処理が施される。各色成分信号に対しては、具体的に説明すると、たとえば対象画素を含む周辺画素（５ｘ５画素単位、７ｘ７画素単位など）での周波数変換（ＤＣＴ、ＤＦＴ、アダマール変換など）が施される。ここで、周波数変換部１１１〜１１３において施される周波数変換は、なるべく大きい単位で計算し、細かく周波数分解することによって、周波数単位のきめ細やかな制御が可能となり、画質が向上する。他方、計算の単位が大きくなると回路規模が増加するため、前出の周波数変換部１０４〜１０６では簡単な演算で（たとえばアダマール変換など）周波数変換を行ったり、計算の単位を減らす（たとえば３ｘ３画素単位の演算など）としたりすることによって必要最低限の演算にすることによって回路規模や電力を削減することが可能である。もちろん、周波数変換部１１１〜１１３の演算と周波数変換部１０４〜１０６の処理内容は同一の処理であっても問題ない。

周波数変換部１１１〜１１３において変換された色成分信号は、各色成分ごとに用意された面内ノイズ削減処理部１１４〜１１６に供給される。ノイズ削減処理部１１４〜１１６においては、周波数領域でのノイズ削減処理及びエンハンス処理が行われる。ノイズ削減処理及びエンハンス処理の具体的な内容については、後述する。

ノイズ削減処理を施された色成分信号は、周波数逆変換部１１７〜１１９に供給される。ここでは、周波数変換部１１１〜１１３において施される周波数変換処理の逆演算を施し、周波数領域に変換された色成分信号を元の空間領域の信号に復元する。

空間領域に復元された各色成分信号は、輝度信号生成部１２０、及び色差信号生成部１２１に供給される。輝度信号生成部１２０では、供給された各色成分の信号に対してマトリクス演算等の演算手法を施し、輝度信号を生成する。色差信号生成部１２１においても同様にして、色差信号が生成される。

生成された輝度信号及び色差信号は、符号化部１２２に供給される。符号化部１２２では、入力された輝度信号及び色差信号に対して、例えばＨ．２６４やＭＰＥＧ−２などの圧縮符号化処理を施す。また、図示されていない音声集音部、音声信号前処理部、音声信号符号化部によって生成される圧縮音声信号と、前記の圧縮符号化処理によって生成された圧縮映像信号のマルチプレクス処理が行われ、圧縮映像音声データとして記録媒体１２３に記録される。

パラメータ生成部１２５〜１２７、およびノイズ削減処理部１０７〜１０９の処理について、図２を用いて説明する。一例としてパラメータ生成部１２５とノイズ削減処理部１０７での処理について詳細に述べるが、内部構成および動作はパラメータ生成部１２６、１２７、およびノイズ削減処理部１０８、１０９においても同様であるものとする。

図2は図1に示したパラメータ生成部１２５及び面内ノイズ削減処理部１０７を詳細に示した構成図である。パラメータ生成部１２５は、減算器２０１、エンハンス係数算出部２０２、コア係数算出部２０３、循環係数算出部２０６、制御部２１０を有して構成される。

図2において、フレーメモリ１２４、周波数変換部１０４、面内ノイズ削減処理部１１４、フレームメモリ１１０、デモザイキング処理部１０３は図1に示した構成要素と同様であり、周波数変換部１０４から入力されたＲ成分信号は、まず減算器２０１において、フレームメモリ１２４に格納され１フレーム遅延されたＲ成分信号との減算処理が施される。そして、生成された差分信号は、エンハンス係数算出部２０２、コア係数算出部２０３へ供給され、後述する周波数領域でのノイズ除去処理に必要なコアリング処理及びエンハンス処理に必要なパラメータの算出を行う。ここで算出されるパラメータは、周波数成分ごとに個別に設定可能であるものとする。

差分信号は同時に循環係数生成部２０６へも供給され、後述する空間領域でのノイズ除去処理に必要な循環係数の算出を行う。循環係数生成部２０６は、たとえば減算処理結果の特に低周波成分の絶対値に応じた循環係数を生成する。

制御部２１０は、差分信号や図示されていないユーザインタフェースを介したユーザからの設定、入力信号の特性（たとえばヒストグラムや面内輝度分布、エッジ情報など）をもとに、前記エンハンス係数算出部２０２、コア係数算出部２０３、および循環係数生成部２０６の動作を制御する。

また、図2において、面間ノイズ削減処理部１０７は乗算器２０７、加算器２０８、減算器２０９を有して構成される。デモザイキング処理部１０３から入力されたＲ成分信号は、まず減算器２０９において、フレームメモリ１１０に格納され１フレーム遅延されたＲ成分信号との減算処理が施される。前記の循環係数生成部２０６にて生成された循環係数は、乗算器２０７によって減算処理結果に乗算され、その後デモザイキング処理部１０３から入力されたＲ成分信号に加算される。静止画像におけるランダムノイズは、全周波数成分に均等に分布しており、かつフレーム間で相関性がないため、本処理によってランダムノイズの低減が可能である。また、周波数変換を施すことにより、例えば動いている物体のエッジ部分をより敏感に検出することができるため、動いている部分と静止している部分の峻別を従来よりも精度良く行うことができる。

引き続き、ノイズ削減処理部１１４〜１１６の処理について、図３を用いて説明する。図3において、ノイズ削減処理部１０７、周波数変換部１１１、ノイズ削減処理部１１４は、図1に示したものと同様であり、特にノイズ削減処理部１１４の構成の詳細を示している。一例としてノイズ削減処理部１１４での処理について詳細に述べるが、内部構成および動作はノイズ削減処理部１１５（図1）、１１６（図1）においても同様であるものとする。

図3において、ノイズ削減処理部１１４は、コアリング処理群２０４及びエンハンス処理群２０５、制御部２１１を有して構成される。コアリング処理群２０４は複数のコアリング処理から構成される。コアリング処理は、周波数成分毎に個別に行われる。

コアリング処理における入力と出力の関係を図４に示す。コアリング処理部においては、たとえば以下の４つのパラメータを元に入力信号から出力信号への写像が行われる。（１）コアリングの正側の影響範囲（図４におけるａ点）、（２）コアリングの負側の影響範囲（図４におけるｂ点）、（３）コアリングの正側の傾き（図４におけるｃ／ａ）、（４）コアリングの負側の傾き（図４におけるｄ／ｂ）の４つである。

入力画像に対して周波数変換をかけることにより、高周波数成分（ランダムノイズ成分、被写体のエッジ成分）と低周波数成分（被写体のエッジでない部分など）に分離することができる。この周波数変換後の映像信号について、フレーム間の差分を取ることにより、被写体の動き成分とランダムノイズ成分が効率的に分離可能である。

前記パラメータ（本例ではａ〜ｄ）は制御部２１１（図３）によって制御される。パラメータの決定方法について説明する。まず、コアリングの影響範囲（ａ、ｃ）は、ノイズレベルによって決定することができる。ランダムノイズの特性として、あるレベル以内で決まった分布をしていること（一様分布やガウス分布）、レベル自体が比較的低いこと、すべての周波数成分に一様に含まれることが挙げられる。このため、入力画像に含まれるノイズのレベルを調べておき、これに応じてａおよびｃを決定する。また、前述の特性により、通常はｃ＝−ａとなるように設定される。ノイズレベルについては、使用するレンズ、センサの種類や、本実施例のビデオカメラを使用する環境（温度、照度など）を定めることにより、ある程度事前に調べることができ、これを元に制御部２１１にてパラメータを設定することができる。また、制御部２１１をＣＰＵとし、制御をソフトウェア化することにより、照度変化や画像の特徴量に応じてパラメータの微調整を行わせることも可能である。

ノイズ除去の程度は、コアリング領域の傾き（ｃ／ａ、ｄ／ｂ）によって決定される。すなわち、傾きが小さくなる（水平に近くなる）ほど、ノイズ除去の効果は大きくなる。また、本発明では周波数成分毎に個別にコアリングのパラメータを設定できる構成としているが、ランダムノイズ成分は各周波数成分に均等に出現する性質があるため、すべての周波数成分において同様のコアリング影響範囲設定およびコアリング領域の傾きを設定することが一般的である。

上記のようにコアリング処理を施すことにより、ランダムノイズ成分は抑制しつつ、低周波数成分やレベルの大きい高周波数成分（つまり物体のエッジ成分）はそのまま出力するため、画像にボケなどを生じさせることなく、ランダムノイズの抑制が可能となる。

コアリング処理群２０４（図３）によってランダムノイズ成分が低減された映像信号は、引き続いてエンハンス処理群２０５（図３）に入力される。エンハンス処理もコアリング処理と同様、周波数成分毎に個別に実施可能な構成になっている。エンハンス処理における入力と出力の関係を図５に示す。エンハンス処理のパラメータはたとえば以下のように決定される。（１）エンハンスの正側の影響範囲（図５におけるｅ点）、（２）エンハンスの負側の影響範囲（図５におけるｆ点）、（３）エンハンスの正側の傾き（図５におけるｇ／ｅ）、（４）コアリングの負側の傾き（図５におけるｈ／ｆ）の４つである。

これらを周波数成分ごとに算出して設定することにより、従来のフィルタリングでは困難であった、特定の周波数成分を強調して画像の見栄えをよくすることが可能である。一般には、低周波成分はエンハンスの傾きを小さく設定することによって画像の自然さを損なわず、中域成分に対して強めにエンハンス処理をかけることによって、輪郭のくっきりした見やすい画像に仕上げることができる。高周波成分を強調しすぎると画像のざらつきが視覚的に悪影響を与える場合があるので、エンハンス処理は抑え目にするのがよいとされる。

これまで説明したように、コアリング処理とエンハンス処理を周波数成分毎にそれぞれ区別して行うことにより、きわめて高精度でのランダムノイズ除去が可能となる。

また、コアリング処理とエンハンス処理の両特性を併せ持った入出力特性として、図６に示したような特性がある。パラメータとしてコアリング処理とエンハンス処理の境界点や各部の傾き（パラメータ）を制御部２１１にてユーザから制御したり、使用環境や画像の特徴に応じて自動制御させたりすることにより、両処理を1つのフィルタ演算によって同時に行うことが可能である。このため、ソフトウェア処理では処理時間の短縮、ハードウェア処理では回路規模縮小と電力削減を実現することが可能である。

本発明の第２の実施例を図７に示す。図７は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系１０１、撮像素子１０２、デモザイキング処理部１０３、周波数変換部１０４〜１０６、フレームメモリ１２５、パラメータ生成部１２５〜１２７、ノイズ削減処理部１１４〜１１６、周波数逆変換部１１７〜１１９、ノイズ削減処理部１０７〜１０９、フレームメモリ１１０、輝度信号生成部１２０、色差信号生成部１２１、符号化部１２２、および記録媒体１２３を有して成る。図７の各構成要素において、図１と同様の番号のものは、同様の動作を行うものである。以下、本実施例のビデオカメラの動作について、順を追って説明する。

本発明の第２の実施例は前記の第１の実施例とほぼ共通であるため、差分についてのみ詳細に説明する。まず、光学系１０１および撮像素子１０２にて取り込まれた映像信号は、デモザイキング処理部１０３で処理されて各色成分信号となり、それぞれ周波数変換部１０４〜１０６に入力されて周波数変換される。その後、周波数変換された各色成分信号と、それをフレームメモリ１２４でフレーム遅延させた各色成分信号はパラメータ生成部１２５〜１２７に供給され、後段のノイズ削減処理の度合いを調整するパラメータを生成する。また、周波数変換部１０４〜１０６で周波数変換された各色成分信号は、ノイズ削減処理部１１４〜１１６にも供給される。このノイズ削減処理部１１４〜１１６は、第１の実施例と同様の構成及び処理内容となるため、説明を割愛する。ノイズ削減処理部１１４〜１１６において非線形処理（コアリング処理及びエンハンス処理）が施された各色成分信号は、周波数逆変換部１１７〜１１９において逆演算されて空間領域の信号に再変換される。

再変換された各色成分の信号は、各色毎に設けられたノイズ削減処理部１０７〜１０９に供給される。このノイズ削減処理部には、すでにフレームメモリ１１０に格納されている過去のフレームの色成分信号も供給される構成になっている。ノイズ削減処理部１０７〜１０９においては、時間領域におけるノイズ削減処理が施される。ノイズ削減処理の具体的な内容については、第１の実施例と同様であり、ここでは説明を割愛する。

ノイズ削減処理が施された信号は、フレームメモリ１１０に書き込まれるとともに、輝度信号生成部１２０及び色差信号生成部１２１に供給され、輝度信号及び色差信号に変換される。輝度信号および色差信号は符号化部１２２において圧縮符号化され、図示されていない音声集音部、音声信号前処理部、音声信号符号化部によって生成される圧縮音声信号と、前記の圧縮符号化処理によって生成された圧縮映像信号のマルチプレクス処理が行われ、圧縮映像音声データとして記録媒体１２３に記録される。

本構成をとることにより、第１の実施例と比較し、入力信号に対するノイズ除去を行いながらも、周波数変換部の数を減らすことができ、処理量の低減、回路規模の低減、消費電力の削減の効果がある。

また、本実施例の別の形態を、図８を用いて説明する。図８は本発明の撮像装置をビデオカメラの形態で実現したものである。図８の各構成要素において、図１と同様の番号のものは、同様の動作を行うものである。本実施例のビデオカメラは、光学系１０１、撮像素子１０２、周波数変換部１０４、フレームメモリ１２４、パラメータ生成部１２５、ノイズ削減処理部１１４、周波数逆変換部１１７、ノイズ削減処理部１０７、フレームメモリ１１０、デモザイキング処理部１０３、輝度信号生成部１２０、色差信号生成部１２１、符号化部１２２、および記録媒体１２３を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。

光学系１０１及び撮像素子１０２によって生成された映像信号は、ＲＧＢ混色のまま周波数変換部１０４に入力される。周波数変換部１０４では、実施例１と同様に周波数変換を施すが、この際、周辺の同色画素の値を使用して周波数変換を施す。たとえばＢａｙｅｒ配列の撮像素子を使用した場合、第１ラインはＲ成分、Ｇ成分、Ｒ成分、Ｇ成分……のように配列され、第２ラインはＧ成分、Ｂ成分、Ｇ成分、Ｂ成分……のように配列される。第３ラインは第１ラインと同様の配列になっている。したがって、たとえばＲ成分について周波数変換を施す場合には、中心のＲ成分画素およびその画素を取り囲むＲ成分（水平・垂直に隣々接の画素、および３つ離れた画素）を使用して周波数返還を施すものとする。Ｇ成分、Ｂ成分についても同様である。

周波数変換された映像信号は、ノイズ削減処理部１１４においてノイズ削減処理およびエンハンス処理が施され、周波数逆変換部１１７において逆変換されて空間領域の信号に復元される。

復元された映像信号は、ノイズ削減処理部１０７において空間領域でのノイズ除去処理が施され、その後デモザイキング処理部１０３でＲ成分、Ｇ成分、Ｂ成分に分離され、輝度信号生成部１２０および色差信号生成部１２１において輝度信号および色差信号に変換される。その後、符号化部１２２で圧縮符号化およびマルチプレクスが行われ、記録媒体１２３にデータとして格納される。

本発明の形態をとることにより、実施例１と同様のノイズ除去およびエンハンスを実現しながら、周波数変換、ノイズ除去、逆周波数変換に必要となる回路規模を削減することが可能になる。

また、本実施例の別の形態を図９に示す。図９は本発明の撮像装置をビデオカメラの形態で実現したものである。図９の各構成要素において、図１と同様の番号のものは、同様の動作を行うものである。本実施例のビデオカメラは、光学系１０１、撮像素子１０２、デモザイキング処理部１０３、輝度信号生成部１２０、色差信号生成部１２１、周波数変換部１０４および１０５、フレームメモリ１２４、パラメータ生成部１２５および１２６、ノイズ削減処理部１０７および１０８、フレームメモリ１１０、周波数変換部１１１および１１２、ノイズ削減処理部１１４および１１５、周波数逆変換部１１７および１１８、符号化部１２２、および記録媒体１２３を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。

ここでも第１の実施例と共通点は多いため、概略説明にとどめ、各部の詳細動作は第１の実施例と同様であるので、割愛する。まず、光学系１０１および撮像素子１０２にて取り込まれた映像信号は、デモザイキング処理部１０３でＲ成分、Ｇ成分、Ｂ成分に分離され、輝度信号生成部１２０および色差信号生成部１２１において輝度信号および色差信号に変換される。生成された輝度信号および色差信号は、周波数変換部１０４および１０５に入力され、周波数変換が施される。その出力、およびこれをフレームメモリ１２４にてフレーム遅延させた信号を元に、パラメータ生成部１２５、１２６にてノイズ除去に使用するパラメータが生成される。その後、輝度信号及び色差信号に対してノイズ削減処理部１０７および１０８においてノイズ除去処理が施され、周波数変換部１１１および１１２に供給される。周波数変換された輝度信号及び色差信号はノイズ削減処理部１１４および１１５に供給され、ノイズ除去処理およびエンハンス処理が施されたのち、周波数逆変換部１１７および１１８において復元される。ノイズ除去された輝度信号および色差信号は、符号化部１２２で圧縮符号化およびマルチプレクスが行われ、記録媒体１２３にデータとして格納される。

本発明の形態をとることにより、実施例１と同様のノイズ除去およびエンハンスを実現しながら、ＲＧＢ個別に処理することによって発生する可能性のある偽色や色ノイズなどの発生を抑制することが可能である。

また、上記実施形態の発展として、ノイズ除去のパラメータは輝度信号のみから生成し、生成したパラメータを輝度信号と色差信号の両方のノイズ除去処理およびエンハンス処理に使用する構成も可能である。この形態を図１１に示す。図１１と図９の差分について述べる。図１１は、図９から周波数変換部１０５、パラメータ生成部１２６を取り去った構成であり、また、ノイズ削減処理部１０８で使用するノイズ除去のパラメータ、ノイズ削減処理部１１５で使用するノイズ除去のパラメータはともにパラメータ生成部１２５において生成される。このような構成をとることにより、色差信号側の周波数変換処理部を削減することが可能であり、処理量・回路規模・消費電力の低減につながる。

さらに、上記実施形態の発展として、図１２に示す形態も可能である。図１２の各構成要素において、図１と同様の番号のものは、同様の動作を行うものである。本発展形は、光学系１０１、撮像素子１０２、デモザイキング処理部１０３、輝度信号生成部１２０、色差信号生成部１２１、周波数変換部１０４、フレームメモリ１２４、パラメータ生成部１２５、ノイズ削減処理部１１４、周波数逆変換部１１７、フレームメモリ１１０、ノイズ削減処理部１０７および１０８、符号化部１２２、および記録媒体１２３を有して成る。本発展形においては、ノイズ除去パラメータを輝度信号の身から生成する点は前記実施形態と同様であるが、周波数領域におけるノイズ除去を先に実施し、周波数変換部を１つ削減している点に特徴がある。本発展形の形態とすることにより、更なる処理量、回路規模、消費電力の削減が可能となる。

本発明の第３の実施例を図１０に示す。図１０は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系１０１、撮像素子１０２、デモザイキング処理部１０３、面間ノイズ削減処理部１２８〜１３０、フレームメモリ１１０、周波数変換部１１１〜１１３、面内ノイズ削減処理部１１４〜１１６、周波数逆変換部１１７〜１１９、輝度信号生成部１２０、色差信号生成部１２１、符号化部１２２、および記録媒体１２３を有して成る。図１２の各構成要素において、図１と同様の番号のものは、同様の動作を行うものである。以下、本実施例のビデオカメラの動作について、順を追って説明する。

本発明の第３の実施例は前記の第１の実施例とほぼ共通であるため、差分についてのみ詳細に説明する。まず、光学系１０１および撮像素子１０２にて取り込まれた映像信号は、デモザイキング処理部１０３で処理されて各色成分信号となり、それをフレームメモリ１１０にてフレーム遅延される。各色成分信号とそれをフレーム遅延させた信号は面間ノイズ削減処理部１２８〜１３０に供給され、この中で両信号の相関に応じたランダムノイズ除去処理が行われる。これと同時に、後段の面内ノイズ削減処理部１１４〜１１６で使用するノイズ削減パラメータを、フレーム相関の度合いに応じて生成し、出力する。一般に、フレーム相関の高い箇所は静止している物体であり、このような場所はノイズに対しても敏感であり、またエッジの解像感を高めたほうが見栄えがするため、解像感を損なわない程度にコアレベルを高めてノイズ感を低減し、エンハンサレベルを高めるのが望ましい。反対に、フレーム相関の低い箇所は動いている部分であり、このような部分はノイズに対する感度が低いという視覚特性がある。また、動いている箇所のエッジをむやみに強調することは、後段の符号化処理において、圧縮に起因するノイズを発生させる原因ともなる。このような箇所では、エンハンサレベルを抑え目に制御するのが望ましい。

ノイズ低減された各色成分信号は、周波数変換部１１１〜１１３で周波数変換され、ノイズ削減処理部１１４〜１１６にも供給される。このノイズ削減処理部１１４〜１１６は、第１の実施例と同様の構成及び処理内容となるため、説明を割愛する。ノイズ削減処理部１１４〜１１６において非線形処理（コアリング処理及びエンハンス処理）が施された各色成分信号は、周波数逆変換部１１７〜１１９において逆演算されて空間領域の信号に再変換される。

再変換された各色成分の信号は、輝度信号生成部１２０及び色差信号生成部１２１に供給され、輝度信号及び色差信号に変換される。輝度信号および色差信号は符号化部１２２において圧縮符号化され、図示されていない音声集音部、音声信号前処理部、音声信号符号化部によって生成される圧縮音声信号と、前記の圧縮符号化処理によって生成された圧縮映像信号のマルチプレクス処理が行われ、圧縮映像音声データとして記録媒体１２３に記録される。本構成をとることにより、先の実施例と比較し、入力信号に対するノイズ除去を行いながらも、周波数変換部の数を減らすことができ、処理量の低減、回路規模の低減、消費電力の削減の効果がある。

本実施例において、デモザイキング処理部１０３で生成する信号はたとえばR、G、Bの各色成分でもよいし、輝度と色差でもよいし、各色成分がBayer配列に並んだものでもかまわないものとする。

以上、本発明の実施形態について説明してきたが、本発明は、上記実施例１ないし３に限定されるものではなく、発明の範囲で自由に変更することも可能である。

例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

１０１ 光学系
１０２ 撮像素子
１０３ デモザイキング処理部
１０４、１０５、１０６ 周波数変換部
１０７，１０８，１０９ 面間ノイズ削減処理部
１１０ フレームメモリ
１１１，１１２，１１３ 周波数変換部
１１４，１１５，１１６ 面内ノイズ削減処理部
１１７，１１８，１１９ 周波数逆変換部
１２０ 輝度信号生成部
１２１ 色差信号生成部
１２２ 符号化部
１２３ 記録媒体
１２４ フレームメモリ
１２５，１２６，１２７ パラメータ生成部

Claims (11)

1. 入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、
   前記周波数変換信号のフレームあるいはフィールド間の相関性を求める相関度生成手段と、
   前記入力映像信号に対してフィルタ処理を行うフィルタリング手段と、
   前記フィルタリング手段を制御する制御手段と、
   を有し、
   前記制御手段は、前記入力映像信号に対して、前記相関度生成手段の出力に応じて前記フィルタリング手段の制御を行うこと
   を特徴とした映像記録システム。
2. 入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、
   前記周波数変換信号のフレームあるいはフィールド間の相関性を求める相関度生成手段と、
   前記周波数変換信号に逆変換を施す逆変換手段と、
   前記逆変換手段の出力に対してフィルタ処理を行うフィルタリング手段と、
   前記フィルタリング手段を制御する制御手段と、
   を有し、
   前記制御手段は、前記逆変換手段の出力に対して、前記相関度生成手段の出力に応じて前記フィルタリング手段の制御行うこと
   を特徴とした映像記録システム。
3. 光を電気信号に変換する撮像素子と、
   該撮像素子に集光して結像させる光学系と、
   該撮像素子から出力される電気信号を入力とし、信号処理を施して一つもしくは複数の処理結果を出力する信号処理手段と、
   該信号処理手段の出力の各々について、
   該信号処理手段の出力に対して直交変換を施して周波数変換信号を生成する変換手段と、
   前記周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、
   前記周波数変換信号と前記フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、
   前記信号処理手段の出力を遅延し、第２のフレームあるいはフィールド遅延信号を出力する第２の遅延手段と、
   前記信号処理手段の出力と前記第２のフレームあるいはフィールド遅延信号を用い、前記信号処理手段の出力に対してフィルタ処理を行うフィルタリング手段と、
   前記相関度生成手段の出力を用いて前記フィルタ処理の処理内容を制御する制御手段と、
   を有し、
   前記信号処理手段の出力に対して、前記周波数変換信号と前記フレーム遅延信号との相関性に応じてフィルタ処理を行うこと
   を特徴とした映像記録システム。
4. 光を電気信号に変換する撮像素子と、
   該撮像素子に集光して結像させる光学系と、
   該撮像素子から出力される電気信号を入力とし、信号処理を施して一つもしくは複数の処理結果を出力する信号処理手段と、
   該信号処理手段の出力の各々について、
   該信号処理手段の出力に対して直交変換を施して周波数変換信号を生成する変換手段と、
   前記周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、
   前記周波数変換信号と前記フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、
   前記周波数変換信号に逆変換を施す逆変換手段と、
   前記逆変換手段の出力を遅延し、第２のフレームあるいはフィールド遅延信号を出力する第２の遅延手段と、
   前記逆変換手段の出力と前記第２のフレームあるいはフィールド遅延信号を用い、前記逆変換手段の出力に対してフィルタ処理を行うフィルタリング手段と、
   前記相関度生成手段の出力を用いて前記フィルタ処理の処理内容を制御する制御手段と、
   を有し、
   前記逆変換手段の出力に対して、前記周波数変換信号と前記フレームあるいはフィールド遅延信号との相関性に応じてフィルタ処理を行うこと
   を特徴とした映像記録システム。
5. 請求項３あるいは４に記載の映像記録システムにおいて、
   前記信号処理手段は、赤、緑、青の三色の色信号を生成する色信号生成手段であることを特徴とした映像記録システム。
6. 請求項３あるいは４に記載の映像記録システムにおいて、
   前記信号処理手段は、輝度信号及び色差信号を生成する手段であることを特徴とした映像記録システム。
7. 請求項３あるいは４に記載の映像記録システムにおいて、
   前記信号処理手段は、赤、緑、青の三色の色信号のいずれかが交互に配置された信号であることを特徴とした映像記録システム。
8. 光を電気信号に変換する撮像素子と、
   該撮像素子に集光して結像させる光学系と、
   該撮像素子から出力される電気信号を入力とし、輝度信号および色差信号を生成する信号処理手段と、
   該輝度信号に対して直交変換を施して周波数変換信号を生成する変換手段と、
   該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、
   前記周波数変換信号と前記フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、
   前記輝度信号及び前記色差信号を遅延し、第２のフレームあるいはフィールド遅延信号を出力する第２の遅延手段と、
   前記輝度信号と前記第２のフレームあるいはフィールド遅延信号を用い、前記輝度信号に対してフィルタ処理を行うフィルタリング手段と、
   前記相関度生成手段の出力を用いて前記フィルタ処理の処理内容を制御する制御手段と、
   前記色差信号と前記第２のフレームあるいはフィールド遅延信号を用い、前記色差信号に対してフィルタ処理を行う第２のフィルタリング手段と、
   前記相関度生成手段の出力を用いて前記第２のフィルタ処理の処理内容を制御する第２の制御手段と、
   を有し、
   前記輝度信号および前記色差信号に対して、前記周波数変換信号と前記フレームあるいはフィールド遅延信号との相関性に応じてフィルタ処理を行うこと
   を特徴とした映像記録システム。
9. 光を電気信号に変換する撮像素子と、
   該撮像素子に集光して結像させる光学系と、
   該撮像素子から出力される電気信号を入力とし、輝度信号および色差信号を生成する信号処理手段と、
   該輝度信号に対して直交変換を施して周波数変換信号を生成する変換手段と、
   該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、
   前記周波数変換信号と前記フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、
   前記周波数変換信号に逆変換を施す逆変換手段と、
   該逆変換手段の出力を遅延し、第２のフレームあるいはフィールド遅延信号を出力する第２の遅延手段と、
   前記逆変換手段の出力と第２のフレームあるいはフィールド遅延信号を用い、前記逆変換手段の出力に対してフィルタ処理を行うフィルタリング手段と、
   前記相関度生成手段の出力を用いて前記フィルタ処理の処理内容を制御する制御手段と、
   前記色差信号を遅延し、第３のフレームあるいはフィールド遅延信号を出力する第３の遅延手段と、
   前記色差信号と前記第３の遅延手段の出力を用い、前記色差信号に対して第２のフィルタ処理を行う第２のフィルタリング手段と、
   前記相関度生成手段の出力を用いて前記第２のフィルタ処理の処理内容を制御する第２の制御手段と、
   を有し、
   前記逆変換手段の出力および前記色差信号に対して、前記周波数変換信号と前記フレーム遅延信号との相関性に応じてフィルタ処理を行うこと
   を特徴とした映像記録システム。
10. 請求項１ないし９のいずれかに記載の映像記録システムにおいて、
    前記相関性を入力としてノイズ除去の強度パラメータを生成する第１のパラメータ生成手段と、
    前記相関性を入力としてエンハンス処理の強度パラメータを生成する第２のパラメータ生成手段と、
    前記フィルタリング手段の出力に対して直交変換を施して第２の周波数変換信号を生成する第２の変換手段と、
    前記ノイズ除去の強度パラメータと前記エンハンス処理の強度パラメータと前記第２の変換手段の出力を入力として、前記第２の変換手段の出力に非線形処理を加える非線形処理手段と、
    該非線形処理手段の出力に前記直交変換の逆変換を施す第２の逆変換手段と、
    を設け、
    前記非線形処理手段において空間周波数に応じたノイズ低減処理とエンハンス処理を行うこと
    を特徴とした映像記録システム。
11. 請求項１ないし９のいずれかに記載の映像記録システムにおいて、
    前記相関性を入力としてノイズ除去の強度パラメータを生成する第１のパラメータ生成手段と、
    前記相関性を入力としてエンハンス処理の強度パラメータを生成する第２のパラメータ生成手段と、
    前記ノイズ除去の強度パラメータと前記エンハンス処理の強度パラメータと前記周波数変換信号を入力として、前記周波数変換信号に非線形処理を加える非線形処理手段と、
    を設け、
    該非線形処理手段において空間周波数に応じたノイズ低減処理とエンハンス処理を行うこと
    を特徴とした映像記録システム。

Images