JP4618802B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、より具体的には、ノイズ低減機能を具備する撮像装置に関する。

近年、デジタル信号処理技術の進歩により、動画像、静止画像及び音声等の大量のデジタル情報を圧縮符号化し、小型記録媒体に記録又は通信媒体に伝送を行うことが容易になった。特に、画像の圧縮符号化では、ＭＰＥＧ２等（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ２）の動画像符号化標準を用いたデジタルビデオカメラが実用化されている。

一方、デジタルビデオカメラの撮像機能では、所謂ゲインアップと呼ばれる機能があり、撮影者がアンプゲインを意図的に上げることで、高感度の状態で撮影が可能になる。しかし、一般的に、ゲインアップされた画像信号をＭＰＥＧ２の画像圧縮方式で圧縮すると、ランダムノイズ成分が増加し、画質が劣化してしまうことがある。

原因としては、次のように考えられる。即ち、ランダムノイズ成分が各フレーム間で相関しないので、ノイズ成分が画像の動きと判定され、ノイズに対して多くの符号化ビットが割り当てられてしまう。この結果として、本来の画像情報に割り当てられるべきビットが少なくなり、圧縮符号化された時の画質が大きく劣化する。このような画質の劣化を防ぐために、画像圧縮部のフィルタ処理特性をゲインアップに応じて制御する構成が、特許文献１に記載されている。

さらに、近年、多機能化されたデジタルビデオカメラには、撮影者がノイズ除去レベルを設定可能なノイズ低減フィルタをカメラ部に設け、ノイズ低減された画像信号を、直接、外部に出力できるものがある。即ち、デジタルビデオカメラには、直接、外部の映像モニタ及び録画装置等にカメラ部からの画像信号（以下、カメラ画像信号という）を出力する端子も備えるものもある。
国際公開９７／００５７４５号パンフレット

カメラ部の画像信号を外部に出力できるビデオカメラでは、カメラ部と画像圧縮部のそれぞれにノイズ低減手段を装備することになり、記録時に必要以上のノイズ低減処理が作用し、その結果、画像の高周波成分が失われ、画質が劣化してしまった。これは特に、撮影者がカメラ部のノイズ低減レベルを大きく設定し、且つ、ゲインをアップしているときに、顕著である。

また、特許文献１に記載の構成では、カメラ部にノイズ低減手段を装備しないので、ゲインアップした状態で、カメラ画像信号を直接、外部に出力する場合に、出力されるカメラ画像信号のノイズを調節できなかった。

そこで、本発明は、かかる問題点に鑑みてなされたものであり、記録画像の劣化の少ない撮像装置を提示することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、被写体の光学像を撮像する撮像手段と、前記撮像手段から出力される画像信号のゲインを調整するゲイン調整手段と、前記ゲイン調整手段によってゲイン調整された画像信号を処理する信号処理手段であって、入力される画像信号に対して方式の異なる複数のフィルタ処理を選択的に実行する第１のノイズ低減手段を具備する信号処理手段と、前記信号処理手段の出力画像信号を圧縮符号化する画像圧縮手段であって、入力される画像信号に対して前記複数のフィルタ処理を選択的に実行する第２のノイズ低減手段を具備する画像圧縮手段と、前記第１のノイズ低減手段が実行可能な前記複数のフィルタ処理のそれぞれについてオン／オフを設定する設定手段と、前記設定手段の設定に応じて前記第１のノイズ低減手段で実行されるフィルタ処理を選択するとともに、前記第１のノイズ低減手段で実行されないフィルタ処理を前記第２のノイズ低減手段に行わせる制御手段とを具備することを特徴とする。

本発明によれば、ゲイン調整された画像を記録する場合に、２重にノイズ低減処理が作用することを防止でき、記録される画像の劣化を少なくすることができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例であるカムコーダ１０の概略構成ブロック図を示す。ただし、実線は画像データの流れを示し、破線は制御信号を示す。

カムコーダ１０は、いわゆる、デジタルビデオカメラ又はデジタルカメラ等である。カムコーダ１０は、撮像部１２、カメラ画像信号出力端子２２、圧縮部３０、記録再生部３２、記録媒体３４、伸長部３６、再生画像出力端子３８、表示部４０、操作部４２及びシステム制御装置４４を具備する。

撮像部１２は、レンズ系１４、ＣＣＤ撮像素子１６、Ａ／Ｄ変換部１８及び信号処理部２０を具備する。

レンズ系１４はレンズ、ズーム機構及び絞り等を具備し、被写体からの光学像を撮像素子１６の撮像面上に結像する。ＣＣＤ撮像素子１６は、レンズ１４系からの光学像を電気信号に変換する。

Ａ／Ｄ変換部１８は、ＣＤＳ（２重相関サンプリング）／ＡＧＣ（オートゲインコントロール）及びＡ／Ｄ変換等を具備し、ＣＣＤ撮像素子１６からのアナログ画像信号をデジタル画像信号に変換する。信号処理部２０は、Ａ／Ｄ変換部１８からのデジタル画像信号に、色補間処理、γ（ガンマ）補正、ホワイトバランス調整及びマトリクス処理等を行い、カメラ画像信号を圧縮部３０、カメラ画像信号出力端子２２及び表示部４０に出力する。

圧縮部３０は、ＭＰＥＧ２、Ｍｏｔｉｏｎ ＪＰＥＧ又はＪＰＥＧ２０００等の画像圧縮方式で信号処理装置２０からの画像信号を圧縮する。信号処理部２０は３次元フィルタ又は空間フィルタ等からなるノイズ低減フィルタ２０ａを具備し、圧縮部３０もまた、３次元フィルタ又は空間フィルタ等のノイズ低減部３０ａを具備する。

記録再生部３２は、圧縮部３０からの圧縮画像データを記録媒体３４に記録し、記録媒体３４に記録される圧縮画像データを再生する。記録媒体３４は、ハードディスク、光ディスク、光磁気ディスク、磁気テープ又は不揮発性のメモリカード等である。

伸長部３６は、記録再生部３２からの圧縮画像データを伸長する。伸長部３６から出力される画像信号は、いわゆる再生画像信号であり、再生画像出力端子３８と表示装置４０に印加される。

表示部４０は液晶表示パネルからなり、印加されるカメラ画像信号及び再生画像信号を画像として表示する。

操作部４２は、撮像スイッチ、再生スイッチ及び記録スイッチ等を具備し、撮像、再生及び記録等を操作するのに使用される。また、操作部４２は、後述するカメラ設定メニュー画面の表示を操作するのにも使用される。

システム制御装置４４は、カムコーダ１０全体の制御を司り、特に、Ａ／Ｄ変換部１８のオートゲインコントロール、信号処理部２０のノイズ低減部２０ａ及び、圧縮部３０のノイズ低減部３０ａを制御する。

カムコーダ１０の撮像動作、記録動作及び再生動作を説明する。撮像モードでは、撮像素子１２は、被写体の画像信号を出力し、Ａ／Ｄ変換部１８が、撮像素子１２の出力画像信号をデジタル信号に変換して信号処理部２０に印加する。信号処理部２０は、Ａ／Ｄ変換部１８からの画像信号にγ補正及び色補正等の周知のカメラ信号処理を施す。信号処理部２０から出力される画像データは、信号処理部２０に内蔵されるフレームメモリ６４（図２）に一時的記憶され、記憶順に表示部４０の画面に表示される。これにより、ユーザは、被写体の範囲と構図を確認できる。

記録モードでは、フレームメモリ６４に一時記憶される画像データは、圧縮部３０にも転送される。圧縮部３０は、信号処理部２０からの画像データを圧縮符号化し、圧縮画像データを記録再生部３２に転送する。記録再生部３２は、圧縮画像データを記録媒体３４に記録する。このようにして、一連の画像からなる映像データが、圧縮状態で記録媒体３４に格納される。

再生モードでは、記録再生部３２は、記録媒体３４から指定の画像の圧縮画像データを読み出し、伸長部３６に転送する。伸長部３６は、記録再生部３２からの圧縮画像データを伸長して画像データを復元する。復元された画像データは、表示部４０に印加される。これにより、再生画像が表示部４０の画面に表示される。

図２は、信号処理部２０のノイズ低減部２０ａの概略構成ブロック図を示す。信号処理部２０は、輝度信号（Ｙ）及び色差信号（Ｃｒ，Ｃｂ）を生成し、輝度信号に対するノイズ低減部と色差信号に対するノイズ低減部を具備するが、説明を簡略化するために、図２では、輝度信号（Ｙ）に作用する部分だけを図示してある。Ａ１，Ｂ１，Ｃ１は、システム制御装置４４からの制御信号を示す。

図２に示すように、ノイズ低減部２０ａは、セレクタ５２、フレームメモリ５６，５８，６０、３次元フィルタ処理部６２、フレームメモリ６４及び空間フィルタ処理部６６からなる。

セレクタ５２は、システム制御装置４４からのフレーム切換え信号Ａ１に従い、フレーム順に端子（ａ），（ｂ），（ｃ）に循環的に切り換わる。すなわち、セレクタ５２は、１番目のフレームの輝度信号（Ｙ）をフレームメモリ５６に格納すると、２番目のフレームの輝度信号をフレームメモリ５８に格納し、３番目のフレームの輝度信号をフレームメモリ６０に格納し、４番目のフレームの輝度信号をフレームメモリ５６に格納する。

３次元フィルタ処理部６２は、システム制御装置４４からのイネーブル／ディセーブル制御信号Ｂ１に従い、フレームメモリ５６，５８，６０に格納されている画像データの３次元フィルタ処理を有効／無効にする。即ち、制御信号Ｂ１がオン（イネーブル）の場合、３次元フィルタ処理部６２は、フレームメモリ５６，５８，６０に格納されている画像データを３次元フィルタ処理して、処理結果をフレームメモリ６４に出力する。他方、制御信号Ｂ１がオフ（ディセーブル）の場合、３次元フィルタ処理部６２は、フレームメモリ５６，５８，６０に格納されている画像データのうちの現在の画像データをフレームメモリ６４に出力する。

空間フィルタ処理部６６は、システム制御装置４４からのイネーブル／ディセーブル制御信号Ｃ１に従い、フレームメモリ６４に格納される画像データの空間フィルタ処理を有効／無効にする。即ち、制御信号Ｃ１が、オン（イネーブル）の場合、空間フィルタ処理部６６は、フレームメモリ６４に格納される画像データを空間フィルタ処理する。他方、制御信号Ｃ１が、オフ（ディセーブル）の場合、空間フィルタ処理部６６は、フレームメモリ６４の画像データをそのまま出力する。

カメラ信号処理部２０は、ノイズ低減処理部２０ａで処理された画像データに対して更に輪郭強調処理及び色補正処理後を施し、その処理結果を圧縮部３０、表示部４０及びカメラ出力端子２２に出力する。

図３は、圧縮部３０の概略構成ブロック図を示す。圧縮部３０は、ノイズ低減部３０ａとＭＰＥＧ２圧縮符号化回路３０ｂからなる。ノイズ低減部３０ａは、図２に示すノイズ低減部２０ａと同じ構成からなる。図３では、ノイズ低減部３０ａを構成する素子として、代表的に３次元フィルタ処理部７０と空間フィルタ処理部７２を明記してある。システム制御装置４４からの制御信号Ｂ２は、３次元フィルタ処理部７０を有効／無効にするイネーブル／ディセーブル信号であり、制御信号Ｃ２は、空間フィルタ処理部７２を有効／無効にするイネーブル／ディセーブル信号である。

次に、３次元フィルタ処理を説明する。図４は３次元フィルタ処理の処理方法の模式図を示し、図５は３次元フィルタの特性の模式図を示す。

図４において、フレームＦ（ｎ−１），Ｆ（ｎ），Ｆ（ｎ＋１）は、順にフレームメモリ５６，５８，６０に格納されている画像データを示す。すなわち、フレームＦ（ｎ）はフレームメモリ５８に格納されている画像データである。フレームＦ（ｎ）の画像ブロック８２が、フレームＦ（ｎ−１）及びフレームＦ（ｎ＋１）の対応する画像ブロック８０，８４とブロック単位で比較される。そして、どちらの差も所定閾値よりも小さい場合、フレームＦ（ｎ）は静止画であると判断され、フレームＦ（ｎ−１），Ｆ（ｎ）及びＦ（ｎ＋１）の対応する画素で平均化される。何れかでも所定閾値より大きい場合、フレームＦ（ｎ）は動画であると判断され、フレームＦ（ｎ）の画素値がそのまま出力される。静止画に対する平均化処理により、ノイズが低減されることは周知である。

図５は、３０フレーム／秒の画像信号に対する３次元フィルタ処理特性の例を示す。横軸は、フレーム周波数を示し、縦軸はゲインを示す。特性８６は、３次元フィルタ処理を施されない画像ブロックの特性を示し、特性８８は、３次元フィルタ処理を施される画像ブロックの特性を示す。

次に、空間フィルタ処理を説明する。図６は空間フィルタ処理の重み係数例であり、図７は空間フィルタの周波数特性例を示す。

例えば、図６に示すように、画像データ中のある注目画素を中心に、水平及び垂直方向に５画素×５画素の画像ブロックを考える。注目画素の値に対して重み付け係数ｋ０を乗算し、その周辺の画素にはそれぞれｋ１〜ｋ２４の係数を乗算する。そして、これら２５個の乗算結果を加算する。このような処理は、所謂ＦＩＲフィルタ方式として広く知られており、これらの係数ｋ０〜ｋ２４の値を適宜の値に設定することにより、所望の空間周波数特性を得ることができる。

このような演算により、図７に示すような空間フィルタ処理特性を得ることができ、結果的に周波数の高いノイズ成分を低減させることができる。図７で、横軸は空間周波数、縦軸はゲインを示す。特性９０は、空間フィルタ処理を施されない画像ブロックの特性を示し、特性９２は、空間フィルタ処理を施される画像ブロックの特性を示す。

図８乃至図１０を参照して、システム制御装置４４の制御動作を詳細に説明する。図８及び図９は、システム制御装置４４によるノイズ低減部２０ａ，３０ａの制御のフローチャートを示す。図１０はゲインアップ、空間フィルタ及び３次元フィルタを設定する設定画面であり、図１１はゲインアップ、空間フィルタ又は３次元フィルタの関係を示す表である。

まず、操作部４２のカメラ設定メニューで、ゲインアップ、空間フィルタ及び３次元フィルタをオン／オフのいずれかに設定する（図１０）。ただし、カメラ設定メニュー画面のデフォルト設定は、ゲインアップ、空間フィルタ及び３次元フィルタのいずれもオンになっているものとする。

撮像スイッチが押下されると、システム制御装置４４がゲインアップ、空間フィルタ及び３次元フィルタの設定を図示しないメモリから読み込む（Ｓ１０）。ここでは、図１０に示すように、ゲインアップをオフに、空間フィルタをオンに、３次元フィルタをオフに設定されているとする。

設定が読み込まれると（Ｓ１０）、ゲインアップの設定がオンか否かを判別する（Ｓ１１）。ゲインアップの設定がオフであると（Ｓ１１）、システム制御装置４４は、ゲインアップをオフにする制御信号ＳをＣＤＳ／ＡＧＣ１８ａに供給する。また、システム制御装置４４は、制御信号Ｂ２，Ｃ２により圧縮部３０の３次元フィルタ処理及び空間フィルタ処理をオフにする（Ｓ１２）。

ステップＳ１０で読み込まれた空間フィルタの設定がオンであるか否かを判別する（Ｓ１３）。空間フィルタの設定がオンの場合（Ｓ１３）、システム制御装置４４は、信号処理部２０の空間フィルタ処理をオンにする制御信号Ｃ１を信号処理部２０に出力する（Ｓ１４）。一方、空間フィルタの設定がオフである場合（Ｓ１３）、システム制御装置４４は、信号処理部２０の空間フィルタ処理をオフにする制御信号Ｃ１を信号処理部２０に出力する（Ｓ１５）。

ステップＳ１０で読み込まれた３次元フィルタの設定がオンであるか否かを判別する（Ｓ１６）。３次元フィルタの設定がオンの場合（Ｓ１６）、システム制御装置４４は、信号処理部２０の３次元フィルタ処理をオンにする制御信号Ｂ１を信号処理部２０に出力する（Ｓ１７）。３次元フィルタの設定がオフの場合（Ｓ１６）、システム制御装置４４は、信号処理部２０の３次元フィルタ処理をオフにする制御信号Ｂ１を信号処理部２０に出力する（Ｓ１８）。

このようにして、本実施例では、ゲインアップの設定がオフの場合、圧縮部３０の空間フィルタ処理及び３次元フィルタ処理を強制的に停止させ、信号処理部２０の空間フィルタ処理と３次元フィルタ処理をユーザの設定に応じて動作させることができる。

一方、ゲインアップの設定がオンの場合（Ｓ１１）、システム制御装置４４は、ゲインアップを指示する制御信号ＳをＣＤＳ／ＡＧＣ１８ａに出力する。

ステップＳ１０で読み込まれた空間フィルタの設定がオンか否かを判別する（Ｓ２０）。空間フィルタの設定がオンの場合（Ｓ２０）、システム制御装置４４は、信号処理部２０の空間フィルタ処理をオンにする制御信号Ｃ１を信号処理部２０に供給し（Ｓ２１）、圧縮部３０の空間フィルタ処理をオフにする制御信号Ｃ２を圧縮部３０に出力する（Ｓ２２）。

空間フィルタの設定がオフの場合（Ｓ２０）、システム制御装置４４は、信号処理部２０の空間フィルタ処理をオフにする制御信号Ｃ１を信号処理部２０に出力し（Ｓ２３）、圧縮部３０の空間フィルタ処理をオンにする制御信号Ｃ２を圧縮部３０に出力する（Ｓ２４）。

ステップＳ１０で読み込まれた３次元フィルタの設定がオンか否かを判別する（Ｓ２５）。３次元フィルタの設定がオンの場合（Ｓ２５）、システム制御装置４４は、信号処理部２０の３次元フィルタ処理をオンにする制御信号Ｂ１を信号処理部２０に出力し（Ｓ２６）、圧縮部３０の３次元フィルタ処理をオフにする制御信号Ｂ２を圧縮部３０に出力する（Ｓ２７）。

３次元フィルタの設定がオフの場合（Ｓ２５）、システム制御装置４４は、信号処理部２０の３次元フィルタ処理をオフにする制御信号Ｂ１を信号処理部２０に出力し（Ｓ２８）、圧縮部３０の３次元フィルタ処理をオンにする制御信号Ｂ２を圧縮部３０に出力する（Ｓ２９）。

このように、本実施例では、ゲインアップの設定がオンの場合、ユーザ設定に従い信号処理部２０の空間フィルタ処理と３次元フィルタ処理を動作させると共に、圧縮部３０では、信号処理部２０で適用していないノイズ低減処理のみを動作させる。これにより、ノイズ低減処理の重複を防止する。

図１１は、ゲインアップと、信号処理部２０の３次元フィルタ処理及び空間フィルタ処理と、圧縮部３０の３次元フィルタ処理と空間フィルタ処理の選択関係の対応表を示す。

本実施例によれば、信号処理部２０のノイズ低減部２０ａと圧縮部３０のノイズ低減部３０ａのうちの一方だけを動作させるようにすることで、２重のノイズ低減フィルタ処理を無くし、記録画像の劣化を防ぐことができる。また、信号処理部２０と圧縮部３０のそれぞれにノイズ低減部２０ａ,３０ａを設けたことにより、カメラ画像信号と再生画像信号のいずれにも、最適なノイズ低減処理を施すことができる。

これにより、例えば、ゲインアップされたカメラ画像信号をクリアな印象にして外部に出力したい場合には、撮像部１２のノイズ低減処理をオンに設定すれば良く、また、敢えてノイズ感を残した画像を外部に出力したい場合には、撮像部１２のノイズ低減処理をオフにすればよい。

本実施例では、ノイズ低減処理が３次元フィルタと空間フィルタからなるが、本発明はこれに限らなく、フィルタは１種類でもよい。例えば、撮像部１２のノイズ低減部２０ａの動作状態に応じて、圧縮部３０のノイズ低減部３０ａの動作状態を切り換えることは、本発明の技術的範囲に含まれる。

ノイズ低減フィルタ処理として３次元フィルタと空間フィルタを例に説明したが、ノイズ低減が可能なその他のフィルタ処理、例えば、メディアンフィルタを採用しても良い。

ノイズ処理部２０ａとノイズ処理部３０ａとを同一構成としたが、異なる構成でノイズ低減処理を行うものであってもよい。

ノイズ低減フィルタ処理をオンとオフの２段階で制御するとしたが、フィルタ処理の強度を段階的に又は連続的に制御しても良い。

圧縮部３０及び伸長部３６は、実際には、単一の集積回路等で実現され得る。単一の出力端子を、カメラ画像の出力用と再生画像の出力用に兼用しても良い。

撮像部１２のゲイン、空間フィルタ及び３次元フィルタを撮影者が手動で設定するケースを説明したが、被写体の露光量等に応じて、撮像部１２のゲイン、空間フィルタ及び３次元フィルタが設定されるケースにも、本発明は適用可能であることは明らかである。例えば、システム制御装置４４は、ＣＤＳ／ＡＧＣ１８ａのゲインに応じて、信号処理部２０のノイズ低減部２０ａと圧縮部３０のノイズ低減部３０ａを図１１に示す関係になるように制御する。

本発明の一実施例であるカムコーダの概略構成ブロック図である。 ノイズ低減部２０ａの概略構成ブロック図である。 圧縮部３０の概略構成ブロック図である。 ３次元フィルタ処理の処理方法を説明する模式図である。 ３次元フィルタの周波数特性を示す図である。 空間フィルタ処理に使用する重み係数の一例である。 空間フィルタの周波数特性を示す図である。 ノイズ低減部２０ａ，３０ａの切替えの動作フローチャートの一部である。 ノイズ低減部２０ａ，３０ａの切替えの動作フローチャートの一部である。 カメラ設定メニューの設定画面例である。 本実施例におけるゲインアップ、空間フィルタ又は３次元フィルタの関係を示す図である。

符号の説明

１０ カムコーダ
１２ 撮像部
１４ レンズ系
１６ ＣＣＤ撮像素子
１８ Ａ／Ｄ変換部
１８ａ ＣＤＳ／ＡＧＣ
２０ 信号処理部
２０ａ ノイズ低減部
２２ カメラ画像出力端子
３０ 圧縮部
３０ａ ノイズ低減部
３０ｂ ＭＰＥＧ２圧縮符号化回路
３２ 記録再生部
３４ 記録媒体
３６ 伸長部
３８ 再生画像出力端子
４０ 表示部
４２ 操作部
４４ システム制御装置
５２ セレクタ
５６，５８，６０ フレームメモリ
６２ ３次元フィルタ処理部
６４ フレームメモリ
６６ 空間フィルタ処理部
７０ ３次元フィルタ処理部
７２ 空間フィルタ処理部

Claims (3)

1. 被写体の光学像を撮像する撮像手段と、
   前記撮像手段から出力される画像信号のゲインを調整するゲイン調整手段と、
   前記ゲイン調整手段によってゲイン調整された画像信号を処理する信号処理手段であって、入力される画像信号に対して方式の異なる複数のフィルタ処理を選択的に実行する第１のノイズ低減手段を具備する信号処理手段と、
   前記信号処理手段の出力画像信号を圧縮符号化する画像圧縮手段であって、入力される画像信号に対して前記複数のフィルタ処理を選択的に実行する第２のノイズ低減手段を具備する画像圧縮手段と、
   前記第１のノイズ低減手段が実行可能な前記複数のフィルタ処理のそれぞれについてオン／オフを設定する設定手段と、
   前記設定手段の設定に応じて前記第１のノイズ低減手段で実行されるフィルタ処理を選択するとともに、前記第１のノイズ低減手段で実行されないフィルタ処理を前記第２のノイズ低減手段に行わせる制御手段
   とを具備することを特徴とする撮像装置。
2. 前記第１及び第２のノイズ低減手段のそれぞれが、３次元フィルタ処理手段を具備することを特徴とする請求項１に記載の撮像装置。
3. 前記第１及び第２のノイズ低減手段のそれぞれが、空間フィルタ処理手段を具備することを特徴とする請求項１又は２に記載の撮像装置。

Images