JP5202277B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特に、表示装置のフレームレートより高いフレームレートで出力される信号を記録、再生する際のノイズの低減（リダクション）手法に特徴のある撮像装置に関する。

近年、表示装置のフレームレート（第２のフレームレート）より高いフレームレート（第１のフレームレート）で映像信号を記録することができるデジタルビデオカメラ（撮像装置）が提案されている。

このデジタルビデオカメラにおいては、第１のフレームレートで撮影した映像を記録しておき、再生時には第２のフレームレートで再生を行う。従って、従来のスロー再生のようにフレームを間引くことがなく、表示装置のフレームレートの映像を表示している状態でスロー映像となるため、高画質なスロー再生映像を得ることができる。

フレームレートの異なる映像を記録する技術が、特許文献１に提案されている。

特許文献１では、３０フレームよりも高いフレームレートの映像信号が撮影可能なカメラにおいて、複数のメモリを備え、高いフレームレートで出力される映像の中で、３０フレーム毎の出力を記録するメモリと、それ以外の出力を記録するメモリを備える。

そして、通常の再生は３０フレーム毎の映像を記録しているメモリからの出力を再生する。スロー再生時には複数のメモリに記録している信号を撮影された順序で再生する。

しかしながらこの技術では、高いフレームレートで撮影した映像出力の１フレームを抜き出して、３０フレームでの再生の１フレームとしているため、３０フレームの映像は高速シャッターのように露光時間が途切れた映像になる。また露光時間が短くなり、感度が悪くなる。

そこで、高いフレームレートの出力信号を加算平均し、表示装置のフレームレートに変換することが考えられる。

図３は、撮像装置における加算平均回路の処理の概念図である。

表示装置のフレームレートが３０フレーム、撮像素子からの信号出力のフレームレートが１２０フレームであったとする。撮像素子の出力であるフレームレートが１２０の時の１フレームの映像信号３０１は、図に示すように、１／１２０［ｓ］毎に出力される。

表示装置のフレームレートに合わせるために、１２０フレームで得られた信号の４フレームを加算平均し、フレームレートが３０の時の１フレームの映像信号３０２を生成する。

このようにすれば、フレームレートが１２０の時の４フレームの映像信号を使用してフレームレートが３０の映像信号を作っているため、撮像素子の出力のフレームレートが３０の時と同等の映像信号を得ることができる。
特開２００７−１０４５８４号公報

加算平均を行う画像信号に相関がなければ、加算平均を行うとノイズは一様に低減する。例えば、画素信号をＸｎとする。ＸｎのノイズをＮとする。例えば、４フレームの加算平均である場合、４フレームの映像信号Ｘｎ、Ｘｎ＋１、Ｘｎ＋２、Ｘｎ＋３は独立でそれぞれのノイズはＮであるため、４フレームの加算平均を行うとノイズ量Ｎ′は、

となり、ノイズ量は半分になる。

しかしながら、巡回型のノイズリダクション（巡回型ＮＲ）のような、フレーム間に相関を持たせるような信号処理を行った信号は互いに独立ではなくなるため、４フレームの加算平均を行っても一様にノイズ量が半分とならない。

図４は、従来例に係る撮像装置の巡回型ＮＲ回路の構成図である。

フレームメモリ４０１は、１フレーム前の信号を記憶している。入力をＸｎ、巡回係数をＫとすると、出力Ｙｎは以下の式で表される。

Ｘｎのノイズ成分はＮであるので、Ｙｎのノイズ量Ｎ″は

となる。一方、Ｙｎの４フレームを加算平均したときのノイズ量Ｎ'''は

となる。巡回型ＮＲ回路を通った信号は元信号に対して式（３）に示すように、ノイズを抑圧される。この信号が第１のフレームレートの信号として使用される。

一方、この信号の４フレーム加算平均した信号は、式（４）に示すように、ノイズを抑圧する。この信号が第２のフレームレートの信号として使用される。

図５は、図４の巡回型ＮＲ回路における巡回係数とノイズ比の関係を示す図である。

２つの波形は、元信号に対する巡回型ＮＲの出力のノイズ比（第１のフレームレート）と元信号に対する巡回型ＮＲ処理と加算平均処理を行った信号のノイズ比（第２のフレームレート）を示す。横軸は巡回係数、縦軸は元信号に対するノイズ比を示す。

上述したように、第２のフレームレートのノイズ比は第１のフレームレートのノイズ比に対して、４フレーム加算平均している分、小さくなっているが、巡回係数が大きくなるに従い差が小さくなっている。

照度が低くなった際、ノイズを低減するために巡回係数Ｋを大きくする場合、または巡回係数を最適化する際等、巡回係数を変更した場合、加算平均している信号としていない信号ではノイズの低減の変化が異なり、両方の信号に対して最適化することが難しい。

一方、動解像度は次のような違いが生じる。ある画素の信号がＳ１からＳ２に変化したとする。つまり巡回型ＮＲ回路の入力信号ＸｎがＳ１からＳ２に変化したとする。ノイズを無視して考えると、出力信号Ｙｎは式（２）より

となる。式（５）を見て分かるように、入力信号ＸｎがＳ１からＳ２に変化したとき、巡回型ＮＲ回路の出力信号ＹｎがほぼＳ２に変化するまでにかかるフレーム数は巡回係数Ｋによって異なる。仮にＫが０．５であったとすると、出力Ｙｎが９９％以上Ｓ２となるには７フレームかかる。
出力信号Ｙｎを４フレーム加算平均すると、

となる。この場合は信号出力４フレームで１フレームの映像を作る。そのため、ｎフレームの次はｎ＋４フレームからの加算となり、（Ｙｎ＋４＋Ｙｎ＋５＋Ｙｎ＋６＋Ｙｎ＋７）／４となる。巡回型ＮＲ回路の出力が９９％以上Ｓ２となるには２フレームかかる。

これは、加算平均した影響がほぼそのまま生じており、加算平均する前の信号に対して、加算平均した信号は概ね１／４のフレーム数で収束する。

ある画素の信号変化に対して収束する時間は、加算平均した信号、即ち、第２のフレームレート用の信号の方が短い。第１のフレームレートの信号の収束する時間を短くしようとすると、巡回係数を小さくする必要があり、第２のフレームレートの映像信号のノイズ劣化の原因となってしまう。

このように、加算平均されている信号とされていない両方の信号に対して、巡回係数の変化に対してノイズ低減比が非線形の関係にあることや、映像信号として求められるノイズ、動解像度等の要素が異なるため、巡回係数を最適化することは困難である。

本発明の目的は、巡回型のノイズリダクション回路を持ち、加算平均した映像信号を使用することを前提とし、加算平均するフレーム数に応じて巡回係数を変更することができる撮像装置を提供することにある。

上記目的を達成するために、本発明の撮像装置は、露光された光を電気信号に変換し、第１のフレームレートの信号として出力する変換手段と、前記第１のフレームレートの信号の一部または複数を加算平均して、前記第１のフレームレートよりも低速な第２のフレームレートの信号を生成する加算平均手段と、前記第１のフレームレートの信号と前記第２のフレームレートの信号のそれぞれに対応した異なるノイズ低減処理を実行する巡回型の低減手段と、を備え、前記低減手段は、低照度により前記変換手段に適用されるゲインが上がった場合に、前記第２のフレームレートの信号に対する巡回係数を大きくするのに対して、前記第１のフレームレートの信号に対する巡回係数を維持することを特徴とする。

本発明の撮像装置によれば、巡回型のノイズリダクション回路を持ち、加算平均した映像信号を使用することを前提とし、加算平均するフレーム数に応じて巡回係数を変更することができる。

以下、本発明を図面を参照しながら詳細に説明する。

図１は、本発明の第１の実施の形態に係る撮像装置としてのデジタルビデオカメラの概略構成図である。

以下、その構成を動作と併せて説明する。

図１において、アイリス、レンズ等の光学系１０１を通った光はＣＭＯＳ、ＣＣＤ等で構成される撮像部１０２で光電変換される。光電変換された信号は、ＴＧ（タイミングジェネレータ）１０３で制御され、表示部１１４より高いフレームレート（以下、第１のフレームレート）で撮像部１０２より出力される。

撮像部１０２より出力された信号は、ＡＦＥ（アナログフロントエンド）１０４でＡ／Ｄ変換やゲインコントロールを行われ、カメラ信号処理部１０５に送られる。

カメラ信号処理部１０５では、まず、信号処理部１０６で、ガンマ補正や輪郭補正、色ゲイン補正等の画像信号処理が行われる。静止画撮影時には、静止画用の圧縮等の信号処理が行われた後、静止画記録媒体１０７に信号が送られ記録される。

動画撮影時には、上記画像信号処理を行った後、第１のフレームレート用の巡回型ノイズリダクション回路（以下、巡回型ＮＲ回路Ａ）１０８と表示装置のフレームレート（以下、第２のフレームレート）に変更するための加算平均回路１０９に送られる。第２のフレームレートは、第１のフレームレートより低速である。

加算平均された信号は第２のフレームレート用の巡回型ノイズリダクション回路（以下、巡回型ＮＲ回路Ｂ）１１０に送られる。画像信号は、巡回型ＮＲ回路Ａ１０８、巡回型ＮＲ回路Ｂ１１０で各々の巡回係数ＫＡ、ＫＢに基づき、ノイズが低減される。

巡回型ＮＲ回路Ａ１０８、巡回型ＮＲ回路Ｂ１１０を通った信号は、ビデオ信号処理部１１１に送られる。ビデオ信号処理部１１１では、第１のフレームレートの信号と第２のフレームレートの信号に対してそれぞれ圧縮伸張等の処理を行う。

ビデオ信号処理部１１１で信号処理された信号は、メモリカードやＤＶＤ等の動画記録媒体１１２に送られ、書き込まれる。この際、第１のフレームレートと第２のフレームレートの信号がそれぞれ記録される。

また、第２のフレームレートの映像信号は、ビデオ信号処理部１１１より表示回路１１３にも送られ、表示用の信号に変換された後、ＬＣＤ等の表示部１１４で表示される。

ＣＰＵ１１５は、以下の各種の情報を元に光学系１０１、ＴＧ１０３、カメラ信号処理部１０５、ビデオ信号処理部１１１等を制御する。

各種の情報とは、光学系制御回路１１６より取得するアイリスの位置やズームの位置等の光学系１０１の状態に関する情報、操作部１１７よりユーザーの操作した情報、カメラ信号処理部１０５より送られた輝度情報や色情報等である。

通常再生時は、動画記録媒体１１２に記録されている第２のフレームレートの信号を再生する。スロー再生時には動画記録媒体１１２に記録されている第１のフレームレートの信号を再生する。

ここで、撮像部１０２は、露光された光を電気信号に変換する変換手段と、変換手段により変換された電気信号を表示部１１４のフレームレートより高い第１のフレームレートで出力する出力手段として機能する。

また、信号処理部１０６は、出力手段により出力された第１のフレームレートの信号を複数に分岐する分岐手段として機能する。

また、加算平均回路１０９は、分岐手段により分岐された第１のフレームレートの信号の一部または複数を加算平均して、表示部１１４のフレームレートである第２のフレームレートの信号を生成する加算平均手段として機能する。

また、巡回型ＮＲ回路Ａ１０８、巡回型ＮＲ回路Ｂ１１０は、第１のフレームレートの信号と第２のフレームレートの信号のそれぞれに対応し、異なるノイズ低減処理を実行する巡回型の低減手段として機能する。

上述した構成にすれば、第１のフレームレート用の信号と第２のフレームレート用の信号に対してそれぞれ巡回型ＮＲ回路を持つため、それぞれの信号に適した巡回係数を決めることができる。

例えば、低照度時にゲインが上がった際、第２のフレームレートの信号に対してはＳ／Ｎを重視して巡回係数を大きくし、第１のフレームレートでは、動解像度を重視して、巡回係数を維持しておく等の設定を行うことができる。

本実施の形態では、加算平均回路１０９を１個用意する例を示した。加算平均回路１０９と巡回型ＮＲ回路は複数個あっても良い。

例えば、第２のフレームレートが３０、第１のフレームレートが１２０の時は、第２のフレームレートの信号を作成するために４フレームを加算平均する。再生時には１／４のスピードの再生となる。

加算平均回路と巡回型ＮＲ回路を複数個用意し、２フレーム、３フレームの加算平均の信号を記録しておけば、１／２、３／４等のスピードのスロー映像を再生することが可能となる。

図２は、本発明の第２の実施の形態に係る撮像装置としてのデジタルビデオカメラの概略構成図である。

以下、その構成を動作と併せて説明する。

アイリス、レンズ等の光学系１０１を通った光はＣＭＯＳ、ＣＣＤ等で構成される撮像部１０２で光電変換される。光電変換された信号はＴＧ１０３で制御され、表示部１１４より高い第１のフレームレートで撮像部１０２より出力される。

撮像部１０２より出力された信号は、ＡＦＥ１０４でＡ／Ｄ変換やゲインコントロールを行われ、カメラ信号処理部１０５に送られる。

カメラ信号処理部１０５では、信号処理部１０６でガンマ補正や輪郭補正、色ゲイン補正等の画像信号処理が行われる。

静止画撮影時には、静止画用の圧縮等の信号処理が行われた後、静止画記録媒体１０７に信号が送られ記録される。動画撮影時には、上記画像信号処理を行われた信号は、ビデオ信号処理部１１１に送られる。

ビデオ信号処理部１１１では圧縮伸張等の処理を行う。ビデオ信号処理部１１１で信号処理された信号は、メモリカードやＤＶＤ等の動画記録媒体１１２に送られ、記録される。

また、信号は、ビデオ信号処理部１１１より表示回路１１３にも送られ、表示用の信号に変換された後、ＬＣＤ等の表示部１１４で表示される。

ＣＰＵ１１５は、以下の各種の情報を元に光学系１０１、ＴＧ１０３、カメラ信号処理部１０５、ビデオ信号処理部１１１等を制御する。

各種の情報とは、光学系制御回路１１６より取得するアイリスの位置やズームの位置等の光学系１０１の状態に関する情報、操作部１１７よりユーザーの操作した情報、カメラ信号処理部１０５より送られた輝度情報や色情報等である。

本実施の形態では、動画記録媒体１１２には第１のフレームレートの映像信号が記録されている。再生時、記録されている映像信号は、ビデオ信号処理部１１１で再生用に信号処理が行われる。ビデオ信号処理部１１１で信号処理された信号は、加算平均回路１０９に送られる。

通常再生時は、加算平均回路１０９で、第１のフレームレートの信号を加算平均し、第２のフレームレートの信号に変換する。加算平均回路１０９は、第１のフレームレートが１２０、第２のフレームレートが３０であれば、第１のフレームレートの４画素を加算平均し、フレームレートが３０の信号に変換する。加算平均回路１０９は、スロー再生が選択されたときは選んだスピードに応じて加算平均する。

例えば、１／４のスピードが選択されれば、信号はそのまま巡回型ＮＲ回路２０１に送られる。１／２のスピードが選択された場合には、２フレームが加算された信号が巡回型ＮＲ回路２０１に送られる。３／４のスピードが選択された場合には、３フレームが加算された信号が巡回型ＮＲ回路２０１に送られる。

加算平均回路１０９より出力された信号は、巡回型ＮＲ回路２０１で巡回型のノイズリダクションの信号処理が行われる。巡回係数は、予め、再生スピード、照度等に応じて決められており、それぞれの条件に合わせて切り替えられる。

巡回型ＮＲ回路２０１で信号処理された信号は、再び、ビデオ信号処理部１１１で再生用に信号変換され、表示部１１４やＴＶ等の外部の表示装置で表示される。

ここで、動画記録媒体１１２は、撮像部１０２により出力された第１のフレームレートの信号を記録する記録手段として機能する。

また、ビデオ信号処理部１１１は、加算平均されるフレーム数に応じて巡回係数を変更しながら表示部１１４のフレームレートである第２のフレームレートで再生する再生手段として機能する。

本実施の形態では、再生時に加算平均、巡回型のノイズリダクションを行う。そのため記録時は第１のフレームレートの映像のみを記録すれば良い。また、再生時にモードに応じて加算平均フレーム数、巡回係数を変更するため、１個の巡回型ＮＲ回路で再生モードに応じて巡回係数を変更することができる。

本発明の第１の実施の形態に係る撮像装置としてのデジタルビデオカメラの概略構成図である。 本発明の第２の実施の形態に係る撮像装置としてのデジタルビデオカメラの概略構成図である。 撮像装置における加算平均回路の処理の概念図である。 従来例に係る撮像装置の巡回型ＮＲ回路の構成図である。 図４の巡回型ＮＲ回路における巡回係数とノイズ比の関係を示す図である。

符号の説明

１０１ 光学系
１０２ 撮像部
１０３ タイミングジェネレータ（ＴＧ）
１０４ ＡＦＥ
１０５ カメラ信号処理部
１０６ 信号処理部
１０７ 静止画記録媒体
１０８ 第１のフレームレート用の巡回型ノイズリダクション回路（ＮＲ回路Ａ）
１０９ 加算平均回路
１１０ 第２のフレームレート用の巡回型ノイズリダクション回路（ＮＲ回路Ｂ）
１１１ ビデオ信号処理部
１１２ 動画記録媒体
１１３ 表示回路
１１４ 表示部
１１５ ＣＰＵ
１１６ 光学系制御回路
１１７ 操作部

Claims (3)

1. 露光された光を電気信号に変換し、第１のフレームレートの信号として出力する変換手段と、
   前記第１のフレームレートの信号の一部または複数を加算平均して、前記第１のフレームレートよりも低速な第２のフレームレートの信号を生成する加算平均手段と、
   前記第１のフレームレートの信号と前記第２のフレームレートの信号のそれぞれに対応した異なるノイズ低減処理を実行する巡回型の低減手段と、
   を備え、
   前記低減手段は、低照度により前記変換手段に適用されるゲインが上がった場合に、前記第２のフレームレートの信号に対する巡回係数を大きくするのに対して、前記第１のフレームレートの信号に対する巡回係数を維持することを特徴とする撮像装置。
2. 前記加算平均手段は、前記第２のフレームレートの信号を生成する際に、加算平均するフレーム数を変更することが可能であり、
   前記低減手段は、前記加算平均手段によって加算平均されるフレーム数に応じて前記巡回係数を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記第１のフレームレートの信号と前記第２のフレームレートの信号のいずれかを用いて表示を行う表示手段を有し、
   前記表示手段は、スロー再生を行う際に、前記第１のフレームレートの信号を用いることを特徴とする請求項１または２に記載の撮像装置。

Images