JP6525707B2 - 画像処理装置、その制御方法及びプログラム、並びに撮像装置 - Google Patents
画像処理装置、その制御方法及びプログラム、並びに撮像装置 Download PDFInfo
- Publication number
- JP6525707B2 JP6525707B2 JP2015088501A JP2015088501A JP6525707B2 JP 6525707 B2 JP6525707 B2 JP 6525707B2 JP 2015088501 A JP2015088501 A JP 2015088501A JP 2015088501 A JP2015088501 A JP 2015088501A JP 6525707 B2 JP6525707 B2 JP 6525707B2
- Authority
- JP
- Japan
- Prior art keywords
- resizing
- image
- noise reduction
- unit
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、動画像に対して、時間方向の相関性を用いるノイズ低減処理を行う画像処理装置、その制御方法及びプログラム、並びに撮像装置に関する。
デジタルカメラやデジタルビデオカメラ等の撮像系から得られる画像信号は、一般にノイズ成分を含んでいる。その中でもランダムノイズは、主に高感度撮影時において時間方向、空間方向にランダムに発生するノイズであり、特に時間方向のノイズは動画像の画像品質を劣化させる要因の一つとなっている。動画像におけるランダムノイズの低減処理としては、時間方向の相関性を用いる巡回型のノイズ低減処理が知られている。
また、映像拡大するための電子ズーム処理を実現する場合、画像信号の一部を切り出して、画素の引き延ばし処理と、隣接画素間の補間処理とを行うことで、電気的に画像信号を拡大する。連続的に切り出し領域の大きさを変えることによって電気的にズーミングのような効果を得ることができる。
ここで、電子ズーム処理と併用して時間方向の相関性を用いるノイズ低減処理を実現しようとした場合、前後フレーム間でデータの相関性が損なわれてしまうという問題がある。
例えば特許文献１では、電子ズーム及び手ぶれ補正機能を動作させているときは、巡回型のノイズリデュース回路の入力とフィールドメモリ出力とでデータの相関性が損なわれるので、ノイズリデューサの動作を止める構成が開示されている。この方法は、残像や尾引きといった巡回型ノイズ低減処理の誤作動を防ぐことができるが、ノイズ低減効果が得られなくなってしまう。
例えば特許文献１では、電子ズーム及び手ぶれ補正機能を動作させているときは、巡回型のノイズリデュース回路の入力とフィールドメモリ出力とでデータの相関性が損なわれるので、ノイズリデューサの動作を止める構成が開示されている。この方法は、残像や尾引きといった巡回型ノイズ低減処理の誤作動を防ぐことができるが、ノイズ低減効果が得られなくなってしまう。
本発明は上記のような点に鑑みてなされたものであり、電子ズーム処理と併用して時間方向の相関性を用いるノイズ低減処理を実現できるようにすることを目的とする。
本発明の画像処理装置は、動画像に対して、時間方向の相関性を用いるノイズ低減処理を行う画像処理装置であって、動画像を構成する対象フレームの画像を、前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第１のリサイズ手段と、前記対象フレームの前フレームの画像を、前記前フレームに対する電子ズームの倍率ではなく前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第２のリサイズ手段と、前記第１のリサイズ手段から供給されるリサイズ後の前記対象フレームの画像の画素と、前記第２のリサイズ手段から供給されるリサイズ後の前記前フレームの画像の画素とを混合することにより、前記第１のリサイズ手段から供給されるリサイズ後の画像に対してノイズ低減処理を行うノイズ低減処理手段とを備え、前記第２のリサイズ手段は、前記ノイズ低減処理が行われる前の前記前フレームの画像をリサイズすることを特徴とする。
本発明によれば、前フレームの切り出し領域を現フレームに合わせるようにしたので、電子ズーム処理と併用して時間方向の相関性を用いるノイズ低減処理を実現することができる。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
＜第１の実施形態＞
第１の実施形態では、動画撮影を行うデジタルカメラにおいて、連続的に画像中央の切り出し領域の大きさを変える電子ズーム処理と、時間方向の相関性を用いた合成型のノイズ低減処理を行うことを提案する。
＜第１の実施形態＞
第１の実施形態では、動画撮影を行うデジタルカメラにおいて、連続的に画像中央の切り出し領域の大きさを変える電子ズーム処理と、時間方向の相関性を用いた合成型のノイズ低減処理を行うことを提案する。
（デジタルカメラの構成）
図１は、第１の実施形態に係るデジタルカメラの構成を模式的に示すブロック図である。本実施形態では、デジタルカメラが、本発明を適用した画像処理装置として機能する。
デジタルカメラにおいて、絞り、レンズ等の光学系１を通った光はＣＯＭＳやＣＣＤ等で構成される撮像素子２で光電変換され、画素単位のアナログ画像信号として第１の信号処理部３に供給される。
第１の信号処理部３は、撮像素子２から供給されるアナログ画像信号に対してＡ／Ｄ変換やゲインコントロール等を行い、デジタル画像信号としてリサイズ部４に供給する。
図１は、第１の実施形態に係るデジタルカメラの構成を模式的に示すブロック図である。本実施形態では、デジタルカメラが、本発明を適用した画像処理装置として機能する。
デジタルカメラにおいて、絞り、レンズ等の光学系１を通った光はＣＯＭＳやＣＣＤ等で構成される撮像素子２で光電変換され、画素単位のアナログ画像信号として第１の信号処理部３に供給される。
第１の信号処理部３は、撮像素子２から供給されるアナログ画像信号に対してＡ／Ｄ変換やゲインコントロール等を行い、デジタル画像信号としてリサイズ部４に供給する。
リサイズ部４は、第１の信号処理部３から供給されるデジタル画像信号に対して切り出し及びズーム補間処理によってリサイズ処理を行い、ノイズ低減処理部（ＮＲ処理部）５に供給する。
ＮＲ処理部５は、リサイズ部４から供給されるリサイズ処理がなされたデジタル画像信号に対して時間方向の相関性を用いたノイズ低減処理を行い、第２の信号処理部６に供給する。
ＮＲ処理部５は、リサイズ部４から供給されるリサイズ処理がなされたデジタル画像信号に対して時間方向の相関性を用いたノイズ低減処理を行い、第２の信号処理部６に供給する。
第２の信号処理部６は、ＮＲ処理部５から供給されるノイズ低減処理がなされたデジタル画像信号に対して色調整等を行い、出力部７に供給する。
出力部７は、第２の信号処理部６から供給されるデジタル画像信号のＨＤＭＩ（登録商標）等の出力インタフェースへの出力、半導体メモリカード等の記録メディアへの記録、デジタルカメラの表示装置（図示せず）への出力のうち少なくともいずれか１つ以上を行う。
出力部７は、第２の信号処理部６から供給されるデジタル画像信号のＨＤＭＩ（登録商標）等の出力インタフェースへの出力、半導体メモリカード等の記録メディアへの記録、デジタルカメラの表示装置（図示せず）への出力のうち少なくともいずれか１つ以上を行う。
ユーザインタフェース部（ＵＩ部）９は、スイッチ、ボタン、表示装置に設けられたタッチパネル等の入力機器を１つ以上有し、ユーザがデジタルカメラに対して各種設定や指示を与えるために用いられる。動画撮像モードと静止画撮像モードの切り替え指示、撮像モードと再生モードの切り替え指示、動画撮像の開始、一時停止、終了の指示、表示装置に表示されるＧＵＩの操作等は、ＵＩ部９を通じてユーザからデジタルカメラに入力される。
制御部１０は、デジタルカメラ全体の動作を制御する。制御部１０は、例えばＣＰＵ、不揮発性の領域を有するＲＡＭ、ＲＯＭを備え、ＲＯＭに記憶された制御プログラムをＲＡＭに展開し、ＣＰＵが実行して各構成要素を制御することにより、デジタルカメラの各種機能を実現する。ＵＩ部９を通じて設定された撮像フレームレートや解像度等の撮像パラメータを始めとする設定値等は、例えば制御部１０が有する不揮発性ＲＡＭに記憶される。
以上のようにしたデジタルカメラの各構成要素は、バス８を介して互いに通信可能に接続されている。
以上のようにしたデジタルカメラの各構成要素は、バス８を介して互いに通信可能に接続されている。
（リサイズ部４の構成）
図２は、リサイズ部４の構成例を示すブロック図である。以下、図２を参照して、リサイズ部４の構成及び動作について説明する。
切り出し部４０２は、第１の信号処理部３から画像入力端子４０１を介して入力されるデジタル画像信号に対して切り出し処理を行い、ズーム補間部４０３に供給する。切り出し処理は、入力端子４０６を介して入力される現フレームの切り出し領域に従って行われる。
ズーム補間部４０３は、切り出し部４０２で切り出されたデジタル画像信号に対してズーム補間処理を行い、画像出力端子４１０に供給する。ズーム補間処理は、入力端子４０６を介して入力される現フレームのズーム倍率に従って行われる。
切り出し部４０４は、第１の信号処理部３から画像入力端子４０１を介して入力されるデジタル画像信号に対して切り出し処理を行い、ズーム補間部４０５に供給する。切り出し処理は、入力端子４０６を介して入力される次のフレームの切り出し領域に従って行われる。
ズーム補間部４０５は、切り出し部４０４で切り出されたデジタル画像信号に対してズーム補間処理を行い、画像出力端子４１１に供給する。ズーム補間処理は、入力端子４０６を介して入力される次のフレームのズーム倍率に従って行われる。このように、切り出し部４０４及びズーム補間部４０５は、次のフレームに対して時間方向の相関性を用いたノイズ低減処理を行う際に用いられる画像を生成する。
画像出力端子４１０は、ズーム補間部４０３から供給されるデジタル画像信号を、リサイズ部４の出力としてＮＲ処理部５に供給する。画像出力端子４１１は、ズーム補間部４０５から供給されるデジタル画像信号を、リサイズ部４の出力としてＮＲ処理部５に供給する。
図２は、リサイズ部４の構成例を示すブロック図である。以下、図２を参照して、リサイズ部４の構成及び動作について説明する。
切り出し部４０２は、第１の信号処理部３から画像入力端子４０１を介して入力されるデジタル画像信号に対して切り出し処理を行い、ズーム補間部４０３に供給する。切り出し処理は、入力端子４０６を介して入力される現フレームの切り出し領域に従って行われる。
ズーム補間部４０３は、切り出し部４０２で切り出されたデジタル画像信号に対してズーム補間処理を行い、画像出力端子４１０に供給する。ズーム補間処理は、入力端子４０６を介して入力される現フレームのズーム倍率に従って行われる。
切り出し部４０４は、第１の信号処理部３から画像入力端子４０１を介して入力されるデジタル画像信号に対して切り出し処理を行い、ズーム補間部４０５に供給する。切り出し処理は、入力端子４０６を介して入力される次のフレームの切り出し領域に従って行われる。
ズーム補間部４０５は、切り出し部４０４で切り出されたデジタル画像信号に対してズーム補間処理を行い、画像出力端子４１１に供給する。ズーム補間処理は、入力端子４０６を介して入力される次のフレームのズーム倍率に従って行われる。このように、切り出し部４０４及びズーム補間部４０５は、次のフレームに対して時間方向の相関性を用いたノイズ低減処理を行う際に用いられる画像を生成する。
画像出力端子４１０は、ズーム補間部４０３から供給されるデジタル画像信号を、リサイズ部４の出力としてＮＲ処理部５に供給する。画像出力端子４１１は、ズーム補間部４０５から供給されるデジタル画像信号を、リサイズ部４の出力としてＮＲ処理部５に供給する。
（ＮＲ処理部５の構成）
図３は、ＮＲ処理部５の構成例を示すブロック図である。以下、図３を参照して、ＮＲ処理部５の構成及び動作について説明する。
空間的ＮＲ部５０２は、リサイズ部４の画像出力端子４１０から画像入力端子５０１を介して入力されるデジタル画像信号に対して２次元的（空間的）なノイズ低減処理を行い、ＬＰＦ（ローパスフィルタ）５０３及び混合部５１０に供給する。
空間的ＮＲ部５０５は、リサイズ部４の画像出力端子４１１から画像入力端子５０４を介して入力されるデジタル画像信号に対して２次元的（空間的）なノイズ低減処理を行い、フレームメモリ５０８に供給する。
フレームメモリ５０８は、入力されるデジタル画像信号を１フレーム時間遅延させて、ＬＰＦ５０９及び混合部５１０に供給する。
図３は、ＮＲ処理部５の構成例を示すブロック図である。以下、図３を参照して、ＮＲ処理部５の構成及び動作について説明する。
空間的ＮＲ部５０２は、リサイズ部４の画像出力端子４１０から画像入力端子５０１を介して入力されるデジタル画像信号に対して２次元的（空間的）なノイズ低減処理を行い、ＬＰＦ（ローパスフィルタ）５０３及び混合部５１０に供給する。
空間的ＮＲ部５０５は、リサイズ部４の画像出力端子４１１から画像入力端子５０４を介して入力されるデジタル画像信号に対して２次元的（空間的）なノイズ低減処理を行い、フレームメモリ５０８に供給する。
フレームメモリ５０８は、入力されるデジタル画像信号を１フレーム時間遅延させて、ＬＰＦ５０９及び混合部５１０に供給する。
ＬＰＦ５０３は、入力されるデジタル画像信号に対してローパスフィルタ処理を行い、差分絶対値算出部５０６に供給する。
ＬＰＦ５０９は、入力される遅延されたデジタル画像信号に対してローパスフィルタ処理を行い、差分絶対値算出部５０６に供給する。
差分絶対値算出部５０６は、ＬＰＦ５０３でローパスフィルタ処理がなされたデジタル画像信号と、ＬＰＦ５０９でローパスフィルタ処理がなされた遅延されたデジタル画像信号との差分絶対値を算出して、時間的ＮＲ係数算出部５０７に供給する。
時間的ＮＲ係数算出部５０７は、差分絶対値算出部５０６で算出された差分絶対値に基づいて、時間的ＮＲ係数を設定して、混合部５１０に供給する。
混合部５１０は、空間的ＮＲ部５０２でノイズ低減処理がなされたデジタル画像信号と、空間的ＮＲ部５０５でノイズ低減処理がなされ、かつ、遅延されたデジタル画像信号とを時間的ＮＲ係数に基づいて混合する。そして、混合して得られた画像出力端子５１１に供給する。
画像出力端子５１１は、混合部５１０から供給されるデジタル画像信号を、ＮＲ処理部５の出力として第２の信号処理部６に供給する。
ＬＰＦ５０９は、入力される遅延されたデジタル画像信号に対してローパスフィルタ処理を行い、差分絶対値算出部５０６に供給する。
差分絶対値算出部５０６は、ＬＰＦ５０３でローパスフィルタ処理がなされたデジタル画像信号と、ＬＰＦ５０９でローパスフィルタ処理がなされた遅延されたデジタル画像信号との差分絶対値を算出して、時間的ＮＲ係数算出部５０７に供給する。
時間的ＮＲ係数算出部５０７は、差分絶対値算出部５０６で算出された差分絶対値に基づいて、時間的ＮＲ係数を設定して、混合部５１０に供給する。
混合部５１０は、空間的ＮＲ部５０２でノイズ低減処理がなされたデジタル画像信号と、空間的ＮＲ部５０５でノイズ低減処理がなされ、かつ、遅延されたデジタル画像信号とを時間的ＮＲ係数に基づいて混合する。そして、混合して得られた画像出力端子５１１に供給する。
画像出力端子５１１は、混合部５１０から供給されるデジタル画像信号を、ＮＲ処理部５の出力として第２の信号処理部６に供給する。
（リサイズ部４によるリサイズ処理、及びＮＲ処理部５によるノイズ低減処理）
以下、リサイズ部４によるリサイズ処理、及びＮＲ処理部５によるノイズ低減処理の具体例を説明する。
リサイズ部４には、画像入力端子４０１を介して、動画像がフレーム単位で順次入力される。例えば入力解像度は４０９６画素×２１６０画素であり、出力解像度は１９２０画素×１０８０画素であるとする。また、撮像感度（ＩＳＯ感度）は、３２００であるとする。
以下、リサイズ部４によるリサイズ処理、及びＮＲ処理部５によるノイズ低減処理の具体例を説明する。
リサイズ部４には、画像入力端子４０１を介して、動画像がフレーム単位で順次入力される。例えば入力解像度は４０９６画素×２１６０画素であり、出力解像度は１９２０画素×１０８０画素であるとする。また、撮像感度（ＩＳＯ感度）は、３２００であるとする。
まず、リサイズ部４に、画像入力端子４０１を介して、ノイズ低減処理を適用する対象フレーム（現フレーム）が入力される場合を説明する。
切り出し部４０２は、現フレームに対して、現フレームの切り出し領域に従って切り出し処理を行う。例えば現フレームの切り出し領域は、画像中央の２８８０画素×１６２０画素であるとする。
ズーム補間部４０３は、バイキュービックフィルタを用いてズーム補間処理を行う。本例では、入力解像度が２８８０画素×１６２０画素で、出力解像度が１９２０画素×１０８０画素であるため、前フレームに適用するズーム倍率は水平及び垂直共に０．６６倍である。
また、切り出し部４０４は、現フレームに対して、次のフレームの切り出し領域に従って切り出し処理を行う。例え次のフレームの切り出し領域は、画像中央の３２００画素×１８００画素であるとする。
ズーム補間部４０３は、バイキュービックフィルタを用いてズーム補間処理を行う。本例では、入力解像度が３２００画素×１８００画素で、出力解像度が１９２０画素×１０８０画素であるため、現フレームに適用するズーム倍率は水平及び垂直共に０．６０倍である。
切り出し部４０２は、現フレームに対して、現フレームの切り出し領域に従って切り出し処理を行う。例えば現フレームの切り出し領域は、画像中央の２８８０画素×１６２０画素であるとする。
ズーム補間部４０３は、バイキュービックフィルタを用いてズーム補間処理を行う。本例では、入力解像度が２８８０画素×１６２０画素で、出力解像度が１９２０画素×１０８０画素であるため、前フレームに適用するズーム倍率は水平及び垂直共に０．６６倍である。
また、切り出し部４０４は、現フレームに対して、次のフレームの切り出し領域に従って切り出し処理を行う。例え次のフレームの切り出し領域は、画像中央の３２００画素×１８００画素であるとする。
ズーム補間部４０３は、バイキュービックフィルタを用いてズーム補間処理を行う。本例では、入力解像度が３２００画素×１８００画素で、出力解像度が１９２０画素×１０８０画素であるため、現フレームに適用するズーム倍率は水平及び垂直共に０．６０倍である。
続いて、ＮＲ処理部５に、画像入力端子５０１及び５０４を介して、リサイズ部４で２通りのリサイズ処理がなされた現フレームが入力される。
空間的ＮＲ部５０２及び５０５は、ε−フィルタを用いてノイズ低減処理を行う。図４に示すように、注目画素をｘnとした場合、注目画素及びその周辺の画素ｘn-5〜ｘn+5の画素値を用いて平滑化を行うことによりノイズ低減を図る。このとき、注目画素ｘnの画素値に対して±εの範囲内にある画素値だけで平滑化を行う。図４の例では、注目画素ｘnの画素値に対して画素ｘn-5、ｘn-2、ｘn+4の画素値は±εの範囲内にない。そこで、画素ｘn-5、ｘn-2、ｘn+4の画素値をそれぞれ注目画素ｘnの画素値と置き換えて、画素ｘn-5〜ｘn+5の画素値の加重平均を行う。以下に、計算式（１）、（２）を示す。ａkは各画素における重みを示しており、注目画素ｘnから幾何学的に遠いほど小さく、近いほど大きく設定する。また、タップ数はここでは１１としているが、これに限らない。
空間的ＮＲ部５０２及び５０５は、ε−フィルタを用いてノイズ低減処理を行う。図４に示すように、注目画素をｘnとした場合、注目画素及びその周辺の画素ｘn-5〜ｘn+5の画素値を用いて平滑化を行うことによりノイズ低減を図る。このとき、注目画素ｘnの画素値に対して±εの範囲内にある画素値だけで平滑化を行う。図４の例では、注目画素ｘnの画素値に対して画素ｘn-5、ｘn-2、ｘn+4の画素値は±εの範囲内にない。そこで、画素ｘn-5、ｘn-2、ｘn+4の画素値をそれぞれ注目画素ｘnの画素値と置き換えて、画素ｘn-5〜ｘn+5の画素値の加重平均を行う。以下に、計算式（１）、（２）を示す。ａkは各画素における重みを示しており、注目画素ｘnから幾何学的に遠いほど小さく、近いほど大きく設定する。また、タップ数はここでは１１としているが、これに限らない。
次のフレームに対する切り出し領域の位置及びサイズに合わせてリサイズされ、画像入力端子５０４を介して入力された現フレームは、空間的ＮＲ部５０５でノイズ低減処理が施された後に、フレームメモリ５０８に保持される。
ＬＰＦ５０３は、３×３領域内でのメディアンフィルタを用いる。これは、３×３領域にある９画素をソートして、中央の値をｌnとして出力するものである。メディアンフィルタのイメージを図５に示す。
ＬＰＦ５０９も同様に、フレームメモリから読み出した１フレーム分遅延したフレームに対して、３×３領域内でのメディアンフィルタを適用する。
差分絶対値算出部５０６は、ＬＰＦ５０３から供給される現フレームの各画素と、ＬＰＦ５０９から供給される遅延されたフレームの各画素との差分絶対値ｄnを算出する。ＬＰＦ５０９から供給されるフレームは、１フレーム分遅延されたフレームであるので、現フレームのサイズに合わせて切り出しとリサイズが行われた１つ前のフレームである。以下に、計算式（３）を示す。現フレームの画素値をｌn、前フレームの画素値をｐnとする。
ｄn＝｜ｐn−ｌn｜ ・・・（３）
ＬＰＦ５０９も同様に、フレームメモリから読み出した１フレーム分遅延したフレームに対して、３×３領域内でのメディアンフィルタを適用する。
差分絶対値算出部５０６は、ＬＰＦ５０３から供給される現フレームの各画素と、ＬＰＦ５０９から供給される遅延されたフレームの各画素との差分絶対値ｄnを算出する。ＬＰＦ５０９から供給されるフレームは、１フレーム分遅延されたフレームであるので、現フレームのサイズに合わせて切り出しとリサイズが行われた１つ前のフレームである。以下に、計算式（３）を示す。現フレームの画素値をｌn、前フレームの画素値をｐnとする。
ｄn＝｜ｐn−ｌn｜ ・・・（３）
時間的ＮＲ係数算出部５０７は、差分絶対値算出部５０６で算出された差分絶対値ｄnに応じて、時間的ＮＲ係数Ｋを設定する。ここでは、差分絶対値ｄnが８ビットで０、１０、２０、３０、４０、５０、６０、７０、１２０、１５０、１８０のとき、それぞれの時間的ＮＲ係数Ｋの値をＫ0、Ｋ10、Ｋ20、Ｋ30、Ｋ40、Ｋ50、Ｋ60、Ｋ70、Ｋ120、Ｋ150、Ｋ180とし、次のように設定する。
Ｋ0＝１
Ｋ10＝１
Ｋ20＝１
Ｋ30＝１
Ｋ40＝０．９
Ｋ50＝０．４５
Ｋ60＝０．４
Ｋ70＝０．３
Ｋ120＝０．２５
Ｋ150＝０．２
Ｋ180＝０
Ｋ0＝１
Ｋ10＝１
Ｋ20＝１
Ｋ30＝１
Ｋ40＝０．９
Ｋ50＝０．４５
Ｋ60＝０．４
Ｋ70＝０．３
Ｋ120＝０．２５
Ｋ150＝０．２
Ｋ180＝０
また、これらの値以外の値は、近傍の値から線形補間によって算出する。このときの時間的ＮＲ係数Ｋと差分絶対値ｄnとの関係を図６に示す。図６を用いて、差分絶対値ｄnに応じた時間的ＮＲ係数Ｋの値を算出する。
混合部５１０は、空間的ＮＲ部５０２から供給される現フレームの画素値ｙnと、フレームメモリ５０８から供給される前フレームにおいて対応する画素値ｐnとを時間的ＮＲ係数Ｋを用いて加重平均する。以下に、計算式（４）を示す。
ｏn＝Ｋ*ｐn＋（１−Ｋ）*ｙn ・・・（４）
ｏn＝Ｋ*ｐn＋（１−Ｋ）*ｙn ・・・（４）
以上説明したように、現フレームと混合する前フレームの切り出し領域の位置及びサイズを現フレームに合わせるようにした。これにより、電子ズーム出力画素数分のフレームメモリを用意しておくだけで、電子ズーム処理と併用して合成型のノイズ低減処理を実現することができる。
なお、本実施形態では、画像中央の切り出し領域の大きさを一定の割合で変える電子ズーム処理を例に説明したが、これに限定されるものではない。例えば連続的に切り出し領域の位置を変えることによって電気的にパンニングのような効果を得ることができる。この場合でも、前後フレーム間で切り出し領域の位置及びサイズがどのように変わるのかが分かっていれば、本発明を適用することは可能である。
なお、本実施形態では、画像中央の切り出し領域の大きさを一定の割合で変える電子ズーム処理を例に説明したが、これに限定されるものではない。例えば連続的に切り出し領域の位置を変えることによって電気的にパンニングのような効果を得ることができる。この場合でも、前後フレーム間で切り出し領域の位置及びサイズがどのように変わるのかが分かっていれば、本発明を適用することは可能である。
＜第２の実施形態＞
第２の実施形態では、動画撮影を行うデジタルカメラにおいて、電子ズーム処理と、時間方向の相関性を用いたノイズ低減処理（以下、時間的ＮＲとも称する）を行う際に、撮影条件によってノイズ低減の効果とフレームメモリ量を制御することを提案する。以下では、第１の実施形態と共通する内容の説明は省略し、第１の実施形態との相違点と中心に説明する。
（デジタルカメラの構成）
図７は、第２の実施形態に係るデジタルカメラの構成を模式的に示すブロック図である。第１の実施形態で説明した図１の構成に対して、ＮＲ判定部１１、及びＮＲ処理部５の後段のリサイズ部１２を追加している。
ＮＲ判定部１１は、動画像の撮影条件に基づいて、リサイズ処理及びノイズ低減処理の方式を判定し、リサイズ部４、ＮＲ処理部５、及びリサイズ部１２に制御信号を供給する。なお、図７ではＮＲ判定部１１を独立のブロックとして示すが、例えば制御部１０がＮＲ判定部として機能する形態としてもかまわない。
リサイズ部１２は、ＮＲ処理部５から供給されるノイズ低減処理がなされたデジタル画像信号に対して切り出し及びズーム補間処理によってリサイズ処理を行い、信号処理部６に供給する。リサイズ部１２の構成は、リサイズ部４と同様である。
第２の実施形態では、動画撮影を行うデジタルカメラにおいて、電子ズーム処理と、時間方向の相関性を用いたノイズ低減処理（以下、時間的ＮＲとも称する）を行う際に、撮影条件によってノイズ低減の効果とフレームメモリ量を制御することを提案する。以下では、第１の実施形態と共通する内容の説明は省略し、第１の実施形態との相違点と中心に説明する。
（デジタルカメラの構成）
図７は、第２の実施形態に係るデジタルカメラの構成を模式的に示すブロック図である。第１の実施形態で説明した図１の構成に対して、ＮＲ判定部１１、及びＮＲ処理部５の後段のリサイズ部１２を追加している。
ＮＲ判定部１１は、動画像の撮影条件に基づいて、リサイズ処理及びノイズ低減処理の方式を判定し、リサイズ部４、ＮＲ処理部５、及びリサイズ部１２に制御信号を供給する。なお、図７ではＮＲ判定部１１を独立のブロックとして示すが、例えば制御部１０がＮＲ判定部として機能する形態としてもかまわない。
リサイズ部１２は、ＮＲ処理部５から供給されるノイズ低減処理がなされたデジタル画像信号に対して切り出し及びズーム補間処理によってリサイズ処理を行い、信号処理部６に供給する。リサイズ部１２の構成は、リサイズ部４と同様である。
（ＮＲ処理部５の構成）
図８は、ＮＲ処理部５の構成例を示すブロック図である。第１の実施形態で説明した図３の構成に対して、入力端子５１２及び選択部５１３を追加している。
時間的ＮＲ係数算出部５０７は、入力端子５１２から入力される制御信号と、差分絶対値算出部５０６で算出された差分絶対値とに基づいて、時間的ＮＲ係数を設定して、混合部５１０に供給する。
選択部５１３は、空間的ＮＲ部５０５の出力又は混合部５１０の出力を選択し、フレームメモリ５０８に供給する。フレームメモリ５０８への供給元の選択は、入力端子５１２を介して入力される制御信号に従って行われる。
図８は、ＮＲ処理部５の構成例を示すブロック図である。第１の実施形態で説明した図３の構成に対して、入力端子５１２及び選択部５１３を追加している。
時間的ＮＲ係数算出部５０７は、入力端子５１２から入力される制御信号と、差分絶対値算出部５０６で算出された差分絶対値とに基づいて、時間的ＮＲ係数を設定して、混合部５１０に供給する。
選択部５１３は、空間的ＮＲ部５０５の出力又は混合部５１０の出力を選択し、フレームメモリ５０８に供給する。フレームメモリ５０８への供給元の選択は、入力端子５１２を介して入力される制御信号に従って行われる。
（ＮＲ判定部１１による判定処理）
図９は、ＮＲ判定部１１によるリサイズ処理及びノイズ低減処理の方式の判定処理を示すフローチャートである。
本実施形態では、入力解像度と出力解像度は、例えばＵＩ部９から入力されて設定される。例えば入力解像度は４０９６画素×２１６０画素であり、出力解像度は１９２０画素×１０８０画素であるとする。
また、撮像フレームレートは、例えばＵＩ部９から入力されて設定される。例えば６０ｆｐｓ、１ｆｐｓから選択可能であるとする。
また、撮像感度（ＩＳＯ感度）は、例えばＵＩ部９から入力されて設定される。例えば４００、３２００、２５６００から選択可能であるとする。
また、電子ズーム処理における現フレーム及び前フレームの切り出し領域は、例えば制御部１０から入力されて設定される。
図９は、ＮＲ判定部１１によるリサイズ処理及びノイズ低減処理の方式の判定処理を示すフローチャートである。
本実施形態では、入力解像度と出力解像度は、例えばＵＩ部９から入力されて設定される。例えば入力解像度は４０９６画素×２１６０画素であり、出力解像度は１９２０画素×１０８０画素であるとする。
また、撮像フレームレートは、例えばＵＩ部９から入力されて設定される。例えば６０ｆｐｓ、１ｆｐｓから選択可能であるとする。
また、撮像感度（ＩＳＯ感度）は、例えばＵＩ部９から入力されて設定される。例えば４００、３２００、２５６００から選択可能であるとする。
また、電子ズーム処理における現フレーム及び前フレームの切り出し領域は、例えば制御部１０から入力されて設定される。
ステップＳ１で、ＮＲ判定部１１は、撮像フレームレートを閾値１と比較し、時間的ＮＲの適用可否を判定する。閾値１は予め設定された値であり、例えば制御部１０からバス８を介して入力される。例えばフレーム間の相関が低下する目安として閾値１を５ｆｐｓとする。そして、撮像フレームレートが５ｆｐｓ下回っていれば、時間的ＮＲが適用不可としてステップＳ８に進む。一方、撮像フレームレートが５ｆｐｓを上回っていれば、時間的ＮＲが適用可としてステップＳ２に進む。すなわち、撮像フレームレートが１ｆｐｓであれば、時間的ＮＲが適用不可としてステップＳ８に進む。一方、撮像フレームレートが６０ｆｐｓであれば、時間的ＮＲが適用可としてステップＳ２に進む。
ステップＳ２で、ＮＲ判定部１１は、ＩＳＯ感度を閾値２と比較し、時間的ＮＲの要否を判定する。閾値２は予め設定された値であり、例えば制御部１０からバス８を介して入力される。例えば動画像のＳ／Ｎが十分高くノイズ低減を必要としない目安のＩＳＯ感度として閾値２を８００とする。そして、ＩＳＯ感度が８００を下回っていれば、時間的ＮＲが不要としてステップＳ８に進む。一方、ＩＳＯ感度が８００以上であれば、時間的ＮＲが必要としてステップＳ３に進む。すなわち、ＩＳＯ感度が４００であれば、時間的ＮＲは不要としてステップＳ８に進む。一方、ＩＳＯ感度が３２００又は２５６００であれば、時間的ＮＲは必要としてステップＳ３に進む。
ステップＳ３で、ＮＲ判定部１１は、前フレームと現フレームの切り出し領域を比較し、時間的ＮＲの方式を判定する。前フレームと現フレームの切り出し領域が共に画像中央の１９２０画素×１０８０画素である場合、前フレーム及び現フレームには同じリサイズ処理がかかる。したがって、リサイズ後の画像を用いた巡回型のノイズ低減処理を行うことが可能であり、かつ、第１の実施形態で説明した合成型のノイズ低減処理と同様、電子ズーム出力画素数分のフレームメモリで実現することができる。直近２フレーム分の相関を用いる合成型のノイズ低減処理よりも、過去の複数フレームの相関を用いる巡回型のノイズ低減処理の方がノイズ低減効果は高いので、巡回型のノイズ低減処理を選択すべきと判定してステップＳ７に進む。現フレームの切り出し領域が画像中央の２８８０画素×１８２０画素であり、前フレームの１９２０画素×１０８０画素である切り出し領域と異なる場合、ステップＳ４に進む。
ステップＳ４で、ＮＲ判定部１１は、ＩＳＯ感度を閾値３と比較し、時間的ＮＲに求められる効果を判定する。閾値３は予め設定された値であり、例えば制御部１０からバス８を介して入力される。巡回型のノイズ低減処理を実現するためには、リサイズ前の画像信号を用いる必要があり、常に入力解像度分のフレームメモリが必要となるため、合成型のノイズ低減処理よりも処理負荷が大きくなる。例えば動画像のＳ／Ｎが低く、効果の高いノイズ低減処理が必要とされる目安のＩＳＯ感度として閾値３を１２８００とする。そして、ＩＳＯ感度が１２８００を超えていれば、処理負荷の削減よりもノイズ低減効果を重視し、巡回型のノイズ低減処理を適用する必要があるとしてステップＳ６に進む。一方、ＩＳＯ感度が１２８００以下であれば、ノイズ低減効果よりも処理負荷の削減を重視し、合成型のノイズ低減処理が適しているとしてステップＳ５に進む。すなわち、ＩＳＯ感度が２５６００であれば、処理負荷の削減よりもノイズ低減効果を重視し、巡回型のノイズ低減処理を適用する必要があるとしてステップＳ６に進む。一方、ＩＳＯ感度が６４００であれば、ノイズ低減効果よりも処理負荷の削減を重視し、合成型のノイズ低減処理が適しているとしてステップＳ５に進む。
以下、ステップＳ５〜Ｓ８でのリサイズ部４、ＮＲ処理部５、及びリサイズ部１２の制御について詳しく説明する。
（ステップＳ５での制御）
ステップＳ５では、第１の実施形態で説明した合成型のノイズ低減処理を行う。
具体的には、ＮＲ処理部５の選択部５１３に対して、入力端子５１２を介して制御信号を入力して、空間的ＮＲ部５０５の出力をフレームメモリ５０８に供給するように制御する。
また、リサイズ部１２に対して、切り出し領域を画像中心の４０９６画素×２１６０画素、リサイズ率を１倍とするよう制御信号を入力して、リサイズ処理が行われないように制御する。
これにより、第１の実施形態と同等の構成になり、第１の実施形態で説明したように、現フレームと混合する前フレームの切り出し領域の位置及びサイズを現フレームに合わせることができる。これにより、電子ズーム出力画素数分のフレームメモリを用意しておくだけで、部品コストの増加や計算量の増大を避けながら、電子ズーム処理と併用して合成型のノイズ低減処理を実現することができる。
（ステップＳ５での制御）
ステップＳ５では、第１の実施形態で説明した合成型のノイズ低減処理を行う。
具体的には、ＮＲ処理部５の選択部５１３に対して、入力端子５１２を介して制御信号を入力して、空間的ＮＲ部５０５の出力をフレームメモリ５０８に供給するように制御する。
また、リサイズ部１２に対して、切り出し領域を画像中心の４０９６画素×２１６０画素、リサイズ率を１倍とするよう制御信号を入力して、リサイズ処理が行われないように制御する。
これにより、第１の実施形態と同等の構成になり、第１の実施形態で説明したように、現フレームと混合する前フレームの切り出し領域の位置及びサイズを現フレームに合わせることができる。これにより、電子ズーム出力画素数分のフレームメモリを用意しておくだけで、部品コストの増加や計算量の増大を避けながら、電子ズーム処理と併用して合成型のノイズ低減処理を実現することができる。
（ステップＳ６での制御）
ステップＳ６では、リサイズ前に巡回型のノイズ低減処理を行う。
具体的には、リサイズ部４の切り出し部４０２及び４０４と、ズーム補間部４０３及び４０５に対して、切り出し領域を画像中心の４０９６画素×２１６０画素、リサイズ率を１倍とするよう制御信号を入力して、リサイズ処理が行われないように制御する。
また、ＮＲ処理部５の選択部５１３に対して、入力端子５１２を介して制御信号を入力して、混合部５１０の出力をフレームメモリ５０８に供給するように制御する。すなわち、フレームメモリ５０８では、巡回型のノイズ低減処理がなされたフレームが保持されることになる。
ステップＳ６では、リサイズ前に巡回型のノイズ低減処理を行う。
具体的には、リサイズ部４の切り出し部４０２及び４０４と、ズーム補間部４０３及び４０５に対して、切り出し領域を画像中心の４０９６画素×２１６０画素、リサイズ率を１倍とするよう制御信号を入力して、リサイズ処理が行われないように制御する。
また、ＮＲ処理部５の選択部５１３に対して、入力端子５１２を介して制御信号を入力して、混合部５１０の出力をフレームメモリ５０８に供給するように制御する。すなわち、フレームメモリ５０８では、巡回型のノイズ低減処理がなされたフレームが保持されることになる。
以上のように制御されたリサイズ部４、ＮＲ処理部５、リサイズ部１２での処理についてさらに詳しく説明する。
リサイズ部４には、画像入力端子４０１を介して動画像がフレーム単位で順次入力されるが、リサイズ部４は実質的にリサイズ動作を行わないため、画像出力端子４１０から、第１の信号処理部３の出力と同等の画像信号を出力する。
画像入力端子５０１には、画像出力端子４１０から供給される画像信号が入力される。
空間的ＮＲ部５０２は、第１の実施形態で説明した動作を行う。
選択部５１３は、混合部５１０の出力をフレームメモリ５０８に供給する。
ＬＰＦ５０３、差分絶対値算出部５０６、及び時間的ＮＲ係数算出部５０７は、それぞれ第１の実施形態で説明した動作を行う。
混合部５１０は、空間的ＮＲ部５０２の出力である現フレームと、フレームメモリ５０８からの出力である前フレームとを、第１の実施形態で説明したのと同様に混合する。これにより、画像出力端子５１１及び選択部５１３に巡回型のノイズ低減処理がなされた画像信号を供給する。
リサイズ部１２は、画像出力端子５１１から供給される巡回型のノイズ低減処理がなされた画像信号に対して、リサイズする。
リサイズ部４には、画像入力端子４０１を介して動画像がフレーム単位で順次入力されるが、リサイズ部４は実質的にリサイズ動作を行わないため、画像出力端子４１０から、第１の信号処理部３の出力と同等の画像信号を出力する。
画像入力端子５０１には、画像出力端子４１０から供給される画像信号が入力される。
空間的ＮＲ部５０２は、第１の実施形態で説明した動作を行う。
選択部５１３は、混合部５１０の出力をフレームメモリ５０８に供給する。
ＬＰＦ５０３、差分絶対値算出部５０６、及び時間的ＮＲ係数算出部５０７は、それぞれ第１の実施形態で説明した動作を行う。
混合部５１０は、空間的ＮＲ部５０２の出力である現フレームと、フレームメモリ５０８からの出力である前フレームとを、第１の実施形態で説明したのと同様に混合する。これにより、画像出力端子５１１及び選択部５１３に巡回型のノイズ低減処理がなされた画像信号を供給する。
リサイズ部１２は、画像出力端子５１１から供給される巡回型のノイズ低減処理がなされた画像信号に対して、リサイズする。
これにより、連続的に画像中央の切り出し領域の大きさを変える電子ズーム処理と併用して巡回型のノイズ低減処理を実現することができる。この場合、入力解像度分のフレームメモリが必要になるが、高いノイズ低減効果を期待することができる。
（ステップＳ７での制御）
ステップＳ７では、リサイズ後に巡回型のノイズ低減処理を行う。
ＮＲ処理部５の選択部５１３に対して、入力端子５１２を介して制御信号を入力して、混合部５１０の出力をフレームメモリ５０８に供給するように制御する。すなわち、フレームメモリ５０８では、巡回型のノイズ低減処理がなされたフレームが保持されることになる。
また、リサイズ部１２に対して、リサイズ処理が行われないように制御する。
ステップＳ７では、リサイズ後に巡回型のノイズ低減処理を行う。
ＮＲ処理部５の選択部５１３に対して、入力端子５１２を介して制御信号を入力して、混合部５１０の出力をフレームメモリ５０８に供給するように制御する。すなわち、フレームメモリ５０８では、巡回型のノイズ低減処理がなされたフレームが保持されることになる。
また、リサイズ部１２に対して、リサイズ処理が行われないように制御する。
以上のように制御されたリサイズ部４、ＮＲ処理部５、リサイズ部１２での処理についてさらに詳しく説明する。
切り出し部４０２は、画像入力端子４０１から入力されるフレームのいずれに対しても、切り出し領域は共に画像中央の１９２０画素×１０８０画素であるとして、切り出し処理を行う。
ズーム補間部４０３は、バイキュービックフィルタを用いてズーム補間処理を行うが、入力解像度と出力解像度が共に１９２０画素×１０８０画素で等しいため、実質的にズーム処理は行われない。
画像入力端子５０１には、画像出力端子４１０から供給される画像信号が入力される。
空間的ＮＲ部５０２は、第１の実施形態で説明した動作を行う。
選択部５１３は、混合部５１０の出力をフレームメモリ５０８に供給する。
ＬＰＦ５０３、差分絶対値算出部５０６、及び時間的ＮＲ係数算出部５０７は、それぞれ第１の実施形態で説明した動作を行う。
混合部５１０は、空間的ＮＲ部５０２の出力である現フレームと、フレームメモリ５０８からの出力である前フレームとを、第１の実施形態で説明したのと同様に混合する。これにより、画像出力端子５１１及び選択部５１３に巡回型のノイズ低減処理がなされた画像信号を供給する。
リサイズ部１２には、動画像がフレーム単位で順次入力されるが、リサイズ部１２は実質的にリサイズ動作を行わないため、ＮＲ処理部５の出力と同等の画像信号を出力する。
切り出し部４０２は、画像入力端子４０１から入力されるフレームのいずれに対しても、切り出し領域は共に画像中央の１９２０画素×１０８０画素であるとして、切り出し処理を行う。
ズーム補間部４０３は、バイキュービックフィルタを用いてズーム補間処理を行うが、入力解像度と出力解像度が共に１９２０画素×１０８０画素で等しいため、実質的にズーム処理は行われない。
画像入力端子５０１には、画像出力端子４１０から供給される画像信号が入力される。
空間的ＮＲ部５０２は、第１の実施形態で説明した動作を行う。
選択部５１３は、混合部５１０の出力をフレームメモリ５０８に供給する。
ＬＰＦ５０３、差分絶対値算出部５０６、及び時間的ＮＲ係数算出部５０７は、それぞれ第１の実施形態で説明した動作を行う。
混合部５１０は、空間的ＮＲ部５０２の出力である現フレームと、フレームメモリ５０８からの出力である前フレームとを、第１の実施形態で説明したのと同様に混合する。これにより、画像出力端子５１１及び選択部５１３に巡回型のノイズ低減処理がなされた画像信号を供給する。
リサイズ部１２には、動画像がフレーム単位で順次入力されるが、リサイズ部１２は実質的にリサイズ動作を行わないため、ＮＲ処理部５の出力と同等の画像信号を出力する。
これにより、前フレームと現フレームで切り出し領域が一定の場合は、電子ズーム出力解像度分のフレームメモリで電子ズーム処理と併用して巡回型のノイズ低減処理を実現することができる。フレーム間で切り出し領域が変化した場合には適用できないが、切り出し領域が一定の場合は、低コストで高いノイズ低減効果を期待することができる。
（ステップＳ８での制御）
ステップＳ８では、時間方向の相関性を用いたノイズ低減処理を無効として、リサイズ処理のみを行う。
具体的には、リサイズ部４に対して、切り出し領域を画像中心の４０９６画素×２１６０画素、リサイズ率を１倍とするよう制御信号を入力して、リサイズ処理が行われないように制御する。
また、ＮＲ処理部５の時間的ＮＲ係数算出部５０７に対して、入力端子５１２を介して制御信号を入力して、係数Ｋ＝０を出力するように制御する。
ステップＳ８では、時間方向の相関性を用いたノイズ低減処理を無効として、リサイズ処理のみを行う。
具体的には、リサイズ部４に対して、切り出し領域を画像中心の４０９６画素×２１６０画素、リサイズ率を１倍とするよう制御信号を入力して、リサイズ処理が行われないように制御する。
また、ＮＲ処理部５の時間的ＮＲ係数算出部５０７に対して、入力端子５１２を介して制御信号を入力して、係数Ｋ＝０を出力するように制御する。
以上のように制御されたリサイズ部４、ＮＲ処理部５、リサイズ部１２での処理についてさらに詳しく説明する。
リサイズ部４には、画像入力端子４０１を介して動画像がフレーム単位で順次入力されるが、リサイズ部４は実質的にリサイズ動作を行わないため、画像出力端子４１０から、第１の信号処理部３の出力と同等の画像信号を出力する。
画像入力端子５０１には、画像出力端子４１０から供給される画像信号が入力される。
空間的ＮＲ部５０２は、第１の実施形態で説明した動作を行う。
差分絶対値算出部５０６は、時間的ＮＲ係数Ｋ＝０を混合部５１０に供給する。
混合部５１０は、式（４）に基づいて時間的ＮＲ係数Ｋを用いて加重平均するが、Ｋ＝０が供給されるため、空間的ＮＲ部５０２の出力をそのまま画像出力端子５１１に出力する。
リサイズ部１２は、画像出力端子５１１から供給される画像信号に対して、第１の実施形態で説明したリサイズ部４と同等の動作を行い、リサイズする。
リサイズ部４には、画像入力端子４０１を介して動画像がフレーム単位で順次入力されるが、リサイズ部４は実質的にリサイズ動作を行わないため、画像出力端子４１０から、第１の信号処理部３の出力と同等の画像信号を出力する。
画像入力端子５０１には、画像出力端子４１０から供給される画像信号が入力される。
空間的ＮＲ部５０２は、第１の実施形態で説明した動作を行う。
差分絶対値算出部５０６は、時間的ＮＲ係数Ｋ＝０を混合部５１０に供給する。
混合部５１０は、式（４）に基づいて時間的ＮＲ係数Ｋを用いて加重平均するが、Ｋ＝０が供給されるため、空間的ＮＲ部５０２の出力をそのまま画像出力端子５１１に出力する。
リサイズ部１２は、画像出力端子５１１から供給される画像信号に対して、第１の実施形態で説明したリサイズ部４と同等の動作を行い、リサイズする。
これにより、時間方向の相関性を用いたノイズ低減処理を無効として、リサイズ処理のみを行うことができる。ノイズ低減効果は得られないが、フレームメモリが不要となるためコストダウンが期待できる。
以上説明した通り、撮影条件によってリサイズ処理及びノイズ低減処理を制御することによって、電子ズーム処理と、時間的ＮＲを行う際に、撮影条件によってノイズ低減の効果とフレームメモリ量を自動制御することができる。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
２：撮像素子
４、１２：リサイズ部
５：ＮＲ処理部
１０：制御部
１１：ＮＲ判定部
４０２、４０４：切り出し部
４０３、４０５：ズーム補間部
５０７：時間的ＮＲ係数算出部
５０８：フレームメモリ
５１０：混合部
５１３：選択部
４、１２：リサイズ部
５：ＮＲ処理部
１０：制御部
１１：ＮＲ判定部
４０２、４０４：切り出し部
４０３、４０５：ズーム補間部
５０７：時間的ＮＲ係数算出部
５０８：フレームメモリ
５１０：混合部
５１３：選択部
Claims (6)
- 動画像に対して、時間方向の相関性を用いるノイズ低減処理を行う画像処理装置であって、
動画像を構成する対象フレームの画像を、前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第１のリサイズ手段と、
前記対象フレームの前フレームの画像を、前記前フレームに対する電子ズームの倍率ではなく前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第２のリサイズ手段と、
前記第１のリサイズ手段から供給されるリサイズ後の前記対象フレームの画像の画素と、前記第２のリサイズ手段から供給されるリサイズ後の前記前フレームの画像の画素とを混合することにより、前記第１のリサイズ手段から供給されるリサイズ後の画像に対してノイズ低減処理を行うノイズ低減処理手段とを備え、
前記第２のリサイズ手段は、前記ノイズ低減処理が行われる前の前記前フレームの画像をリサイズすることを特徴とする画像処理装置。 - 前記ノイズ低減処理手段から出力された画像を保持する保持手段と、
前記ノイズ低減処理手段から出力された画像をリサイズする第３のリサイズ手段を有し、
予め定められた条件を満たす場合には、前記ノイズ低減処理手段が、前記第１のリサイズ手段によるリサイズが行われていない前記対象フレームの画像の画素と、前記保持手段に保持された前記前フレームの画像の画素とを混合することにより、前記第１のリサイズ手段によるリサイズが行われていない前記対象フレームの画像に対して前記ノイズ低減処理を行い、前記第３のリサイズ手段が、前記ノイズ低減処理が行われた前記対象フレームの画像を、前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズすることを含むことを特徴とする請求項１に記載の画像処理装置。 - 前記ノイズ低減処理手段から出力された画像を保持する保持手段を有し、
予め定められた条件を満たす場合には、前記ノイズ低減処理手段が、前記第１のリサイズ手段から供給されるリサイズ後の前記対象フレームの画像の画素と、前記保持手段に保持された前記前フレームの画像の画素とを混合することにより、前記第１のリサイズ手段から供給されるリサイズ後の画像に対して前記ノイズ低減処理を行うことを特徴とする請求項１に記載の画像処理装置。 - 撮像素子と、前記撮像素子で生成された動画像に対して、時間方向の相関性を用いるノイズ低減処理を行う撮像装置であって、
動画像を構成する対象フレームの画像を、前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第１のリサイズ手段と、
前記対象フレームの前フレームの画像を、前記前フレームに対する電子ズームの倍率ではなく前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第２のリサイズ手段と、
前記第１のリサイズ手段から供給されるリサイズ後の前記対象フレームの画像の画素と、前記第２のリサイズ手段から供給されるリサイズ後の前記前フレームの画像の画素とを混合することにより、前記第１のリサイズ手段から供給されるリサイズ後の画像に対してノイズ低減処理を行うノイズ低減処理手段とを備え、
前記第２のリサイズ手段は、前記ノイズ低減処理が行われる前の前記前フレームの画像をリサイズすることを特徴とする撮像装置。 - 動画像に対して、時間方向の相関性を用いるノイズ低減処理を行う画像処理装置の制御方法であって、
動画像を構成する対象フレームの画像を、前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第１のリサイズステップと、
前記対象フレームの前フレームの画像を、前記前フレームに対する電子ズームの倍率ではなく前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第２のリサイズステップと、
前記第１のリサイズステップにより供給されるリサイズ後の前記対象フレームの画像の画素と、前記第２のリサイズステップにより供給されるリサイズ後の前記前フレームの画像の画素とを混合することにより、前記第１のリサイズステップにより供給されるリサイズ後の画像に対してノイズ低減処理を行うステップとを有し、
前記第２のリサイズステップでは、前記ノイズ低減処理が行われる前の前記前フレームの画像をリサイズすることを特徴とする画像処理装置の制御方法。 - 動画像に対して、時間方向の相関性を用いるノイズ低減処理を行う画像処理装置の制御するためのプログラムであって、
動画像を構成する対象フレームの画像を、前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第１のリサイズ処理と、
前記対象フレームの前フレームの画像を、前記前フレームに対する電子ズームの倍率ではなく前記対象フレームに対する電子ズームの倍率に対応する切り出し領域に合わせてリサイズする第２のリサイズ処理と、
前記第１のリサイズ処理により供給されるリサイズ後の前記対象フレームの画像の画素と、前記第２のリサイズ処理により供給されるリサイズ後の前記前フレームの画像の画素とを混合することにより、前記第１のリサイズ処理により供給されるリサイズ後の画像に対してノイズ低減処理を行う処理とをコンピュータに実行させ、
前記第２のリサイズ処理では、前記ノイズ低減処理が行われる前の前記前フレームの画像をリサイズすることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015088501A JP6525707B2 (ja) | 2015-04-23 | 2015-04-23 | 画像処理装置、その制御方法及びプログラム、並びに撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015088501A JP6525707B2 (ja) | 2015-04-23 | 2015-04-23 | 画像処理装置、その制御方法及びプログラム、並びに撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016208307A JP2016208307A (ja) | 2016-12-08 |
| JP6525707B2 true JP6525707B2 (ja) | 2019-06-05 |
Family
ID=57488096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015088501A Expired - Fee Related JP6525707B2 (ja) | 2015-04-23 | 2015-04-23 | 画像処理装置、その制御方法及びプログラム、並びに撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6525707B2 (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11983630B2 (en) | 2023-01-19 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000278592A (ja) * | 1999-01-22 | 2000-10-06 | Canon Inc | 撮像装置、その制御方法および記憶媒体 |
| JP2002252793A (ja) * | 2000-12-21 | 2002-09-06 | Matsushita Electric Ind Co Ltd | ノイズ除去装置およびノイズ除去方法 |
| JP2009010896A (ja) * | 2007-06-29 | 2009-01-15 | Sanyo Electric Co Ltd | 画像処理装置、画像処理方法、及び撮像装置 |
| JP2012054911A (ja) * | 2010-08-05 | 2012-03-15 | Panasonic Corp | 撮像装置 |
| JP5694732B2 (ja) * | 2010-10-15 | 2015-04-01 | シャープ株式会社 | 表示装置および表示方法 |
| JP5927053B2 (ja) * | 2012-06-11 | 2016-05-25 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2015
- 2015-04-23 JP JP2015088501A patent/JP6525707B2/ja not_active Expired - Fee Related
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11983630B2 (en) | 2023-01-19 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016208307A (ja) | 2016-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6525707B2 (ja) | 画像処理装置、その制御方法及びプログラム、並びに撮像装置 | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| JP5792990B2 (ja) | 画像処理装置およびその制御方法 | |
| JP5043635B2 (ja) | 撮像装置 | |
| JPWO2006082967A1 (ja) | 撮像装置 | |
| US20140362258A1 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
| US9172870B2 (en) | Real-time image processing method and device enhancing the resolution of successive images | |
| US9462189B2 (en) | Piecewise perspective transform engine | |
| JP2014096749A (ja) | 撮像装置及び画像処理方法 | |
| JP2014119997A (ja) | 画像処理装置およびその制御方法 | |
| US9007479B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
| JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| JP7297406B2 (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
| US10171733B2 (en) | Image processing apparatus and method, and program and recording medium | |
| JP5455728B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
| JP2018061130A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2018191178A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2009065519A (ja) | 画像処理装置 | |
| JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
| JP2019016893A (ja) | 画像処理装置およびその制御方法及びプログラム | |
| JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US20200090311A1 (en) | Image processing apparatus and image processing method | |
| JP6762843B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6746390B2 (ja) | 画像処理方法および画像処理装置 | |
| JP6708490B2 (ja) | 画像処理方法および画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190507 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6525707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |