JP6570304B2 - Video processing apparatus, video processing method, and program - Google Patents
Video processing apparatus, video processing method, and program Download PDFInfo
- Publication number
- JP6570304B2 JP6570304B2 JP2015096828A JP2015096828A JP6570304B2 JP 6570304 B2 JP6570304 B2 JP 6570304B2 JP 2015096828 A JP2015096828 A JP 2015096828A JP 2015096828 A JP2015096828 A JP 2015096828A JP 6570304 B2 JP6570304 B2 JP 6570304B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- noise suppression
- noise
- input
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、動画に対するノイズ抑制技術に関するものである。 The present invention relates to a noise suppression technique for moving images.
近年、撮像装置の多画素化に伴い、８Ｋ×４Ｋ（水平７６８０画素×垂直４３２０画素）のスーパーハイビジョン（ＵＨＤ：Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）を始めとした高解像度の映像の撮像が可能となっている。一方で、出力装置である家庭用テレビはフルＨＤ（ＦＨＤ：Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）が主流である。そのため、８ＫのＵＨＤの映像をＦＨＤの出力装置に出力するには、ＵＨＤの映像の全画角を縮小して出力するか、ＵＨＤの映像からＦＨＤと同じサイズとなる領域を切り出して出力する必要がある。 In recent years, with the increase in the number of pixels of an imaging device, it is possible to capture high-resolution images such as 8K × 4K (horizontal 7680 pixels × vertical 4320 pixels) super high definition (UHD). On the other hand, full HD (FHD: Full High Definition) is the mainstream of home televisions as output devices. Therefore, in order to output 8K UHD video to the FHD output device, it is necessary to reduce the total angle of view of the UHD video, or to cut out and output an area having the same size as the FHD from the UHD video. There is.
ＵＨＤの映像の構図が変化しても、ＵＨＤから切り出すＦＨＤの映像の構図を一定とする方法が公知である（例えば、特許文献１を参照）。これは、元の映像の中から、特定の被写体に注目して、被写体と背景のバランスが最適となるような一定の構図の映像を切り出す方法である。そのため、カメラワーク（ズームやパンニング等の操作）によって、元の映像の構図が変化しても、映像の切り出し位置とリサイズ率を変更することで、一定の構図の映像を出力することが可能となる。 A method of making the composition of an FHD image cut out from the UHD constant even when the composition of the UHD image changes is known (see, for example, Patent Document 1). This is a method of cutting out a video with a certain composition from the original video, focusing on a specific subject and having an optimal balance between the subject and the background. Therefore, even if the composition of the original video changes due to camera work (operations such as zooming and panning), it is possible to output a video with a certain composition by changing the cutout position and resizing rate of the video. Become.
図９は、元の映像の撮像中に、撮像装置のズームレンズの焦点距離をテレ側からワイド側へ変化させた場合を示している。元の映像は、焦点距離の変化に伴って構図が変化するが、そこから切り出した映像は、元の映像に対する切り出し位置とリサイズを適宜変更することで、構図の変化を抑えた映像として出力される。 FIG. 9 shows a case where the focal length of the zoom lens of the imaging apparatus is changed from the tele side to the wide side during the imaging of the original video. The composition of the original video changes as the focal length changes, but the video clipped from it is output as a video that suppresses changes in the composition by appropriately changing the clip position and resizing of the original video. The
一方で、近年の撮像装置の多画素化や、再生装置の大型化に伴って、撮像した映像ノイズが検知されやすくなっている。そこで、ノイズを抑圧する手法として、ノイズ成分がフレーム間で相関を有していないことを利用して、予め、１フレーム前の映像をメモリに保持しておき、２つのフレーム間の映像の相関情報を用いて、ノイズ低減を行う技術がある。以降、このノイズ低減技術を巡回型ノイズリダクションと呼ぶこととする。 On the other hand, with the recent increase in the number of pixels in an imaging apparatus and the increase in the size of a playback apparatus, captured image noise is easily detected. Therefore, as a technique for suppressing noise, by utilizing the fact that the noise component does not have a correlation between frames, the video of the previous frame is stored in memory in advance, and the correlation of the video between the two frames is stored. There is a technique for reducing noise using information. Hereinafter, this noise reduction technique will be referred to as cyclic noise reduction.
巡回型ノイズリダクションでは、例えば、２つのフレーム間の映像の差分を示す差分信号を求め、その差分信号を所定のレベルに制限することで、巡回型ノイズリダクションの弊害である残像量を抑える技術が提案されている（例えば、特許文献２を参照）。 In cyclic noise reduction, for example, a technique for obtaining a differential signal indicating a video difference between two frames and limiting the differential signal to a predetermined level to suppress the amount of afterimage that is a harmful effect of cyclic noise reduction. It has been proposed (see, for example, Patent Document 2).
特許文献１に開示された技術では、高解像度な映像が撮像されるため、現像処理、ホワイトバランス、ノイズリダクションなどのカメラ信号処理は、高解像度な映像に対して実施される。
In the technique disclosed in
しかしながら、高解像度な映像の撮像中に焦点距離を変化させた場合、特許文献２に示すような巡回型ノイズリダクションでは、焦点距離の変化などによる映像の変化を動きの変化として検出してしまうことがある。そのため、被写体に変化が無いにも関わらず、ノイズ抑圧量が小さくなってしまうことがあった。
However, when the focal length is changed during imaging of a high-resolution image, the cyclic noise reduction as shown in
図１０は、高解像度な映像の撮像中に焦点距離をテレ側からワイド側に変化させた場合を示している。高解像度な映像は、焦点距離の変化に伴って構図が変化するため、ノイズの大きさが変化しても違和感が少ない。一方で、高解像度な映像の一部を切り出した部分映像は、構図が変わらないのに、巡回型ノイズリダクション技術で抑制されるノイズレベルが変化するため、違和感を覚えることになる。 FIG. 10 shows a case where the focal length is changed from the tele side to the wide side during imaging of a high-resolution video. Since the composition of a high-resolution video changes as the focal length changes, there is little discomfort even if the noise level changes. On the other hand, a partial video obtained by cutting out a part of a high-resolution video does not change the composition, but the noise level that is suppressed by the cyclic noise reduction technique changes, so that it feels strange.
そこで、高解像度な映像から構図に応じた部分映像を切り出す場合に、高解像度な映像の構図が変化しても、部分映像のノイズを抑えることができる映像処理装置を提供することが望まれている。 Therefore, it is desirable to provide a video processing apparatus that can suppress noise in a partial video even when the composition of the high resolution video changes when a partial video corresponding to the composition is cut out from the high resolution video. Yes.
上記課題を解決するため、本願請求項１に係る映像処理装置は、入力端子を介して入力された第１の入力映像と、前記入力映像より前のフレーム映像である第２の入力映像との差分に基づいて、前記第１の入力映像のノイズを抑圧する第１のノイズ抑圧手段と、前記第１のノイズ抑圧手段から出力されたノイズが抑圧された前記第１の入力映像から切り出しを行って第１の部分映像を生成する生成手段と、前記生成手段から出力された前記第１の部分映像と、前記生成手段から出力され、かつ、前記第１の部分映像よりも前のフレーム映像から生成された第２の部分映像との差分映像を求め、前記差分映像に応じて設定した比率で、フィルタを掛ける前の前記第１の部分映像と、前記フィルタを掛けた後の前記第１の部分映像とを加算することで、前記第１の部分映像のノイズを抑圧する第２のノイズ抑圧手段とを有し、前記第２のノイズ抑圧手段は、前記差分映像の絶対値にローパスフィルタを適用して得られた結果から第１のノイズ抑圧率を求め、前記差分映像にローパスフィルタを適用して得られた値の絶対値から第２のノイズ抑圧率を求め、前記第１のノイズ抑圧率と前記第２のノイズ抑圧率に基づいて、前記比率を設定することを特徴とする。
In order to solve the above-described problem, a video processing apparatus according to
発明によれば、切り出す元の映像の構図が変化した場合であっても、切り出した映像のノイズを適切に抑制することが可能な映像処理装置を提供することができる。 ADVANTAGE OF THE INVENTION According to invention, even if it is a case where the composition of the original image | video to cut out changes, the video processing apparatus which can suppress appropriately the noise of the cut out image | video can be provided.
（第１の実施形態）
図１は、本発明の第１の実施形態に係る映像処理装置のシステム構成図を示している。
(First embodiment)
FIG. 1 shows a system configuration diagram of a video processing apparatus according to the first embodiment of the present invention.
第一のノイズ抑圧回路１０１は、不図示の入力端子を介して受け取ったＵＨＤの高解像度な入力映像に対して、巡回型ノイズリダクション技術を用いたノイズ抑圧処理を実施する。
The first
部分映像生成回路１０２は、入力された入力映像（全体映像）１０５に対して切り出し処理やリサイズ処理を行い、元の映像よりも解像度を低くした部分映像を出力する。以下、部分映像生成回路１０２に入力される入力映像を全体映像、部分映像生成回路１０２から出力される映像を部分映像と言うことにする。なお、映像信号処理装置が入力端子を介して受け取った映像が既に切り出し処理が施された後の映像であっても良いが、説明を簡潔にするため、このような場合であっても部分映像生成回路１０２に入力される映像を全体映像と言う。 The partial video generation circuit 102 performs a clipping process and a resizing process on the input video (total video) 105 that has been input, and outputs a partial video with a resolution lower than that of the original video. Hereinafter, the input video input to the partial video generation circuit 102 is referred to as an entire video, and the video output from the partial video generation circuit 102 is referred to as a partial video. The video received by the video signal processing device via the input terminal may be a video that has already been subjected to the clipping process. However, in order to simplify the explanation, even in such a case, the partial video An image input to the generation circuit 102 is referred to as an entire image.
メモリ１０４は、全体映像１０５および部分映像１０６を保持するメモリであり、メモリインタフェース１０３を介して各処理回路との間でデータ転送を行う。
The
減算回路１０７は、部分映像生成回路１０２より出力される部分映像１１１と、メモリ１０４に保持された部分映像との差分を求める。
The
第二のノイズ抑圧回路１０８は、減算回路１０７より出力される差分映像に基づいて、部分映像生成回路１０２より出力される部分映像１１１に対してノイズ抑圧処理を実施する。
The second
中央処理装置（ＣＰＵ）１１４は不図示のＲＯＭに記憶されたプログラムを読み出して、各回路の動作を制御する。 A central processing unit (CPU) 114 reads out a program stored in a ROM (not shown) and controls the operation of each circuit.
図２は、本発明の第１の実施形態に係る、全体映像および部分映像のノイズ抑圧処理を示すフローチャートである。このフローチャートは、ＣＰＵ１１４がＲＯＭから読み出したプログラムに従って各回路の動作を制御することによって実行される。
FIG. 2 is a flowchart showing noise suppression processing of the entire video and the partial video according to the first embodiment of the present invention. This flowchart is executed by the
ステップＳ２０１において、全体映像および部分映像のノイズ抑圧処理が開始される。 In step S201, noise suppression processing for the entire video and partial video is started.
ステップＳ２０２において、メモリ１０４から新たに取得したフレーム映像である全体映像１０５と、この全体映像１０５の１フレーム前のフレーム映像である全体映像１０９を、第一のノイズ抑圧回路１０１に入力する。
In step S <b> 202, the entire image 105 that is a frame image newly acquired from the
ステップＳ２０３において、第一のノイズ抑圧回路１０１が、全体映像１０５および全体映像１０９を用いて、巡回型ノイズリダクションを用いたノイズ抑圧処理を実施して、ノイズが抑圧された全体映像１１０を生成する。具体的には、第一のノイズ抑圧回路１０１は、全体映像１０５および全体映像１０９の差分を求め、その差分の大きさに基づいて、この差分に１以下の係数を乗じた値を全体映像１０５に加算する。差分が第１の閾値以下であれば係数を１とし、差分が第２の閾値（＞第１の閾値）以上であれば係数を０とし、差分が第１の閾値と第２の閾値の間であれば、差分が小さいほど係数が１に近づくように、係数を設定すればよい。
In step S203, the first
ステップＳ２０４において、ステップＳ２０３で巡回型ノイズリダクションを用いたノイズ抑圧処理を適用して得られた全体映像１１０をメモリ１０４に記憶させる。
In step S <b> 204, the
ステップＳ２０５において、メモリ１０４から、巡回型ノイズリダクションを用いたノイズ抑圧処理を適用して得られた全体映像１１０を読み出し、部分映像生成回路１０２に入力する。
In step S <b> 205, the
ステップＳ２０６において、部分映像生成回路１０２は、全体映像１１０より部分映像１１１を生成する。部分映像生成回路１０２は、全体映像１１０に含まれる被写体と背景のバランスが最適な構図となるような切り出し位置とリサイズ率を決定して、全体映像から部分映像を生成している。また、外部から主被写体を指定する指示を行い、指示された被写体が画角の中心となるような切り出し位置とリサイズ率を決定して、全体映像から部分映像を生成しても良い。
In step S <b> 206, the partial video generation circuit 102 generates a
ステップＳ２０７において、部分映像生成回路１０２より生成された部分映像１１１と、メモリ１０４に保持された部分映像１０６を減算回路１０７に入力する。メモリ１０４に保持された部分映像１０６は、後述する第二のノイズ抑圧回路１０８によって処理された、部分映像１１１よりも１フレーム前の部分映像である。
In step S 207, the
ステップＳ２０８において、減算回路１０７は、部分映像１１１と部分映像１０６の差分映像１１２を生成する。水平位置（座標）Ｘおよび垂直位置（座標）Ｙにおける部分映像１１１の信号レベルをＡ［Ｘ］［Ｙ］とし、部分映像１０６の信号レベルをＢ［Ｘ］［Ｙ］とした場合、差分映像１１２の信号レベルをＤＩＦＦ［Ｘ］［Ｙ］は式（１）で示される。
ＤＩＦＦ［Ｘ］［Ｙ］＝Ａ［Ｘ］［Ｙ］−Ｂ［Ｘ］［Ｙ］ ・・・式（１）
In step S <b> 208, the
DIFF [X] [Y] = A [X] [Y] -B [X] [Y] (1)
ステップＳ２０９において、部分映像１１１と、ステップＳ２０８で求められた差分映像１１２を第二のノイズ抑圧回路１０８に入力する。
In step S209, the
ステップＳ２１０において、第二のノイズ抑圧回路１０８は、差分映像１１２に基づいて、部分映像１１１に対してノイズ抑圧処理を行う。
In step S <b> 210, the second
図３に、第二のノイズ抑圧回路１０８の構成図を示す。ローパスフィルタ（ＬＰＦ）３０１は、入力された部分映像１１１に対してノイズ抑圧処理を行う。既知のノイズ抑圧処理ができる構成であれば、ＬＰＦ以外の構成であっても構わない。抑圧率変換回路３０２は、差分映像１１２の信号レベルＤＩＦＦ［Ｘ］［Ｙ］から、画素毎にノイズ抑圧率ＦＩＬ１［Ｘ］［Ｙ］とＦＩＬ２［Ｘ］［Ｙ］を算出する。ノイズ抑圧率ＦＩＬ１［Ｘ］［Ｙ］とＦＩＬ２［Ｘ］［Ｙ］は、０％〜１００％の値で示される。乗算回路３０４、乗算回路３０５、および、加算回路３０６は、ノイズ抑圧率ＦＩＬ［Ｘ］［Ｙ］を用いた加重加算処理にて使用する。詳細は後ほど説明する。
FIG. 3 shows a configuration diagram of the second
第二のノイズ抑圧回路１０８が行う第二のノイズ抑圧処理について説明する。
A second noise suppression process performed by the second
図４は、第二のノイズ抑圧回路１０８による処理の原理を説明するための図である。図４（ａ−１）と図４（ｂ−１）は時間方向に連続した２枚のフレーム映像であり、図４（ｃ−１）は図４（ａ−１）と図４（ｂ−１）の差分映像を示したものである。各映像の、あるライン５０１における水平方向の信号レベルを示したグラフが、図４（ａ−２）図４、（ｂ−２）、および図４（ｃ−２）である。図４（ａ−２）、図４（ｂ−２）、および図４（ｃ−２）において、第１の範囲４０２は、ライン４０１のうち信号レベルの差が小さい平坦部な映像領域に対応するものである。第２の範囲４０３は、ライン５０１のうちエッジ部に相当する映像領域に対応するものである。
FIG. 4 is a diagram for explaining the principle of processing by the second
部分映像は、上述したように、第一のノイズ抑圧回路１０１によって巡回型ノイズリダクションが適用された全体映像から生成される。全体映像において、信号レベルの差が小さい平坦部な領域においては、焦点距離の変化などが生じた場合であっても、フレーム間の差分がそれほど大きくならないため、巡回型ノイズリダクションによるノイズ抑圧が強めに掛かる。一方で、エッジ部周辺の領域では、焦点距離の変化などが生じた場合にフレーム間の差分がある程度大きくなるため、巡回型ノイズリダクションによるノイズ抑圧があまり掛からない。
As described above, the partial video is generated from the entire video to which the cyclic noise reduction is applied by the first
その結果、この全体映像から生成される部分映像は、第１の範囲４０２においてはノイズ抑圧が為されているのに対して、第２の範囲４０３では、ノイズが抑圧されていない映像となる。そのため（ｃ−２）を見ると、ノイズ抑圧が為されている第１の範囲４０２の差分映像の信号レベルは小さくなるのに対して、ノイズ抑圧が為されていない第２の範囲４０３の差分映像の信号レベルは大きくなる。そこで、本実施形では、この差分映像を第二のノイズ抑圧回路１０８で参照する。
As a result, the partial video generated from the entire video is a video in which noise is suppressed in the
次に、抑圧率変換回路３０２の詳細について説明する。
Next, details of the suppression
図５は、抑圧率変換回路３０２の構成図である。絶対値（ＡＢＳ）回路５０１と５０５は、画素レベルを絶対値に変換する。ＬＰＦ５０２と５０４は、例えば３×３の平均値フィルタなどで構成される。第１の抑圧率変換回路５０３は、ＡＢＳ５０１とＬＰＦ５０２によって処理された映像ＮＯＩＳＥ［Ｘ］［Ｙ］より、第一の抑圧率を算出する。第２の抑圧率変換回路５０６は、ＬＰＦ５０４とＡＢＳ５０５によって処理された映像ＭＯＶＥ［Ｘ］［Ｙ］より、第二の抑圧率を算出する。
FIG. 5 is a configuration diagram of the suppression
ＮＯＩＳＥ［Ｘ］［Ｙ］とＭＯＶＥ［Ｘ］［Ｙ］の算出に関して説明する。図６は差分映像のうち、図４と同様にあるラインにおける水平方向の信号レベルを示したものである。図６（ａ−１）は差分映像ＤＩＦＦ［Ｘ］［Ｙ］におけるノイズに起因した差分映像の信号レベルを示し、図６（ｂ−１）は差分映像ＤＩＦＦ［Ｘ］［Ｙ］における被写体の動きに起因した差分映像の信号レベルを示している。 The calculation of NOISE [X] [Y] and MOVE [X] [Y] will be described. FIG. 6 shows the signal level in the horizontal direction in a certain line in the difference video as in FIG. FIG. 6 (a-1) shows the signal level of the difference video due to noise in the difference video DIFF [X] [Y], and FIG. 6 (b-1) shows the subject of the difference video DIFF [X] [Y]. The signal level of the difference image resulting from the movement is shown.
図６（ａ−２）はノイズに起因した差分映像に対する、ＮＯＩＳＥ［Ｘ］［Ｙ］の信号レベルを示したものである。図６（ａ−３）はノイズに起因した差分映像に対する、ＭＯＶＥ［Ｘ］［Ｙ］の信号レベルを示したものである。ＮＯＩＳＥ［Ｘ］［Ｙ］は、ＤＩＦＦ［Ｘ］［Ｙ］を絶対値化してからローパスフィルタを掛けることで得られた値である。ノイズ領域の信号レベルが均一化されて、ノイズ領域の信号レベルは大きくなる傾向にある。一方で、ＭＯＶＥ［Ｘ］［Ｙ］は、ＤＩＦＦ［Ｘ］［Ｙ］にローパスフィルタをかけてから、絶対値化することで得られた値である。ノイズ領域の画素レベルが抑圧されて、ノイズ領域の信号レベルは小さくなる傾向にある。 FIG. 6A-2 shows the signal level of NOISE [X] [Y] with respect to the difference video caused by noise. FIG. 6A-3 shows the signal level of MOVE [X] [Y] with respect to the differential video caused by noise. NOISE [X] [Y] is a value obtained by converting DIFF [X] [Y] to an absolute value and then applying a low-pass filter. The signal level in the noise region tends to increase as the signal level in the noise region becomes uniform. On the other hand, MOVE [X] [Y] is a value obtained by applying a low pass filter to DIFF [X] [Y] and then converting it to an absolute value. The pixel level in the noise region is suppressed, and the signal level in the noise region tends to decrease.
図６（ｂ−２）は動きに起因した差分映像に対する、ＮＯＩＳＥ［Ｘ］［Ｙ］の信号レベルを示したものである。図６（ｂ−３）は動きに起因した差分映像に対する、ＭＯＶＥ［Ｘ］［Ｙ］の信号レベルを示したものである。動きに起因した差分映像は、エッジの移動に起因する信号レベルの勾配がはっきりしているため、図６（ｂ−２）と図６（ｂ−３）の結果にほとんど差がない傾向がある。以上より、ノイズ領域におけるＮＯＩＳＥ［Ｘ］［Ｙ］とＭＯＶＥ［Ｘ］［Ｙ］の特性を利用することで、部分映像の残像対策を考慮したノイズ抑圧率を算出する。 FIG. 6B-2 shows the signal level of NOISE [X] [Y] with respect to the difference video resulting from the motion. FIG. 6B-3 shows the signal level of MOVE [X] [Y] with respect to the difference video resulting from the motion. Since the difference video resulting from the movement has a clear signal level gradient due to the movement of the edge, there is a tendency that there is almost no difference between the results of FIG. 6B-2 and FIG. 6B-3. . As described above, by using the characteristics of NOISE [X] [Y] and MOVE [X] [Y] in the noise region, the noise suppression rate considering the afterimage countermeasures of the partial video is calculated.
ノイズ抑圧率ＦＩＬ１［Ｘ］［Ｙ］ならびにＦＩＬ２［Ｘ］［Ｙ］の算出について説明する。図７は各抑圧率変換回路に入力される信号レベルとノイズ抑圧率の関係を示したものである。 The calculation of the noise suppression rates FIL1 [X] [Y] and FIL2 [X] [Y] will be described. FIG. 7 shows the relationship between the signal level input to each suppression rate conversion circuit and the noise suppression rate.
図７（ａ）は、第一の抑圧率変換回路５０３に入力されるＮＯＩＳＥ［Ｘ］［Ｙ］とノイズ抑圧率ＦＩＬ１＿１［Ｘ］［Ｙ］（グラフ７０１）の関係を示したものである。ノイズ判定閾値７０２をＮＯＩＳＥＬＥＶＥＬとした場合、ノイズ抑圧率ＦＩＬ１＿１［Ｘ］［Ｙ］は下記式（２）で示される。
ＦＩＬ１＿１［Ｘ］［Ｙ］＝ＮＯＩＳＥ［Ｘ］［Ｙ］−ＮＯＩＳＥＬＥＶＥＬ
・・・式（２）
FIG. 7A shows the relationship between NOISE [X] [Y] input to the first suppression rate conversion circuit 503 and the noise suppression rate FIL1_1 [X] [Y] (graph 701). When the noise
FIL1_1 [X] [Y] = NOISE [X] [Y] -NOISELEVEL
... Formula (2)
ただし、ＦＩＬ１＿１［Ｘ］［Ｙ］が負の値となった場合にはＦＩＬ１＿１［Ｘ］［Ｙ］を０とし、ＦＩＬ１＿１［Ｘ］［Ｙ］が１００を超える場合にはＦＩＬ１＿１［Ｘ］［Ｙ］を１００とする。 However, when FIL1_1 [X] [Y] becomes a negative value, FIL1_1 [X] [Y] is set to 0, and when FIL1_1 [X] [Y] exceeds 100, FIL1_1 [X] [Y] ] Is set to 100.
図７（ｂ）は、第二の抑圧率変換回路５０６に入力されるＭＯＶＥ［Ｘ］［Ｙ］とノイズ抑圧率ＦＩＬ１＿２［Ｘ］［Ｙ］（グラフ７０３）関係を示したものである。動き判定閾値７０５をＭＯＶＥＬＥＶＥＬとした場合、ノイズ抑圧率ＦＩＬ１＿２［Ｘ］［Ｙ］は下記式（３）で示される。
ＦＩＬ１＿２［Ｘ］［Ｙ］＝ＭＯＶＥＬＥＶＥＬ−ＭＯＶＥ［Ｘ］［Ｙ］
・・・式（３）
FIG. 7B shows the relationship between MOVE [X] [Y] and noise suppression rate FIL1_2 [X] [Y] (graph 703) input to the second suppression
FIL1_2 [X] [Y] = MOVELEVEL-MOVE [X] [Y]
... Formula (3)
ただし、ＦＩＬ１＿２［Ｘ］［Ｙ］が負の値となった場合にはＦＩＬ１＿２［Ｘ］［Ｙ］を０とし、ＦＩＬ１＿２［Ｘ］［Ｙ］が１００を超える場合にはＦＩＬ１＿２［Ｘ］［Ｙ］を１００とする。 However, when FIL1_2 [X] [Y] becomes a negative value, FIL1_2 [X] [Y] is set to 0. When FIL1_2 [X] [Y] exceeds 100, FIL1_2 [X] [Y] ] Is set to 100.
合成回路５０７は、求められた２つのノイズ抑圧率ＦＩＬ１＿１［Ｘ］［Ｙ］とＦＩＬ１＿２［Ｘ］［Ｙ］を用いて、加重加算演算に使用されるノイズ抑圧率ＦＩＬ１［Ｘ］［Ｙ］とＦＩＬ２［Ｘ］［Ｙ］を算出する。
The
ノイズ抑圧率ＦＩＬ１［Ｘ］［Ｙ］は下記式（４）で示される。
ＦＩＬ１［Ｘ］［Ｙ］＝ＦＩＬ１＿１［Ｘ］［Ｙ］×ＦＩＬ１＿２［Ｘ］［Ｙ］
・・・式（４）
The noise suppression rate FIL1 [X] [Y] is expressed by the following equation (4).
FIL1 [X] [Y] = FIL1_1 [X] [Y] × FIL1_2 [X] [Y]
... Formula (4)
図８は、ＦＩＬ１［Ｘ］［Ｙ］とＦＩＬ２［Ｘ］［Ｙ］の関係をグラフに示したものである。ＦＩＬ１［Ｘ］［Ｙ］のグラフ８０１とＦＩＬ２［Ｘ］［Ｙ］のグラフ８０２は逆比例関係にあり、ノイズ抑圧率ＦＩＬ２［Ｘ］［Ｙ］は下記式（５）で示される。
ＦＩＬ２［Ｘ］［Ｙ］＝１００−ＦＩＬ１［Ｘ］［Ｙ］ ・・・式（５）
FIG. 8 is a graph showing the relationship between FIL1 [X] [Y] and FIL2 [X] [Y]. The FIL1 [X] [Y]
FIL2 [X] [Y] = 100−FIL1 [X] [Y] (5)
次に、ノイズ抑圧率ＦＩＬ１［Ｘ］［Ｙ］とＦＩＬ２［Ｘ］［Ｙ］を用いた、ノイズ抑圧方法について説明する。部分映像１１１の信号レベルをＡ［Ｘ］［Ｙ］、ＬＰＦ３０１から出力された部分映像の信号レベルをＣ［Ｘ］［Ｙ］とする。第二のノイズ抑圧回路１０８は、ノイズ抑圧率ＦＩＬ１［Ｘ］［Ｙ］とＦＩＬ２［Ｘ］［Ｙ］を用いて、Ａ［Ｘ］［Ｙ］とＣ［Ｘ］［Ｙ］を以下の式（６）を用いて加重加算し、その結果Ｄ［Ｘ］［Ｙ］を第二のノイズ抑圧回路１０８の出力とする。
Ｄ［Ｘ］［Ｙ］＝ＦＩＬ２［Ｘ］［Ｙ］×Ａ［Ｘ］［Ｙ］＋ＦＩＬ１［Ｘ］［Ｙ］×Ｃ［Ｘ］［Ｙ］ ・・・式（６）
Next, a noise suppression method using the noise suppression rates FIL1 [X] [Y] and FIL2 [X] [Y] will be described. The signal level of the
D [X] [Y] = FIL2 [X] [Y] × A [X] [Y] + FIL1 [X] [Y] × C [X] [Y] (6)
ノイズ抑圧率ＦＩＬ１［Ｘ］［Ｙ］の値が大きいほど、ＬＰＦ３０１から出力された部分映像の信号レベルの比率が高くなり、部分映像１１１に対するノイズの抑圧レベルが高くなる。
The larger the value of the noise suppression rate FIL1 [X] [Y], the higher the signal level ratio of the partial video output from the
ステップＳ２１１において、第二のノイズ抑圧回路１０８にて生成された部分映像１１３を、メモリ１０４に出力し、ステップＳ２１２において、本フローチャートにおける処理が終了する。
In step S211, the
なお、保持されている全ての全体映像に対してステップＳ２０２〜Ｓ２０４の処理を実施した後に、それぞれの全体映像に対してステップＳ２０５〜Ｓ２１１の処理を実施するようにしてもよい。 In addition, after performing the process of step S202-S204 with respect to all the hold | maintained whole images, you may make it implement the process of steps S205-S211 with respect to each whole image | video.
このように本実施形態の映像処理装置によれば、巡回型ノイズリダクションを用いたノイズ抑圧処理を実施した映像から部分映像を切り出した部分映像に対して、更なるノイズ抑圧処理を行うようにしている。この更なるノイズ抑圧処理を、フレーム間の部分映像の差分に基づいて行う。こうすることで、焦点距離の変化などによる映像の変化を動きの変化により巡回型ノイズリダクションの効き目が弱まった場合であっても、後段のノイズ抑圧処理でノイズの抑圧処理を補償することが可能となる。 As described above, according to the video processing apparatus of the present embodiment, further noise suppression processing is performed on the partial video obtained by cutting out the partial video from the video on which the noise suppression processing using cyclic noise reduction is performed. Yes. This further noise suppression processing is performed based on the difference of the partial video between frames. In this way, even if the effect of cyclic noise reduction is weakened due to changes in motion due to changes in focal length, etc., noise suppression processing can be compensated for by subsequent noise suppression processing. It becomes.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
１０１ 第一のノイズ抑圧回路
１０２ 部分映像生成回路
１０３ メモリインタフェース
１０４ 本実施形におけるメモリ
１０５ 全体映像
１０６ 部分映像
１０７ 減算回路
１０８ 本実施形における第二の抑圧回路
DESCRIPTION OF
Claims (5)
前記第１のノイズ抑圧手段から出力されたノイズが抑圧された前記第１の入力映像から切り出しを行って第１の部分映像を生成する生成手段と、
前記生成手段から出力された前記第１の部分映像と、前記生成手段から出力され、かつ、前記第１の部分映像よりも前のフレーム映像から生成された第２の部分映像との差分映像を求め、前記差分映像に応じて設定した比率で、フィルタを掛ける前の前記第１の部分映像と、前記フィルタを掛けた後の前記第１の部分映像とを加算することで、前記第１の部分映像のノイズを抑圧する第２のノイズ抑圧手段とを有し、
前記第２のノイズ抑圧手段は、前記差分映像の絶対値にローパスフィルタを適用して得られた結果から第１のノイズ抑圧率を求め、前記差分映像にローパスフィルタを適用して得られた値の絶対値から第２のノイズ抑圧率を求め、前記第１のノイズ抑圧率と前記第２のノイズ抑圧率に基づいて、前記比率を設定することを特徴とする映像処理装置。 A first input image that suppresses noise in the first input video based on a difference between the first input video input via the input terminal and a second input video that is a frame video before the input video; Noise suppression means,
Generating means for generating a first partial video by cutting out from the first input video in which noise output from the first noise suppression means is suppressed;
A difference video between the first partial video output from the generation unit and a second partial video output from the generation unit and generated from a frame video before the first partial video is obtained. The first partial video before being filtered and the first partial video after being filtered at a ratio set according to the difference video are added to the first partial video . have a second noise suppression means for suppressing noise of partial video,
The second noise suppression means obtains a first noise suppression rate from a result obtained by applying a low-pass filter to the absolute value of the difference video, and a value obtained by applying a low-pass filter to the difference video A video processing apparatus characterized in that a second noise suppression rate is obtained from an absolute value of and the ratio is set based on the first noise suppression rate and the second noise suppression rate .
前記第１のノイズ抑圧工程においてノイズが抑圧された前記第１の入力映像から切り出しを行って第１の部分映像を生成する生成工程と、
前記生成工程において生成された前記第１の部分映像と、前記第１の部分映像よりも前のフレーム映像から前記生成工程において生成された第２の部分映像との差分映像を求め、前記差分映像に応じて設定した比率で、フィルタを掛ける前の前記第１の部分映像と、前記フィルタを掛けた後の前記第１の部分映像とを加算することで、前記第１の部分映像のノイズを抑圧する第２のノイズ抑圧工程とを有し、
前記第２のノイズ抑圧工程では、前記差分映像の絶対値にローパスフィルタを適用して得られた結果から第１のノイズ抑圧率を求め、前記差分映像にローパスフィルタを適用して得られた値の絶対値から第２のノイズ抑圧率を求め、前記第１のノイズ抑圧率と前記第２のノイズ抑圧率に基づいて、前記比率を設定することを特徴とする映像処理方法。 A first input image that suppresses noise in the first input video based on a difference between the first input video input via the input terminal and a second input video that is a frame video before the input video; Noise suppression process,
A generating step of generating a first partial image by cutting out the first input image in which noise is suppressed in the first noise suppressing step;
A difference video between the first partial video generated in the generation step and a second partial video generated in the generation step is obtained from a frame video before the first partial video, and the difference video By adding the first partial video before being filtered and the first partial video after being filtered at a ratio set according to the above, the noise of the first partial video is reduced. have a second noise suppression process for suppressing,
In the second noise suppression step, a first noise suppression rate is obtained from a result obtained by applying a low-pass filter to the absolute value of the difference video, and a value obtained by applying a low-pass filter to the difference video A video processing method characterized in that a second noise suppression rate is obtained from the absolute value of and the ratio is set based on the first noise suppression rate and the second noise suppression rate .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015096828A JP6570304B2 (en) | 2015-05-11 | 2015-05-11 | Video processing apparatus, video processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015096828A JP6570304B2 (en) | 2015-05-11 | 2015-05-11 | Video processing apparatus, video processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016213714A JP2016213714A (en) | 2016-12-15 |
| JP6570304B2 true JP6570304B2 (en) | 2019-09-04 |
Family
ID=57552194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015096828A Expired - Fee Related JP6570304B2 (en) | 2015-05-11 | 2015-05-11 | Video processing apparatus, video processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6570304B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109525857A (en) * | 2018-12-06 | 2019-03-26 | 武汉微梦文化科技有限公司 | A kind of method for processing video frequency |
| TWI827725B (en) * | 2018-12-07 | 2024-01-01 | 日商索尼半導體解決方案公司 | Image processing device and image processing method |
-
2015
- 2015-05-11 JP JP2015096828A patent/JP6570304B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016213714A (en) | 2016-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102182695B1 (en) | Method and Apparatus for Noise Reduction | |
| JP5855445B2 (en) | Video data processing method and image processing circuit for stabilizing digital image, and camera using the same | |
| KR102605747B1 (en) | Video noise removal methods, devices, and computer-readable storage media | |
| JP6140171B2 (en) | Stabilize received video | |
| JP2016208307A (en) | Image processing apparatus, control method therefor, and program | |
| US9172870B2 (en) | Real-time image processing method and device enhancing the resolution of successive images | |
| JP2011114407A (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2015043495A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP6270413B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2018061130A (en) | Image processing device, image processing method, and program | |
| JP6570304B2 (en) | Video processing apparatus, video processing method, and program | |
| KR102003460B1 (en) | Device and Method for dewobbling | |
| JP6282133B2 (en) | Imaging device, control method thereof, and control program | |
| US20190098216A1 (en) | Image processing method, image processing apparatus, imaging apparatus, and storage medium | |
| JP2011130128A (en) | Image processor, control method thereof, and program | |
| JP5893426B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
| JP2007179211A (en) | Image processing device, image processing method, and program for it | |
| JP6016546B2 (en) | Imaging device, control method thereof, and control program | |
| JP6381212B2 (en) | Imaging apparatus and control method thereof | |
| JP7118818B2 (en) | Image processing method, image processing device, imaging device, and program | |
| KR20170133909A (en) | Electronic apparatus and controlling method thereof | |
| JP5701816B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| JP2014178742A (en) | Image processor, image processing method and image processing program | |
| JP2018191084A (en) | Image processing apparatus, image processing method, and program | |
| JP5659126B2 (en) | Image processing apparatus, image processing program, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190806 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6570304 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |