JP3800435B2

JP3800435B2 - Video signal processing device

Info

Publication number: JP3800435B2
Application number: JP28091095A
Authority: JP
Inventors: 義浩菊池; 敏明渡邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-10-27
Filing date: 1995-10-27
Publication date: 2006-07-26
Anticipated expiration: 2015-10-27
Also published as: JPH09130648A

Description

【０００１】
【発明の属する技術分野】
本発明は動画像信号処理装置に係り、特に動画像信号を高能率に圧縮符号化する動画像符号化装置および圧縮符号化された信号を復号化して元の動画像信号を再生する動画像復号化装置において、圧縮符号化によって生じた符号化歪みを除去したり、動画像信号のノイズを符号化に先立って除去するのに適した動画像信号処理装置に関する。
【０００２】
【従来の技術】
ＴＶ電話、ＴＶ会議システム、携帯情報端末、デジタルビデオディスクシステムおよびデジタルＴＶ放送システムのように、動画像信号を伝送／蓄積するシステムにおいては、動画像を少ない情報量に圧縮符号化し、得られた符号列を伝送路／蓄積媒体へ伝送／蓄積して、伝送／蓄積された符号列を復号化することによって元の動画像信号を再生する。
【０００３】
このようなシステムに適用される動画像信号の圧縮符号化技術として、動き補償、離散コサイン変換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化等の方式やこれらを組み合わせた方式など、様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式として現在、ＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ・Ｈ．２６１、Ｈ．２６２が規定されている。これらの符号化方式はいずれも動き補償適応予測コサイン変換符号化を用いた方式であり、文献１：安田浩編著、”マルチメディア符号化の国際標準”、丸善、（平成３年６月）等に詳細が述べられている。
【０００４】
動画像信号を圧縮符号化技術を用いて少ない情報量、例えば、数ｋｂｐｓ〜数１０ｋｂｐｓ程度のレートまで圧縮符号化できれば、アナログ電話回線、セルラホン、およびＰＨＳ等の無線電話回線でも動画像を伝送することが可能となり、ＴＶ電話装置、携帯情報端末、パーソナルコンピュータ等の間で動画像通信が可能となる。
【０００５】
ところで、無線伝送路のように伝送路誤りが多く混入する伝送路で動き補償予測符号化を行った動画像信号を伝送する場合、誤り耐性を高めるためリフレッシュと呼ばれる方式が用いられることがある。リフレッシュとは、動画像信号の一部分を誤りの影響が後続のフレームに伝幡しないフレーム内符号化を用いて符号化する操作である。しかし、リフレッシュを行うと、リフレッシュ部分つまりフレーム内符号化を行った部分と、それ以外の動き補償予測符号化した部分とでは符号化方法が異なるために復号画像の性質が異なり、リフレッシュ部分とそれ以外の部分の間に違和感を生じて、復号画像の主観的品質が低下する。
【０００６】
一方、動き補償予測の予測効率を改善する方式として、動きベクトルを画素毎に内挿補間するパッチ動き補償と呼ばれる方式がある。しかし、パッチ動き補償は物体のなめらかな変形を効率良く表すことができるという利点がある反面、静止している背景と動物体の境界部分等の動きが大きく変化している部分では、動き補償を効率的に行うことができず、大きな符号化歪みが生じてしまう。
【０００７】
また、符号化対象の動画像信号にカメラ入力の問題等によって、ノイズが混入したりフリッカが生じたりすると、符号化効率が大きく低下し、結果的に符号化品質が低下してしまう。特に、符号化ビットレートが低い場合には、この問題は顕著である。この問題を改善する方法として、符号化に先立って入力画像信号に帯域制限フィルタをかける方式がある。しかし、この方式ではノイズだけでなく本来の信号成分の一部も失われてしまうため、符号化した画像にぼけを生じてしまう。
【０００８】
さらに、カメラ入力の問題等によって、符号化対象の動画像信号の画像端、すなわち画面端部に位置する部分に、黒レベル画素のような画素値が非常に低く周囲の画素と画素値が大きく異なる画素が帯状に存在することがある。このような低レベル画素が存在すると、画像端に近い部分での動きベクトル検出の精度が低下して符号化効率の低下をもたらしたり、動き補償によってこの低レベル画素が周囲に広がったりして符号化画像の品質が低下してしまう。
【０００９】
【発明が解決しようとする課題】
上述したように、伝送路誤りに対する耐性を高めるためにフレーム内符号化などによるリフレッシュ符号化を用いる動画像符号化／復号化装置では、フリフレッシュ符号化を行った部分とそれ以外の部分とで復号画像の性質が異なるために復号画像の主観的品質が低下するという問題があった。
【００１０】
また、パッチ動き補償を行う動画像符号化／復号化装置では、動きが大きく変化する部分で大きな符号化歪みを生じてしまうという問題があった。
さらに、従来の動画像符号化／復号化装置では、入力動画像信号にノイズやフリッカが存在すると符号化効率が低下し、また画像端に低レベル画素が存在すると符号化品質が低下するという問題があった。
【００１１】
本発明は、上述した従来の動画像符号化／復号化装置の問題点を解決すべくなされたもので、復号化された動画像信号の符号化歪みや、動画像信号を符号化する前のノイズ、フリッカなどを効果的に除去できる動画像信号処理装置を提供することを目的とする。
【００１２】
【発明を解決するための手段】
上記の課題を解決するため、本発明に係る動画像信号処理装置は、入力動画像信号に対し所定のフィルタ係数に従って時間軸方向のフィルタリング処理を行って出力動画像信号を出力する時間フィルタ手段と、この時間フィルタ手段におけるフィルタ係数を少なくとも入力動画像信号と出力動画像信号を遅延させた信号または入力動画像信号を遅延させた信号との差分の大きさに応じて決定するフィルタ係数決定手段とを有することを特徴とする。
【００１３】
また、この動画像信号処理装置が複数の符号化モードを有する動画像符号化装置によって得られた符号化データから動画像復号装置によって復号された復号動画像信号を入力動画像信号とする場合、フィルタ係数決定手段では時間フィルタ手段におけるフィルタ係数を少なくとも(a) 入力動画像信号と出力動画像信号を遅延させた信号または入力動画像信号を遅延させた信号との差分の大きさ、および(b) 動画像符号化装置の符号化モードに応じて決定する。
【００１４】
この動画像信号処理装置においては、例えば入力動画像信号と出力動画像信号または入力動画像信号を遅延させた信号との差分の大きさが小さい部分、すなわち静止部分では比較的強い時間フィルタリングをかけた信号が出力動画像信号として出力されるようにフィルタ係数が決定されることによって、静止部分で特に目立ちやすい符号化歪みが効果的に軽減される。また、差分の大きさが大きい部分では復号動画像信号をそのままか、あるいは弱い時間フィルタリングをかけて出力動画像信号として出力されるようにフィルタ係数が決定されることにより、シーンチェンジ等によって画像が大きく変化する場合でも画像の大きな変化が残像として残ることが防止される。
【００１５】
また、フィルタ係数をさらに符号化モードを考慮して決定する場合は、例えばリフレッシュ符号化を行った部分で比較的強く時間フィルタリングがかかるようにフィルタ係数を設定することによって、リフレッシュ符号化が行われた部分の符号化モード（フレーム内符号化モード）と他の部分の符号化モード（動き補償予測符号化モード）との符号化方式の違いに起因する復号画像の性質が相違による復号画像の不自然さ解消される。
【００１６】
さらに、フィルタ係数をアクティビティ、すなわち画像の複雑さを示す評価値をも考慮して決定してもよく、その場合には例えばアクティビティの高いエッジや細かい絵柄の部分で時間フィルタリングを弱くかけるか、入力動画像信号をそのまま出力することで、時間フィルタリングによって生じる画像のぼけを小さくし、アクティビティが低くまた符号化歪みが目立ちやすい平坦部分は時間フィルタリングを強くかけることで、符号化歪みを効果的に抑圧できる。
【００１７】
さらに、本発明においては、入力動画像信号から画像端に存在する画素値がしきい値以下である低レベル画素の画素信号を除去する処理を行う低レベル画素信号除去処理を行った後、上述した時間フィルタリング処理およびフィルタ係数の決定を行ってもよい。
【００１８】
このようにすると、カメラ入力の問題等によって生じた画像端に存在する黒レベル画素のような低レベル画素の画素信号を圧縮符号化前に入力動画像信号から除去とることにより、符号化効率が向上し、結果的に符号化品質が向上する。
【００１９】
また、本発明によると、このような入力動画像信号から画像端に存在する画素値がしきい値以下である低レベル画素の画素信号を除去する低レベル画素信号除去処理は、入力動画像信号から画素値がしきい値以下である低レベル画素を検出し、低レベル画素数が画像端に何画素あるかを探索し、この低レベル画素の画素値を探索した低レベル画素数に基づいて決定された低レベル画素以外の画素値で置き換えることによって実現される。
【００２０】
【発明の実施の形態】
以下、本発明の実施形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。この符号化歪み除去装置は、入力動画像信号として動画像復号化装置からの復号動画像信号１２１を入力し、この復号動画像信号１２１に対し巡回型適応時間フィルタ１００により符号化歪み除去のために時間軸方向のフィルタリング処理（以下、時間フィルタリング処理という）を行って、出力動画像信号１２３を出力するものである。
【００２１】
時間フィルタ１００は、第１の乗算器１０１、加算器１０２、フレーム遅延器１０３および第２の乗算器１０４により構成される。また、時間フィルタ１００のフィルタ係数（以下、重み係数という）は、重み係数決定部１０５により決定される。この重み係数決定部１０５は、フレーム間差分計算部１０６と重み係数計算部１０７により構成される。
【００２２】
次に、本実施形態による符号化歪み除去装置の動作を説明する。
入力される復号動画像信号１２１は、第１の乗算器１０１において重み係数決定部１０５から出力された第１の重み係数１２５が乗じられた後、加算器１０２に入力される。加算器１０２からの出力信号は、出力動画像信号１２３として装置外へ出力されると共に、フレーム遅延器１０３に入力される。フレーム遅延器１０３からは、出力動画像信号１２３を１フレーム時間遅延させた信号１２４が出力される。このフレーム遅延器１０３からの出力信号１２４は、第２の乗算器１０４で重み係数決定部１０５から出力された第２の重み係数１２６が乗じられる。第２の乗算器１０４からの出力信号は、加算器１０２で第１の乗算器１０１からの出力信号と加算される。
【００２３】
重み係数決定部１０５は、復号動画像信号１２１と１フレーム前の出力動画像信号１２４を基にして、以下のように画素毎に重み係数１２５，１２６を決定する。まず、フレーム間差分計算部１０６において、復号動画像信号１２１と１フレーム前の出力動画像信号１２４との差分の大きさＤを処理対象画素の周囲±Ｍ画素を用いて次式に従って計算する。
【００２４】
【数１】

【００２５】
そして、こうして計算した差分の大きさＤから、重み係数計算部１０７によって重み係数を計算して決定する。
図２は、差分の大きさＤと重み係数の関係の一例を示したものである。図中、縦軸のＷは第２の重み係数１２６であり、第１の重み係数１２５は（１−Ｗ）とする。また、ａｔｈ１、ａｔｈ２、ＷＬはあらかじめ定められた定数である。
【００２６】
このように重み係数決定部１０５では、復号動画像信号１２１と１フレーム前の出力動画像信号１２４との差分の大きさＤに応じて重み係数１２５，１２６が適応的に決定される。すなわち、差分の大きさＤが小さいときは、Ｗが大きくなるように決定される。これにより、符号化歪みが目立ちやすい静止部分では、符号化歪みが加わった復号動画像信号１２１がそのまま出力されるのではなく、時間フィルタ１００で復号動画像信号１２１に対して１フレーム前の出力動画像信号１２４との重み付け加算による時間フィルタリング処理を行った信号が出力動画像信号１２４として出力されることによって、符号化歪みが軽減される。
【００２７】
一方、差分の大きさＤがしきい値ａｔｈ２以上になる部分ではＷ＝０となり、復号動画像信号１２１がそのまま出力動画像信号１２３として出力される。このため、シーンチェンジ等により前フレームから画像が大きく変化する部分でも、画像の大きな変化が残像として残ってしまうことは無い。
【００２８】
なお、本実施形態では画素単位の処理を説明したが、ブロック単位で処理を行ってもよい。
（第２の実施形態）
図３は、本発明の第２の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図であり、差分の大きさＤと重み係数Ｗの関係を動画像符号化装置の符号化モードや、動画像符号化装置で求められた動きベクトルの大きさ等に応じて切り替えるようにした例である。このため、本実施形態では動画像復号化装置から復号動画像信号１２１とは別に、符号化モードや動きベクトルを示す信号（サイド情報信号という）１２８がフィルタ係数決定部１０５内の重み係数計算部１０７に入力される。
【００２９】
図４は、伝送路誤りによって生じる画質劣化の伝幡を抑えるために動画像符号化装置でリフレッシュ符号化を行っている場合に、リフレッシュ符号化を行った部分とそれ以外の部分で差分の大きさＤと重み係数Ｗの関係を切り替える例を示している。リフレッシュ符号化を行った部分に対しては４０１の特性を用い、それ以外の部分では４０２の特性を用いる。
【００３０】
リフレッシュ符号化を行った部分で重み係数Ｗが大きくなりやすい特性４０１を用いるのは、リフレッシュ符号化が行われた部分の符号化モードはフレーム内符号化モードであり、他の部分の符号化モード（例えば動き補償予測符号化モード）と符号化方式が異なるために復号画像の性質が異なり、復号画像に不自然さが生じやすいためである。特に、符号化歪みが目立ちやすい静止部分や動きが小さい部分では、前フレームまで通常の動き補償予測符号化モードであった部分がリフレッシュ符号化モードであるフレーム内符号化モードに変化すると、復号画像の性質の変化が視覚的に顕著になって復号画像の主観品質が低下しやすい。
【００３１】
これに対し、図４の特性４０１を用いれば、差分の大きさＤが小さくなる静止部分や動きが小さい部分では重み係数Ｗ、すなわち１フレーム前の出力動画像信号１２４に対する重み係数１２６が大きくなる。従って、復号動画像信号１２１のうちリフレッシュにより性質の変化した部分は１フレーム前の出力動画像信号１２４との重み付け加算が行われ、時間フィルタリング処理が強くかかるため、画質劣化が小さく抑えられることになる。
【００３２】
図５は、本実施形態において差分の大きさＤと重み係数Ｗの関係を切り替えるもう一つの例を示したものである。動き補償予測符号化モードでは、重み係数Ｗが大きくなる図５の特性５０１を用いる。これは、静止部分と動物体の境界部分で静止部分が動物体の動きベクトルによって誤って動き補償されてしまうことによって生じる符号化歪みを抑えるためであり、物体の境界部分で大きな歪みを生じやすいパッチ動き補償の符号化歪みを低減するのに有効である。
【００３３】
一方、フレーム内符号化モードでは、このような歪みは生じないため、重み係数Ｗが小さくなる特性５０２を用いる。
（第３の実施形態）
図６は、本発明の第３の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図であり、差分の大きさＤと重み係数Ｗの関係を画像の複雑さを示すアクティビティに応じて変えるようにした例である。このために、本実施形態ではフィルタ係数決定部１０５においてアクティビティ計算部１０８で復号動画像信号１２１のアクティビティを計算し、これに応じてしきい値計算部１０９が発生する図７のしきい値ａｔｈ１およびａｔｈ２を変化させる構成となっている。
【００３４】
まず、アクティビティ計算部１０８およびフレーム間差分計算部１０６において、復号動画像信号１２１のアクティビティ１３１および１フレーム前の出力動画像信号１２４との差分の大きさ１２７を処理対象画素の周囲±Ｍ画素で次式に従って計算する。
【００３５】
【数２】

【００３６】
次に、しきい値計算部１０９においてアクティビティ２２１から第１のしきい値１３２（ａｔｈ１）および第２のしきい値１３３（ａｔｈ２）を図７（ａ）および（ｂ）の特性に基づいて決定する。図７中、ｔｈ１，ｔｈ２，αはあらかじめ定められた定数である。図７（ａ）（ｂ）の特性を式で表すと、以下のようになる。
【００３７】
ａｔｈ１＝ｔｈ１−α・ａｃｔ・ｔｈ１／ｔｈ２
ａｔｈ２＝ｔｈ２−α・ａｃｔ
そして、重み係数計算部１０７で差分の大きさ１２７と第１および第２のしきい値１３２および１３３から図２に示す特性に従って重み係数１２５，１２６が決定される。
【００３８】
このようにアクティビティに応じて時間フィルタ１００の特性を変化させることにより、アクティビティの高い部分、すなわちエッジや細かい絵柄の部分では、しきい値ａｔｈ１およびａｔｈ２が小さくなって重み係数Ｗが小さくなる。これによって時間フィルタ１００での時間フィルタリングの強さが弱くなり、時間フィルタ１００によって生じる画像のぼけが小さく抑えられる。
【００３９】
一方、符号化歪みが目立ちやすい平坦部分はアクティビティが低いことから、重み係数Ｗは大きくなりやすく、時間フィルタリングが強くかかるため、符号化歪み抑圧効果が大きくなる。
【００４０】
（第４の実施形態）
図８は、本発明の第４の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。図１と相対応する部分に同一の符号を付して第１の実施形態との相違点を中心に説明すると、本実施形態は空間フィルタ１１０が新たに追加され、加算器１０２の出力信号は空間フィルタ１１０により空間方向での符号化歪み除去処理がなされた後に、出力動画像信号１２３として取り出される点が異なる。
【００４１】
空間フィルタ１１０は、空間方向のフィルタリング処理を行うことにより符号化歪みを除去するものであり、具体的には例えば隣接画素間の差分の大きさに応じて適応的にフィルタの強さを変化させ、画素間差分が小さい部分はフィルタを強くし画素間差分が大きい部分はフィルタを弱くする。これにより、エッジを保存しながらモスキート歪み等の符号化歪みを除去することができる。
【００４２】
このように本実施形態では、時間フィルタ１００による時間軸方向の符号化歪み除去に、空間フィルタによる空間方向の符号化歪み除去を組み合わせることにより、復号動画像信号１２１と１フレーム分の時間的ずれのある出力動画像信号１２４を重み付け加算処理することによってまれに生じてしまう残像を取り除くことができ、時間フィルタのみによる場合に比べ出力動画像信号１２３の品質がさらに向上する。
【００４３】
（第５の実施形態）
図９は、本発明の第５の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。この符号化歪み除去装置は、動画像復号化装置から入力される現フレームの復号動画像信号２２１と動画像復号化装置のフレームメモリに記憶されている１フレーム前の復号動画像信号２２４を入力して、非巡回型適応時間フィルタ２００により符号化歪み除去処理を行って出力動画像信号２２３を出力するものである。
【００４４】
時間フィルタ２００は、第１の乗算器２０１、加算器２０２および第２の乗算器２０４により構成される。また、時間フィルタ２００のフィルタ係数（重み係数という）は、重み係数決定部２０５により決定される。
【００４５】
入力される現フレームの復号動画像信号２２１および１フレーム前の復号動画像信号２２８は、第１、第２の乗算器２０１，２０４で重み係数決定部２０５から与えられる第１、第２の重み係数が乗じられた後、加算器２０２に入力されて互いに加算され、この加算器２０２の出力信号が出力動画像信号２２３として装置外へ出力される。
【００４６】
重み係数決定部２０５では、第１〜第４の実施形態のいずれかにおける重み係数決定部１０５と同様にして重み係数を決定する。ただし、フレーム間差分Ｄは復号動画像信号２２１と１フレーム前の復号動画像信号２２４との差分として、次式に従って計算する。
【００４７】
【数３】

【００４８】
このように本実施形態の符号化歪み除去装置では、第１〜第４の実施形態で用いた巡回型の適応時間フィルタ１００に対して非巡回型の時間フィルタ２００により符号化歪み除去処理を行う。このため、第１〜第４の実施形態に比べて符号化歪み除去性能は若干低下するものの、第１〜第４の実施形態のように１フレーム前の出力動画像信号と現フレームの復号動画像信号との重み付け加算をとることによって生じる残像は少なくなる。また、本実施形態では動画像復号化装置から１フレーム前の復号動画像信号２２４を取り出すので、符号化歪み除去装置内にフレーム遅延器を設ける必要は無く、ハードウェア量が削減される。
【００４９】
ただし、動画像復号化装置の構成によっては、１フレーム前の復号動画像信号２２４を出力できない場合がある。この場合は、図９中に示すように符号化歪み除去装置内に現フレームの復号動画像信号２２１を１フレーム時間遅延させるフレーム遅延器２０３を設けて、１フレーム前の復号動画像信号２２４を生成すればよい。
【００５０】
（第６の実施形態）
図１０は、本発明の第６の実施形態に係る動画像信号処理装置の構成を示すブロック図であり、第１〜第５の実施形態と異なり、動画像符号化装置において動画像信号の圧縮符号化に先立ってノイズやフリッカ等を抑圧する装置である。
【００５１】
入力の動画像信号３２１は、まず画像黒縁除去処理部３０６に入力され、カメラ入力の問題等によって生じた画像端に存在する黒レベル画素、すなわち画素値が所定のしきい値以下である低レベル画素の画素信号を動画像信号３２１から除去する処理が行われる。
【００５２】
図１１は、この画像黒縁除去処理を説明するための図であり、画像左端に存在する黒レベル画素を取り除く処理の例を示している。図１１において黒丸は黒レベル画素、白丸は黒レベル以外の画素をそれぞれ表す。
【００５３】
［ステップ１］まず、画像左端から順に黒レベル画素を検出する。画素が黒レベル画素かどうかの判定は、画素値があらかじめ定められたしきい値以下かどうかにより行えばよい。
【００５４】
［ステップ２］次に、黒レベル画素が画像左端から数えて何画素連続して存在するかを各水平ライン毎に探索する。このようにして探索された画像左端からの黒レベル画素数をＮｓｂとする。
【００５５】
［ステップ３］そして、黒レベル画素の画素信号をそれよりもＮｆ（任意の整数）個右にある画素の画素信号で置き換える。
以上の処理を図１１中の最上部の水平ラインの例で説明すると、画像左端から２つの黒レベル画素１１０１，１１０２が存在するので、黒レベル画素数Ｎｓｂは２となる。ここでＮｆ＝２とすれば、画像左端からＮｓｂ＋Ｎｆ−１個の画素１１０１〜１１０３を画像左端からＮｓｂ番目の画素１１０４の画素値で置き換えることになる。
【００５６】
画像の上端、右端、下端にも黒レベル画素が存在する場合には、上記の画像左端に存在する画素に対する処理と同様に、黒レベル画素の画素信号を他の画素の画素信号で置き換える処理を行えばよい。
【００５７】
なお、画像端に大きな幅の黒レベル画素値が存在する場合、これに対して上記の画素置き換え処理を行うと、画像に違和感が生じてしまうことがある。これを防ぐため、黒レベル画素数Ｎｓｂが一定値以上になる場合には、上記の画素置き換え処理は行わないようにしてもよい。
【００５８】
図１０に説明を戻すと、黒縁除去処理部３０６で画像端に存在する黒レベル画素の画素信号を除去する処理がなされた後の動画像信号は、巡回型適応時間フィルタ３００によってノイズやフリッカなどが除去される。巡回型適応時間フィルタ３００とそのフィルタ係数（重み係数）を決定する重み係数決定部３０５は、第１〜第４の実施形態で説明したのと同様の構成となっており、乗算器３０１、加算器３０２、フレーム遅延器３０３および乗算器３０４は、例えば図１における乗算器１０１、加算器１０２、フレーム遅延器１０３および乗算器１０４と同様の動作を行う。重み係数部３０５での重み係数の決定も第１〜第４の実施形態と同様に行うが、先に示したＷＬ，ｔｈ１，ｔｈ２，α等の定数は、入力動画像信号３２１またはこれを画像黒縁除去３０６を通した動画像信号の性質に合わせて定められものとする。
【００５９】
なお、前記実施形態においてはフレーム間差分Ｄおよびアクティビティａｃｔは絶対値和により計算する例を示したが、次式のように二乗和、重み付き絶対値和、重み付き二乗和を用いて計算してもよい。
【００６０】
【数４】

ここで、ｗａ，ｗＤはｋ，ｌに応じて重みをつける係数である。
【００６１】
【発明の効果】
以上説明したように、本発明の画像信号処理装置によれば、動画像信号の圧縮符号化によって生じた符号化歪みを除去し、復号画像の品質を高めることができる。
また、圧縮符号化を行う動画像信号に存在するノイズ、フリッカ、黒縁などを除去して圧縮符号化の効率を高め、符号化品質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像信号処理装置の構成を示すブロック図
【図２】同実施形態におけるフレーム間差分と重み係数の関係を示す図
【図３】本発明の第２の実施形態に係る動画像信号処理装置の構成を示すブロック図
【図４】同実施形態におけるフレーム間差分と重み係数の関係の第１の例を示す図
【図５】同実施形態におけるフレーム間差分と重み係数の関係の第２の例を示す図
【図６】本発明の第３の実施形態に係る動画像信号処理装置の構成を示すブロック図
【図７】同実施形態におけるアクティビティとしきい値の関係を示す図
【図８】本発明の第４の実施形態に係る動画像信号処理装置の構成を示すブロック図
【図９】本発明の第５の実施形態に係る動画像信号処理装置の構成を示すブロック図
【図１０】本発明の第６の実施形態に係る動画像信号処理装置の構成を示すブロック図
【図１１】同実施形態に係る動画像信号処理装置の動作を説明するための図
【符号の説明】
１００…巡回型適応時間フィルタ
１０１…乗算器
１０２…加算器
１０３…フレーム遅延器
１０４…乗算器
１０５…フィルタ係数決定部
１０６…フレーム間差分計算部
１０７…重み係数計算部
１０８…アクティビティ計算部
１０９…しきい値計算部
１１０…空間フィルタ
１２１…復号動画像信号
１２３…出力動画像信号
１２４…１フレーム前の出力動画像信号
１２５，１２６…重み係数
１２７…フレーム間差分
１２８…サイド情報信号
１３１…アクティビティ
１３２，１３３…しきい値
２００…非巡回型適応時間フィルタ
２０１…乗算器
２０２…加算器
２０３…フレーム遅延器
２０４…乗算器
２０５…フィルタ係数決定部
３００…巡回型適応時間フィルタ
３０１…乗算器
３０２…加算器
３０３…フレーム遅延器
３０４…乗算器
３０５…フィルタ係数決定部
３０６…画像黒縁除去部
３２１…入力動画像信号
３２３…出力動画像信号
３２４…１フレーム前の出力動画像信号
３２５，３２６…重み係数
４０１…リフレッシュモードでのフレーム間差分と重み係数の関係
４０２…リフレッシュ以外のモードでのフレーム間差分と重み係数の関係
５０１…動き補償モードでのフレーム間差分と重み係数の関係
５０２…フレーム内符号化モードでのフレーム間差分と重み係数の関係[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image signal processing apparatus, and in particular, a moving image encoding apparatus that compresses and encodes a moving image signal with high efficiency and a moving image decoding that decodes the compression-coded signal to reproduce the original moving image signal. The present invention relates to a moving picture signal processing apparatus suitable for removing coding distortion caused by compression coding and removing noise of a moving picture signal prior to coding.
[0002]
[Prior art]
In systems that transmit / store moving image signals, such as TV telephones, TV conference systems, portable information terminals, digital video disk systems, and digital TV broadcasting systems, moving images are compressed and encoded to a small amount of information. The code sequence is transmitted / accumulated to the transmission path / accumulation medium, and the transmitted / accumulated code sequence is decoded to reproduce the original moving image signal.
[0003]
As a compression encoding technique of a moving image signal applied to such a system, various methods such as a method such as motion compensation, discrete cosine transform (DCT), subband encoding, pyramid encoding, and a combination thereof are available. Has been developed. In addition, ISO / MPEG1, MPEG2, ITU-T / H. 261, H.H. 262 is defined. All of these coding methods use motion compensated adaptive predictive cosine transform coding. Reference 1: edited by Hiroshi Yasuda, “International Standard for Multimedia Coding”, Maruzen, (June 1991), etc. Details.
[0004]
If a moving image signal can be compressed and encoded to a small amount of information using a compression coding technique, for example, a rate of several kbps to several tens of kbps, then the moving image is transmitted through a wireless telephone line such as an analog telephone line, a cellular phone, and a PHS. Thus, moving image communication is possible between a TV phone device, a portable information terminal, a personal computer, and the like.
[0005]
By the way, when transmitting a moving image signal that has undergone motion compensation predictive coding on a transmission path in which many transmission path errors are mixed, such as a wireless transmission path, a system called refresh may be used to increase error tolerance. Refreshing is an operation of encoding a part of a moving image signal using intraframe encoding in which the influence of errors is not transmitted to subsequent frames. However, when refreshing, the refreshed part, that is, the part that has been subjected to intraframe coding, and the other part that has undergone motion compensation predictive coding have different encoding methods, so the properties of the decoded image are different. A sense of incongruity occurs between the other parts, and the subjective quality of the decoded image is lowered.
[0006]
On the other hand, as a method for improving the prediction efficiency of motion compensation prediction, there is a method called patch motion compensation in which a motion vector is interpolated for each pixel. However, while patch motion compensation has the advantage of being able to express smooth deformation of an object efficiently, motion compensation is not performed in areas where the motion changes greatly, such as the boundary between the stationary background and the moving object. It cannot be performed efficiently, and a large coding distortion occurs.
[0007]
Also, if noise is mixed in the moving image signal to be encoded due to a camera input problem or flickering occurs, the encoding efficiency is greatly reduced, resulting in a decrease in encoding quality. This problem is particularly noticeable when the encoding bit rate is low. As a method for solving this problem, there is a method of applying a band limiting filter to an input image signal prior to encoding. However, in this method, not only noise but also a part of the original signal component is lost, so that the encoded image is blurred.
[0008]
Furthermore, due to camera input problems, the pixel values such as black level pixels are very low and the surrounding pixels and pixel values are large at the image edge of the video signal to be encoded, that is, at the edge of the screen. Different pixels may exist in a strip shape. If such low-level pixels exist, the accuracy of motion vector detection near the edge of the image decreases, leading to a decrease in encoding efficiency, or the low-level pixels spread around due to motion compensation. The quality of the converted image is degraded.
[0009]
[Problems to be solved by the invention]
As described above, in a moving image encoding / decoding device that uses refresh encoding such as intraframe encoding in order to increase resistance to transmission path errors, a portion that has been subjected to refresh encoding and other portions are used. There is a problem that the subjective quality of the decoded image is deteriorated because the properties of the decoded image are different.
[0010]
In addition, a moving image encoding / decoding device that performs patch motion compensation has a problem in that large encoding distortion occurs in a portion where the motion greatly changes.
Further, in the conventional moving image encoding / decoding device, there is a problem that the encoding efficiency decreases when noise or flicker exists in the input moving image signal, and the encoding quality decreases when low level pixels exist at the image end. was there.
[0011]
The present invention has been made to solve the above-described problems of the conventional moving image encoding / decoding device. The decoding distortion of the decoded moving image signal and the encoding of the moving image signal before encoding are not possible. It is an object of the present invention to provide a moving image signal processing apparatus that can effectively remove noise, flicker, and the like.
[0012]
[Means for Solving the Invention]
In order to solve the above-described problems, a moving image signal processing apparatus according to the present invention includes a time filter unit that performs filtering in the time axis direction according to a predetermined filter coefficient on an input moving image signal and outputs an output moving image signal. A filter coefficient determining means for determining a filter coefficient in the time filter means according to at least a difference between a signal obtained by delaying an input moving image signal and a signal obtained by delaying an output moving image signal or a signal obtained by delaying an input moving image signal; It is characterized by having.
[0013]
Further, when the moving image signal processing apparatus uses the decoded moving image signal decoded by the moving image decoding apparatus from the encoded data obtained by the moving image encoding apparatus having a plurality of encoding modes as the input moving image signal, In the filter coefficient determination means, at least the filter coefficient in the time filter means is (a) the magnitude of the difference between the input video signal and the delayed output video signal or the delayed input video signal, and (b ) Determined according to the coding mode of the moving picture coding apparatus.
[0014]
In this moving image signal processing apparatus, for example, a relatively strong time filtering is applied to a portion where the difference between the input moving image signal and the output moving image signal or a signal obtained by delaying the input moving image signal is small, that is, a stationary portion. By determining the filter coefficient so that the output signal is output as an output moving image signal, coding distortion that is particularly noticeable in a stationary portion is effectively reduced. In addition, in the portion where the difference is large, the decoded moving image signal is left as it is or the filter coefficient is determined so as to be output as an output moving image signal after performing weak temporal filtering, so that the image is changed by a scene change or the like. Even when there is a large change, it is possible to prevent a large change in the image from remaining as an afterimage.
[0015]
Further, when the filter coefficient is further determined in consideration of the encoding mode, for example, the refresh coefficient is set by setting the filter coefficient so that the time filtering is relatively strong in the portion where the refresh encoding is performed. Of the decoded image due to the difference in the characteristics of the decoded image due to the difference in the encoding method between the encoding mode of the part (intra-frame encoding mode) and the encoding mode of the other part (motion compensation prediction encoding mode). Naturalness is eliminated.
[0016]
In addition, the filter coefficients may be determined taking into account the activity, i.e. the evaluation value indicating the complexity of the image, in which case, for example, the temporal filtering may be weakened or input at high edges of the activity or fine picture parts. By outputting the moving image signal as it is, the blurring of the image caused by temporal filtering is reduced, and the flat part where the activity is low and the encoding distortion is conspicuous is applied to the flat part strongly to suppress the encoding distortion effectively. it can.
[0017]
Furthermore, in the present invention, after performing low-level pixel signal removal processing for performing processing for removing pixel signals of low-level pixels whose pixel value existing at the image edge is equal to or less than a threshold value from the input moving image signal, The time filtering process and the filter coefficient determination may be performed.
[0018]
In this way, by removing pixel signals of low level pixels such as black level pixels existing at the edge of the image caused by a camera input problem or the like from the input moving image signal before compression encoding, encoding efficiency is improved. As a result, the coding quality is improved.
[0019]
Further, according to the present invention, the low-level pixel signal removal processing for removing the pixel signal of the low-level pixel whose pixel value existing at the image edge is equal to or less than the threshold value from such an input video signal is the input video signal. Based on the number of low-level pixels in which the low-level pixel whose pixel value is equal to or less than the threshold is detected, the number of low-level pixels is searched for at the edge of the image, and the pixel value of this low-level pixel is searched This is realized by replacing with a pixel value other than the determined low-level pixel.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below.
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration of an encoding distortion removing apparatus that is a moving image signal processing apparatus according to a first embodiment of the present invention. This coding distortion removing apparatus receives a decoded moving picture signal 121 from a moving picture decoding apparatus as an input moving picture signal, and for removing the coding distortion by the cyclic adaptive time filter 100 with respect to the decoded moving picture signal 121. Then, a filtering process in the time axis direction (hereinafter referred to as a time filtering process) is performed, and an output moving image signal 123 is output.
[0021]
The time filter 100 includes a first multiplier 101, an adder 102, a frame delay unit 103, and a second multiplier 104. Further, the filter coefficient of the time filter 100 (hereinafter referred to as a weight coefficient) is determined by the weight coefficient determination unit 105. The weighting factor determination unit 105 includes an interframe difference calculation unit 106 and a weighting factor calculation unit 107.
[0022]
Next, the operation of the coding distortion removing apparatus according to the present embodiment will be described.
The input decoded video signal 121 is input to the adder 102 after being multiplied by the first weighting coefficient 125 output from the weighting coefficient determining unit 105 in the first multiplier 101. An output signal from the adder 102 is output to the outside of the apparatus as an output moving image signal 123 and also input to the frame delay unit 103. The frame delay unit 103 outputs a signal 124 obtained by delaying the output moving image signal 123 by one frame time. The output signal 124 from the frame delay unit 103 is multiplied by the second weighting factor 126 output from the weighting factor determining unit 105 by the second multiplier 104. The output signal from the second multiplier 104 is added to the output signal from the first multiplier 101 by the adder 102.
[0023]
Based on the decoded moving image signal 121 and the output moving image signal 124 one frame before, the weighting factor determination unit 105 determines the weighting factors 125 and 126 for each pixel as follows. First, the inter-frame difference calculation unit 106 calculates the magnitude D of the difference between the decoded moving image signal 121 and the output moving image signal 124 of the previous frame using ± M pixels surrounding the processing target pixel according to the following equation.
[0024]
[Expression 1]

[0025]
Then, the weighting coefficient calculation unit 107 calculates and determines the weighting coefficient from the difference size D thus calculated.
FIG. 2 shows an example of the relationship between the difference magnitude D and the weighting factor. In the figure, W on the vertical axis is the second weighting coefficient 126, and the first weighting coefficient 125 is (1-W). Further, ath1, ath2, and WL are predetermined constants.
[0026]
In this way, the weighting factor determination unit 105 adaptively determines the weighting factors 125 and 126 according to the magnitude D of the difference between the decoded moving image signal 121 and the output moving image signal 124 one frame before. That is, when the magnitude D of the difference is small, W is determined to be large. As a result, in the still part where coding distortion is conspicuous, the decoded moving image signal 121 to which the coding distortion is added is not output as it is, but the time filter 100 outputs the previous frame for the decoded moving image signal 121. A signal subjected to temporal filtering processing by weighted addition with the moving image signal 124 is output as the output moving image signal 124, thereby reducing coding distortion.
[0027]
On the other hand, when the difference magnitude D is equal to or greater than the threshold value ath2, W = 0, and the decoded video signal 121 is output as it is as the output video signal 123. For this reason, even if the image changes greatly from the previous frame due to a scene change or the like, a large change in the image does not remain as an afterimage.
[0028]
In the present embodiment, the process in units of pixels has been described, but the process may be performed in units of blocks.
(Second Embodiment)
FIG. 3 is a block diagram showing a configuration of a coding distortion removing apparatus that is a moving picture signal processing apparatus according to the second embodiment of the present invention, and shows the relationship between the difference magnitude D and the weighting coefficient W as a moving picture code. This is an example in which switching is performed according to the encoding mode of the encoding device, the magnitude of the motion vector obtained by the moving image encoding device, and the like. Therefore, in this embodiment, a signal (referred to as a side information signal) 128 indicating a coding mode and a motion vector is a weight coefficient calculation unit in the filter coefficient determination unit 105 separately from the decoded video signal 121 from the video decoding device. 107 is input.
[0029]
FIG. 4 shows the difference in the difference between the portion where refresh coding is performed and the other portion when refresh coding is performed by the moving image coding apparatus in order to suppress the propagation of image quality degradation caused by transmission path errors. In this example, the relationship between the length D and the weighting factor W is switched. The 401 characteristic is used for the part subjected to refresh encoding, and the 402 characteristic is used for the other parts.
[0030]
The characteristic 401 in which the weight coefficient W is likely to be large in the portion subjected to the refresh encoding is that the encoding mode of the portion subjected to the refresh encoding is the intra-frame encoding mode, and the encoding mode of the other portion. This is because the nature of the decoded image is different because the encoding method is different from (for example, motion compensation prediction encoding mode), and unnaturalness is likely to occur in the decoded image. In particular, in a still part where coding distortion is conspicuous or a part where the motion is small, when the part that was in the normal motion compensation prediction coding mode until the previous frame is changed to the intra-frame coding mode that is the refresh coding mode, the decoded image The change in the property of the image becomes visually noticeable, and the subjective quality of the decoded image is likely to deteriorate.
[0031]
On the other hand, if the characteristic 401 in FIG. 4 is used, the weighting coefficient W, that is, the weighting coefficient 126 for the output moving image signal 124 one frame before becomes large in the still part where the difference D is small or the part where the motion is small. . Accordingly, the portion of the decoded moving image signal 121 whose property has been changed by refreshing is subjected to weighted addition with the output moving image signal 124 one frame before, and the time filtering process is strongly applied, so that the image quality deterioration can be suppressed to a small level. Become.
[0032]
FIG. 5 shows another example in which the relationship between the difference magnitude D and the weighting factor W is switched in the present embodiment. In the motion compensation predictive coding mode, the characteristic 501 in FIG. This is to suppress coding distortion caused by motion compensation of the stationary part by the motion vector of the moving object at the boundary part between the stationary part and the moving object, and is likely to cause large distortion at the boundary part of the object. This is effective in reducing the coding distortion of patch motion compensation.
[0033]
On the other hand, since such distortion does not occur in the intra-frame coding mode, the characteristic 502 in which the weight coefficient W is reduced is used.
(Third embodiment)
FIG. 6 is a block diagram showing the configuration of an encoding distortion removing apparatus that is a moving image signal processing apparatus according to the third embodiment of the present invention. The relationship between the difference magnitude D and the weighting factor W is shown in FIG. This is an example in which it is changed according to the activity indicating the above. For this purpose, in the present embodiment, the activity calculation unit 108 calculates the activity of the decoded moving image signal 121 in the filter coefficient determination unit 105, and the threshold value calculation unit 109 generates the threshold value ath1 in FIG. And ath2 are changed.
[0034]
First, in the activity calculation unit 108 and the inter-frame difference calculation unit 106, the magnitude 127 of the difference between the activity 131 of the decoded moving image signal 121 and the output moving image signal 124 one frame before is expressed by ± M pixels around the processing target pixel. Calculate according to the following formula.
[0035]
[Expression 2]

[0036]
Next, the threshold value calculation unit 109 determines the first threshold value 132 (ath1) and the second threshold value 133 (ath2) from the activity 221 based on the characteristics shown in FIGS. To do. In FIG. 7, th1, th2, and α are predetermined constants. The characteristics shown in FIGS. 7A and 7B are expressed as follows.
[0037]
ath1 = th1-α · act · th1 / th2
ath2 = th2-α · act
Then, the weighting factor calculation unit 107 determines the weighting factors 125 and 126 according to the characteristics shown in FIG. 2 from the magnitude 127 of the difference and the first and second threshold values 132 and 133.
[0038]
In this way, by changing the characteristics of the time filter 100 in accordance with the activity, the threshold values ath1 and ath2 are reduced and the weighting factor W is reduced in a portion where the activity is high, that is, an edge or a fine pattern portion. As a result, the strength of temporal filtering in the temporal filter 100 is weakened, and blurring of the image caused by the temporal filter 100 is suppressed to a small level.
[0039]
On the other hand, since a flat portion where coding distortion is conspicuous has low activity, the weighting factor W tends to be large and temporal filtering is strongly applied, so that the coding distortion suppression effect becomes large.
[0040]
(Fourth embodiment)
FIG. 8 is a block diagram showing a configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to the fourth embodiment of the present invention. When the same reference numerals are assigned to the parts corresponding to those in FIG. 1 and the difference from the first embodiment will be mainly described, the spatial filter 110 is newly added in this embodiment, and the output signal of the adder 102 is The difference is that after the encoding distortion removal processing in the spatial direction is performed by the spatial filter 110, it is extracted as the output moving image signal 123.
[0041]
The spatial filter 110 removes coding distortion by performing a filtering process in the spatial direction. Specifically, for example, the strength of the filter is adaptively changed according to the difference between adjacent pixels. The part where the inter-pixel difference is small strengthens the filter, and the part where the inter-pixel difference is large weakens the filter. Thereby, it is possible to remove coding distortion such as mosquito distortion while preserving edges.
[0042]
As described above, in the present embodiment, the temporal displacement of the decoded moving image signal 121 and the time of one frame is achieved by combining the temporal distortion correction by the temporal filter 100 with the spatial distortion removal by the spatial filter. The afterimage that rarely occurs due to the weighted addition processing of the output moving image signal 124 having a certain level can be removed, and the quality of the output moving image signal 123 is further improved as compared with the case of using only the time filter.
[0043]
(Fifth embodiment)
FIG. 9 is a block diagram showing a configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to the fifth embodiment of the present invention. This coding distortion removing apparatus inputs a decoded moving picture signal 221 of the current frame input from the moving picture decoding apparatus and a decoded moving picture signal 224 of the previous frame stored in the frame memory of the moving picture decoding apparatus. Then, the non-recursive adaptive time filter 200 performs coding distortion removal processing and outputs an output moving image signal 223.
[0044]
The time filter 200 includes a first multiplier 201, an adder 202, and a second multiplier 204. Further, the filter coefficient (referred to as a weighting coefficient) of the time filter 200 is determined by the weighting coefficient determination unit 205.
[0045]
The input decoded video signal 221 of the current frame and the decoded video signal 228 of the previous frame are input to the first and

second weights

201 and 204 from the weight coefficient determination unit 205, respectively. After the coefficients are multiplied, they are input to the adder 202 and added together, and the output signal of the adder 202 is output as an output moving image signal 223 to the outside of the apparatus.
[0046]
The weighting factor determination unit 205 determines a weighting factor in the same manner as the weighting factor determination unit 105 in any of the first to fourth embodiments. However, the interframe difference D is calculated as a difference between the decoded moving image signal 221 and the decoded moving image signal 224 one frame before according to the following equation.
[0047]
[Equation 3]

[0048]
As described above, in the coding distortion removal apparatus of the present embodiment, the coding distortion removal processing is performed by the non-cyclic time filter 200 on the cyclic adaptive time filter 100 used in the first to fourth embodiments. . For this reason, although the encoding distortion removal performance is slightly reduced as compared with the first to fourth embodiments, the output moving image signal of the previous frame and the decoded video of the current frame as in the first to fourth embodiments. The afterimage produced by weighted addition with the image signal is reduced. In the present embodiment, since the decoded video signal 224 one frame before is taken out from the video decoding device, it is not necessary to provide a frame delay in the coding distortion removal device, and the amount of hardware is reduced.
[0049]
However, depending on the configuration of the video decoding device, the decoded video signal 224 one frame before may not be output. In this case, as shown in FIG. 9, a frame delay unit 203 for delaying the decoded video signal 221 of the current frame by one frame time is provided in the encoding distortion removing apparatus, and the decoded video signal 224 of the previous frame is obtained. It only has to be generated.
[0050]
(Sixth embodiment)
FIG. 10 is a block diagram showing a configuration of a moving image signal processing apparatus according to the sixth embodiment of the present invention. Unlike the first to fifth embodiments, the moving picture encoding apparatus compresses a moving picture signal. This is a device that suppresses noise, flicker, etc. prior to encoding.
[0051]
The input moving image signal 321 is first input to the image black edge removal processing unit 306, and is a black level pixel present at the image edge caused by a camera input problem or the like, that is, a low level whose pixel value is equal to or less than a predetermined threshold Processing for removing the pixel signal of the pixel from the moving image signal 321 is performed.
[0052]
FIG. 11 is a diagram for explaining the image black edge removal processing, and shows an example of processing for removing black level pixels existing at the left end of the image. In FIG. 11, black circles represent black level pixels, and white circles represent pixels other than the black level.
[0053]
[Step 1] First, black level pixels are detected in order from the left end of the image. Whether the pixel is a black level pixel may be determined based on whether the pixel value is equal to or less than a predetermined threshold value.
[0054]
[Step 2] Next, a search is made for each horizontal line to determine how many black level pixels are continuously counted from the left end of the image. The number of black level pixels from the left edge of the image searched in this way is Nsb.
[0055]
[Step 3] Then, the pixel signal of the black level pixel is replaced with the pixel signal of the pixel Nf (arbitrary integer) right of the pixel signal.
The above processing will be described with an example of the uppermost horizontal line in FIG. 11. Since there are two black level pixels 1101 and 1102 from the left end of the image, the number of black level pixels Nsb is 2. If Nf = 2, Nsb + Nf−1 pixels 1101 to 1103 from the left end of the image are replaced with the pixel value of the Nsb-th pixel 1104 from the left end of the image.
[0056]
When black level pixels are also present at the top, right, and bottom edges of the image, the processing for replacing the pixel signal of the black level pixel with the pixel signal of another pixel is performed in the same manner as the processing for the pixel existing at the left end of the image. Just do it.
[0057]
If there is a black level pixel value with a large width at the edge of the image, if the above pixel replacement process is performed on the black level pixel value, an uncomfortable feeling may occur in the image. In order to prevent this, the pixel replacement process may not be performed when the black level pixel count Nsb is equal to or greater than a certain value.
[0058]
Returning to FIG. 10, the moving image signal after the processing for removing the pixel signal of the black level pixel existing at the image end by the black edge removal processing unit 306 is performed by the cyclic adaptive time filter 300 such as noise and flicker. Is removed. The cyclic adaptive time filter 300 and the weight coefficient determination unit 305 that determines the filter coefficient (weight coefficient) have the same configuration as that described in the first to fourth embodiments. For example, the multiplier 302, the frame delay unit 303, and the multiplier 304 perform the same operations as the multiplier 101, the adder 102, the frame delay unit 103, and the multiplier 104 in FIG. The determination of the weighting coefficient in the weighting coefficient unit 305 is performed in the same manner as in the first to fourth embodiments. However, the constants such as WL, th1, th2, and α described above are the input moving image signal 321 or the image. It is assumed that it is determined according to the nature of the moving image signal that has passed through the black edge removal 306.
[0059]
In the above embodiment, the inter-frame difference D and the activity act are calculated using the sum of absolute values. However, the sum of squares, the weighted absolute value sum, and the weighted square sum are calculated as follows: May be.
[0060]
[Expression 4]

Here, wa and wD are coefficients for weighting according to k and l.
[0061]
【The invention's effect】
As described above, according to the image signal processing apparatus of the present invention, it is possible to remove the coding distortion caused by the compression coding of the moving image signal and improve the quality of the decoded image.
In addition, noise, flicker, black edges, and the like present in a moving image signal to be compression-encoded can be removed to increase the efficiency of compression-encoding and improve encoding quality.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a moving image signal processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a view showing a relationship between inter-frame differences and weighting factors in the same embodiment
FIG. 3 is a block diagram showing a configuration of a moving image signal processing apparatus according to a second embodiment of the present invention.
FIG. 4 is a view showing a first example of the relationship between inter-frame differences and weighting factors in the embodiment;
FIG. 5 is a diagram showing a second example of the relationship between the inter-frame difference and the weighting coefficient in the embodiment.
FIG. 6 is a block diagram showing a configuration of a moving image signal processing apparatus according to a third embodiment of the present invention.
FIG. 7 is a view showing a relationship between an activity and a threshold in the embodiment;
FIG. 8 is a block diagram showing a configuration of a moving image signal processing apparatus according to a fourth embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of a moving image signal processing apparatus according to a fifth embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of a moving image signal processing apparatus according to a sixth embodiment of the present invention.
FIG. 11 is a view for explaining the operation of the moving image signal processing apparatus according to the embodiment;
[Explanation of symbols]
100: cyclic adaptive time filter
101 ... Multiplier
102: Adder
103: Frame delay device
104 ... Multiplier
105: Filter coefficient determination unit
106: Inter-frame difference calculation unit
107: Weight coefficient calculation unit
108 ... Activity calculation part
109: Threshold value calculation unit
110: Spatial filter
121 ... Decoded video signal
123 ... Output video signal
124 ... Output video signal one frame before
125, 126 ... weighting factors
127 ... Interframe difference
128: Side information signal
131 ... Activities
132, 133 ... threshold
200: Non-cyclic adaptive time filter
201 ... multiplier
202 ... Adder
203 ... Frame delay device
204 ... multiplier
205: Filter coefficient determination unit
300 ... cyclic adaptive time filter
301 ... Multiplier
302 ... Adder
303: Frame delay device
304: Multiplier
305 ... Filter coefficient determination unit
306 ... Image black edge removal unit
321 ... Input video signal
323 ... Output video signal
324 ... Output video signal one frame before
325, 326 ... Weighting factor
401: Relationship between frame difference and weighting coefficient in refresh mode
402: Relationship between inter-frame difference and weight coefficient in modes other than refresh
501: Relationship between frame difference and weight coefficient in motion compensation mode
502 ... Relationship between interframe difference and weighting coefficient in intraframe coding mode

Claims

A moving image signal for processing an input moving image signal using a decoded moving image signal decoded by a moving image decoding device from encoded data obtained by a moving image encoding device having a plurality of encoding modes as an input moving image signal In the processing device,
Time filter means for performing filtering processing in a time axis direction according to a predetermined filter coefficient to the input moving image signal and outputting an output moving image signal;
Filter coefficient determining means for determining a filter coefficient in the time filter means in accordance with an encoding mode of the video encoding device;
Have a said filter coefficient determining means, moving image signal processing apparatus characterized by relatively strong temporal filtering at a portion subjected to refresh coding sets the filter coefficients as such.

The filter coefficient determination unit further determines the filter coefficient in the time filter unit according to the magnitude of a difference between an input moving image signal and a signal obtained by delaying the output moving image signal or a signal obtained by delaying the input moving image signal. The moving image signal processing device according to claim 1, wherein

3. The moving image signal processing apparatus according to claim 1, wherein the filter coefficient determining unit determines the filter coefficient in consideration of an evaluation value indicating complexity of the input moving image signal.