WO2006087989A1

WO2006087989A1 - 動画像処理方法

Info

Publication number: WO2006087989A1
Application number: PCT/JP2006/302458
Authority: WO
Inventors: Hisao Sasai; Satoshi Kondo
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-02-21
Filing date: 2006-02-13
Publication date: 2006-08-24
Also published as: EP1855463A4; JP4749415B2; US8059203B2; JPWO2006087989A1; EP1855463A1; EP1855463B1; DE602006013951D1; US20080030617A1

Abstract

　動画像の動きによる主観画質の劣化を防ぐ動画像処理方法を提供する。　動画像処理方法は、入力画像信号（ＶＩＮ）の示すピクチャへの重畳に使用されて、雑音フレームメモリ（１０２）に格納されている蓄積雑音信号（ＦＭＮ）に対して動き補償を行うことにより、その蓄積雑音信号（ＦＭＮ）の示す雑音を、入力画像信号（ＶＩＮ）の示す動画像の動きに合わせて動かす動き補償ステップ（Ｓ１１６）と、その動かされた雑音を重畳雑音信号ＳＮとして、その動きが生じた後の動画像である、入力画像信号（ＶＩＮ）の処理対象ピクチャに対して重畳する重畳ステップ（Ｓ１２０）とを含む。

Description

明細書

動画像処理方法

技術分野

[0001] 本発明は、動画像に対して雑音を重畳する動画像処理方法に関する。

背景技術

[0002] テレビ、パーソナルコンピュータ (PC)、携帯電話、あるいはその他の動画像を表示する装置において、動画像を低ビットレートで符号ィ匕し伝送する技術として、動画像符号化とヽぅ技術が知られてヽる。

[0003] この動画像符号化技術では、動画像を符号化するときに、その動画像に含まれる高域の周波数成分が取り除かれる。したがって、動画像に精細な模様などが表されていても、その動画像を符号化してさらに復号化すれば、その復号化された動画像には、上述の模様が失われていることがある。

[0004] そこで、復号化された動画像に対して、取り除かれた高域の周波数成分を雑音として重畳することで、その雑音を、動画像に元々含まれていた精細な模様として表示する動画像処理方法が提案されている（例えば、特許文献 1参照)。

[0005] 上記特許文献 1の動画像処理方法では、符号化された動画像を示すビットストリームに付されたパラメータを用いて、付加すべき雑音の量を決定し、復号後のピクチャにその雑音をホワイトノイズとして付加する。

[0006] このように、上記特許文献 1の動画像処理方法では、雑音を重畳することにより、視聴者に対して高精細感を擬似的に与える。

特許文献 1：特開平 8 - 79765号公報

発明の開示

発明が解決しょうとする課題

[0007] しカゝしながら、上記特許文献 1の動画像処理方法では、視聴者によって認識される主観的な画質 (以下、主観画質という）が動画像の動きによって劣化してしまうという問題がある。

[0008] 即ち、上記特許文献 1の動画像処理方法では、動画像と雑音との時間方向の相関性が崩れることがある。したがって、動画像の動きと雑音の動きとが異なれば、視聴者にとつて、重畳された雑音は、動画像に表された模様などと認識されずに、画質を劣化させるだけの雑音として認識されてしまう。

[0009] そこで、本発明は、力かる問題に鑑みてなされたものであって、動画像の動きによる主観画質の劣化を防ぐ動画像処理方法を提供することを目的とする。

課題を解決するための手段

[0010] 上記目的を達成するために、本発明に係る動画像処理方法は、動画像に対して雑音を重畳する動画像処理方法であって、前記動画像への重畳に使用された第 1の雑音を、前記動画像の動きに合わせて動かし、動かされた前記第 1の雑音を、前記動きが生じた後の動画像に対して重畳することを特徴とする。

[0011] これにより、動画像に重畳されていた第 1の雑音が、その動画像の動きに合わせて動力されるため、つまり、動き補償されるため、動画像と雑音との時間方向の相関性を保つことができ、その結果、視聴者は、その第 1の雑音を動画像に表されている物体の精細な模様のように認識する。したがって、従来技術によって生じていた動画像の動きによる主観画質の劣化を防ぐことができる。

[0012] また、前記動画像処理方法は、さらに、前記動画像に含まれる処理対象のピクチャの中から、雑音を重畳すべき重畳領域を特定し、前記第 1の雑音を動かすときには、前記重畳領域における画像の動きに合わせて前記第 1の雑音を動かし、動かされた前記第 1の雑音を重畳するときには、動かされた前記第 1の雑音を前記重畳領域に対して重畳することを特徴としてもよい。例えば、前記重畳領域を特定するときには、前記処理対象のピクチャにおける周波数成分に基づいて特定する。

[0013] これにより、ピクチャ内の重畳領域に対して雑音が重畳されるため、ピクチャの全体に雑音を重畳することなぐ適切な領域に雑音を重畳して、高精細感を増すことができる。例えば、動画像が符号化されて復号化されたときには、その復号化された動画像に含まれるピクチャには、高域の周波数成分が取り除かれて、山などの自然物の精細な模様が失われている。ところが、そのピクチャの山を表す領域には、他の領域と比べて高域の周波数成分がある程度残っている。そこで本発明では、その動画像に含まれるピクチャのうち、高域の周波数成分が残っている領域が重畳領域として特定されるため、上述の山に対してのみ雑音を重畳させることができ、その結果、高精細感を増すことができる。

[0014] また、前記第 1の雑音を動かすときには、前記重畳領域における画像の動きを検出し、検出された前記動きに従って前記第 1の雑音を動かすことを特徴としてもよい。

[0015] これにより、例えば、重畳領域の動きベクトルが検出されて、その動きベクトルに従つて第 1の雑音が動き補償されるため、動画像と雑音との時間方向の相関性を確実に保つことができる。

[0016] また、前記動画像処理方法は、さらに、前記動画像を含む動画像信号を取得し、前記第 1の雑音を動かすときには、前記重畳領域における画像の動きを示す動き情報を前記動画像信号から抽出し、抽出された前記動き情報の示す動きに従って前記第 1の雑音を動かすことを特徴としてもよい。

[0017] これにより、動画像信号力抽出された動き情報の示す動きに従って第 1の雑音が動き補償されるため、動画像の動きを検出する処理を省くことができ、処理負担を軽減することができる。

[0018] また、前記動画像信号は符号化されており、前記動画像処理方法は、さらに、符号化されている前記動画像信号を復号化し、前記重畳領域を特定するときには、復号化された前記動画像信号に含まれる複数のピクチャを順次、前記処理対象のピクチャとして、前記各処理対象のピクチャ力重畳領域を特定することを特徴としてもょヽ

[0019] これにより、符号化された動画像信号を復号化したときは、その復号化されたピクチャに対して雑音が重畳されるため、その符号ィ匕によって失われた高域の周波数成分を雑音で補うことができ、高精細感を増すことができる。

[0020] また、前記動画像信号には、さらに、前記重畳領域を示す第 1の識別情報が含まれており、前記重畳領域を特定するときには、前記第 1の識別情報に基づいて前記重畳領域を特定することを特徴としてもょヽ。

[0021] これにより、動画像信号に含まれる第 1の識別情報たる雑音フラグに従って重畳領域が特定されるため、動画像信号を生成して送信する装置側でその重畳領域を決定することができ、その結果、より適切な領域に第 1の雑音を重畳することができる。 [0022] また、前記動画像信号には、さらに、前記重畳領域のうち、前記第 1の雑音を重畳すべき領域を示す第 2の識別情報が含まれており、動力された前記第 1の雑音を重畳するときには、動かされた前記第 1の雑音を、前記第 2の識別情報により示される領域に対して重畳することを特徴としてもょ、。

[0023] これにより、動画像信号に含まれる第 2の識別情報たる動き補償フラグに従って、第 1の雑音を重畳すべき領域が特定されるため、動画像信号を生成して送信する装置側でその領域を決定することができ、その結果、重畳領域の中のより適切な領域に第 1の雑音を重畳することができる。また、重畳領域の中の他の領域には、重畳に使用されていない新たな雑音を重畳することができ、その結果、高精細感をさらに増すことができる。

[0024] また、前記動画像信号には、さらに、重畳されるべき雑音の強度を示す調整信号が含まれており、動かされた前記第 1の雑音を重畳するときには、動かされた前記第 1 の雑音の強度が前記調整信号により示される強度となるように、前記第 1の雑音を調整し、調整された前記第 1の雑音を前記重畳領域に重畳することを特徴としてもよい

[0025] これにより、動画像信号に含まれる調整信号に従って、第 1の雑音の強度が調整されるため、動画像信号を生成して送信する側でその強度を決定することができ、その結果、より適切な強度の第 1の雑音を重畳することができる。

[0026] また、前記動画像処理方法は、さらに、前記動画像に含まれる前記処理対象のピクチヤと処理済みのピクチャとの間で、画像内容の切り替わりが発生した力否かを判別し、前記切り替わりが発生したと判別されたときには、重畳に使用されていない第 2の雑音を新たに生成して前記処理対象のピクチャに重畳し、前記切り替わりが発生していないと判別されたときには、動かされた前記第 1の雑音を前記重畳領域に対して重畳することを特徴としてもよい。例えば、前記切り替わりが発生したと判別されたときには、前記処理対象のピクチャの特徴に応じた種類の前記第 2の雑音を生成して前記処理対象のピクチャに重畳する。

[0027] これにより、画像内容の切り替わりであるシーンチェンジが発生したときには、第 1の雑音が動き補償されることなぐこれまでに重畳に使用されていない第 2の雑音が処理対象のピクチャに重畳されるため、シーンチェンジ発生後のピクチヤに対して、シーンチェンジ発生前のピクチヤに重畳されていた雑音と同様の雑音が重畳されることを防ぐことができ、シーンチェンジに合わせて、重畳される雑音の種類を切り換えることがでさる。

[0028] また、動かされた前記第 1の雑音を重畳するときには、動かされた前記第 1の雑音の強度を調整し、調整された前記第 1の雑音を前記重畳領域に対して重畳することを特徴としてもよい。例えば、動かされた前記第 1の雑音の強度を調整するときには、前記重畳領域に含まれる周波数成分が高域であるほど大きくなるように前記強度を調整する。

[0029] これにより、第 1の雑音の強度が調整されるため、より高精細感を増すことができる。

[0030] ここで、本発明は、上述のような動画像処理方法で動画像が処理されるように、その動画像を符号ィ匕する動画像符号ィ匕方法にも適用することができる。

[0031] 即ち、本発明に係る画像符号化方法は、動画像を符号化する画像符号化方法であって、動画像を符号化することにより符号化画像信号を生成し、前記動画像への重畳に使用された雑音に対して動き補償が行われるべき力否かを判断し、前記動き補償の判断結果を示す第 1の識別情報を前記符号化画像信号に付加することを特徴とする。

[0032] これにより、その符号ィ匕画像信号を取得した画像復号ィ匕装置は、その符号化画像信号を復号ィ匕するとともに、その符号ィ匕画像信号に付加された第 1の識別情報たる動き補償フラグに従って、動画像への重畳に使用された雑音に対して動き補償を行うことができる。つまり、画像復号化装置は、復号化された動画像への重畳に使用された雑音を、その動画像の動きに合わせて動かし、動力された雑音を、その動きが生じた後の動画像に重畳することができる。その結果、画像復号化装置では、復号化された動画像と雑音との時間方向の相関性を保つことができ、視聴者は、その雑音を動画像に表されている物体の精細な模様のように認識する。したがって、従来技術によって生じていた動画像の動きによる主観画質の劣化を防ぐことができる。

[0033] また、前記画像符号化方法は、さらに、前記動画像に含まれる符号化対象のピクチャの中から、画像の特徴に応じて、雑音を重畳すべき重畳領域を特定し、特定された前記重畳領域を示す第 2の識別情報を前記符号化画像信号に付加することを特徴としてちよい。

[0034] これにより、その符号ィ匕画像信号を取得した画像復号ィ匕装置は、その符号化画像信号を復号ィ匕するとともに、その符号ィ匕画像信号に付加された第 2の識別情報たる雑音フラグの示す重畳領域に雑音を重畳することができる。その結果、適切な領域に雑音を重畳して高精細感を増すことができる。

[0035] また、前記画像符号化方法は、さらに、前記符号化画像信号を復号化することにより復号化動画像を生成し、前記動き補償を判断するときには、前記復号化動画像の動きに基づいて判断し、前記重畳領域を特定するときには、前記復号化動画像における画像の特徴に応じて前記重畳領域を特定する。

[0036] これにより、画像復号化装置は、より適切な領域においてより適切に雑音に対する動き補償を行うことができる。

[0037] なお、本発明は、このような動画像処理方法や画像符号化方法として実現することができるだけでなぐそれらの方法に基づく処理を行う動画像処理装置、画像符号化装置、画像復号化装置、集積回路、それらの方法に基づく処理をコンピュータに実行させるプログラム、そのプログラムを格納する記憶媒体としても実現することができる。

発明の効果

[0038] 本発明の動画像処理方法は、視聴者によって認識される主観画質を向上することができるという作用効果を奏する。また、デジタルテレビなどの、符号化された動画像を復号ィ匕する装置と共に用いることで、処理負荷および回路規模を低減することができ、その実用的価値は高い。

図面の簡単な説明

[0039] [図 1]図 1は、実施形態 1における動画像処理装置のブロック図である。

[図 2]図 2は、実施形態 1における動画像処理装置の動作を示すフローチャートである。

[図 3A]図 3Aは、雑音に対して動き補償が行わない場合に表示されるピクチャを示す図である。 [図 3B]図 3Bは、実施の形態 1における動画像処理方法により処理されたピクチャを示す図である。

[図 4]図 4は、実施の形態 1の変形例に力かる動画像処理装置のブロック図である。

[図 5]図 5は、実施の形態 1の変形例に力かる動画像処理装置の動作を示すフローチャートである。

[図 6A]図 6Aは、シーンチェンジに応じた処理が行わない場合に表示されるピクチャを示す図である。

[図 6B]図 6Bは、実施の形態 1の変形例力かる動画像処理方法により処理されたピクチヤを示す図である。

[図 7]図 7は、実施の形態 2における動画像処理装置のブロック図である。

[図 8]図 8は、実施の形態 2における動画像処理装置の動作を示すフローチャートである。

[図 9A]図 9Aは、実施の形態 2における動画像処理装置の復号処理および雑音処理のタイミングを示す図である。

[図 9B]図 9Bは、実施の形態 2における動画像処理装置の復号処理および雑音処理の他のタイミングを示す図である。

[図 10]図 10は、実施の形態 3における画像符号ィ匕装置のブロック図である。

[図 11]図 11は、実施の形態 3における画像判断部の動作を示すフローチャートである。

[図 12]図 12は、実施の形態 3の変形例 1にかかる画像符号ィ匕装置のブロック図である。

[図 13]図 13は、実施の形態 3の変形例 2にかかる画像符号ィ匕装置のブロック図である。

[図 14]図 14は、実施の形態 3の変形例 2にかかる付加情報符号ィ匕部による可変長符号ィ匕を説明するための説明図である。

[図 15]図 15は、実施の形態 3の変形例 3にかかる画像符号ィ匕装置のブロック図である。

[図 16]図 16は、実施の形態 3の変形例 3にかかる画像判断部の動作を示すフローチヤートである。

[図 17]図 17は、実施の形態 4における画像復号ィ匕装置のブロック図である。

[図 18]図 18は、実施の形態 4における雑音動き補償部のブロック図である。

[図 19]図 19は、実施の形態 4における雑音動き補償部の動作を示すフローチャートである。

[図 20]図 20は、実施の形態 4の変形例に力かる画像復号ィ匕装置のブロック図である

[図 21]図 21は、実施の形態 4の変形例にかかる雑音動き補償部および信号強度制御部の動作を示すフローチャートである。

[図 22]図 22は、実施の形態 4の変形例にかかる、スィッチを備えていない雑音動き補償部と、スィッチを備える信号強度制御部とのそれぞれの構成を示す図である。

[図 23A]図 23Aは、実施の形態 5におけるフレキシブルディスクを用いて本発明の処理をコンピュータシステムにより実施する場合の説明図である。

[図 23B]図 23Bは、実施の形態 5におけるフレキシブルディスクを用いて本発明の処理をコンピュータシステムにより実施する場合の他の説明図である。

[図 23C]図 23Cは、実施の形態 5におけるフレキシブルディスクを用いて本発明の処理をコンピュータシステムにより実施する場合のさらに他の説明図である。

[図 24]図 24は、実施の形態 6におけるコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。

[図 25]図 25は、実施の形態 6における本発明の方法を用いた携帯電話を示す図である。

[図 26]図 26は、実施の形態 6における携帯電話のブロック図である。

[図 27]図 27は、実施の形態 6におけるディジタル放送用システムの例を示す図である。

符号の説明

100 動画像処理装置

101 雑音動き補償部

102 雑音フレームメモリ 105 初期雑音生成部

106 動き検出部

FMN 蓄積雑音信号

MCN 動き補償雑音信号

MV 動き情報

N 雑音信号

SN 重畳雑音信号

発明を実施するための最良の形態

[0041] (実施の形態 1)

本発明の実施の形態 1における動画像処理装置について説明する。

[0042] 図 1は、本実施形態における動画像処理装置のブロック図である。

[0043] 本実施の形態における動画像処理装置 100は、入力画像信号 VINの示す画像の動きに合わせて雑音を動力してその画像に重畳するものであって、雑音動き補償部

101と、雑音フレームメモリ 102と、雑音決定部 103と、加算器 104と、初期雑音生成部 105と、動き検出部 106とを備えている。

[0044] 初期雑音生成部 105は、入力画像信号 VINに重畳するための雑音信号 Nを生成して雑音フレームメモリ 102に出力する。この雑音信号 Nは、例えば、予め定められたランダムな雑音を示す雑音信号である。また、本実施の形態における雑音は、入力画像信号 VINの示すピクチヤに対して重畳されることにより、高精細感を視聴者に与えるような画像であって、高周波数成分を多く有する。

[0045] 雑音フレームメモリ 102は、初期雑音生成部 105から出力された雑音信号 N、および雑音動き補償部 101から出力された動き補償雑音信号 MCNを、蓄積雑音信号 F

MNとして蓄積する。

[0046] 動き検出部 106は、入力画像信号 VINを取得して、その入力画像信号 VINの示す画像の動きを例えばブロック単位やマクロブロック単位などの領域ごとに検出し、その検出結果を例えば動きベクトルなどの動き情報 MVとして雑音動き補償部 101に出力する。なお、動き検出部 106は、入力画像信号 VINの示すピクチヤにおける処理対象 (検出対象)の領域と同一または類似する画像を有する領域を、そのピクチヤと異なる過去のピクチャ力見つけ出すことにより、その処理対象の領域の動き情報 M Vを検出する。

[0047] 雑音動き補償部 101は、雑音フレームメモリ 102に蓄積されている蓄積雑音信号 F MNの中から、動き情報 MVの示す領域の蓄積雑音信号 FMNを、処理対象の領域に重畳されるべき雑音を示す動き補償雑音信号 MCNとして読み出して、雑音決定部 103および雑音フレームメモリ 102に出力する。これにより、蓄積雑音信号 FMNに対して動き補償が行われる。つまり、動き情報 MVの示す領域の雑音が処理対象の領域に動かされる。言い換えれば、画像の動きに合わせて雑音が動力される。

[0048] 雑音決定部 103は、入力画像信号 VINを取得して、その入力画像信号 VINの示す画像の周波数などの特徴を特定し、ブロックなどの領域ごとに、その領域に雑音を重畳すべきか否かを判別する。つまり、雑音決定部 103は入力画像信号 VINの示すピクチャ内において雑音の重畳領域を決定する。さらに、雑音決定部 103は、上述のように特定した画像の特徴に基づ！、て、動き補償雑音信号 MCNの示す雑音のゲインを調整する。そして、雑音決定部 103は、ゲイン調整された動き補償雑音信号 M CNを重畳雑音信号 SNとして加算器 104に出力する。

[0049] 加算器 104は、入力画像信号 VINと重畳雑音信号 SNとを取得し、入力画像信号 VINに対して重畳雑音信号 SNを重畳する。つまり、加算器 104は、入力画像信号 V INの示すピクチヤの重畳領域ごとに、重畳雑音信号 SNの示す雑音を、その重畳領域の画像に重畳する。そして、加算器 104は、重畳雑音信号 SNが重畳された入力画像信号 VINを、出力画像信号 VOUTとして出力する。

[0050] 図 2は、動画像処理装置 100の動作を示すフローチャートである。

[0051] まず、動画像処理装置 100が、入力画像信号 VINの示す先頭のピクチャを取得すると (ステップ S100)、初期雑音生成部 105は、その先頭のピクチャに対して初期の雑音信号 Nを生成して、その初期の雑音信号 Nを雑音フレームメモリ 102に蓄積させる（ステップ S 102)。

[0052] ここで、動画像処理装置 100は、その先頭のピクチャに対して雑音を重畳する (ステップ S104)。つまり、雑音決定部 103は、その雑音フレームメモリ 102に蓄積されている初期の雑音信号 Nを雑音動き補償部 101を介して取得するとともに、先頭のピクチヤ内における雑音の重畳領域と、その雑音の強度とを決定する。さらに、雑音決定部 103は、その決定した重畳領域ごとに、決定した強度に従って雑音信号 Nをゲイン調整して重畳雑音信号 SNとして出力する。そして、加算器 104は、先頭のピクチャの各重畳領域に、重畳雑音信号 SNの示す雑音を重畳することにより出力画像信号 VOUTを生成して出力する。

[0053] 次に、動画像処理装置 100が、入力画像信号 VINの示す次のピクチャを取得すると (ステップ S106)、雑音決定部 103は、その次のピクチャ内における雑音の重畳領域を決定する (ステップ S108)。例えば、雑音決定部 103は、入力画像信号 VINのピクチャ内における領域ごとに、その領域の周波数を特定し、その周波数が予め定められた値を超える場合に、その領域を重畳領域として決定する。さらに、雑音決定部 103は、その重畳領域の高周波数成分の量に応じて、その領域における雑音強度を決定する。例えば、雑音決定部 103は、高周波数成分が少なければ、小さい雑音強度を決定し、高周波数成分が多ければ、大きい雑音強度を決定する。

[0054] そして、雑音決定部 103は、ステップ S108の決定結果に基づいて、ピクチャ内に重畳領域がある力否かを判別する (ステップ S110)。重畳領域があると判別されたときには (ステップ S110の Y)、動き検出部 106は、その重畳領域と、その重畳領域を有するピクチャよりも過去のピクチャとを用いて、その重畳領域における画像の動きを検出する (ステップ S112)。

[0055] 雑音動き補償部 101は、ステップ S112の検出結果を示す動き情報 MVにより示される領域 (重畳領域を有するピクチャよりも過去のピクチャにおける領域)の蓄積雑音信号 FMNを、雑音フレームメモリ 102から読み出し (ステップ S114)、その蓄積雑音信号 FMNに対して動き補償を行ヽ、重畳領域に対応する動き補償雑音信号 MCN を生成する (ステップ S 116)。つまり、雑音動き補償部 101は、動画像への重畳に使用された、過去の領域における蓄積雑音信号 FMNの示す雑音を、上述の重畳領域に動かす。

[0056] 次に、雑音決定部 103は、ステップ S 116で生成された動き補償雑音信号 MCNの雑音強度が、ステップ S108で決定された雑音強度になるように、その動き補償雑音信号 MCNの雑音強度を変更 (ゲイン調整)し、変更された雑音強度の重畳雑音信号 SNを出力する（ステップ S 118)。

[0057] さらに、加算器 104は、ステップ S108によって決定された重畳領域ごとに、重畳雑音信号 SNの示す雑音をその重畳領域に重畳する (ステップ S 120)。

[0058] そして、加算器 104は、ステップ S 120で重畳が行なわれたときには、入力画像信号 VINに重畳雑音信号 SNが重畳された信号を出力画像信号 VOUTとして出力し、ステップ S 110で重畳領域がないと判別されたときには (ステップ S 110の N)、入力画像信号 VINを出力画像信号 VOUTとして出力する (ステップ S122)。

[0059] さらに、動画像処理装置 100は、入力画像信号 VINの示す次に処理すべきピクチャがある力否かを判別し (ステップ S 124)、ピクチャがあると判別したときには (ステツプ S 124の Y)、ステップ S 106からの処理を繰り返し実行し、ピクチャがないと判別したときには (ステップ S 124の N)、動画像の処理を終了する。

[0060] 図 3Aは、雑音に対して動き補償が行わない場合に表示されるピクチャを示す図である。

[0061] 雑音に対して動き補償が行われない場合には、各ピクチャ FO, Fl, F2ごとに、そのピクチャにおける重畳領域 WO, Wl, W2に対して雑音が生成されて、その雑音が重畳領域 WO, Wl, W2に重畳される。し力し、各ピクチャ FO, Fl, F2の重畳領域 W 0, Wl, W2には、それぞれピクチャごとに異なる雑音が重畳されることがある。その結果、これらのピクチャ FO, Fl, F2を動画像として見た視聴者は、その各ピクチャに重畳された雑音をフリツ力雑音として認識してしま、、主観画質が劣化してしまうこととなる。

[0062] 図 3Bは、本実施の形態における動画像処理方法により処理されたピクチャを示す図である。

[0063] 本実施の形態における動画像処理方法では、例えば、ピクチャ FOにおける重畳領域 WOに対して雑音が生成され、その雑音が重畳領域 WOに重畳される。そして、そのピクチャ FOの重畳領域 WOにおける雑音は、ピクチャ FO, F1における飛行機の羽の動きに合わせて移動されてゲイン調整された後に、ピクチャ F1の重畳領域 W1に重畳される。同様に、そのピクチャ F1の重畳領域 W1における雑音は、ピクチャ F1, F2における飛行機の羽の動きに合わせて移動されてゲイン調整された後に、ピクチャ F2の重畳領域 W2に重畳される。その結果、雑音が飛行機の羽と一緒に移動するため、これらのピクチャ FO, Fl, F2を動画像として見た視聴者は、各ピクチャの重畳領域に重畳された雑音をフリツ力雑音として認識することなぐ飛行機の羽にある細かい模様のように認識する。その結果、動画像の高精細感を増して主観画質を向上することがでさる。

[0064] なお、本実施の形態では、雑音決定部 103は入力画像信号 VINの高周波数成分に基づいて、雑音の重畳領域と強度を決定したが、入力画像信号 VINの他の特徴に基づいて決定してもよい。例えば、雑音決定部 103は、入力画像信号 VINの示すピクチャの領域内における画素値の分散値に基づいて決定してもよい。即ち、雑音決定部 103は、領域における分散値が大きい場合には、その領域を重畳領域として決定し、領域における分散値が小さい場合には、その領域を重畳領域として決定しない。これにより、平坦な領域に雑音が重畳されることを防ぎ、精細な画質をより高精細にすることができる。

[0065] さらに、色情報を用いて雑音の重畳領域と強度を決定してもよい。例えば、雑音決定部 103は、色と雑音強度とをあらかじめ対応付けたテーブルを保持し、入力画像信号 VINの示すピクチヤの領域における色に応じて、雑音の強度を決定する。具体的には、雑音決定部 103は、領域において緑色が多い場合には、大きい雑音の強度を決定する。また、領域において青色が多い場合には、雑音決定部 103は、小さい雑音の強度を決定する、または、その領域を重畳領域として決定しない。

[0066] また、エッジ情報を用いて雑音の重畳領域と強度を決定してもよ!/、。例えば、ピクチャの領域力コンピュータグラフィックスのような人工的に表されたエッジや、明瞭な物体の境界を示す場合には、雑音決定部 103は、その領域を重畳領域として決定しない。

[0067] また、本実施の形態では、雑音決定部 103は入力画像信号 VINのみから雑音の重畳領域と強度を決定したが、さらに動き情報 MVを用いて決定してもよい。このようにすることで、動きが速い領域と、動きが遅い領域とで雑音の強度を制御することができる。例えば、雑音決定部 103は、動きが速い領域では、大きい雑音の強度を決定し、動きが遅い領域では、小さい雑音の強度を決定する、または、その領域を重畳領域として決定しない。

[0068] また、本実施の形態では、初期雑音生成部 105は、 1種類の雑音信号 Nを生成して出力したが、入力画像信号 VINの示すピクチヤの領域における特徴に応じて、雑音信号 Nの種類 (雑音の種類)を異ならせてもよい。例えば、初期雑音生成部 105は、領域における画像の方向性を調べ、例えば、垂直方向成分が多い場合には、垂直方向性成分を有する雑音信号 Nを生成し、水平方向成分が多い場合には、水平方向性成分を有する雑音信号 Nを生成し、方向性がない場合には、ランダム性の雑音信号 Nを生成する。これにより、さらに画像に適した雑音を重畳することができる。

[0069] また、雑音決定部 103は、過去に決定された雑音の重畳領域と強度を用いて、現在における雑音の重畳領域と強度を決定してもよい。この場合、現在決定しょうとしている雑音強度を過去の雑音強度から決めることで、さらに雑音の時間的連続性を高めることができ、雑音を重畳した画像のさらなる高画質ィ匕を図ることができる。また、さらに、過去の雑音強度も動き補償することで、さらなる高画質化を図ることができる。

[0070] また、雑音決定部 103は、上述のような手法を単独に使うことなぐ複合的に用いてもよい。これにより、雑音決定部 103は、様々な決定を行うことができ、さらなる高画質化を実現することができる。

[0071] (変形例）

ここで、本実施の形態における変形例にっ、て説明する。

[0072] 本変形例に力かる動画像処理装置は、シーンチェンジを検出し、そのシーンチェンジ後の最初のピクチャに対しては、雑音に対して動き補償を行うことなぐ新たに雑音を生成する。これにより、 TV放送などで動画像の内容が切り替わる際の画質を向上することができる。

[0073] 図 4は、本変形例に力かる動画像処理装置 100aのブロック図である。

[0074] 本変形例に力かる動画像処理装置 100aは、雑音動き補償部 101と、雑音フレームメモリ 102と、雑音決定部 103と、加算器 104と、初期雑音生成部 105aと、動き検出部 106と、シーンチェンジ検出部 107とを備えている。

[0075] シーンチェンジ検出部 107は、入力画像信号 VINを取得し、その入力画像信号 VI Nに基づいて、動画像の内容の切り替わり、すなわちシーンチェンジがあるかどうかを判別し、シーンチェンジがあると判別したときには、シーンチェンジ信号 SCを初期雑音生成部 105aに出力する。

[0076] 初期雑音生成部 105aは、シーンチェンジ検出部 107からシーンチェンジ信号 SC を取得すると、入力画像信号 VINに重畳するための雑音信号 Nを生成して雑音フレームメモリ 102に出力する。また、初期雑音生成部 105aは、雑音決定部 103と同様に重畳領域を特定して、その重畳領域の画像の特徴に応じた雑音信号 Nを生成する。例えば、重畳領域が飛行機の羽などの人工物を表している場合には、方向性を有する雑音を示す雑音信号 Nが生成され、重畳領域が森林などの自然物を表している場合には、ランダムな雑音を示す雑音信号 Nが生成される。なお、初期雑音生成部 105aは、自ら重畳領域を特定することなぐ雑音決定部 103によって決定された重畳領域の画像の特徴を、その雑音決定部 103から通知してもらい、その特徴に応じて雑音信号 Nを生成してもよヽ。

[0077] 雑音動き補償部 101は、上記実施の形態と同様、初期雑音生成部 105aから出力された雑音信号 Nを、雑音フレームメモリ 102を介して蓄積雑音信号 FMNとして取得したときには、その蓄積雑音信号 FMNに対して動き補償を行うことなぐその蓄積雑音信号 FMNを、動き補償雑音信号 MCNとして出力する。なお、雑音動き補償部 101は、初期雑音生成部 105aから直接指示を受けたときに、動き補償の実行を停止してもよい。例えば、初期雑音生成部 105aは、雑音信号 Nを出力するとともに、雑音信号 Nが出力されたことを示す通知信号を雑音動き補償部 101に出力する。そして、雑音動き補償部 101は、その通知信号を取得したときには、雑音フレームメモリ 1 02を介して取得した雑音信号 Nに対しては動き補償を行うことなぐその雑音信号 N を動き補償雑音信号 MCNとして出力する。

[0078] 図 5は、本変形例に力かる動画像処理装置 100aの動作を示すフローチャートである。

[0079] まず、シーンチェンジ検出部 107は、入力画像信号 VINの示すピクチャを取得すると (ステップ S140)、その取得されたピクチャと例えば直前 (過去）のピクチャとを比較して、シーンチェンジがあつたか否かを判別する（ステップ S 142)。例えば、シーンチェンジ検出部 107は、上記 2枚のピクチヤにおける同一位置ごとに、その位置での画素値の差分を算出し、ピクチャ全体での絶対値差分和が一定値以上である場合には、シーンチェンジがあつたと判別し、一定値以下である場合には、シーンチェンジがな力つたと判別する。また、シーンチェンジ検出部 107は、取得されたピクチャが入力画像信号 VINの示す先頭のピクチャである場合には、シーンチェンジがあつたと判別する。

[0080] ここで、シーンチェンジ検出部 107によってシーンチェンジがなかったと判別されたときには (ステップ S142の N)、動き検出部 106、雑音動き補償部 101および雑音決定部 103は、図 2に示すステップ S108〜S120と同様の処理を行う（ステップ S144) 。即ち、動画像処理装置 100aは、ステップ S 140で取得されたピクチャに重畳領域力 Sある力否かを判別し、重畳領域があれば、その重畳領域に対して雑音の動き補償を行って、そのピクチヤの重畳領域に対して動き補償された雑音を重畳する。一方、重畳領域がなければ、動画像処理装置 100aは、そのピクチヤに対する雑音の動き補償などの処理を省く。

[0081] また、シーンチェンジ検出部 107によってシーンチェンジがあつたと判別されたときには (ステップ S142の Y)、シーンチェンジ検出部 107は、初期雑音生成部 105aに対してシーンチェンジ信号 SCを出力することにより、初期雑音生成部 105に対して雑音を初期化させる (ステップ S 146)。さらにこのときには、動き検出部 106における動き情報 MVも初期化される。したがって、シーンチェンジの発生後のピクチヤには、シーンチェンジ発生前のピクチヤに重畳されて、た雑音は用いられな、。

[0082] 初期雑音生成部 105aは、ステップ S146の初期化後、雑音信号 Nを新たに生成して出力する (ステップ S 148)。そして、雑音決定部 103は、ステップ S 140で取得されたピクチャ内における雑音の重畳領域および雑音強度を決定する (ステップ S 150)。

[0083] そして、雑音決定部 103は、ステップ S 150の決定結果に基づいて、ピクチャ内に重畳領域がある力否かを判別する (ステップ S152)。重畳領域があると判別したときには (ステップ S152の Y)、雑音決定部 103は、雑音フレームメモリ 102から雑音動き補償部 101を介して、初期雑音生成部 105aで生成されて雑音フレームメモリ 102に蓄積雑音信号 FMNとして蓄積されている雑音信号 Nを取得する。そして、雑音決定部 103は、その雑音信号 Nの雑音強度がステップ S 150で決定された雑音強度となるように、その雑音信号 Nのゲインを調整し、ゲイン調整された雑音信号 Nを重畳雑音信号 SNとして出力する。その結果、加算器 104は、重畳雑音信号 SNを、雑音決定部 103で決定されたピクチャの重畳領域に重畳する（ステップ S 154)。

[0084] 加算器 104は、ステップ S 154またはステップ S 144で重畳雑音信号 SNが重畳領域に重畳されたときには、その重畳雑音信号 SNが重畳された入力画像信号 VINを出力画像信号 VOUTとして出力し、ステップ S 152またはステップ S 144で重畳領域力いと判別されて重畳雑音信号 SNが重畳されな力たときには、入力画像信号 V INを出力画像信号 VOUTとして出力する (ステップ S156)。

[0085] そして、シーンチェンジ検出部 107は、入力画像信号 VINの示す次に処理すべきピクチャがある力否かを判別し (ステップ S 158)、ピクチャがあると判別したときには（ステップ S 158の Y)、ステップ S 140からの処理を繰り返して実行し、ピクチャがないと判別したときには (ステップ S158の N)、動画像の処理を終了する。

[0086] 図 6Aは、シーンチェンジに応じた処理が行わない場合に表示されるピクチャを示す図である。

[0087] シーンチェンジに応じた処理が行われない場合には、ピクチャ F2とピクチャ F3の間でシーンチェンジがあるにも関わらず、ピクチャ F0〜F4のそれぞれの重畳領域 WO 〜W4に対して、同じ特徴を有する雑音が重畳される。

[0088] 即ち、ピクチャ FOが入力画像信号 VINの先頭ピクチヤである場合には、ピクチャ FO の重畳領域 WOに飛行機の羽と!、つた人工物が表れて、るため、その重畳領域 WO には方向性を有する雑音が重畳される。そして、ピクチャ FOの重畳領域 WOにおける雑音は、動き補償され、つまり飛行機の羽の動きに合わせて移動され、ピクチャ F1, F2のそれぞれの重畳領域 Wl, W2に重畳される。したがって、ピクチャ F0〜F2の重畳領域 W0〜W2のそれぞれでは、同じ方向性を有する雑音が重畳される。ここで、ピクチャ F2とピクチャ F3の間でシーンチェンジがあっても、上述のような動き補償が行われたときには、方向性を有する雑音がピクチャ F3, F4の重畳領域 W3, W4にも重畳されることとなる。つまり、ピクチャ F3, F4の重畳領域 W3, W4には、山という自然物が表示されているにも関わらず、人工物と同様の方向性を有する雑音が重畳され、視聴者に対して違和感を与えてしまうことがある。

[0089] 図 6Bは、本変形例力かる動画像処理方法により処理されたピクチャを示す図である。

[0090] 本変形例に力かる動画像処理方法では、ピクチャ F2とピクチャ F3の間でシーンチェンジがあった場合には、ピクチャ F3の重畳領域 W3に対して、ピクチャ F2以前に重畳されていた方向性を有する雑音は利用されず、その重畳領域 W3の画像に応じた雑音が新たに生成されて重畳される。その結果、山という自然物に対してランダム性を有する適切な雑音を重畳することができる。したがって、シーンチェンジがあっても、視聴者に対して違和感を与えることなぐ高精細感を増すことができる。

[0091] このように、本変形例に力かる動画像処理装置 100aでは、入力された動画像のシーンの変化に応じて、重畳する雑音を変えることができるため、シーンの変化による違和感を抑制することができる。

[0092] なお、本変形例では、シーンチェンジ検出部 107は、時刻の異なる 2つのピクチャでの同一位置の画素値の絶対値差分和に基づいて、シーンチェンジを検出したが、他の方法によりシーンチェンジを検出してもよい。例えば、シーンチェンジ検出部 10 7は、動き情報 MVを用いて動き補償された画像と、検出対象の画像との間の絶対値差分和に基づいて、シーンチェンジを検出する。この場合、同一位置での絶対値差分和に基づいて検出する場合と比べて、誤検出を防ぐことができる。即ち、シーンチェンジがないにも関わらず、画像の動きによって誤ってシーンチェンジがあつたと検出されることや、逆に、シーンチェンジがあつたにも関わらず、誤ってシーンチェンジがな力つたと検出されることを防ぐことができる。

[0093] また、算出値は絶対値差分和に限らず、画像間の違いを判定できる他の指標であつてもよく、例えば、画素値の差分の二乗和であってもよい。

[0094] また、シーンチェンジ検出部 107は、ピクチャ全体における絶対値差分和に基づいて、シーンチェンジを検出したが、ピクチャの領域ごとに、その領域の絶対値差分和に基づいて、シーンチェンジを検出してもよい。即ち、ピクチャの領域ごとに、動き補償された雑音がその領域に重畳されたり、初期雑音生成部 105aで生成された雑音がその領域に重畳されたりする。例えば、動画像において背景が変わらずに物体だけが表れた場合には、その物体を表す領域に対してだけ、初期雑音生成部 105aで生成された雑音が重畳され、他の領域に対しては、動き補償された雑音が重畳される。

[0095] (実施の形態 2)

本発明の実施の形態 2における動画像処理装置は、符号化されたピクチャを示す符号化画像信号 BSを復号化し、実施の形態 1と同様の処理により、復号化されたピクチャに対して雑音を重畳する。

[0096] 図 7は、本実施の形態における動画像処理装置のブロック図である。

[0097] 本実施の形態における動画像処理装置 200は、復号処理部 110と、画像動き補償部 111と、画像フレームメモリ 112と、加算器 113と、加算器 104と、雑音決定部 103 と、雑音フレームメモリ 102と、初期雑音生成部 105と、雑音動き補償部 101とを備える。即ち、動画像処理装置 200は、実施の形態 1の動画像処理装置 100が有する動き検出部 106を除く各構成要素と、さらに、復号処理部 110と、画像動き補償部 111 と、画像フレームメモリ 112と、加算器 113とを備えている。

[0098] 復号処理部 110は、符号化画像信号 BSに対して可変長復号化、逆量子化および逆直交変換などの復号処理を行い、動きベクトルである動き情報 MVと、差分画像信号 DFVとを出力する。符号化画像信号 BSは、例えば MPEG (Moving Picture Exper t Group)のように、動き情報を用いて符号ィ匕する方法から生成される信号である。

[0099] 画像フレームメモリ 112は、加算器 113から出力された復号画像信号 DVの示すピクチャを参照ピクチャ RFとして格納する。

[0100] 画像動き補償部 111は、例えば復号化対象ピクチヤに含まれる領域 (ブロックやマクロブロックなど)ごとに、復号処理部 110から出力された動き情報 MVと、画像フレームメモリ 112に格納されて、る参照ピクチャ RFとを用い、画像に対する動き補償を行う。つまり、画像動き補償部 111は、動き情報 MVにより示される参照ピクチャ RFの領域を取り出して、復号化対象領域の予測画像信号 PSとして加算器 113に出力する。

[0101] 加算器 113は、復号化対象領域ごとに、復号処理部 110から出力される差分画像信号 DFVに予測画像信号 PSを加算し、その加算結果である信号を復号画像信号 DVとして出力する。

[0102] 本実施の形態における雑音決定部 103および加算器 104は、加算器 113から出力された復号画像信号 DVを実施の形態 1の入力画像信号 VINとして扱、、実施の形態 1と同様の処理を行なう。

[0103] また、本実施の形態における雑音動き補償部 101は、復号処理部 110から出力された動き情報 MVを用いて、実施の形態 1と同様の処理を行う。

[0104] 図 8は、本実施の形態における動画像処理装置 200の動作を示すフローチャートである。

[0105] まず、動画像処理装置 200の復号処理部 110は、符号化画像信号 BSに含まれる符号ィ匕ピクチャを取得すると (ステップ S170)、その符号ィ匕ピクチャを復号ィ匕して、差分画像信号 DFVと動き情報 MVとを出力する (ステップ S 172)。

[0106] 次に、画像動き補償部 111は、画像フレームメモリ 112から参照ピクチャ RFを取得し (ステップ S174)、ステップ S172で出力された動き情報 MVを用いてその参照ピクチヤ RFに対して動き補償を行う（ステップ S176)。そして、加算器 113は、ステップ S 176での動き補償によって生成された予測画像信号 PSと、ステップ S 172での復号処理によって出力された差分画像信号 DFVとを加算することにより復号化ピクチャを生成し、その復号ィ匕ピクチャを復号画像信号 DVとして出力する (ステップ S178)。さらに、加算器 113は、その復号画像信号 DVの示す復号ィ匕ピクチャを参照ピクチャ R Fとして画像フレームメモリ 112に格納する（ステップ S 180)。

[0107] また、雑音動き補償部 101は、雑音フレームメモリ 102から蓄積雑音信号 FMNを取得し (ステップ S182)、ステップ S172で出力された動き情報 MVを用いてその蓄積雑音信号 FMNの示す雑音に対して動き補償を行う (ステップ S184)。さらに、雑音動き補償部 101は、ステップ S184での動き補償によって生成された動き補償雑音信号 MCNを雑音フレームメモリ 102に蓄積雑音信号 FMNとして格納する (ステップ S186)。

[0108] ここで、上述のステップ S174〜S180の処理と、上述のステップ S182〜S186の処理とは、並行して行なわれる。また、ステップ S 170で取得された符号ィ匕ピクチャが符号ィ匕画像信号 BSに含まれる先頭のピクチャである場合には、ステップ S182, S184 の処理の代わりに、初期雑音生成部 105による雑音信号 Nの生成処理が行なわれる。そして、この雑音信号 Nが動き補償雑音信号 MCNとして雑音フレームメモリ 102に蓄積される。

[0109] 次に、雑音決定部 103は、復号画像信号 DVの示す復号化ピクチャにおける雑音の重畳領域を決定する (ステップ S 188)。さらに、雑音決定部 103は、ステップ S184 での動き補償によって生成された動き補償雑音信号 MCNに対してゲイン調整を行うことにより、重畳雑音信号 SNを生成して出力する (ステップ S 190)。

[0110] そして、加算器 104は、その重畳領域に対して、ステップ S 190で生成された重畳雑音信号 SNを重畳し (ステップ S 192)、出力画像信号 VOUTを出力する (ステップ S194)。なお、ステップ S190で決定された重畳領域がなかったときには、ステップ S 192での重畳は行われずに、ステップ S178で生成された復号ィ匕ピクチャが出力画像信号 VOUTとして出力される。

[0111] そして、復号処理部 110は、符号化画像信号 BSの中に次に処理すべき符号化ピクチャがある力否かを判別し (ステップ S 196)、符号ィ匕ピクチャがあると判別したときには (ステップ S196の Y)、ステップ S170からの処理を繰り返し実行し、符号化ピクチヤがないと判別したときには (ステップ S 196の N)、動画像の処理を終了する。

[0112] なお、本実施の形態では、動画像処理装置 200は、画像動き補償部 111と雑音フレームメモリ 102とを備えた力これらの代わりに、これらの機能を有する 1つの動き補償部を備えてもよい。同様に、動画像処理装置 200は、画像フレームメモリ 112と雑音フレームメモリ 102とを備えた力これらの代わりに、これらの機能を有する 1つのフレームメモリを備えてもよい。

[0113] 図 9Aは、本実施の形態における動画像処理装置 200の復号処理および雑音処理のタイミングを示す図である。

[0114] 例えば、符号化画像信号 BSが画面内符号化ピクチャ (Iピクチャ）と前方予測符号化ピクチャ（Pピクチャ）とから構成されている場合、動画像処理装置 200は、 Iピクチャ 10に対する復号処理 IOdと雑音処理 IOnとを同時に行う。なお、ピクチャに対する復号処理とは、図 8に示すステップ S170〜S180の処理を示し、ピクチャに対する雑音処理とは、図 8に示すステップ S182〜S186の処理を示す。 [0115] また、動画像処理装置 200は、 Iピクチャ 10の次の Pピクチャ PI, P2に対しても上述と同様、 Pピクチャ P1に対する復号処理 Pldと雑音処理 Pinとを同時に行い、 Pピクチヤ P2に対する復号処理 P2dと雑音処理 P2nとを同時に行う。

[0116] 図 9Bは、本実施の形態における動画像処理装置 200の復号処理および雑音処理の他のタイミングを示す図である。

[0117] 例えば、符号化画像信号 BSが画面内符号化ピクチャ (Iピクチャ）と前方予測符号ィ匕ピクチャ (Pピクチャ）と双方向予測符号化ピクチャ (Bピクチャ)とから構成されて!ヽる場合、動画像処理装置 200は、 Bピクチャ Bl, B2に対しても上述と同様、 Bピクチャ B 1に対する復号処理 B 1 dと雑音処理 B Inとを同時に行!、、 Bピクチャ B2に対する復号処理 B2dと雑音処理 B2nとを同時に行う。

[0118] このように本実施の形態における動画像処理装置 200は、復号処理と雑音処理とを同時に実行することにより、全体的な動画像の処理時間を短縮することができる。さらに、動画像処理装置 200では、雑音に対して動き補償を行うときに、復号処理部 1 10から出力される動き情報 MVを利用し、復号画像信号 DVの示す動画像の動きをわざわざ検出することがないため、動き検出の処理を省いて、処理負担を軽減することがでさる。

[0119] なお、本実施の形態においても、実施の形態 1の変形例と同様に、シーンチェンジ検出部 107を備え、復号画像信号 DVに対してシーンチェンジが検出されるごとに、初期雑音生成部 105からの雑音信号 Nを復号画像信号 DVに重畳させてもよい。

[0120] また、画像フレームメモリ 112および雑音フレームメモリ 102は、復号画像信号 DV の示すピクチヤと、蓄積雑音信号 FMNの示す雑音とをそれぞれ、ピクチャ単位、マクロブロック単位、およびブロック単位の何れの単位で管理してもよ、。

[0121] また、雑音信号 Nは各画素の輝度だけを示してもよい。これにより、雑音が付加された場合に発生する色ずれを防ぐことができ、回路規模を削減することができる。

[0122] また、例えば所定の領域が画面内符号化されており、雑音動き補償部 101が、その領域における動き情報 MVを復号処理部 110から取得できな力つたときには、雑音動き補償部 101は、動き補償を行うことなぐ初期雑音生成部 105から出力された雑音信号 Nを、動き補償雑音信号 MCNとして出力してもよい。 [0123] (実施の形態 3)

本発明の実施の形態 3における画像符号ィ匕装置は、動画像を符号ィ匕して符号ィ匕画像信号を生成するときに、復号化された動画像に雑音を重畳すべきか否かを示す雑音フラグと、その雑音を動き補償により生成すべき力否かを示す動き補償フラグとを、その符号化画像信号に含める。

[0124] 図 10は、本実施の形態における画像符号ィ匕装置 300のブロック図である。

[0125] 本実施の形態における画像符号ィ匕装置 300は、動画像符号化部 301と、画像判断部 302と、付加情報符号化部 303と、加算器 304とを備える。

[0126] 動画像符号化部 301は、入力画像信号 VINの示す各ピクチャに対して圧縮符号化を行うことにより符号化画像信号 BSを生成して出力する。さらに、動画像符号化部 301は、符号化された各ピクチャを復号化し、その復号化されたピクチャを示す復号画像信号 LDVを出力する。ここで、圧縮符号化とは、入力画像信号 VINのデータ量を削減する処理である。例えば MPEGでは、圧縮符号化は、画面間予測符号化方式と画面内予測符号化方式により、予測画像と原画像との差分である差分画像に対して、周波数変換、量子化、および可変長符号ィ匕を行うことである。この場合、復号画像信号 LDVは、画面間予測を行うために生成される信号である。ただし、 MPEG は一例であって、圧縮符号ィ匕の方式はこれに限られない。また、画面間予測符号ィ匕の場合だけでなく画面内予測符号ィ匕を行う場合であっても、復号画像信号 LDVを生成してちょい。

[0127] 画像判断部 302は、復号画像信号 LDVの示す復号化ピクチャの各領域の特徴に応じて、その領域ごとに、雑音を重畳すべきか否かを示す雑音フラグと、その雑音を動き補償により生成すべきか否かを示す動き補償フラグとを生成する。そして、画像判断部 302は、その雑音フラグおよび動き補償フラグをフラグ信号 FLとして出力する。なお、画像判断部 302は、さらに、復号画像信号 LDVの示す画像の特徴に応じて、どのように雑音を調整すべきかを示す調整信号も出力してもよい。

[0128] 付加情報符号ィ匕部 303は、画像判断部 302からフラグ信号 FLを取得し、そのフラグ信号 FLに対して可変長符号化などの符号化処理を行ヽ、その処理結果である符号ィ匕フラグ信号 CFLを出力する。 [0129] 加算器 304は、動画像符号化部 301から出力された符号化画像信号 BSに対して、付加情報符号ィ匕部 303から出力された符号ィ匕フラグ信号 CFLを上述の領域ごとに組み合わせ、その符号化フラグ信号 CFLが組み合わされた符号化画像信号 BSを符号ィ匕信号 BSaとして出力する。

[0130] なお、画像判断部 302が上述の調整信号も出力する場合には、その調整信号もフラグ信号 FLと同様に可変長符号化されて、符号化調整信号として符号化信号 BSa に含められる。

[0131] 図 11は、本実施の形態における画像判断部 302の動作を示すフローチャートである。

[0132] まず、画像判断部 302は、復号画像信号 LDVを取得し (ステップ S220)、その復号画像信号 LDVの示すピクチヤの領域ごとに、ランダム性で高域の周波数成分がその領域にあるカゝ否かを判断する (ステップ S222)。そして、画像判断部 302は、ランダム性で高域の周波数成分がないと判断したときには (ステップ S222の N)、その領域の雑音フラグを OFFに設定する (ステップ S224)。一方、画像判断部 302は、ランダム性で高域の周波数成分があると判断したときには (ステップ S222の Y)、その領域の雑音フラグを ONに設定する (ステップ S226)。

[0133] さらに、画像判断部 302は、ランダム性で高域の周波数成分があると判断された全ての領域にお、て、画像が均一に動!、て!/、るか否かを判断する（ステップ S228)。例えば、画像判断部 302は、それらの領域を有するピクチャよりも前の（過去の）ピクチヤを参照することにより、それらの領域における動き情報の分散値を算出し、その分散値が予め定められた値よりも小さい場合には、それらの全ての領域の画像が均一に動いていると判断し、その分散値が予め定められた値よりも大きい場合には、それらの全ての領域の画像が均一に動、て、な、と判断する。

[0134] ここで、画像判断部 302は、均一に動いていると判断したときには (ステップ S228 の Y)、各領域の動き補償フラグを ONに設定し (ステップ S230)、均一に動いていないと判断したときには (ステップ S228の N)、各領域の動き補償フラグを OFFに設定する（ステップ S232)。

[0135] そして、画像判断部 302は、ステップ S224, S226, S230, S232で設定された雑音フラグおよび動き補償フラグを示すフラグ信号 FLを生成して出力する (ステップ S2 34)。例えば、フラグ信号 FLには、 OFFに設定された雑音フラグだけが含まれていたり、 ONに設定された雑音信号フラグと ONに設定された動き補償フラグとが含まれていたり、 ONに設定された雑音信号フラグと OFFに設定された動き補償フラグとが含まれていたりする。

[0136] このようは本実施の形態における画像符号ィ匕装置 300では、符号化されたピクチャの各領域に対して符号ィ匕フラグ信号 CFLが付加されるため、符号ィ匕信号 BSaを取得した画像復号ィ匕装置では、その符号化されたピクチャを復号ィ匕した後に、そのピクチヤの各領域に対して雑音を重畳させるべき力否力、および、雑音を重畳するときには雑音を動き補償するべきか否かを容易に判断することができる。つまり、画像復号化装置では、復号化されたピクチャの特徴を特定することなぐ適切な雑音を適切な領域に容易に重畳させることができ、復号化されたピクチャの画質を向上することができる。

[0137] なお、本実施の形態では、画像判断部 302は、動きの均一性に基づヽて動き補償フラグの設定を行ったが、他の方法により動き補償フラグの設定を行ってもよい。例えば、画像判断部 302は、復号画像信号 LDVにより示される画像の動きの大きさを調ベ、その大きさが一定値以上である場合には、動き補償フラグを OFFに設定してもよい。また、画像判断部 302は、動きの大きさと均一性との組み合わせに基づいて動き補償フラグの設定を行ってもょ、。

[0138] また、本実施の形態では、付加情報符号ィ匕部 303は、可変長符号化を行ったが、他の方法により符号ィ匕してもよい。例えば、符号化画像信号 BSに基づいてフラグ信号 FLを予測できる場合には、付加情報符号ィ匕部 303はフラグ信号 FLを符号ィ匕せず、予測できないフラグ信号 FLのみを符号ィ匕する。これにより、符号量を削減することができる。

[0139] (変形例 1)

ここで本実施の形態における第 1の変形例について説明する。

[0140] 上記実施の形態における画像判断部 302は、復号画像信号 LDVに基づいてフラグ信号 FLを生成したが、本変形例にカゝかる画像判断部は、入力画像信号 VINに基づ、てフラグ信号 FLを生成する。

[0141] 図 12は、本変形例に力かる画像符号ィ匕装置のブロック図である。

[0142] この画像符号ィ匕装置 300aは、上記実施の形態における画像符号ィ匕装置 300の画像判断部 302の代わりに、入力画像信号 VINを取得する画像判断部 302aを備えている。

[0143] 画像判断部 302aは、復号画像信号 LDVの代わりに入力画像信号 VINを用いて、画像判断部 302と同様の処理を行う。即ち、画像判断部 302aは、入力画像信号 VI Nの示すピクチャの各領域の特徴に応じて、その領域ごとに、雑音フラグと動き補償フラグとを設定し、その雑音フラグおよび動き補償フラグをフラグ信号 FLとして出力する。

[0144] これにより、本変形例では、復号画像信号 LDVを出力しな、ため、上記実施の形態における画像符号ィ匕装置 300と比べて回路規模を削減することができる。

[0145] (変形例 2)

ここで、本実施の形態における第 2の変形例について説明する。

[0146] 本変形例にかかる付加情報符号ィ匕部は、動き情報を用いてフラグ信号 FLを可変長符号化する。

[0147] 図 13は、本変形例に力かる画像符号ィ匕装置のブロック図である。

[0148] 本変形例にかかる画像符号化装置 300bは、上記実施の形態の画像符号化装置 3 00の動画像符号ィ匕部 301の代わりに、入力画像信号 VINの画像の動きを示す動き情報 MVを出力する動画像符号ィ匕部 301bを備えるとともに、上記実施の形態の画像符号ィ匕装置 300の付加情報符号ィ匕部 303の代わり、フラグ信号 FLと上述の動き情報 MVとを取得する付加情報符号ィ匕部 303bを備えている。

[0149] 動画像符号ィ匕部 301bは、実施の形態 1の動き検出部 106を備えており、入力画像信号 VINの示す各ピクチャ間の画像の動きを検出し、その動きを示す動き情報 MV を出力するとともに、その動き情報 MVを用いて画面間予測符号化を行う。なお、符号化画像信号 BSには、その動き情報 MVが符号ィ匕されて格納されてヽる。

[0150] 付加情報符号ィ匕部 303bは、動画像符号ィ匕部 301bから出力された動き情報 MVを用いて、上記各領域におけるフラグ信号 (雑音フラグおよび動き補償フラグ)を予測し、その予測結果に基づいて画像判断部 302から出力されたフラグ信号を可変長符号化する。

[0151] 図 14は、付加情報符号ィ匕部 303bによる可変長符号ィ匕を説明するための説明図である。

[0152] 付加情報符号ィ匕部 303bは、例えば、ピクチャ FR2のブロック Bktに対するフラグ信号を符号化する場合、ピクチャ FR2を符号ィ匕するときの予測画像を生成するために用いられた参照ピクチャ FR1を参照する。また、付加情報符号ィ匕部 303bは、そのピクチャ FR2のブロック Bktに対して検出された動き情報 MVを動画像符号ィ匕部 301b 力も取得する。この動き情報 MVは、参照ピクチャ FR1のブロック RBkを示す。

[0153] 付加情報符号ィ匕部 303bは、参照ブロック RBkと最も広く重なっているブロック Bk9 に対して設定されたフラグ信号を特定する。即ち、付加情報符号ィ匕部 303bは、プロック Bktに対するフラグ信号力ブロック Bk9に対して設定されたフラグ信号と同一であると予測する。そして、付加情報符号ィ匕部 303bは、ブロック Bk9とブロック Bktのフラグ信号の関係を用いて、可変長符号化を行う。つまり、付加情報符号化部 303bは、上述の 2つのブロックにおけるフラグ信号がそれぞれ同じ場合に最も符号量が少なくなるような情報を、そのブロック Bktにおけるフラグ信号に割り当てる。

[0154] 言い換えると、動き情報 MVは、既に符号ィ匕および復号ィ匕された参照ピクチャ FR1 において、ブロック Bktと最も相関の高い位置を表している。そこで、符号化対象のフラグ信号に対応するブロック Bktの動き情報から、ブロック Bktと相関性の高い、既に符号化および復号化されてヽるブロック RBkのフラグ信号が特定される。ブロック RB kは、ブロック Bktと相関性が高いため、 2つのブロック RBk, Bktのフラグ信号は同じである確率が高い。この確率の高さを利用することで、符号ィ匕フラグ信号 CFLの情報量を削減することができる。

[0155] なお、本変形例に力かる付加情報符号ィ匕部 303bは、ブロック Bktのフラグ信号がブロック Bk9のフラグ信号と同一であると予測した力他のフラグ信号と同一であると予測してもよい。例えば、ブロック RBkは、参照ピクチャ FR1のブロック Bkl, Bk2, B k3, Bk9の一部を含んでいる。この場合、付加情報符号化部 303bは、これら 4つのブロックのフラグ信号力も算出されるフラグ信号 (メディアンゃ平均値など）が、ブロック Bktのフラグ信号と同一であると予測する。これにより、フラグ信号にばらつきがあつた場合における符号量の増加を抑制することができる。

[0156] (変形例 3)

ここで、本実施の形態における第 3の変形例について説明する。

[0157] 本変形例にカゝかる画像判断部は、復号画像信号 LDVと入力画像信号 VINとに基づ、てフラグ信号を生成する。

[0158] 図 15は、本変形例に力かる画像符号ィ匕装置のブロック図である。

[0159] 本変形例にかかる画像符号化装置 300cは、上記実施の形態の画像符号化装置 3 00の画像判断部 302の代わりに、復号画像信号 LDVと入力画像信号 VINとを取得する画像判断部 302cを備えて、る。

[0160] 画像判断部 302cは、入力画像信号 VINの示す画像と、復号画像信号 LDVの示す画像との差分である差分画像を算出して、その差分画像における周波数の特徴に応じた雑音フラグを設定する。

[0161] 図 16は、本変形例に力かる画像判断部 302cの動作を示すフローチャートである。

[0162] まず、画像判断部 302cは、入力画像信号 VINと復号画像信号 LDVを取得し (ステップ S250)、その入力画像信号 VINおよび復号画像信号 LDVのそれぞれで互いに対応するピクチャ内の領域 (例えばブロックやマクロブロック）ごとに、入力画像信号 V INおよび復号画像信号 LDVのそれぞれの領域における画像の差分を差分画像として算出する (ステップ S252)。

[0163] さらに、画像判断部 302cは、ステップ S252で差分画像が算出されるごとに、その差分画像に、ランダム性で高域の周波数成分があるカゝ否かを判断する (ステップ S25 4)。そして、画像判断部 302は、ランダム性で高域の周波数成分がないと判断したときには (ステップ S254の N)、その差分画像に対応する領域の雑音フラグを OFFに設定する (ステップ S256)。一方、画像判断部 302は、ランダム性で高域の周波数成分があると判断したときには (ステップ S254の Y)、その差分画像に対応する領域の雑音フラグを ONに設定する (ステップ S 258)。

[0164] さらに、画像判断部 302cは、上述のランダム性で高域の周波数成分があると判断された領域に対応する復号画像信号 LDV (または、入力画像信号 VIN)の画像と同一または類似の画像が、既に取得されてヽる復号画像信号 LDVの示すピクチヤにある力否かを判別する (ステップ S 260)。

[0165] ここで、画像判断部 302cは、同一または類似の画像があると判断したときには (ステツプ S260の Y)、動き補償フラグを ONに設定し (ステップ S262)、同一または類似の画像がないと判断したときには (ステップ S260の N)、動き補償フラグを OFFに設定する（ステップ S 264)。

[0166] そして、画像判断部 302cは、ステップ S256, S258, S262, S264で設定された雑音フラグおよび動き補償フラグを示すフラグ信号 FLを生成して出力する (ステップ

S266)。

[0167] なお、本変形例においても、付加情報符号ィ匕部 303は、変形例 2の付加情報符号化部 303bと同様に、動画像符号ィ匕部 301から動き情報 MVを取得し、その動き情報

MVを用いてフラグ信号 FLの符号ィ匕を行ってもよい。これにより、符号化フラグ信号

CFLの符号量をさらに少なくすることができる。

[0168] (実施の形態 4)

本発明の実施の形態 4における画像復号化装置は、実施の形態 3の画像符号ィ匕装置によって生成された符号化信号 BSaを復号化するとともに、復号化されたピクチャに対して雑音を動き補償により重畳する。

[0169] 図 17は、本実施の形態における画像復号ィ匕装置のブロック図である。

[0170] 本実施の形態における画像復号ィ匕装置 400は、動画像復号部 403と、付加情報復号部 402と、雑音動き補償部 401と、加算器 404と、初期雑音生成部 105とを備える。

[0171] 動画像復号部 403は、符号ィ匕信号 BSaを取得して、その符号ィ匕信号 BSaから符号化フラグ信号 CFLを分離して出力するとともに、その符号化信号 BSaに含まれる符号化画像信号 BSに対して復号化を行う。例えば、符号化画像信号 BSが MPEGの方式により符号ィ匕されている場合には、動画像復号部 403は、符号化画像信号 BS に対して可変長復号化、逆量子化、および逆周波数変換などの処理を行って差分画像を生成するとともに、既に復号化された画像から予測画像を生成し、その予測画像に差分画像を加算することにより復号画像を生成する。そして、動画像復号部 403 はその復号画像を示す復号画像信号 DVを出力する。なお、 MPEGは一例であり、符号化画像信号 BSが他の方式で符号化されてヽる場合には、動画像復号部 403 は、符号ィ匕されたピクチャをその方式に従って復号ィ匕する。

[0172] さらに、動画像復号部 403は、符号化信号 BSaに含められている符号化された動き情報 MVに対して、可変長復号化などの復号処理を行い、復号化された動き情報 M Vを出力する。

[0173] 付加情報復号部 402は、動画像復号部 403から出力された符号ィ匕フラグ信号 CF Lを取得し、その符号ィ匕フラグ信号 CFLに対して可変長復号ィ匕などの復号処理を行う。そして、付加情報復号部 402は、復号処理により生成されたフラグ信号 FLを出力する。

[0174] 初期雑音生成部 105は、復号画像信号 DVに重畳するための雑音信号 Nを生成して出力する。

[0175] 雑音動き補償部 401は、復号画像信号 DVの示すピクチヤの領域ごとに、付加情報復号部 402から出力されたフラグ信号 FLに含まれる雑音フラグや動き補償フラグに従って、雑音に対する動き補償を行う。即ち、雑音動き補償部 401は、フラグ信号 FL の雑音フラグが ONを示して動き補償フラグが OFFを示すときには、初期雑音生成部 105から出力された雑音信号 Nを取得して、その雑音信号 Nを、そのフラグ信号 FL に対応するピクチャの領域に重畳すべき動き補償雑音信号 MCNとして出力する。一方、雑音動き補償部 401は、フラグ信号 FLの雑音フラグ力 SONを示して動き補償フラグが ONを示すときには、動画像復号部 403から出力された動き情報 MVに基づいて、重畳のために過去に使用された雑音を、そのフラグ信号 FLに対応するピクチャの領域に動かす。つまり、動画像復号部 403は、過去に使用された動き補償雑音信号 MCNに対して動き補償を行う。そして、動画像復号部 403は、動き補償によつて生成された雑音を新たな動き補償雑音信号 MCNとして出力する。また、雑音動き補償部 401は、フラグ信号 FLの雑音フラグが OFFを示しているときには、動き補償雑音信号 MCNの出力を停止する。

[0176] 加算器 404は、復号画像信号 DVと動き補償雑音信号 MCNとを取得し、復号画像信号 DVに対して動き補償雑音信号 MCNを重畳する。つまり、加算器 404は、復号画像信号 DVの示すピクチヤの領域ごとに、動き補償雑音信号 MCNの示す雑音を、その領域の画像に重畳する。そして、加算器 404は、動き補償雑音信号 MCNが重畳された復号画像信号 DVを出力画像信号 VOUTとして出力する。

[0177] 図 18は、本実施の形態における雑音動き補償部 401のブロック図である。

[0178] 本実施の形態における雑音動き補償部 401は、スィッチ SWと、雑音フレームメモリ 102とを備える。

[0179] スィッチ SWは、フラグ信号 FLに応じて、端子 dを端子 a, b, cの何れか〖こ切り換えて接続する。即ち、スィッチ SWは、フラグ信号 FLの雑音フラグが ONを示して動き補償フラグが ONを示すときには、端子 dを端子 aに接続して、雑音フレームメモリ 102から動き補償雑音信号 MCNが出力される状態に設定する。この設定によって動き補償が行われる。また、スィッチ SWは、フラグ信号 FLの雑音フラグが ONを示して動き補償フラグが OFFを示すときには、端子 dを端子 cに接続して、初期雑音生成部 105 力出力された雑音信号 Nが動き補償雑音信号 MCNとして出力される状態に設定する。また、スィッチ SWは、フラグ信号 FLの雑音フラグが OFFを示すときには、端子 dを端子 bに接続して、雑音動き補償部 401から動き補償雑音信号 MCNが出力されない状態に設定する。

[0180] 雑音フレームメモリ 102は、重畳するために既に使用された動き補償雑音信号 MC Nを蓄積している。そして、雑音フレームメモリ 102は、動き情報 MVを取得すると、その蓄積された動き補償雑音信号 MCNの中から、その動き情報 MVにより示される領域の動き補償雑音信号 MCNを抽出して出力する。即ち、雑音動き補償部 401は、雑音フレームメモリ 102に蓄積されている動き補償雑音信号 MCNに対して動き補償を行う。さらに、雑音フレームメモリ 102は、上述のように出力された動き補償雑音信号 MCNを、処理対象の領域の動き補償雑音信号 MCNとして改めて格納する。

[0181] 図 19は、本実施の形態における雑音動き補償部 401の動作を示すフローチャートである。

[0182] 雑音動き補償部 401は、まず、フラグ信号 FLを取得し (ステップ S280)、そのフラグ信号 FLに含まれる雑音フラグが ONを示して、る力否かを判別する（ステップ S282) [0183] ここで、雑音動き補償部 401は、雑音フラグが ONを示していると判別したときには（ステップ S282の Y)、さらに、フラグ信号 FLに含まれる動き補償フラグが ONを示している力否かを判別する (ステップ S284)。動き補償フラグ力ONを示していると判別したときには (ステップ S284の Y)、雑音動き補償部 401は、雑音フレームメモリ 102から動き補償雑音信号 MCNを出力することにより、雑音に対する動き補償を行う (ステップ S286)。一方、動き補償フラグが OFFを示していると判別したときには (ステップ S284の N)、雑音動き補償部 401は、雑音を新たに生成してその雑音を動き補償雑音信号 MCNとして出力する (ステップ S288)。つまり、雑音動き補償部 401は、初期雑音生成部 105で生成された雑音信号 Nを動き補償雑音信号 MCNとして出力する

[0184] このように、本実施の形態では、実施の形態 3の画像符号ィ匕装置によって生成された符号化信号 BSaを復号化するとともに、符号化信号 BSaに含まれるフラグ信号 FL に従って、復号化されたピクチャに対して雑音を動き補償により適切に重畳することができる。

[0185] なお、本実施の形態では、付加情報復号部 402は、動画像復号部 403から出力される動き情報 MVを用いて符号ィ匕フラグ信号 CFLを復号ィ匕してもよい。つまり、符号化信号 BSaが、実施の形態 3の変形例 2にかかる画像符号ィ匕装置 300bによって生成されて!/ヽる場合には、フラグ信号 FLは動き情報 MVを用いて符号ィ匕されてヽるからである。

[0186] また、加算器 404は、復号画像信号 DVの示す画素値 Jに、動き補償雑音信号 MC Nの示す画素値 Kを足し算することにより、復号画像信号 DVの示すピクチヤに雑音を重畳してもよぐ動き補償雑音信号 MCNの示す画素値 Kを関数によって変換した後に足し算してもよい。例えば、画素値 Kの平方根や三乗根を足し算することにより、動き補償雑音信号 MCNの示す雑音の強度を抑えることができる。

[0187] また、例えば所定の領域が画面内符号化されており、雑音動き補償部 401が、その領域における動き情報 MVを動画像復号部 403から取得できな力つたときには、雑音動き補償部 401は、動き補償を行うことなぐ初期雑音生成部 105から出力された雑音信号 Nを、動き補償雑音信号 MCNとして出力してもよい。 [0188] (変形例）

ここで本実施の形態における変形例について説明する。

[0189] 本変形例に力かる画像復号ィ匕装置は、さらに、符号ィ匕信号に含まれている情報に基づ!/、て雑音の強度を調整し、その調整された雑音を復号化された画像に対して重畳する。

[0190] 図 20は、本変形例に力かる画像復号ィ匕装置のブロック図である。

[0191] 本変形例にカゝかる画像復号ィ匕装置 400aは、動画像復号部 403aと、付加情報復号部 402aと、雑音動き補償部 401と、初期雑音生成部 105と、信号強度制御部 411 と、加算器 404とを備える。

[0192] 動画像復号部 403aは、雑音の強度を調整するための符号ィ匕調整信号 CADを含む符号化信号 BSaを取得する。そして、動画像復号部 403aは、その符号ィ匕信号 BS aから符号化調整信号 CADと符号化フラグ信号 CFLとを分離して出力する。さらに、動画像復号部 403aは、上記実施の形態の動画像復号部 403と同様、符号化信号 B Saに含まれる符号化画像信号 BSを復号画像信号 DVに復号化して出力するとともに、符号ィ匕信号 BSaに含まれる符号化された動き情報 MVを復号ィ匕して出力する。

[0193] 付加情報復号部 402aは、動画像復号部 403aから出力された符号ィ匕フラグ信号 C FLと符号化調整信号 CADとを取得し、それらの信号に対して可変長復号化などの復号処理を行う。その復号処理の結果、付加情報復号部 402aは、フラグ信号 FLを雑音動き補償部 401に出力するとともに、調整信号 ADを信号強度制御部 411に出力する。

[0194] 信号強度制御部 411は、付加情報復号部 402aから出力された調整信号 ADに従つて雑音の強度が調整されるように、雑音動き補償部 401から出力された動き補償雑音信号 MCNに対して強度調整処理を行う。信号強度制御部 411は、このような強度調整処理によって調整された雑音を示す重畳雑音信号 SNを生成して出力する。これにより、復号化されたピクチャに対して重畳される雑音の強度が、符号化信号 BS aに示される情報に従って調整される。なお、雑音強度の範囲は予め定められており、調整信号 ADによって示される雑音強度が上記範囲を超える場合には、信号強度制御部 411は、符号化されたピクチャに対して重畳される雑音の強度が、その範囲における限界値の雑音強度となるように、動き補償雑音信号 MCNに対する強度調整処理を行う。

[0195] 加算器 404は、動画像復号部 403aから出力された復号画像信号 DVに対して、信号強度制御部 411から出力された重畳雑音信号 SNを重畳し、その重畳雑音信号 S Nが重畳された復号画像信号 DVを出力画像信号 VOUTとして出力する。即ち、重畳雑音信号 SNの示す雑音が、復号画像信号 DVの示す復号化されたピクチャの各重畳領域に対して重畳される。

[0196] 図 21は、本変形例に力かる雑音動き補償部 401および信号強度制御部 411の動作を示すフローチャートである。

[0197] まず、雑音動き補償部 401はフラグ信号 FLを取得し、信号強度制御部 411は調整信号 ADを取得する（ステップ S 300)。

[0198] 雑音動き補償部 401は、そのフラグ信号 FLに含まれる雑音フラグが ONを示すか否かを判別する（ステップ S302)。 ONを示すと判別したときには (ステップ S302の Y )、雑音動き補償部 401は、さらに、フラグ信号 FLに含まれる動き補償フラグが ONを示すか否かを判別する (ステップ S304)。雑音動き補償部 401は、 ONを示すと判別したときには (ステップ S 304の Y)、雑音フレームメモリ 102から動き補償雑音信号 M CNを出力することにより、雑音に対する動き補償を行い (ステップ S306)、 OFFを示すと判別したときには (ステップ S304の N)、雑音を新たに生成してその雑音を動き補償雑音信号 MCNとして出力する (ステップ S308)。

[0199] 信号強度制御部 411は、ステップ S300で取得した調整信号 ADに応じて、ステツプ S306, S308で出力された動き補償雑音信号 MCNに対して強度調整処理を行い、その動き補償雑音信号 MCNの示す雑音の強度を調整する (ステップ S310)。そして、信号強度制御部 411は、強度調整された雑音を示す重畳雑音信号 SNを出力する（ステップ S312)。

[0200] なお、本実施の形態における雑音動き補償部はスィッチ SWを備えてヽたが、スィツチ SWを備えていなくてもよい。この場合、例えば、信号強度制御部がスィッチ SW を備える。

[0201] 図 22は、スィッチ SWを備えていない雑音動き補償部と、スィッチ SWを備える信号強度制御部とのそれぞれの構成を示す図である。

[0202] 雑音動き補償部 401aは、スィッチ SWを備えずに雑音フレームメモリ 102だけを備えて構成される。したがって、雑音動き補償部 401aは、フラグ信号 FLにしたがって処理動作を切り換えることなぐ復号ィ匕ピクチャの全ての領域に対して、雑音フレームメモリ 102に蓄積されて、る動き補償雑音信号 MCNの中から、動き情報 MVにより示される領域の動き補償雑音信号 MCNを抽出して出力する。また、雑音動き補償部 401aは、各領域に対して出力した動き補償雑音信号 MCNを、その領域に対応する動き補償雑音信号 MCNとして格納する。

[0203] 信号強度制御部 41 laは、スィッチ SWと強度調整部 420とを備える。

[0204] スィッチ SWは、上述と同様に、フラグ信号 FLに応じて端子 dを端子 a〜cの何れかに切り換えて接続する。端子 dが端子 aに接続されたときには、雑音フレームメモリ 10 2からの動き補償雑音信号 MCNが仮重畳雑音信号 PNとして強度調整部 420に出力され、端子 dが端子 cに接続されたときには、初期雑音生成部 105からの雑音信号 Nが仮重畳雑音信号 PNとして強度調整部 420に出力され、端子 dが端子 cに接続されたときには、強度調整部 420への仮重畳雑音信号 PNの出力が停止される。

[0205] 強度調整部 420は、付加情報復号部 402aから出力された調整信号 ADに従って雑音の強度が調整されるように、スィッチ SWから出力された仮重畳雑音信号 PNに対して強度調整処理を行う。強度調整部 420は、このような強度調整処理によって、仮重畳雑音信号 PNを重畳雑音信号 SNに変換して出力する。

[0206] このように、本実施の形態では、符号化信号 BSaに調整信号 ADが符号化されて含まれている場合には、その調整信号 ADに従って雑音の強度を調整することができるため、より高精細感を増すことができる。

[0207] (実施の形態 5)

さらに、上記実施の形態 1〜4で示した動画像処理方法、画像符号化方法または画像復号化方法による処理を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態 1〜4で示した各方法による処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。 [0208] 図 23A〜図 23Cは、フレキシブルディスクを用いて、実施の形態 1〜4の上記各方法の処理をコンピュータシステムにより実施する場合の説明図である。

[0209] 図 23Bは、フレキシブルディスクの正面図、側面図、及びフレキシブルディスク本体を示し、図 23Aは、記録媒体本体であるフレキシブルディスク本体の物理フォーマツトの例を示している。フレキシブルディスク本体 FDはケース F内に内蔵され、そのディスクの表面には、同心円状に外周からは内周に向力つて複数のトラック Trが形成され、各トラックは角度方向に 16のセクタ Seに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク本体 FD上に割り当てられた領域に、上記プログラムが記録されて、る。

[0210] また、図 23Cは、フレキシブルディスク本体 FDに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスク本体 FDに記録する場合は、コンピュータシステム Csから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記各方法の機能をコンピュータシステムに構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステム Csに転送する。

[0211] なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行った力光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 I Cカード、 ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。

[0212] (実施の形態 6)

さらにここで、上記実施の形態で示した動画像処理方法や画像符号化方法、画像復号ィ匕方法の応用例とそれを用いたシステムを説明する。

[0213] 図 24は、コンテンツ酉 S信サービスを実現するコンテンツ供給システム exlOOの全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 exl07〜exl 10が設置されて!、る。

[0214] このコンテンツ供給システム exlOOは、例えば、インターネット exlOlにインターネットサービスプロバイダ exl02および電話網 exl04、および基地局 exl07〜exl l0を介して、コンピュータ exl 11、 PDA (personal digital assistant) ex 112、カメラ exl l3、携帯電話 exl l4、カメラ付きの携帯電話 exl l5などの各機器が接続される。

[0215] し力し、コンテンツ供給システム exlOOは図 24のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 exlO 7〜exl 10を介さずに、各機器が電話網 exl04に直接接続されてもょヽ。

[0216] カメラ exl 13はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、 PDC (Personal Digital Communications)方式、 CDMA (Code Division M ultiple Access)方式、 W— CDMA (Wideband- Code Division Multiple Access)方式、若しくは GSM (Global System for Mobile Communications)方式の携帯電話機、または PHS (Personal Handyphone System)等であり、いずれでも構わない。

[0217] また、ストリーミングサーバ exl03は、カメラ 6 113カら基地局6 109、電話網 exl04 を通じて接続されており、カメラ exl l3を用いてユーザが送信する符号ィ匕処理されたデータに基づ、たライブ配信等が可能になる。撮影したデータの符号化処理はカメラ exl 13で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ exl 16で撮影した動画データはコンピュータ exl 11を介してストリーミングサーバ exl 03に送信されてもよい。カメラ exl 16はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号ィ匕はカメラ exl 16で行ってもコンピュータ exl 11で行ってもどちらでもよい。また、符号化処理はコンピュータ exl 11やカメラ ex 116が有する LSIexl 17において処理することになる。なお、画像符号化'復号化用のソフトウェアをコンピュータ exl 11等で読み取り可能な記録媒体である何らかの蓄積メディア（CD— ROM、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 exl 15で動画データを送信してもよい。このときの動画データは携帯電話 exl l5が有する LSIで符号化処理されたデータである。

[0218] このコンテンツ供給システム exlOOでは、ユーザがカメラ exl 13、カメラ exl 16等で撮影してヽるコンテンツ (例えば、音楽ライブを撮影した映像等)を上記実施の形態同様に符号ィ匕処理してストリーミングサーバ exl03に送信する一方で、ストリーミングサーバ exl03は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータ exl 11、 PDAexl l2、カメラ exl 13、携帯電話 exl 14等がある。このようにすることでコンテンツ供給システム exlOOは、符号ィ匕されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである

[0219] このシステムを構成する各機器の動画像処理、符号化、復号化には上記各実施の形態で示した動画像処理方法、画像符号化装置ある!ヽは画像復号化装置を用いるようにすればよい。

[0220] その一例として携帯電話につ、て説明する。

[0221] 図 25は、上記実施の形態で説明した動画像処理方法と画像符号化方法と画像復号ィ匕方法を用いた携帯電話 exl l5を示す図である。携帯電話 exl l5は、基地局 exl 10との間で電波を送受信するためのアンテナ ex201、 CCDカメラ等の映像、静止画を撮ることが可能なカメラ部 ex203、カメラ部 ex203で撮影した映像、アンテナ ex201 で受信した映像等が復号ィ匕されたデータを表示する液晶ディスプレイ等の表示部 ex 202、操作キー ex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部 ex208、音声入力をするためのマイク等の音声入力部 ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア ex207、携帯電話 exl 15に記録メディア ex207を装着可能とするためのスロット部 ex206を有して!/、る。記録メディア ex207は SDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである EEPROM (Electricall y Erasable and Programmable Read Only Memory)の一種であるノフッンュメモリ十を格納したものである。

[0222] さらに、携帯電話 exl l5について図 26を用いて説明する。携帯電話 exl l5は表示部 ex202及び操作キー ex204を備えた本体部の各部を統括的に制御するようになされた主制御部 ex311に対して、電源回路部 ex310、操作入力制御部 ex304、画像符号ィ匕部 ex312、カメラインターフェース部 ex303、 LCD (Liquid Crystal Display)制御部 ex302、画像復号化部 ex309、多重分離部 ex308、記録再生部 ex307、変復調回路部 ex306及び音声処理部 ex305が同期バス ex313を介して互!、に接続されて!ヽる。

[0223] 電源回路部 ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパック力も各部に対して電力を供給することによりカメラ付ディジタル携帯電話 exl l5を動作可能な状態に起動する。

[0224] 携帯電話 exl 15は、 CPU、 ROM及び RAM等でなる主制御部 ex311の制御に基づ、て、音声通話モード時に音声入力部 ex205で集音した音声信号を音声処理部 e x305によってディジタル音声データに変換し、これを変復調回路部 ex306でスぺタトラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex201を介して送信する。また携帯電話機 ex 115は、音声通話モード時にアンテナ ex201で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部 ex306でスペクトラム逆拡散処理し、音声処理部 ex305によってアナログ音声データに変換した後、これを音声出力部 ex208を介して出力する。

[0225] さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー ex2 04の操作によって入力された電子メールのテキストデータは操作入力制御部 ex304 を介して主制御部 ex311に送出される。主制御部 ex311は、テキストデータを変復調回路部 ex306でスペクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex201を介して基地局 exl lO へ送信する。

[0226] データ通信モード時に画像データを送信する場合、カメラ部 ex203で撮像された画像データをカメラインターフェース部 ex303を介して画像符号ィ匕部 ex312に供給する。また、画像データを送信しない場合には、カメラ部 ex203で撮像した画像データをカメラインターフェース部 ex303及び LCD制御部 ex302を介して表示部 ex202に直接表示することも可能である。

[0227] 画像符号ィ匕部 ex312は、本願発明で説明した画像符号ィ匕装置を備えた構成であり、カメラ部 ex203から供給された画像データを上記実施の形態で示した画像符号ィ匕装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部 ex308に送出する。また、このとき同時に携帯電話機 exl 15 は、カメラ部 ex203で撮像中に音声入力部 ex205で集音した音声を音声処理部 ex3 05を介してディジタルの音声データとして多重分離部 ex308に送出する。

[0228] 多重分離部 ex308は、画像符号化部 ex312から供給された符号化画像データと音声処理部 ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex306でスペクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex201を介して送信する。

[0229] データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ ex201を介して基地局 exl 10から受信した受信データを変復調回路部 ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部 ex308に送出する。

[0230] また、アンテナ ex201を介して受信された多重化データを復号ィ匕するには、多重分離部 ex308は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期ノス ex313を介して当該符号ィ匕画像データを画像復号ィ匕部 ex309に供給すると共に当該音声データを音声処理部 ex305に供給する。

[0231] 次に、画像復号ィ匕部 ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号ィ匕方法に対応した復号化方法で復号することにより再生動画像データを生成し、これを LCD制御部 ex302を介して表示部 ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 ex305は、音声データをアナログ音声データに変換した後、これを音声出力部 e x208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

[0232] なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図 27に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号ィ匕装置または画像復号ィ匕装置のいずれかを組み込むことができる。具体的には、放送局 ex409では映像情報のビットストリームが電波を介して通信または放送衛星 ex410に伝送される。これを受けた放送衛星 ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex406で受信し、テレビ（受信機） ex401またはセットトップボックス（STB) ex407などの装置によりビットストリームを復号ィ匕してこれを再生する。また、記録媒体である CDや DVD等の蓄積メディア ex402に記録したビットストリームを読み取り、復号ィ匕する再生装置 ex403 にも上記実施の形態で示した画像復号ィ匕装置を実装することが可能である。この場合、再生された映像信号はモニタ ex404に表示される。また、ケーブルテレビ用のケ一ブル ex405または衛星 Z地上波放送のアンテナ ex406に接続されたセットトップボックス ex407内に画像復号ィ匕装置を実装し、これをテレビのモニタ ex408で再生する構成も考えられる。このときセットトップボックスではなぐテレビ内に画像復号ィ匕装置を組み込んでも良い。また、アンテナ ex411を有する車 ex412で衛星 ex410からまたは基地局 exl07等力も信号を受信し、車 ex412が有するカーナビゲーシヨン ex413 等の表示装置に動画を再生することも可能である。

[0233] 更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、 DVDディスク ex421に画像信号を記録する DVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ ex42 0がある。更に SDカード ex422に記録することもできる。レコーダ ex420が上記実施の形態で示した画像復号化装置を備えてヽれば、 DVDディスク ex421や SDカード e x422に記録した画像信号を再生し、モニタ ex408で表示することができる。

[0234] なお、カーナビゲーシヨン ex413の構成は例えば図 26に示す構成のうち、カメラ部 e x203とカメラインターフェース部 ex303、画像符号ィ匕部 ex312を除いた構成が考えられ、同様なことがコンピュータ exl 11やテレビ (受信機) ex401等でも考えられる。

[0235] また、上記携帯電話 exl 14等の端末は、符号化器'復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実装形式が考えられる。

[0236] このように、上記実施の形態で示した動画像処理方法、画像符号化方法あるいは画像復号ィ匕方法を上述したいずれの機器 'システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。 [0237] なお、ブロック図（図 1、図 7、図 10、図 17など）の各機能ブロックは典型的には集積回路である LSI (large- scale integration)として実現される。これらは個別に 1チップ化されても良いし、一部又は全てを含むように 1チップィ匕されても良い。（例えばメモリ以外の機能ブロックが 1チップィ匕されて、ても良、。 )

ここでは、 LSIとしたが、集積度の違いにより、 IC (integrated circuit)、システム LSI 、スーパー LSI、ウノレ卜ラ LSIと呼称されることちある。

[0238] また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセサで実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programma ble Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギユラブル'プロセッサーを利用しても良い。

[0239] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行ってもよい。バイオ技術の適応等が可能性としてありえる。

[0240] また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ 1チップィ匕せずに別構成としても良い。

[0241] また、本発明は、上記実施の形態 1〜6およびそれらの変形例に限定されるものではなぐこれらの実施の形態および変形例に含まれる処理を矛盾無く組み合わせてもよぐ本発明の範囲を逸脱することなく種々の変形または修正が可能である。

産業上の利用可能性

[0242] 本発明の動画像処理方法は、視聴者によって認識される主観画質を向上することができるという効果を奏し、例えば携帯電話、 DVD (Digital Versatile Disk)装置、およびパーソナルコンピュータ等に適用することができる。

Claims

請求の範囲

[1] 動画像に対して雑音を重畳する動画像処理方法であって、

前記動画像への重畳に使用された第 1の雑音を、前記動画像の動きに合わせて動かし、

動かされた前記第 1の雑音を、前記動きが生じた後の動画像に対して重畳することを特徴とする動画像処理方法。

[2] 前記動画像処理方法は、さらに、

前記動画像に含まれる処理対象のピクチャの中から、雑音を重畳すべき重畳領域を特定し、

前記第 1の雑音を動かすときには、

前記重畳領域における画像の動きに合わせて前記第 1の雑音を動かし、動かされた前記第 1の雑音を重畳するときには、

動かされた前記第 1の雑音を前記重畳領域に対して重畳する

ことを特徴とする請求項 1記載の動画像処理方法。

[3] 前記重畳領域を特定するときには、

前記処理対象のピクチャにおける周波数成分に基づいて特定する

ことを特徴とする請求項 2記載の動画像処理方法。

[4] 前記第 1の雑音を動かすときには、

前記重畳領域における画像の動きを検出し、

検出された前記動きに従って前記第 1の雑音を動かす

ことを特徴とする請求項 2記載の動画像処理方法。

[5] 前記動画像処理方法は、さらに、

前記動画像を含む動画像信号を取得し、

前記第 1の雑音を動かすときには、

前記重畳領域における画像の動きを示す動き情報を前記動画像信号から抽出し、抽出された前記動き情報の示す動きに従って前記第 1の雑音を動かすことを特徴とする請求項 2記載の動画像処理方法。

[6] 前記動画像信号は符号化されており、前記動画像処理方法は、さらに、

符号化されて!/ヽる前記動画像信号を復号化し、

前記重畳領域を特定するときには、

復号化された前記動画像信号に含まれる複数のピクチャを順次、前記処理対象のピクチャとして、前記各処理対象のピクチャ力重畳領域を特定する

ことを特徴とする請求項 5記載の動画像処理方法。

[7] 前記動画像信号には、さらに、前記重畳領域を示す第 1の識別情報が含まれており、

前記重畳領域を特定するときには、

前記第 1の識別情報に基づいて前記重畳領域を特定する

ことを特徴とする請求項 6記載の動画像処理方法。

[8] 前記動画像信号には、さらに、前記重畳領域のうち、前記第 1の雑音を重畳すべき領域を示す第 2の識別情報が含まれており、

動かされた前記第 1の雑音を重畳するときには、

動かされた前記第 1の雑音を、前記第 2の識別情報により示される領域に対して重畳する

ことを特徴とする請求項 6記載の動画像処理方法。

[9] 前記動画像信号には、さらに、重畳されるべき雑音の強度を示す調整信号が含まれており、

動かされた前記第 1の雑音を重畳するときには、

動かされた前記第 1の雑音の強度が前記調整信号により示される強度となるように、前記第 1の雑音を調整し、調整された前記第 1の雑音を前記重畳領域に重畳することを特徴とする請求項 6記載の動画像処理方法。

[10] 前記動画像処理方法は、さらに、

前記動画像に含まれる前記処理対象のピクチャと処理済みのピクチャとの間で、画像内容の切り替わりが発生したか否かを判別し、

前記切り替わりが発生したと判別されたときには、

重畳に使用されていない第 2の雑音を新たに生成して前記処理対象のピクチャに重畳し、

前記切り替わりが発生していないと判別されたときには、

ことを特徴とする請求項 2記載の動画像処理方法。

[11] 前記切り替わりが発生したと判別されたときには、

前記処理対象のピクチャの特徴に応じた種類の前記第 2の雑音を生成して前記処理対象のピクチャに重畳する

ことを特徴とする請求項 10記載の動画像処理方法。

[12] 動かされた前記第 1の雑音を重畳するときには、

動かされた前記第 1の雑音の強度を調整し、調整された前記第 1の雑音を前記重畳領域に対して重畳する

ことを特徴とする請求項 2記載の動画像処理方法。

[13] 動力された前記第 1の雑音の強度を調整するときには、

前記重畳領域に含まれる周波数成分が高域であるほど大きくなるように前記強度を調整する

ことを特徴とする請求項 12記載の動画像処理方法。

[14] 動画像に対して雑音を重畳する動画像処理装置であって、

前記動画像への重畳に使用された雑音を、前記動画像の動きに合わせて動かす動き補償手段と、

前記動き補償手段によって動かされた前記雑音を、前記動きが生じた後の動画像に対して重畳する重畳手段と

を備えることを特徴とする動画像処理装置。

[15] 動画像に対して雑音を重畳するためのプログラムであって、

動かされた前記第 1の雑音を、前記動きが生じた後の動画像に対して重畳することをコンピュータに実行させることを特徴とする動画像処理方法。

[16] 動画像に対して雑音を重畳する集積回路であって、前記動画像への重畳に使用された雑音を、前記動画像の動きに合わせて動かす動き補償手段と、

を備えることを特徴とする集積回路。