JPH11196419A - 画像信号処理装置及び画像信号処理方法 - Google Patents
画像信号処理装置及び画像信号処理方法Info
- Publication number
- JPH11196419A JPH11196419A JP36150097A JP36150097A JPH11196419A JP H11196419 A JPH11196419 A JP H11196419A JP 36150097 A JP36150097 A JP 36150097A JP 36150097 A JP36150097 A JP 36150097A JP H11196419 A JPH11196419 A JP H11196419A
- Authority
- JP
- Japan
- Prior art keywords
- image
- small block
- input image
- filter
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
スキートノイズを抑制するとともにブロック歪を抑制す
る。 【解決手段】 画像にフィルタリング処理を施すフィル
タ手段と、このフィルタ手段を含み、画像にブロック符
号化処理を施す圧縮符号化手段5と、圧縮符号化手段5
で圧縮符号化された画像に復号処理を施す復号手段13
と、復号手段13で復号処理が施された画像のブロック
歪を少なくとも低減する処理を行うノイズ低減手段14
とを備えることで、画像に圧縮符号化処理及び復号処理
を施すときに生ずるノイズを効果的に低減する。
Description
止画像信号を、例えば光ディスクや磁気テープ等の記録
媒体に記録再生したり、テレビ会議システム、テレビ電
話システムや放送機器等、動画像信号及び静止画像信号
を転送路を介して送信側から受信側に伝送する場合等に
用いて好適な画像信号処理装置及び画像信号処理方法に
関する。
効率よく圧縮符号化するための符号化方式として、ブロ
ックDCT(離散コサイン変換)符号化等のブロック符
号化が知られている。
縮/伸張の際には、リンギングノイズ(モスキートノイ
ズ)やブロック歪が発生することがあり、圧縮率が高く
なるほどノイズを発生させ易い。また、このノイズは、
入力される画像データが複雑であるほど生じさせ易い。
この結果、圧縮/伸張された画像データが示す画像に
は、ノイズによる劣化が生ずるという不都合が生ずる。
ータのノイズによる画像劣化を少なくするために、従来
では、例えばLPF(ローパスフィルタ)等のプリフィ
ルタを使用し、符号化を行う前の入力画像を示す画像デ
ータに対してフィルタリング処理を施すことが多い。
来の動画像信号の符号化装置の一例である。
から入力されるディジタル動画像信号は、プリフィルタ
回路202でフィルタリング処理される。このフィルタ
リング処理がなされた処理画像信号S211は、符号化
回路205へ入力される。
予測とDCT等の変換符号化を組み合わせたハイブリッ
ド符号化方法を用いてディジタル動画像信号に符号化処
理を施すものである。すなわち、符号化回路205は、
入力信号S211に対してフレーム間/内適応予測を施
し、演算器206にて予測誤差信号DCTを施す。そし
て、量子化器208にて、上記計算されたDCT係数を
量子化し、符号化出力信号S215を端子220から出
力する。ここで、量子化器208は、出力信号S215
のビットレートが一定となるような量子化ステップサイ
ズを決定している。
09にて逆量子化された後、逆DCT器210にて逆D
CT処理され予測誤差信号が復元され、さらに演算器2
11にて当該予測誤差信号に予測画像信号が加算されて
局部復号がなされる。この加算により得られた復号画像
信号S213がフレームメモリ212へ記憶される。
像の絵柄が複雑だったり、動きが大きい程、フレーム間
差分信号S212が大きくなる。このとき、符号化の発
生情報量を定められたビットレートに抑えるために、量
子化器208にて粗い量子化を用いると、視覚上目立つ
ブロック歪が発生し、主観画像が劣化する。
入力画像のフレーム間差分信号の大きさがフレーム間予
測符号化の発生符号量に影響を与えることを考慮して、
入力画像のフレーム間差分信号の大きさに応じて、入力
画像に対するプリフィルタのローパス通過帯域を制限し
ている。これにより、予測誤差信号のエネルギが減衰さ
れ、粗い量子化を防ぐことができるので、主観画像を向
上させることができる。
フィルタ制御方法について説明する。
れる画像信号S210とフレームメモリ212から入力
される画像信号S214とのフレーム間差分rが計算さ
れる。ここで、画像信号S214は、入力画像信号S2
10のフレーム間予測で参照される信号である。フレー
ム間差分rは、プリフィルタ制御部203へ入力され、
このプリフィルタ処理部203では、上記フレーム間差
分rの大きさに応じてプリフィルタのローパス通過帯域
を制御するためのパラメータとしてプリフィルタ係数k
を生成出力する。当該プリフィルタ202は、図45の
2次元ローパスフィルタ特性を持ち、ローパス通過帯域
は、上記プリフィルタ係数kに対して単調増加である。
図46には、フレーム間差分rとプリフィルタ係数kの
関係を示す。このように、プリフィルタ制御器203で
は、上記関係により、入力画像のフレーム間差分信号の
大きさに応じてプリフィルタのローパス特性を制御して
いる。
ロック歪を低減する手法としては、画像の局所統計量と
符号化情報をもとにブロックレベルのマクロな特性と画
素レベルのミクロな特性から画素単位の雑音量の予測を
行い、適応フィルタリングにより雑音の成分を除去する
方式を採用したものがある。
低減する手法としては、上述の手法の他に、画像信号を
復号して出力するとき、復号後の画像信号にフィルタリ
ングを行うポストフィルタ処理を行う手法がある。
号化前のプリフィルタ処理により、モスキートノイズを
抑制できるものの、特に動きが激しい絵柄の画像におい
ては、ブロック歪を効果的に除去できないばかりか、プ
リフィルタ処理により高周波成分が低減され、プリフィ
ルタ処理を施した画像について復号処理を行うと、ブロ
ック歪のみが目につくといった問題点がある。
ィルタ処理は、符号化側での処理を行わないため符号化
後の符号化効率に変化はなく、特に動きが激しく、動き
の予測が困難な入力画像に対して、画面全体に渡って量
子化が粗くなり、復号後の総合的な画質を低下させる、
という問題点がある。
は、符号化前のプリフィルタ処理と復号後のポストフィ
ルタ処理が独立に行われており、効果的なノイズ除去を
行うことができないという欠点がある。
鑑みて提案されたものであり、入力された動画像または
静止画像を符号化または復号するときに生ずるモスキー
トノイズを抑制するとともにブロック歪を抑制する画像
信号処理装置及び画像信号処理方法を提供することを目
的とする。
発明に係る画像処理装置は、画像に圧縮符号化処理及び
復号処理を施す画像信号処理装置において、画像にフィ
ルタリング処理を施すフィルタ手段と、画像にブロック
符号化処理を施す圧縮符号化手段と、圧縮符号化手段で
圧縮符号化された画像に復号処理を施す復号手段と、復
号手段で復号処理が施された画像のブロック歪を少なく
とも低減する処理を行うノイズ低減手段とを備えること
を特徴とするものである。
力された画像に対して圧縮符号化手段を通過させる前に
フィルタ手段でフィルタリング処理を行い、復号手段で
復号された画像のブロック歪をノイズ低減手段で低減す
る処理を行う。
画像にフィルタリング処理を施し、フィルタリング処理
が施された入力画像にブロック符号化処理を施し、ブロ
ック符号化処理が施された入力画像に復号処理を施し、
復号処理が施された入力画像のブロック歪を少なくとも
低減するノイズ低減処理を行うことを特徴とする。
れた画像に対して圧縮符号化を行う前にフィルタリング
処理を行い、復号された後に画像のブロック歪を低減す
る処理を行う。
て図面を参照しながら説明する。
号処理方法は、図1に示す光ディスク記録再生装置1に
適用される。
の記録系は、入力端子2から画像信号が入力されるA/
D変換回路3と、A/D変換回路3から画像データが入
力されるNTSC(National Television System Commi
ttee)デコーダ4と、NTSCデコーダ4から画像デー
タが入力されるMPEG(Moving Picture Experts Gro
up)エンコーダ5と、MPEGエンコーダ5から画像デ
ータが入力されるECCエンコーダ6と、ECC(Erro
r Correction Codes)エンコーダ6から画像データが入
力される8−14変調回路7と、8−14変調回路7か
ら画像データが入力されるRFアンプ8とで構成されて
いる。
TSC方式の画像信号が入力されて、A/D変換処理を
施す。このA/D変換回路3は、A/D変換処理を施す
ことで、アナログ方式の画像信号をディジタル方式の画
像データとする。そして、このA/D変換回路3は、画
像データをNTSCデコーダ4に出力する。
3からのNTSC方式の画像データが入力される。この
NTSCデコーダ4は、NTSC方式で圧縮符号化され
た画像データにデコート処理を施す。このNTSCデコ
ーダ4は、デコード処理を施すことで、画像データを伸
張する。そして、このNTSCデコーダ4は、画像デー
タをMPEGエンコーダ5に出力する。
ダ4からの画像データにブロックDCT(Discrete Cos
ine Transform:離散コサイン変換)符号化処理を施
す。このMPEGエンコーダ5は、画像データに符号化
処理を施すことで、MPEG方式の画像データとする。
このとき、MPEGエンコーダ5では、例えば量子化ス
ケール等の符号化情報を画像データに付加してビットス
トリームとする。
細な構成を後述するプリフィルタを備えている。このM
PEGエンコーダ5は、プリフィルタにより、フィルタ
リング処理を行うことで、圧縮符号化された画像データ
に生ずるブロック歪や、モスキートノイズを低減させ
る。そして、このMPEGエンコーダ5は、画像データ
をECCエンコーダ6に出力する。
ダ5からのビットストリームにエラーコレクションを付
加する。そして、このECCエンコーダ6は、このビッ
トストリームを8−14変調回路7に出力する。
6からのビットストリームに8−14変調等の信号処理
を施す。この8−14変調回路7は、8−14変調等を
施したビットストリームをRFアンプ8に出力する。
のビットストリームに増幅処理を施して、光ピックアッ
プ9に出力する。
記録系は、光ディスクDに光ピックアップ9を介して画
像を示すビットストリームを記録する。
は、光ディスクDに記録された画像データを光ピックア
ップ9を介して入力されるRFアンプ10と、RFアン
プ10から画像データが入力される8−14復調回路1
1と、8−14復調回路11から画像データが入力され
るECCデコーダ12と、ECCデコーダ12から画像
データが入力されるMPEGデコーダ13と、MPEG
デコーダ13から画像データが入力されるノイズ低減回
路14と、ノイズ低減回路14からノイズが抑制された
画像データが入力される画質補正回路15と、画質補正
回路15から画像補正がなされた画像データが入力され
るNTSCエンコーダ16と、NTSCエンコーダ16
からNTSC方式の画像データが入力されるD/A変換
回路17とで構成されている。
出した光ディスクDからの画像データに増幅処理を施
す。このRFアンプ10は、増幅処理を施した画像デー
タを8−14復調回路11に出力する。
からの画像データに8−14復調処理を施す。この8−
14復調回路11は、復調処理を施した画像データをE
CCデコーダ12に出力する。
11からの画像データにデコード処理を施すことで、上
述のECCエンコーダ6で付加したエラーコレクション
の処理を行う。そして、このECCデコーダ12は、デ
コード処理を施した画像データをMPEGデコーダ13
に出力する。
12からのMPEG方式の画像データにデコード処理を
施す。このMPEGデコーダ13は、デコード処理を施
した画像データをノイズ低減回路14に出力する。
が、フィルタリング処理を行うことで、MPEGデコー
ダ13からの画像データに対してノイズ低減処理を施
す。このノイズ低減回路14は、ノイズ低減処理を施す
ことで、MPEGデコーダ13でデコード処理を行った
ことで生じたモスキートノイズやブロック歪を低減す
る。また、このノイズ低減回路14は、後述する制御回
路19と接続されており、この制御回路19からの制御
信号に応じて制御動作する。そして、このノイズ低減回
路14では、ノイズ低減処理を施した画像データを画質
補正回路15に出力する。
からの画像データに画質補正処理を施す。この画質補正
回路15は、画質補正処理として例えば輪郭補正処理等
を行う。また、この画質補正回路15は、後述する制御
回路19と接続されており、この制御回路19からの制
御信号に応じて制御動作される。そして、この画質補正
回路15は、画質補正処理を施した画像データをNTS
Cエンコーダ16に出力する。
15からの画像データにエンコード処理を施す。このN
TSCエンコーダ16は、エンコード処理を施すこと
で、画像データをNTSC方式で圧縮符号化された画像
データとする。そして、このNTSCエンコーダ16
は、圧縮符号化された画像データをD/A変換回路17
に出力する。
ダ16からのNTSC方式の画像データにD/A変換処
理を施す。このD/A変換回路17は、D/A変換処理
を施すことで、アナログ方式のNTSC方式の画像信号
とする。そして、このD/A変換回路17は、D/A変
換処理を施した画像信号を出力端子18に出力する。
再生系には、上述のノイズ低減回路14及び画質補正回
路15に制御信号を供給する制御回路19と、例えばユ
ーザにより操作されて制御回路19に入力信号を供給す
る操作入力部20とが備えられている。
ータ等で構成され、上述のノイズ低減回路14または画
質補正回路15に制御信号を供給する。この制御回路1
9は、操作入力部20からの入力信号に応じて例えばブ
ロック歪を低減を行うための制御信号をノイズ低減回路
14に供給する。また、この制御回路19は、画質補正
を行うか否かを示す制御信号や、画質補正の程度を示す
制御信号を画質補正回路15に供給する。
ック歪低減のオン/オフの制御を行うときに選択的に例
えばスイッチ等が押圧されることで入力信号を生成出力
する。また、この操作入力部20は、画質補正の程度を
ユーザが制御することができるスイッチ等も設けられて
おり、ユーザが選択的にスイッチを押圧することで入力
信号を生成出力する。
PEGエンコーダ5の構成の一例について説明する。
ーダ5において、入力端子21から入力されるディジタ
ル動画像信号S30は、フレームメモリ群22に送ら
れ、記憶される。
像データS23を用いて、動きベクトル検出回路25
は、フレーム間の動きベクトルを検出する。具体的に言
うと、動きベクトル検出回路25では、フレームを小ブ
ロックに分割し、この小ブロック単位に動きベクトルM
Vを計算する。ここで、小ブロックは例えば16画素×
16ラインで構成されており、動きベクトル検出は例え
ば参照フレームと現在の小ブロックとのパターンマッチ
ングで行う。すなわち、式(1) に示すように、現在の小
ブロックの信号Aijと、任意の動きベクトルにより参照
される小ブロックの信号Fijの差の絶対値の和Ef を求
める。
る動きベクトルを動きベクトル信号MVとして出力す
る。
は、符号化難易度測定回路27へ入力され、ここで入力
画像の小ブロック毎に、その符号化難易度d(d_curren
t) が計算される。この第1の構成例での符号化難易度
dは、後述する動画像符号化回路24での発生符号量を
定められたビットレートに圧縮する時の難易度を表すパ
ラメータである。符号化難易度測定回路27の具体的な
構成例については、後述する。
述のように求めた現在の符号化対象の小ブロックの符号
化難易度dが入力される。
には、過去に入力された小ブロックで使われたプリフィ
ルタ係数が記憶されている。ここで、このプリフィルタ
制御情報記憶回路26には、現在の小ブロックのフレー
ム上での位置を表すブロックアドレスmb_addressと現在
の小ブロックの動きベクトル信号MVとが入力され、そ
れらに基づいて、このプリフィルタ制御情報記憶回路2
6では、現在の小ブロックがフレーム間予測で参照する
小ブロックで使用されたローパスプリフィルタの通過帯
域制限を指定するパラメータとしてのフィルタ係数k_r
efを読み出す。このフィルタ係数k_refは、プリフィル
タ制御回路28へ入力される。なお、上記フィルタ係数
k_refを読み出す場合には、ブロックアドレスmb_addre
ssだけを使用して、フレーム間予測で参照するフレーム
上の同じブロックアドレスmb_addressの位置にある小ブ
ロックで使用されたローパスプリフィルタの通過帯域制
限を指定するパラメータを上記フィルタ係数k_refとし
て読み出すようにしても良い。この場合は、プリフィル
タ制御情報記憶回路26へ動きベクトル信号MVを入力
する必要はない。
難易度dとフィルタ係数k_refが入力されると、これら
に基づいて、現在の小ブロックに使用するローパスプリ
フィルタの通過帯域制限を指定するパラメータとしてフ
ィルタ係数k_currentを生成出力し、これをプリフィル
タ23へ入力する。ここで、当該プリフィルタ23の特
性は、図46に示すような特性とする。従って、ここで
は、フィルタ係数k_currentが小さいほど、通過帯域の
狭いローパスフィルタ特性とする。
に示した特性のローパスフィルタに限らず、これ以外の
特性をもつローパスフィルタであってもよい。
ィルタ係数k_currentは、また、プリフィルタ制御情報
記憶回路26へ入力されて記憶され、これが未来に入力
される小ブロックに使うプリフィルタ係数を決定する時
の参照値(フィルタ係数k_ref)として利用されること
になる。
ついて以下に説明する。ここでは、図3に示すように入
力動画像の入力順にNフレーム毎(N≧1)のグループ
を作り、このグループを処理の1単位としている。以
下、図4のフローチャートを用いて、プリフィルタ係数
の制御について説明する。
ず、ステップST11では、現在の符号化対象のフレー
ムを含むNフレーム間でのフィルタの制御を開始する。
での符号化難易度の平均値d_aveを計算し、次のステッ
プST13では、そのNフレーム間でのプリフィルタ係
数の代表値k_gopを計算する。プリフィルタ係数の代表
値k_gopは、Nフレーム間での符号化難易度の平均値d
_aveに対して、代表的な(平均的な)プリフィルタ係数
への対応が、予め経験的に決められている。ここでは、
図46で示すように、符号化難易度が大きいほど、通過
帯域の狭いローパスフィルタ特性を対応付けておく(す
なわちk_gopが小さくなる)。上記符号化難易度の平均
値d_aveとプリフィルタ係数の代表値k_gopの対応関係
は、例えば図5に示すようになる。
内でのフィルタの制御を開始する。
化対象の小ブロックの符号化難易度d(以下d_current
とする)を読み込み、ステップST16では、図3に示
すように現在の小ブロックがフレーム間予測で参照する
小ブロックで使用されたローパスプリフィルタ係数k_r
efを読み込む。
難易度d_current とローパスプリフィルタ係数k_ref
から現在の小ブロックで使用するローパスプリフィルタ
係数k_currentを計算する。
の計算例を図6に示す。この図6に示す計算例では、先
ず、式(a) のように、上記d_currentとk_gopとから統
計的にk_currentを仮に計算するが、ここでは、上記d
_currentが上記d_aveより大きければ、上記k_current
は上記k_gopよりも小さくなり(すなわち通過帯域の狭
いローパスフィルタ特性となり)、逆に、上記d_curre
ntが上記d_aveより小さければ、上記k_currentは上記
k_gopよりも大きくなる(すなわち通過帯域の広いロー
パスフィルタ特性となる)。上記符号化難易度d_curre
ntと上記ローパスプリフィルタ係数k_currentとの対応
関係は、例えば図7に示すようになる。この図6に示す
計算例では、次に、条件(b)及び条件(c)のように、上記
ローパスプリフィルタ係数k_currentと現在の小ブロッ
クがフレーム間予測で参照する小ブロックで使用された
ローパスプリフィルタ係数k_refとを比較する。そし
て、上記k_currentとk_refの変化が、予め決めた閾値
より大きい時は、その変化を抑えるように制御する。具
体的には、図6に示す計算例では、条件(b) のように、
上記k_currentがk_refのA倍(A>1)より大きい時
は、当該k_currentをA倍のk_refへ変更する。また、
条件(c) のように、上記k_currentが上記k_refのB倍
(B<1)より小さい時は、上記k_currentをB倍のk
_refへ変更する。以上のようにして、現在の小ブロック
で使用するローパスプリフィルタ係数k_currentを計算
する。
ステップST17の次のステップST18では、現在の
小ブロックがフレーム内の最後のブロックであるか否か
の判定をする。このステップST18の判定において、
現在の小ブロックがフレーム内の最後のブロックでない
と判定した場合は、ステップST15へ戻る。一方、こ
のステップST18の判定において、現在の小ブロック
がフレーム内の最後のブロックであると判定した場合
は、ステップST19へ進む。
Nフレームからなるグループの最後のフレームであるか
否かの判定をする。このステップST19の判定におい
て、現在のフレームがNフレームからなるグループの最
後のフレームでないと判定した場合はステップST14
へ戻り、一方、現在のフレームがNフレームからなるグ
ループの最後のフレームであると判定した場合はステッ
プST20に進む。
らなるグループでのフィルタの制御を終了する。
28は、プリフィルタ係数k_currentを決定する。
ップST16,ST17において、上記フィルタ係数k
_refを使用する代わりに、現在の小ブロックがフレーム
間予測で参照する小ブロックの符号化難易度d_refを使
用しても良い。
計算方法の例について、図8に示すフローチャートを用
いて説明する。この図8のフローチャートにおいて前述
の図4のフローチャートとの違いは、ステップST26
とステップST27であり、それぞれ図4ではステップ
ST16とステップST17に対応する。なお、この図
8におけるステップST21からステップST25まで
は、図4におけるステップST11からステップST1
5の場合と同じであり、図8のステップST28以降も
図4のステップST18以降と同じであるので、それら
のステップの説明は省略する。
ップST26では、図3に示したように現在の小ブロッ
クがフレーム間予測で参照する小ブロックの符号化難易
度d_refを読み込む。
対象の小ブロックの符号化難易度d_currentと上記符号
化難易度d_refから現在の小ブロックで使用するローパ
スプリフィルタ係数k_currentを計算する。
k_currentの計算例を示す。この図9に示す計算例で
は、条件(d) と条件(e) のように、上記現在の符号化対
象の小ブロックの符号化難易度d_currentと現在の小ブ
ロックがフレーム間予測で参照する小ブロックで使用さ
れた符号化難易度d_refとを比較する。そして、d_cur
rentとd_refの変化が、予め決めた閾値より大きい時
は、その変化を抑えるように制御する。具体的には、条
件(d) のように、上記d_currentが上記d_refのC倍
(C>1)より大きい時は、当該d_currentをC倍のd
_refへ変更する。また、条件(e) のように、上記d_cur
rentが上記d_refのD倍(D<1)より小さい時は、当
該d_current をD倍のd_ref へ変更する。以上のよう
にして、現在の小ブロックで使用する符号化難易度d_c
urrentを検査する。次に、図9の式(f)のように、上記
d_currentとk_gopとから統計的にk_currentを仮に計
算する。
2のプリフィルタ制御情報記憶回路26には、過去に計
算された小ブロックの符号化難易度d_refが記憶されて
いて、現在の小ブロックのブロックアドレスmb_address
と動きベクトル信号MVからフレーム間予測で参照する
小ブロックの符号化難易度d_refを読み出す。
化難易度d_refを読み出す場合に、ブロックアドレスmb
_addressだけを使用して、フレーム間予測で参照するフ
レーム上の同じブロックアドレスmb_addressの位置にあ
る小ブロックで使用されたローパスプリフィルタの通過
帯域制限を指定するパラメータをフィルタ係数d_refと
して読み出しても良い。この場合は、プリフィルタ制御
情報記憶回路26へ動きベクトル信号MVを入力する必
要がない。
の小ブロックに対して、プリフィルタ係数k_currentで
指定されるローパスフィルタ処理を施して、処理画像信
号S22を出力する。
ル信号MVは、動画像符号化回路24へ入力され、ここ
で所定のフレーム間予測符号化処理が施され、符号化ビ
ットストリームS24として出力端子29から出力され
る。
構成例を示したものである。なお、この図10には、動
画像符号化回路24の具体例として、例えばいわゆるM
PEG方式のような動き補償フレーム間予測とDCTと
を組み合わせたハイブリッド符号化を行うものを示して
いる。
記動きベクトル検出回路25から入力される動きベクト
ル信号MVが供給される。一方、入力端子31からは、
当該動画像符号化回路(ハイブリッド符号化器)24へ
の入力動画像信号S65が供給される。
償フレーム間/内予測回路32は、画像メモリを備え、
上記入力端子30からの動きベクトル信号MVに基づい
て当該画像メモリから読み出した予測画像信号S68を
出力する。
力動画像信号S65を加算信号とし、上記動き補償フレ
ーム間/内予測回路32からの上記予測画像信号S68
を減算信号として加算処理を行うことにより、上記入力
動画像信号S65と予測画像信号S68の差分を計算
し、当該差分を予測残差信号S66として出力する。な
お、シーンチェンジがあった時は予測を行わず、入力動
画像信号S65がそのまま取り出される。
い時は原信号)は、DCT回路34に送られる。このD
CT回路34では上記予測残差信号S66に対して2次
元DCTを施す。このDCT回路34から出力されたD
CT係数は、量子化回路35にてスカラー量子化され
る。この量子化回路35の量子化出力信号は、可変長符
号化(VLC)回路36と逆量子化回路37とに送られ
る。VLC回路36では、上記量子化出力信号に対して
例えばハフマン符号化を施す。このVLC回路36の出
力信号はバッファメモリ38に送られる。当該バッファ
メモリ38では出力端子31から伝送路に出力するデー
タ列のビットレートを平滑化する。また、当該バッファ
メモリ38がオーバーフローしそうになった時には、そ
のことを量子化制御情報として量子化回路35にフィー
ドバックする。このとき、量子化回路35では量子化ス
テップを大きくし、これにより量子化回路35から出力
される情報量が小さくなされる。
35より供給される量子化ステップ情報q_step に対応
して、上記量子化出力信号に逆量子化処理を施す。当該
逆量子化回路37の出力は、逆DCT回路39に入力さ
れ、ここで逆DCT処理されて復号された予測残差信号
S67が、演算器40へ入力される。
供給されている予測画像信号S68と同一の信号が供給
されている。演算器40は、上記予測残差信号S67に
予測画像信号S68を加算する。これにより、局所復号
した画像信号が得られる。この画像信号は、受信側での
出力画像と同じ信号である。
定回路27の構成例を示す。この図11の構成は、基本
的には図10で説明した動画像符号化回路24と同じで
あり、異なる点は、量子化回路41で固定の量子化スケ
ールが使用される点と、VLC回路36からの発生符号
量についてバッファメモリの占有量の管理をしない点で
ある。すなわち、VLC回路36からの発生符号量は、
カウンタ42にて、小ブロック毎にビット量が数えあげ
られ、符号化難易度dが出力端子43から出力される。
では、入力動画像信号S30の現在の符号化対象となっ
ているフレームを、少なくとも1画素からなる小ブロッ
クに分割し、この小ブロック単位に符号化難易度(動画
像符号化装置の発生符号量を定められたビットレートに
圧縮する時の難易度を表すパラメータ)を計算し、当該
現在の符号化対象の小ブロックに対してローパスプリフ
ィルタ処理を施す場合に、現在の小ブロックの符号化難
易度と現在の小ブロックがフレーム間予測で参照する小
ブロックで使われたプリフィルタ制御情報とに基づいて
適応的にローパスプリフィルタの特性を決定し、この特
性によりローパスプリフィルタ処理した動画像信号に対
して符号化処理を施す。
符号化回路24では、フレーム間予測符号化を施す動画
像信号に対するプリフィルタ処理の際のフィルタ特性を
決定する場合に、現在の符号化対象の小ブロックの符号
化難易度とともに、フレーム間予測で参照される小ブロ
ックで使われたプリフィルタ制御情報を合わせて考慮し
ている。
性を考慮して、局所的に速い動きや複雑な絵柄であって
符号化難易度の大きい部分では、通過帯域の比較的狭い
ローパスフィルタを選択し、一方、遅い動きや平坦な絵
柄であって符号化難易度の小さい部分では、通過帯域の
比較的広いローパスフィルタを選択するようにしてい
る。次に第2段階として、現在の符号化対象の小ブロッ
クがフレーム間予測で参照する小ブロックで使われたプ
リフィルタ制御情報を考慮して、フレーム間予測符号化
効率が低下しないように、第1段階で選択されたフィル
タ特性を修正して、最終的に現在の符号化対象の小ブロ
ックに対するプリフィルタ特性を決定するようにしてい
る。これにより、ローパスプリフィルタ処理された動画
像は、符号化画質の主観的印象が良く、かつ符号化効率
の良いものとなる。
例の動画像符号化装置を図12に示す。
上述した第1の構成例の動画像符号化回路24との大き
な違いは、プリフィルタ制御回路28に入力する符号化
難易度d(d_current)として、動きベクトル検出回路
44から出力される予測残差、すなわち前述の式(1) で
計算される、現在のブロックの信号Aijと任意の動きベ
クトルにより参照されるブロックの信号Fijの差の絶対
値の和Ef を用いている点である。なお、以下に説明す
る第2の構成例については、MPEGエンコーダ5と同
一部分については同一符号を符することでその説明を省
略する。
力されるディジタル動画像信号S100は、フレームメ
モリ群22に送られ、記憶される。このフレームメモリ
群22に記憶された画像データS103を用いて、動き
ベクトル検出回路44は、フレーム間の動きベクトルを
前記第1の構成例で説明したように検出する。そして、
動きベクトル検出回路44は、入力画像の小ブロック毎
に動きベクトル信号MVと上述の式(1)から計算される
予測残差Efを計算する。当該予測残差Efは、その小
ブロックの符号化難易度dとして、動きベクトル検出回
路44から出力される。
号化対象の小ブロックの符号化難易度dが入力される。
また、プリフィルタ制御情報記憶回路26には、過去に
入力された小ブロックで使われたプリフィルタ係数が記
憶されている。ここで、このプリフィルタ制御情報記憶
回路26には、現在の小ブロックのフレーム上での位置
を表すブロックアドレスmb_addressと現在の小ブロック
の動きベクトル信号MVが入力され、このプリフィルタ
制御情報記憶回路26では、これらに基づいて現在の小
ブロックがフレーム間予測で参照する小ブロックで使用
されたローパスプリフィルタの通過帯域制限を指定する
パラメータとしてフィルタ係数k_refを読み出し、これ
をプリフィルタ制御回路28へ入力する。なお、フィル
タ係数k_refを読み出す場合は、ブロックアドレスmb_a
ddressだけを使用して、フレーム間予測で参照するフレ
ーム上の同じブロックアドレスmb_addressの位置にある
小ブロックで使用されたローパスプリフィルタの通過帯
域制限を指定するパラメータをフィルタ係数k_refとし
て読み出しても良い。この場合は、プリフィルタ制御情
報記憶回路26へ動きベクトル信号MVを入力する必要
はない。
難易度dとフィルタ係数k_refが入力されると、これら
の基づいて現在の小ブロックに使用するローパスプリフ
ィルタの通過帯域制限を指定するパラメータとしてフィ
ルタ係数k_currentを生成出力し、これをプリフィルタ
23へ入力する。ここで、当該プリフィルタ23の特性
は、例えば前述した図45のような特性とする。したが
って、ここでは、上記フィルタ係数k_currentが小さい
ほど、通過帯域の狭いローパスフィルタ特性となる。
に示した特性のローパスフィルタに限らず、これ以外の
特性をもつローパスフィルタであってもよい。
ィルタ係数k_currentは、また、プリフィルタ制御情報
記憶回路26へ入力されて記憶され、これが未来に入力
される小ブロックに使うプリフィルタ係数を決定する時
の参照値k_refとして利用されることになる。
の例は、第1の構成例において図6を用いて説明した方
法と同様である。
対して、プリフィルタ係数k_currentで指定されるロー
パスフィルタ処理を施して、処理画像信号S102を出
力する。
トル信号MVは、動画像符号化回路24へ入力され、所
定のフレーム間予測符号化処理(例えばいわゆるMPE
G方式の符号化処理)が施され、この符号化ビットスト
リームS104が出力端子29から出力される。なお、
動画像符号化回路24の構成は、第1の構成例において
図10を用いて説明したものと同様である。
プリフィルタ制御回路28に入力する符号化難易度d
(d_current)として、動きベクトル検出回路44から
出力される予測残差、すなわち、現在のブロックの信号
Aijと任意の動きベクトルにより参照されるブロックの
信号Fijの差の絶対値の和Ef を用いることにより、フ
レーム間予測符号化効率が低下しないように、選択され
たフィルタ特性を修正して、最終的に現在の符号化対象
の小ブロックに対するプリフィルタ特性を決定する。こ
れにより、ローパスプリフィルタ処理された動画像は、
符号化画質の主観的印象が良く、かつ符号化効率の良い
ものとすることできる。
示されている動画像符号化におけるプリフィルタ制御方
法及び装置も、入力画像信号に対してプリフィルタ処理
を行うようにしているが、この公報記載の技術は、1画
面内でプリフィルタ係数を変えることは行っておらず画
面内では一定で、また複数フレーム単位でフィルタ係数
を一定にしている。
や第2の構成例の動画像符号化回路では、フレーム間予
測符号化を施す動画像信号に対するプリフィルタ処理の
際のフィルタ特性を、画面を分割する小ブロック単位の
符号化難易度dに応じて適応的に変更可能としているの
で、視覚特性を考慮して、画面内の局所的に速い動きや
複雑な絵柄であり符号化難易度の大きい部分では通過帯
域の比較的狭いローパスフィルタを選択でき、一方、遅
い動きや平坦な絵柄であり符号化難易度の小さい部分で
は通過帯域の比較的広いローパスフィルタを選択でき
る。さらにこの小ブロック単位のプリフィルタ係数を決
定する場合には、上記小ブロックの符号化難易度dだけ
でなく、現在の符号化対象の小ブロックがフレーム間予
測で参照する小ブロックで使われたプリフィルタ制御情
報をも合わせて考慮しており、フレーム間予測符号化効
率が低下しないように、上述のように選択されたフィル
タ特性を修正して、最終的に現在の符号化対象の小ブロ
ックに対するプリフィルタ特性を決定するようにしてい
るので、ローパスプリフィルタ処理された動画像は、従
来よりも、符号化画質の主観的印象が良く、かつ符号化
効率の良いものとすることできる。
いるフレーム間予測符号化では、図13に示すように予
測を行わないで内部符号化するIピクチャと、順方向予
測のみを行うBピクチャと、双方向予測を行うPピクチ
ャがあり、一般に、これらの画像間では符号化難易度の
ダイナミックレンジや小ブロック毎の符号化難易度の分
布が異なっている。MPEG方式では、このように符号
化難易度の特性の異なる画像が連続しているため、全入
力画像の符号化難易度に従ってローパスフィルタ処理の
フィルタ特性を決定すると、時間的に近接する画像間で
フィルタ特性が極端に異なることに起因する主観的画質
の劣化が生じる可能性がある。
た動画像符号化回路においては、入力画像の小ブロック
の符号化難易度と当該小ブロックが画像間予測で参照す
る小ブロックで使われたフィルタ制御情報とに基づい
て、ローパスフィルタ処理のフィルタ特性を決定してい
るが、内部符号化を行うIピクチャや、フィルタ特性の
参照画像との間にBピクチャが存在するPピクチャ及び
時間的に連続する画像間のフィルタ特性に関して考慮し
ていない。
て、予測を行わずに内部符号化を行う小ブロックが存在
することがあるため、同一画像内においても、空間的に
近接する小ブロックと比較して、極端に符号化難易度の
高い小ブロックが存在することがある。
符号化難易度に従って適応的にローパスフィルタ処理の
フィルタ特性を決定すると、時間的/空間的に局所的に
ローパスの通過帯域の異なる小ブロックが存在すること
になり、主観的画質の劣化が生じる可能性がある。
例の動画像符号化回路では、フレーム間予測符号化を施
す動画像信号に対するプリフィルタ処理の際のフィルタ
特性を決定する場合に、入力動画像信号S30の現在の
符号化対象となっているフレームを、少なくとも1画素
からなる小ブロックに分割し、現在の符号化対象の画像
がフィルタ特性画像であるか非フィルタ特性画像である
かの判定を行い、現在の小ブロックのプリフィルタ情報
とともに、フレーム間予測で参照される小ブロックで使
われたプリフィルタ制御情報及び時間的に近接する画像
の空間的に同じ位置の小ブロックで使われたプリフィル
タ制御情報を合わせて考慮している。なお、以下の第3
の構成例の説明においては、上述の第1の構成例と同一
の部分については同一符号を付することでその説明を省
略する。
G方式における、I、P、Bピクチャなどの符号化タイ
プによって符号化難易度が異なることを考慮して、特定
の符号化タイプの入力画像をフィルタ特性画像として判
定し、それ以外の符号化タイプの画像を非フィルタ特性
画像として判定する。ここで、例えばフィルタ特性画像
にはPピクチャを用い、非フィルタ特性画像にはI、B
ピクチャを用いる。
た場合は所定の方法で当該画像の小ブロック毎の符号化
難易度を計算し、所定の方法で当該画像内で当該符号化
難易度を平滑化する。
的に速い動きや複雑な絵柄であるために符号化難易度の
大きい小ブロックでは、通過帯域の比較的狭いローパス
フィルタを選択し、一方、遅い動きや平坦な絵柄である
ために符号化難易度の小さい小ブロックでは、通過帯域
の比較的広いローパスフィルタを選択するようにしてい
る。更に、現在の符号化対象の小ブロックがフレーム間
予測で参照する小ブロックで使われたプリフィルタ制御
情報を考慮し、主観的に画質が劣化せず、かつ、フレー
ム間予測符号化効率が低下しないように、選択されたフ
ィルタ特性を修正して、現在の符号化対象の小ブロック
に対するプリフィルタ特性を決定する。非フィルタ特性
画像の場合は、第2段階として現在の符号化対象の小ブ
ロックがフレーム間予測で参照する過去参照画像の小ブ
ロックで使われたプリフィルタ制御情報と未来参照画像
の小ブロックで使われたプリフィルタ制御情報から所定
の方法で内挿補間を行い当該画像の小ブロックのプリフ
ィルタ特性を算出する。更に、時間的に近接する画像の
空間的に同じ位置の小ブロックで使われたプリフィルタ
の制御情報を考慮して、主観的に画質が劣化せず、か
つ、フレーム間予測符号化効率が低下しないように、算
出したフィルタ特性を修正して、現在の符号化対象の小
ブロックに対するプリフィルタ特性を決定する。
ない内部符号化画像、例えばMPEG方式におけるIピ
クチャである場合には、時間的に前後するPピクチャの
空間的に同じ位置の小ブロックのプリフィルタ制御情報
に基づいて内挿補間を行い、現在の符号化対象の小ブロ
ックのプリフィルタ特性を決定する。
された動画像は、符号化画質の主観的印象が良く、かつ
符号化効率の良いものとなる。
動画像符号化回路において、入力端子21から入力され
るディジタル動画像信号S30は、フレームメモリ群2
2に送られ、記憶される。
う際に、双方向予測を行うことから、図15(a),
(b)に示すように画像の入力順序と符号化順序が異な
るため、フレームメモリ群22では符号化順序に従って
入力画像の順序入替えを行う。このフレームメモリ群2
2に記憶された画像データS23を用いて、動きベクト
ル検出回路25は、フレーム間の動きベクトルを検出す
る。具体的に言うと、動きベクトル検出回路25では、
フレームを小ブロックに分割し、この小ブロック単位に
動きベクトルMVを計算する。ここで、小ブロックは例
えば16画素×16ラインで構成されており、動きベク
トル検出は例えば参照フレームと現在の小ブロックとの
パターンマッチングで行う。すなわち、上述の式(1) に
より、現在の小ブロックの信号Aijと、任意の動きベク
トルにより参照される小ブロックの信号Fijの差の絶対
値の和Ef を求める。
値が最小となる動きベクトルを動きベクトル信号MVと
して出力する。
れた画像データS23のピクチャータイプによって、出
力する回路切替え信号pict_type の内容を変え、以降の
処理を変える。
て用いる画像、例えばPピクチャ、であったならば、画
像データS23を符号化難易度測定回路46に入力し、
回路切替え信号pict_type(1)を動きベクトル検出回路2
5及びプリフィルタ制御情報記憶回路26に入力する。
動きベクトル検出回路25では、動きベクトル信号MV
を動画像符号化回路24、プリフィルタ制御情報記憶回
路26及び符号化難易度測定回路46に入力する。
を入力された符号化難易度測定回路46では、入力画像
の小ブロック毎に、その符号化難易度d(d_raw) を計
算する。
_raw) 、後述する動画像符号化回路24での発生符号
量を定められたビットレートに圧縮する時の難易度を表
すパラメータである。符号化難易度測定回路46の具体
的な構成例については、後述する。
る小ブロック間で、フィルタ係数が極端に異なることを
避けるために、入力したd(d_raw) をフレーム内で平
滑化し、平滑化符号化難易度情報d(d_current) を計
算する。符号化難易度平滑化回路47では、横方向にi
番目、縱方向にj番目の現在の符号化対象の小ブロック
の符号化難易度をd(i,j)としたとき、 例えば次の式
(2) d(d_current)={d(i-1,j-1)+d(i,j-1)+d(i-1,j+1) +d(i-1,j) +d(i,j) +d(i+1,j) +d(i-1,j+1)+d(i,j+1)+d(i+1,j+1)}/9 (2) により平滑化を行う。
述のように求めた現在の符号化対象の小ブロックの符号
化難易度d(d_current) が入力される。
には、過去に入力された小ブロックで使われたプリフィ
ルタ係数が記憶されている。
路26には、現在の小ブロックのフレーム上での位置を
表すブロックアドレスmb_address と現在の小ブロック
の動きベクトル信号MV及び回路切替え信号pict_type
(1)が入力され、それらに基づいて、このプリフィルタ
制御情報記憶回路26では、現在の小ブロックがフレー
ム間予測で参照する小ブロックで使用されたローパスプ
リフィルタの通過帯域制限を指定するパラメータとして
のフィルタ係数k_ref(1)を読み出し、プリフィルタ制
御回路28へ入力する。
ロックのフィルタ係数k_ref(1)を読み出す場合には、
ブロックアドレスmb_address だけを使用して、フレー
ム間予測で参照するフレーム上の同じブロックアドレス
mb_addressの 位置にある小ブロックで使用されたロー
パスプリフィルタの通過帯域制限を指定するパラメータ
を上記フィルタ係数k_ref(1)として読み出すようにし
ても良い。この場合は、プリフィルタ制御情報記憶回路
26へ動きベクトル信号MVを入力する必要はない。
難易度d(d_current) とフィルタ係数k_ref(1)が入
力されると、これらに基づいて、現在の小ブロックに使
用するローパスプリフィルタの通過帯域制限を指定する
パラメータとしてフィルタ係数k_current を生成出力
し、これをプリフィルタ23へ入力する。
ィルタ係数k_current は、また、プリフィルタ制御情
報記憶回路26へ入力されて記憶され、これが未来に入
力される小ブロックに使うプリフィルタ係数を決定する
時の参照値(フィルタ係数k_ref) として利用される
ことになる。
画像、例えばMPEG方式におけるI、Bピクチャ、で
あったならば、画像処理タイプ判定回路45は現在の小
ブロックのフレーム上での位置を表すブロックアドレス
mb_address をプリフィルタ制御情報記憶回路26に入
力し、回路切替え信号pict_type(2)を動きベクトル検出
回路25及びプリフィルタ制御情報記憶回路26に入力
する。
動きベクトル検出回路25では、動きベクトル信号MV
を動画像符号化回路24及びプリフィルタ制御情報記憶
回路26に入力する。
address と現在の小ブロックの動きベクトルMVを入力
されたプリフィルタ制御情報記憶回路26は現在の小ブ
ロックがフレーム間予測で参照する未来参照画像と過去
参照画像の小ブロックで使用されたローパスプリフィル
タの通過帯域制限を指定するパラメータとしてのフィル
タ係数k_ref(2)、k_ref(3)と時間的に近接する画像
の空間的に同じ位置の小ブロックで使用されたローパス
プリフィルタの通過帯域制限を指定するパラメータとし
てのフィルタ係数k_ref(4)を読み出し、内挿補間回路
48に入力する。
ref(3)を読み出す場合には、ブロックアドレスmb_addr
ess だけを使用して、フレーム間予測で参照するフレー
ム上の同じブロックアドレスmb_address の位置にある
小ブロックで使用されたローパスプリフィルタの通過帯
域制限を指定するパラメータを上記フィルタ係数k_re
f(2)、k_ref(3)として読み出すようにしても良い。こ
の場合は、プリフィルタ制御情報記憶回路26へ動きベ
クトル信号MVを入力する必要はない。
ィルタ係数k_ref(2)、k_ref(3)、k_ref(4)を入力
された内挿補間回路48は、過去参照画像のフィルタ係
数k_ref(2)と未来参照画像のフィルタ係数k_ref(3)
を基に内挿補間を行い、更に時間的に近接する画像の空
間的に同じ位置の小ブロックのフィルタ係数k_ref(4)
を用いて現在の小ブロックのフィルタ係数k_current
を生成出力し、これをプリフィルタ23へ入力する。
する画像の空間的に同じ位置の小ブロックで使用された
フィルタ係数k_ref(4)を用いず、現在の小ブロックが
フレーム間予測で参照する小ブロックで使用されたフィ
ルタ係数k_ref(2)、k_ref(3)のみを読み出して現在
の小ブロックのフィルタ係数k_current を生成出力す
ようにしても良い。
G方式のIピクチャーのように、フレーム間予測を行わ
ない画像であった場合には、時間的に前後するフィルタ
特性画像の空間的に同じ位置の小ブロックのフィルタ係
数を過去参照画像のフィルタ係数k_ref(2)と未来参照
画像のフィルタ係数k_ref(3)として読み出し、内挿補
間を行う。この場合は時間的に近接する画像の空間的に
同じ位置の小ブロックのフィルタ係数k_ref(4)は用い
ない。
数k_current は、また、プリフィルタ制御情報記憶回
路26へ入力されて記憶され、これが未来に入力される
小ブロックに使うプリフィルタ係数を決定する時の参照
値(フィルタ係数k_ref )として利用されることにな
る。
23のフィルタ係数を決定し、符号化画質の主観的印象
が良く、かつ符号化効率の良い符号化方式を実現する。
例えば上述の図45のような特性とする。したがって、
ここでは、フィルタ係数k_current が小さいほど、通
過帯域の狭いローパスフィルタ特性となる。また、プリ
フィルタ23は、上述の図45に示した特性のローパス
フィルタやこれ以外の特性をもつローパスフィルタを用
いることができる。
について以下に説明する。ここでは、図16に示すよう
に入力動画像の入力順に、フィルタ特性画像、非フィル
タ特性画像の双方を含むNフレーム毎(N≧1)のグル
ープを作り、このグループを処理の1単位としている。
図17のフローチャートを用いて、プリフィルタ係数の
制御について説明する。
ステップST31では、現在の符号化対象のフレームを
含むNフレーム間でのフィルタの制御を開始する。
でのフィルタ特性画像の符号化難易度の平均値d_ave
を計算し、次のステップST33では、そのNフレーム
間でのプリフィルタ係数の代表値k_gop を計算する。
プリフィルタ係数の代表値k_gop は、Nフレーム間で
の符号化難易度の平均値d_ave に対して、代表的な
(平均的な)プリフィルタ係数への対応が、予め経験的
に決められている。ここでは、上述の図46に示したよ
うに、符号化難易度が大きいほど、通過帯域の狭いロー
パスフィルタ特性を対応付けておく(すなわちk_gop
が小さくなる)。上記符号化難易度の平均値d_ave と
プリフィルタ係数の代表値k_gop の対応関係は、例え
ば上述の図5に示すようになる。
対象フレームがフィルタ特性画像であるか、非フィルタ
特性画像であるかの判定を行う。フィルタ特性画像であ
るならば、ステップST35へ進み、非フィルタ特性画
像であるならば、ステップST42に移る。
の1フレーム内でのフィルタの制御を開始する。先ず、
ステップST36では、現在の符号化対象の小ブロック
の平滑化した符号化難易度d(以下d_current とす
る)を読み込み、ステップST37では、図16(a)
に示すように現在の小ブロックがフレーム間予測で参照
する小ブロックで使用されたローパスプリフィルタ係数
k_ref(1)を読み込む。
難易度d_current とローパスプリフィルタ係数k_re
f(1)から現在の小ブロックで使用するローパスプリフィ
ルタ係数k_current を例えば上述の図9に示した計算
例と同様に計算する。
ックがフレーム内の最後のブロックであるか否かの判定
をする。このステップST39の判定において、現在の
小ブロックがフレーム内の最後のブロックでないと判定
した場合は、ステップST36へ戻る。一方、このステ
ップST39の判定において、現在の小ブロックがフレ
ーム内の最後のブロックであると判定した場合は、ステ
ップST40へ進む。
Nフレームからなるグループの最後のフィルタ特性画像
であるか否かの判定をする。このステップST40の判
定において、現在のフレームがNフレームからなるグル
ープの最後のフィルタ特性画像でないと判定した場合は
ステップST34へ戻り、一方、現在のフレームがNフ
レームからなるグループの最後のフィルタ特性画像であ
ると判定した場合はステップST41に進む。
像の1フレーム内でのフィルタの制御を開始する。先
ず、ステップST43では、図16(b)に示すように
現在の小ブロックがフレーム間予測で参照する、過去参
照画像と未来参照画像の小ブロックで各々使用されたロ
ーパスプリフィルタ係数k_ref(2)とk_ref(3)を読み
込み、ステップST44では、図16(b)に示すよう
に時間的に近接するフレームの空間的に同じ位置の小ブ
ロックで使用されたローパスプリフィルタ係数k_ref
(4)を読み込む次に、ステップST54では、上記フィ
ルタ係数k_ref(2)とk_ref(3)とk_ref(4)から現在
の小ブロックで使用するローパスプリフィルタ係数k_
currentを計算する。
_current の計算例を示す。現在の符号化対象画像と過
去参照画像、未来参照画像が図16(b)に示すような
位置関係である場合、図18に示す計算例では、先ず、
式(g) のように、上記k_ref(2)とk_ref(3)からk_
current を各々の画像の距離に従った内挿補間によって
計算する。次に、条件(h)及び条件(i)のように、現在の
符号化対象画像の小ブロックと時間的に近接する画像の
空間的に同じ位置の小ブロックで使用されたローパスプ
リフィルタ係数k_ref(4)とを比較する。そして、上記
k_current とk_ref(4)の変化が、予め決めた閾値よ
り大きい時は、その変化を抑えるように制御する。
件(h) のように、上記k_currentがk_ref(4)のE倍
(E>1)より大きい時は、当該k_current をE倍の
k_ref(4)へ変更する。また、条件(i) のように、上記
k_current が上記k_ref(4)のF倍(D<1)より小
さい時は、上記k_current をF倍のk_ref(4)へ変更
する。以上のようにして、現在の小ブロックで使用する
ローパスプリフィルタ係数k_current を決定する。
ある場合は、過去参照画像の同じ位置の小ブロックで使
用したローパスフィルタ係数をk_ref(2)とし、未来参
照画像の同じ位置の小ブロックで使用したローパスフィ
ルタ係数をk_ref(3)として同様に計算する。
たステップST45の次のステップST46では、現在
の小ブロックがフレーム内の最後のブロックであるか否
かの判定をする。このステップST46の判定におい
て、現在の小ブロックがフレーム内の最後のブロックで
ないと判定した場合は、ステップST43へ戻る。一
方、このステップST46の判定において、現在の小ブ
ロックがフレーム内の最後のブロックであると判定した
場合は、ステップST47へ進む。
Nフレームからなるグループの最後の非フィルタ特性画
像であるか否かの判定をする。このステップST47の
判定において、現在のフレームがNフレームからなるグ
ループの最後の非フィルタ特性画像でないと判定した場
合はステップST47へ戻り、一方、現在のフレームが
Nフレームからなるグループの最後の非フィルタ特性画
像であると判定した場合はステップST41に進む。
らなるグループでのフィルタの制御を終了する。
28及び、内挿補間回路48では、プリフィルタ係数k
_current を決定する。
8,ST43,ST44,ST45において、上記フィ
ルタ係数k_ref(1),k_ref(2),k_ref(3),k_re
f(4)を使用する代わりに、現在の小ブロックがフレーム
間予測で参照する小ブロックの符号化難易度d_ref
(1),d_ref(2),d_ref(3),d_ref(4)を使用して
も良い。
路45において入力画像を非フィルタ特性画像と判定し
た場合でも画像データS123を符号化難易度測定回路
46に入力し、動きベクトル検出回路25から動きベク
トル信号MVを符号化難易度測定回路46に入力して符
号化難易度d_ref(4)を計算する必要がある。この場合
のプリフィルタ係数k_current の計算方法の例につい
て、図19を用いて説明する。この図19において前述
の図17のフローチャートとの違いは、ステップST5
7,ST58,ST63,ST64,ST65であり、
それぞれ図17ではステップST36,ST38,ST
43,ST44,ST45に対応する。なお、この図1
9のステップST51〜ST56,ステップST59〜
ST62,ステップST65以降は各々、図17のステ
ップST31〜ST36,ステップST39〜ステップ
ST42,ステップST46以降と同じであるので、そ
れらのステップの説明は省略する。
は、図16(a)に示したように現在の小ブロックがフ
レーム間予測で参照する小ブロックの符号化難易度d_
ref(1)を読み込む。次にステップST58では、現在の
符号化対象の小ブロックの符号化難易度d_current と
上記符号化難易度d_ref(1)から現在の小ブロックで使
用するローパスプリフィルタ係数k_current を例えば
上述の図9に示した計算例と同様に計算する。
(b)に示すように現在の小ブロックがフレーム間予測
で参照する、過去参照画像と未来参照画像の小ブロック
で各々使用された符号化難易度d_ref(2)とd_ref(3)
を読み込み、ステップST64では、図16(b)に示
すように時間的に近接するフレームの空間的に同じ位置
の小ブロックで使用されたローパスプリフィルタ係数k
_ref(4)を読み込む。
k_current の計算例を示す。現在の符号化対象画像と
過去参照画像、未来参照画像が図16(b)に示すよう
な位置関係である場合、図20に示す計算例において
は、先ず、式(j) のように、上記d_ref(2)とd_ref
(3)からd_currentを内挿補間によって計算する。次
に、条件(k)及び条件(l)のように、現在の符号化対象画
像の小ブロックと時間的に近接する画像の空間的に同じ
位置の小ブロックの符号化難易度係数d_ref(4)とを比
較する。そして、上記d_current とd_ref(4)の変化
が、予め決めた閾値より大きい時は、その変化を抑える
ように制御する。
件(k) のように、上記d_currentがd_ref(4)のC倍
(C>1)より大きい時は、当該d_current をC倍の
d_ref(4)へ変更する。また、条件(l) のように、上記
d_current が上記d_ref(4)のD倍(D<1)より小
さい時は、上記d_current をD倍のd_ref(4)へ変更
する。以上のようにして、現在の小ブロックの符号化難
易度d_current を決定する。そして、条件(j)のよう
に上記符号化難易度d_current とk_gopから現在の
小ブロックで使用するローパスプリフィルタ係数k_cu
rrent を計算する。
ある場合は、過去参照画像の同じ位置の小ブロックの符
号化難易度をd_ref(2)とし、未来参照画像の同じ位置
の小ブロックの符号化難易度をd_ref(3)とする。
プリフィルタ制御情報記憶回路26には、過去に計算さ
れた小ブロックの符号化難易度d_ref が記憶されてい
て、現在の小ブロックのブロックアドレスmb_address
と動きベクトル信号MVからフレーム間予測で参照する
小ブロックの符号化難易度d_ref を読み出す。
化難易度d_ref を読み出す場合に、ブロックアドレス
mb_address だけを使用して、フレーム間予測で参照す
るフレーム上の同じブロックアドレスmb_address の位
置にある小ブロックで使用されたローパスプリフィルタ
の通過帯域制限を指定するパラメータをフィルタ係数d
_refとして読み出しても良い。この場合は、プリフィ
ルタ制御情報記憶回路26へ動きベクトル信号MVを入
力する必要がない。
在の小ブロックに対して、プリフィルタ係数k_curren
t で指定されるローパスフィルタ処理を施して、処理画
像信号S122を出力する。
ル信号MVは、動画像符号化回路24へ入力され、ここ
で所定のフレーム間予測符号化処理が施され、符号化ビ
ットストリームS24として出力端子29から出力され
る。
す。この図21に示す構成例において、入力端子50に
は当該プリフィルタ23への入力画像信号S300が供
給される。一方、入力端子51にはプリフィルタ制御回
路28又は内挿補間によるプリフィルタ制御回路28か
ら入力されるローパスプリフィルタ係数k_current が
入力される。
rrent は、0≦k_current ≦1の値を取るように定め
る。
タ52に入力され、ここでローパスフィルタ処理され
る。ローパスフィルタ52による処理画像信号S301
は、演算器53に入力される。演算器53は、処理画像
信号S301と入力画像信号S300との差分信号S3
02を出力する。ここに、 S302=S301−S300 である。
入力される。演算器54は、差分信号S302にローパ
スプリフィルタ係数k_current を乗算した信号S30
3を出力する。ここに、 S303=S302×k_current である。
演算器55に入力される。演算器55は、信号S303
と入力画像信号S300との加算信号であるプリフィル
タ処理画像信号S304を出力する。ここに、 S304=S303−S302 =(1−k_current)×S300+(1−k_curren
t)×S301 である。
上述の図11に示した構成のものが用いられる。また、
符号化難易度測定回路46には、例えば上述の図11に
示した構成のものが用いられる。
化回路を図22に示す。
上述した第3の構成例の動画像符号化回路との大きな違
いは、プリフィルタ制御回路67に入力する符号化難易
度d(d_current )として、動きベクトル検出回路6
6から出力される予測残差、すなわち前述の式(1) で計
算される、現在のブロックの信号Aijと任意の動きベク
トルにより参照されるブロックの信号Fijの差の絶対値
の和Ef を用いている点である。
力されるディジタル動画像信号S100は、フレームメ
モリ群61に送られ、記憶される。このフレームメモリ
群61に記憶された画像データS103を用いて、動き
ベクトル検出回路66は、フレーム間の動きベクトルを
前記第3の構成例で説明したにように検出する。
の小ブロック毎に動きベクトル信号MVと上述の式(1)
から計算される予測残差Ef を計算し、動きベクトル信
号MVを動画像符号化回路63とプリフィルタ制御情報
記憶回路65に入力する。
れた画像データの処理番号pict_numberより、現在処理
中の画像がフィルタ特性画像であるか非フィルタ特性画
像であるかの判定を行う。現在処理中の画像がフィルタ
特性画像、例えばPピクチャ、であったならば、回路切
替え信号pict_type(1)をフィルタ制御情報記憶回路65
と動きベクトル検出回路66に入力する。
た動きベクトル検出回路66では、予測残差Ef を、そ
の小ブロックの符号化難易度d(d_raw)として出力す
る。
る小ブロック間で、フィルタ係数が極端に異なることを
避けるために、入力したd(d_raw )をフレーム内で平
滑化し、平滑化符号化難易度情報d(d_current )を計
算する。符号化難易度平滑化回路69での平滑化処理は
第3の構成例と同様に行う。プリフィルタ制御回路67
へは、現在の符号化対象の小ブロックの符号化難易度d
(d_current) が入力される。また、プリフィルタ制御
情報記憶回路65には、過去に入力された小ブロックで
使われたプリフィルタ係数が記憶されている。ここで、
このプリフィルタ制御情報記憶回路65には、現在の小
ブロックのフレーム上での位置を表すブロックアドレス
mb_address と現在の小ブロックの動きベクトル信号M
V及び、回路切替え信号pict_type(1)が入力される。
は、これらに基づいて現在の小ブロックがフレーム間予
測で参照する小ブロックで使用されたローパスプリフィ
ルタの通過帯域制限を指定するパラメータとしてフィル
タ係数k_ref(1)を読み出し、これをプリフィルタ制御
回路67へ入力する。
場合は、ブロックアドレスmb_address だけを使用し
て、フレーム間予測で参照するフレーム上の同じブロッ
クアドレスmb_address の位置にある小ブロックで使用
されたローパスプリフィルタの通過帯域制限を指定する
パラメータをフィルタ係数k_ref として読み出しても
良い。この場合は、プリフィルタ制御情報記憶回路65
へ動きベクトル信号MVを入力する必要はない。
難易度dとフィルタ係数k_ref(1)が入力されると、こ
れらに基づいて現在の小ブロックに使用するローパスプ
リフィルタの通過帯域制限を指定するパラメータとして
フィルタ係数k_current を生成出力し、これをプリフ
ィルタ62へ入力する。ここで、当該プリフィルタ62
の特性は、例えば前述した図45のような特性とする。
したがって、ここでは、上記フィルタ係数k_current
が小さいほど、通過帯域の狭いローパスフィルタ特性と
なる。
に示した特性のローパスフィルタに限らず、これ以外の
特性をもつローパスフィルタであってもよい。
ィルタ係数k_current は、また、プリフィルタ制御情
報記憶回路65へ入力されて記憶され、これが未来に入
力される小ブロックに使うプリフィルタ係数を決定する
時の参照値k_ref として利用されることになる。
て、入力されたpict_number より、現在処理中の画像
が非フィルタ特性画像、例えばI、Bピクチャ、である
と判定した場合、回路切替え信号 pict_type(2) をフィ
ルタ制御情報記憶回路65と動きベクトル検出回路66
に入力し、現在の小ブロックのフレーム上での位置を表
すブロックアドレスmb_address をプリフィルタ制御情
報記憶回路65と内挿補間回路70に入力する。
た動きベクトル検出回路66では、予測残差Ef の出力
を行わない。
address と現在の小ブロックの動きベクトルMV及び、
回路切替え信号 pict_type(2) を入力されたプリフィル
タ制御情報記憶回路65は現在の小ブロックがフレーム
間予測で参照する未来参照画像と過去参照画像の小ブロ
ックで使用されたローパスプリフィルタの通過帯域制限
を指定するパラメータとしてのフィルタ係数k_ref
(2)、k_ref(3)と時間的に近接する画像の空間的に同
じ位置の小ブロックで使用されたローパスプリフィルタ
の通過帯域制限を指定するパラメータとしてのフィルタ
係数k_ref(4)を読み出し、内挿補間回路70に入力す
る。
ref(3)を読み出す場合には、ブロックアドレスmb_addr
ess だけを使用して、フレーム間予測で参照するフレー
ム上の同じブロックアドレスmb_address の位置にある
小ブロックで使用されたローパスプリフィルタの通過帯
域制限を指定するパラメータを上記フィルタ係数k_re
f(2),k_ref(3)として読み出すようにしても良い。こ
の場合は、プリフィルタ制御情報記憶回路65へ動きベ
クトル信号MVを入力する必要はない。
及び、パラメータとしてのフィルタ係数k_ref(2),k
_ref(3),k_ref(4)を入力された内挿補間回路70
は、過去参照画像のフィルタ係数k_ref(2)と未来参照
画像のフィルタ係数k_ref(3)を基に内挿補間を行い、
更に時間的に近接する画像の空間的に同じ位置の小ブロ
ックのフィルタ係数k_ref(4)を用いて現在の小ブロッ
クのフィルタ係数k_current を生成出力し、これをプ
リフィルタ62へ入力する。
する画像の空間的に同じ位置の小ブロックで使用された
フィルタ係数k_ref(4)を用いず、現在の小ブロックが
フレーム間予測で参照する小ブロックで使用されたフィ
ルタ係数k_ref(2)、k_ref(3)のみを読み出して現在
の小ブロックのフィルタ係数k_current を生成出力す
るようにしても良い。
G方式のIピクチャーのように、フレーム間予測を行わ
ない画像であった場合には、時間的に前後するフィルタ
特性画像の空間的に同じ位置の小ブロックのフィルタ係
数を過去参照画像のフィルタ係数k_ref(2)と未来参照
画像のフィルタ係数k_ref(3)として読み出し、内挿補
間を行う。この場合は時間的に近接する画像の空間的に
同じ位置の小ブロックのフィルタ係数k_ref(4)は用い
ない。
を行っている場合には、Iピクチャーもフィルタ特性画
像として用いても良い。ここで、当該プリフィルタ62
の特性は、例えば前述した図45のような特性とする。
したがって、ここでは、フィルタ係数k_current が小
さいほど、通過帯域の狭いローパスフィルタ特性とな
る。
数k_current は、また、プリフィルタ制御情報記憶回
路65へ入力されて記憶され、これが未来に入力される
小ブロックに使うプリフィルタ係数を決定する時の参照
値(フィルタ係数k_ref )として利用されることにな
る。
62のフィルタ係数を決定し、符号化画質の主観的印象
が良く、かつ符号化効率の良い符号化方式を実現する。
第1の構成例において図6を用いて説明した計算例と同
様である。
対して、プリフィルタ係数k_current で指定されるロ
ーパスフィルタ処理を施して、処理画像信号S102を
出力する。
トル信号MVは、動画像符号化回路63へ入力され、所
定のフレーム間予測符号化処理(例えばいわゆるMPE
G方式の符号化処理)が施され、この符号化ビットスト
リームS104が出力端子68から出力される。動画像
符号化回路63の構成は、第2の構成例において図10
を用いて説明したものと同様である。
路では、フレーム間予測符号化を施す動画像信号に対す
るプリフィルタ処理の際のフィルタ特性を、画面を分割
する小ブロック単位の符号化難易度dに応じて適応的に
変更可能としているので、視覚特性を考慮して、画面内
の局所的に速い動きや複雑な絵柄であり符号化難易度の
大きい部分では通過帯域の比較的狭いローパスフィルタ
を選択でき、一方、遅い動きや平坦な絵柄であり符号化
難易度の小さい部分では通過帯域の比較的広いローパス
フィルタを選択できる。
化難易度の異なる符号化方式を考慮し、連続する画像間
で極端にプリフィルタ係数が異なることがないようにす
るために、符号化難易度を参照する画像を特定してい
る。
は、上記小ブロックの符号化難易度dだけでなく、現在
の符号化対象の小ブロックがフレーム間予測で参照する
小ブロック及び、近接する画像の空間的に同じ位置の小
ブロックで使われたプリフィルタ制御情報をも合わせて
考慮しており、フレーム間予測符号化効率が低下しない
ように、上述のように選択されたフィルタ特性を修正し
て、最終的に現在の符号化対象の小ブロックに対するプ
リフィルタ特性を決定するようにしているので、ローパ
スプリフィルタ処理された動画像は、従来よりも、符号
化画質の主観的印象が良く、かつ符号化効率の良いもの
とすることができる。
動画像符号化装置での符号化により得られた符号化ビッ
トストリームは、信号記録媒体に記録されたり、伝送路
を介して伝送されることになる。
成の一例について説明する。このノイズ低減回路14
は、図23に示すように、入力端子71から入力された
MPEGデコーダ13からの画像データが入力されるブ
ロック歪低減回路72と、ブロック歪低減回路72から
画像データが入力されるフィールド巡回型ノイズ低減回
路73とを備え、フィールド巡回型ノイズ低減回路73
からの出力を出力端子74から上述の画質補正回路15
に出力する。
ように構成されている。この図24に示したブロック歪
低減回路72において、クロマ信号入力端子76には、
上述のMPEGエンコーダ5でブロック符号化等の圧縮
符号化が施された後にMPEGデコーダ13で復号され
た画像データのクロマ成分が入力され、輝度信号入力端
子77には、輝度成分が入力される。
号及び垂直同期信号が入力され、制御信号発生部79に
送られて、各回路で必要なタイミング信号が作成され
る。
信号は、補正信号算出部80と、パラメータ算出部81
と、エッジ抽出部82と、切換選択スイッチ83と、動
き検出部84とに送られる。
れた輝度信号が加算器85及び補正値算出部86に送ら
れている。補正値算出部86では、境界の両隣の画素の
隣接差分から補正後の傾きを予測して補正値を求め、ま
た、ブロック歪判定部からの補正強/弱情報に基づいて
これに応じた補正を求め、さらに境界の距離に反比例し
た各画素毎の補正値を求める。この補正値算出部86か
らの補正値を加算器85に送って上記入力輝度信号と加
算している。
のHPF(ハイパスフィルタ)87に入力され、エッジ
要素の検出の為に2次微分を行なう。本実施の形態で
は、例えばラプラシアンを用いて、エッジ要素の抽出を
行なう。HPF87でエッジ抽出された信号は、最大値
抽出部88に入力される。ここでは、次段の2値化部8
9で必要なしきい値を求める為に、ブロック境界をはさ
んだエッジ抽出ブロック内において最大値の検出を行な
う。
められたしきい値と、HPF87でエッジ要素抽出され
た信号が入力され、しきい値をもとに、信号の2値化を
行なう。ハフ変換部90では、2値化された信号をもと
に、ブロック境界をはさむエッジ抽出ブロック内でハフ
変換を行ない、これによりエッジ要素をパラメータ空間
(ρ、θ)に写像することにより、ブロック内の直線
(ρ0、θ0)を求める。求まったρ0、θ0はブロッ
ク歪判定部91へ入力される。
力輝度信号は、パラメータ演算部81のパラメータ演算
回路92へ入力され、ブロック歪判定部91で必要な補
正ブロック内のパラメータを求める。
4のメモリ93へ入力され、メモリコントローラ94か
らの制御によって書き込みが行われる。メモリコントロ
ーラ94によって、メモリ93から読みだされた前フィ
ールドの輝度信号は、パターンマッチング部95へ入力
され、一方で入力された輝度信号とパターンマッチング
が行なわれる。このパターンマッチングの演算結果は動
きベクトル判定部96へ入力され、動きの大きさを判断
できる。ここで、求まった動きの有無はブロック歪判定
部91に入力される。
からのブロック内の直線成分(ρ0、θ0)とパラメー
タ演算部からの補正ブロック内のパラメータと動き検出
部からの動きの大きさを用いて、ブロック歪か否かの判
定、ブロック歪補正値を制御して使うか(弱)否か
(強)の判定を行ない、この補正強/弱信号を補正信号
算出部80の補正値算出回路32へ送り、また補正ON
/OFF信号を切換選択スイッチ(セレクタ)83のコ
ントロール端子に送る。
部80の加算器85に入力され、輝度信号と補正値算出
部86から求めた補正値を加算することにより、ブロッ
ク歪除去された信号が求められ、切換選択スイッチ(セ
レクタ)83へ送られる。
からのブロック歪ON/OFF信号に応じて、入力され
た輝度信号をそのまま出力するか、補正された信号を出
力するかを選択する。
7に入力され、補正回路を通過する輝度信号との遅延を
合わせる。
歪判定部91からのブロック歪ON/OFF信号がOF
Fの場合には補正値算出部85からの出力である補正信
号を0にする方法を用いてもよい。
は、輝度信号についてのみブロック歪低減処理を施すこ
とを想定しているが、クロマ信号についても同様の処理
を施すことができる。
低減回路72におけるブロック歪低減処理のアルゴリズ
ムについて、さらに詳細に説明する。図25は、本発明
の実施の形態となるブロック歪低減方法のアルゴリズム
を説明するためのフローチャートを示している。この図
25の例では、H(水平)方向についての処理のアルゴ
リズムを示しているが、V(垂直)方向についてのブロ
ック歪低減アルゴリズムは、H方向の処理がV方向に変
わる以外は同様であるため説明を省略する。
71では、H方向の総てのブロック境界について、ブロ
ック歪低減処理が終了したか否かを判別しており、YE
Sの場合は処理を終了し、NOの場合に次のステップS
T72に進む。
られる画素について、図26を参照しながら説明する。
この図26の例では、例えば、ブロック符号化にDCT
符号化が用いられ、8×8画素でDCTブロックを構成
する場合の処理対象の具体例を示している。すなわち、
図中の左右のDCTブロック100L,100Rのブロ
ック境界から左側及び右側にそれぞれ5画素ずつがブロ
ック歪低減処理に用いられ、ブロック境界から4画素ず
つが補正範囲とされるとき、エッジ抽出ブロック101
はブロック境界を中心とする8×8画素のブロックであ
り、ブロック歪補正処理ブロック103は、このエッジ
抽出ブロック101内の1ライン上の8画素から成るブ
ロックである。上記図26の最初のステップST71で
は、ブロック歪補正処理が全ての補正処理ブロック10
2について行われたか否かを判別している。
否かの判定に必要とされるパラメータとしての境界差分
|tmp0|、アクティビティ|tmp| 及び隣接差分|diff
|を、次の計算式により求める。
+|h-g|+|i-h|+|j-i|)/8 |diff2|=|d-c| |diff3|=|e-d| |diff4|=|g-f| |diff5|=|h-g| これらの計算式から明らかなように、境界差分|tmp0|
は、図27のDCTブロックの境界を挟んで隣接する画
素e,f間の差分の絶対値であり、アクティビティ|tm
p| は、ブロック歪処理ブロック102についての各隣
接画素間(ただしe,f間を除く)の差分の絶対値の平
均値であり、隣接差分|diff|は、画素c,d間、d,
e間、f,g間、g,h間の各差分の絶対値である。
理ブロックに対応する上記エッジ抽出ブロック101内
のエッジ抽出を行ない、直線成分(ρ0、θ0)を求め
る。このエッジ抽出処理の詳細については、後ほど説明
する。
理ブロックを挟む上記2つのDCTブロック100L,
100Rについて、動きの大きさを調べる。この動き検
出動作の詳細については、後ほど説明する。
テップST72,ST73,ST74で求めたパラメー
タ、直線成分(ρ0、θ0)、及び動きの大きさを用い
て、このブロック境界にブロック歪があるかどうかの判
定と補正の強さの判定処理を行なう。このブロック歪判
定処理の一例については、後ほど説明する。
りとされればステップST76aに進み、ブロック歪無
しとされればステップST78に進む。
76aに進み、画像の性質、特に線形性に基づいて、隣
接差分から補正後の境界段差|step|を、 |step|=|diff3+diff4|/2 の式から求める。そして、補正後にこれだけの境界段差
|step|を持たせるために必要な補正量|σ|を、 |σ|=(|tmp0|−|step|)/2 により求める。ここで、上記境界差分|tmp0|を所定の
閾値corr_th で弁別して補正の強さを切り換えることが
好ましく、この場合、|tmp0|<corr_th となって補正
の強さを強(補正強)とするとき、補正量|σ|を、 |σ|=(|tmp0|−|step|)/2 とし、|tmp0|≧corr_th となって補正弱のとき、上記
補正量|σ|を半分に減らして、 |σ|=(|tmp0|−|step|)/4 の補正を行う。
値corr_th より大きい場合は、本当はブロック境界にエ
ッジが存在するのに、ブロック歪判定で誤判定された可
能性もあるので、誤補正を回避するために、上記補正の
強さを強/弱に切り換えるものである。
正値|σ|から、各画素毎の補正値を求める。隣の補正
範囲とのつなぎ目を滑らかにする為、またブロック歪は
境界付近程強く現れることから、次の式に示すように、
境界からの距離に反比例した補正値を求める。
各画素b〜iについての各補正値をそれぞれ|σb|〜
|σi|とするとき、上記補正値|σ|を用いて、 |σe|=|σ| ,|σf|=|σ| |σd|=|σ|/2 ,|σg|=|σ|/2 |σc|=|σ|/4 ,|σh|=|σ|/4 |σb|=|σ|/8 ,|σi|=|σ|/8 のような各補正値をそれぞれ求める。
プST76bで求められた各画素b〜i毎の補正値|σ
b|〜|σi|を用いて、ブロック歪補正された映像信号
(画像データ)SBb〜SBiを求める。
画像データをSb〜Siとするとき、上記tmp0の正負に応
じて、補正された画像データSBb〜SBiを、 tmp0≧0:SBb=Sb+|σb| ,tmp0<0:SBb=Sb−|σb| tmp0≧0:SBc=Sc+|σc| ,tmp0<0:SBc=Sc−|σc| tmp0≧0:SBd=Sd+|σd| ,tmp0<0:SBd=Sd−|σd| tmp0≧0:SBe=Se+|σe| ,tmp0<0:SBe=Se−|σe| tmp0≧0:SBf=Sf−|σf| ,tmp0<0:SBf=Sf+|σf| tmp0≧0:SBg=Sg−|σg| ,tmp0<0:SBg=Sg+|σg| tmp0≧0:SBh=Sh−|σh| ,tmp0<0:SBh=Sh+|σh| tmp0≧0:SBi=Si−|σi| ,tmp0<0:SBi=Si+|σi| とするような補正を行う。
ロック歪補正処理された信号を出力する。
いと判定されれば、ステップST78に進んで、補正範
囲の原信号をそのまま出力する。
ジ検出処理の動作の一例について、図27を参照しなが
ら説明する。
ッジ要素抽出の為、エッジ抽出ブロック内の入力信号に
対して、2次元HPF(ハイパスフィルタ)、例えばラ
プラシアンフィルタをかけている。
は、例えば図28の係数のようなものが挙げられるが、
この図28の例に限定されるものではなく、また例え
ば、 Sobelオペレータ、 Prewittオペレータ、Kirschオ
ペレータ、Robinsonオペレータ等の種々の変形が考えら
れる。
PFをかけたブロック内の信号の最大値Maxを検出し、
次のステップST83でこの最大値Maxに基づく閾値Th
resh(例えばThresh=Max/2)を用いて2値化を行
い、エッジ要素を抽出する。すなわちこの2値化は、入
力信号Sin>Threshのとき、出力信号Sout =1とし、
Sin≦Threshのとき、Sout =0とするような処理であ
る。
れたエッジ要素に、ハフ変換を行ない、パラメータ空間
(ρ,θ)に写像する。このハフ変換は、ブロック内の
エッジ要素(x,y)をパラメータ空間(ρ,θ)に、 xcosθ+ysinθ=ρ の式により写像するものである。
空間で多くの点が集まる(ρ0,θ0)を検出する。こ
の(ρ0,θ0)を通過する直線がエッジ抽出ブロック
内で検出された直線エッジということになり、ステップ
ST86でパラメータ(ρ,θ)を出力している。
動き検出処理の動作の一例について、図29を参照しな
がら説明する。
記図27における処理する補正処理ブロックのブロック
境界を挟む左右のDCTブロック100L,100Rに
ついて、パターンマッチングを行なう。
総ての画素について、同一位置の前フィールドの画素を
メモリーから読みだし(ステップST92)、次の式
(1)に示す演算式の処理を行い(ステップST9
3)、メモリに現フィールドの画素を書き込む(ステッ
プST94)。
ィールドにおける位置(i,j)の画素の輝度信号を示
し、BLK_H,BLK_Vは、それぞれH,V方向のDCTブロ
ックサイズを示している。
理について、DCT(M×N)ブロック内の全ての画素
について、処理が終わったか否かを最初のステップST
91で判別し、YESのとき(処理が終了したとき)には
ステップST95に進んで、上記式(1)で求めたCr
の値に応じて、動き判定を行っている。
は、上記Crの値に対して所定の閾値mov_thL,mov_th
H(ただしmov_thL<mov_thH)を設定し、 Cr<mov_thL のとき、動き小 mov_thL≦Cr<mov_thH のとき、動き中 mov_thH≦Cr のとき、動き大 のような判定を行うことが挙げられる。
チングをDCTブロック内の総ての画素について行った
が、この例にのみ限定されるものではなく、例えば、L
PFをかけ、2、4画素の間引き処理を行なった後、間
引かれた画素についてパターンマッチングを行なう等の
変形も考えられる。
める手段として、同一位置のDCTブロックに対するパ
ターンマッチングを用いたが、この例にのみ限定される
ものではなく、例えば、動き補償範囲内のすべての試行
ベクトルについてパターンマッチングC(k)を比較
し、最小のC(k)を与える試行ベクトルを動きベクト
ルとして動きの有無を求める変形や、代表点マッチング
を行なう等の変形も考えられる。
ST75bにおけるブロック歪判定動作の一例につい
て、図30を参照しながら説明する。
タ判定と動き検出による判定とを組み合わせて用いてい
る。
ロック境界を挟む左右のDCTブロック100L,10
0Rについて、上述したようなパターンマッチングを行
って、動きの大きさを調べ、ステップST101で、検
出された動きが小であるか否かを判別する。両方のDC
Tブロック100L,100R内の動きが小さいとされ
れば、量子化誤差は無いと判断し、ステップST106
に進んで、ブロック歪補正をかけずに処理を終了する。
が小さくないときには、次のステップST102に進ん
で、直線エッジがブロック境界上に存在するか否かを判
別する。このとき、ρ0=エッジ抽出ブロックサイズ/
2,θ0=π/2とする。ステップST102で境界上
にあると判別されれば、強いブロック歪があるとされ、
ステップST108に進んで、ブロック歪(強)の補正
をかける。
ば、ステップST103に進んで、上記図4の左右のD
CTブロック100L,100Rの境界の近傍領域(エ
リア)内を直線エッジが通過するか否かを判別する。通
過すれば、弱いブロック歪があるとして、ステップST
107に進んで、ブロック歪(弱)の補正をかける。
には、パラメータを用いてブロック歪の判定を行って、
補正強か(ステップST104)、補正弱か(ステップ
ST105)の判別を行う。補正強と判別されたときに
はステップST108に進み、補正弱と判別されたとき
にはステップST107に進む。それ以外は、補正of
fとされ、ステップST106に進む。
すると、上記パラメータ|tmp0|、|tmp| 及び|diff
|に基づいて、次のような条件判別を行うことによりブ
ロック歪か否かの判定を行う。この判定条件は、 (1) 周辺と比べて突出した段差であるか否か。 :境界差分|tmp0|>アクティビティ|tmp| (2) 直流成分及び低周波成分の量子化誤差による段差で
あるか、すなわち、ブロック歪による段差であるか否
か。 :境界差分|tmp0|<閾値div_th ここで、閾値div_thとしては、本実施の形態では固定値
を用いたが、各ブロックの量子化ステップサイズの最大
値に比例した値を用いることもできる。 (3) 境界の両隣に境界の段差より大きな段差がないか、
すなわち、境界の両隣にエッジがないか否か。 :隣接差分|diff3|≦境界差分|tmp0| かつ、隣接差分|diff4|≦境界差分|tmp0| の3つである。
れば、ブロック歪ありとされる。また、補正の強さは、
上記境界差分|tmp0|が所定の閾値corr_th より小さい
か否かに応じて決定しており、 |tmp0|<corr_th のとき、補正強 |tmp0|≧corr_th のとき、補正弱 ただし、corr_th<div_th としている。
は、上記動き検出処理により得られた動きの大きさによ
って適応的(アダプティブ)に変化させることが好まし
い。例えば、 動き大のとき、div_th =DIV_TH (定数) corr_th=CORR_TH(定数) 動き中のとき、div_th =DIV_TH/2 corr_th=CORR_TH/2 とすればよい。
は、大/中/小の3段階にのみ限定されるものではな
く、上記各閾値div_th,corr_th の値も上記動き大/中
の2段階には限定されず、さらに細かい段階に変化させ
るようにしてもよい。
出処理の方法としては、前述のハフ変換を用いずに、以
下に述べるような簡易な方法で行うこともできる。
するためのフローチャートを図31に示し、このエッジ
抽出を用いる場合のブロック歪低減回路の概略構成のブ
ロック図を図32に示す。
プST111に示すように、エッジ抽出を1次元(水平
方向)の2次微分(BPF:バンドパスフィルタ)によ
り行なっている。2次微分特性の伝達関数H(z)とし
ては、例えば、 H(z)=(−1+2z-1−z-2)/4 が挙げられる。
プST112では処理ブロック内で最大値の検出を行
い、この最大値を用いて次のステップST113でBP
F処理画像の2値化を行い、エッジ検出を行なう。2値
化する際の閾値は、前述の例と同様に、例えばブロック
内で2次微分および絶対値処理して得た最大値の1/2
とすればよい。
7からの輝度信号入力を、BPF87’で上述のように
2次微分し、絶対値化回路110で絶対値をとり、最大
値検出回路88で最大値を検出している。最大値検出回
路88からの閾値2値化回路89に送り、絶対値化回路
110からの信号を2値化している。2値化回路89か
らの出力は、垂直相関検出部111に送られる。
て抽出されたエッジ成分のブロック境界における垂直相
関の強さを求める。このときの垂直相関の強さを求める
方法の一例を図33を用いて説明する。
界を含む領域bとその近傍の領域aおよびcに分割す
る。先に抽出したエッジ成分の数を各領域毎に算出す
る。これらをEa、Eb、Ecとする。図33におい
て、エッジとして抽出された画素を1と記し、エッジで
はないと判別された画素を0と記している。本例では、
Ea=5、Eb=12、Ec=5となる。
におけるエッジ成分の数の比Kvを求め、クラス分けを
行なう(図31のステップST114)。
の役割について説明する。各クラスに応じて重み係数K
cを割り当てる。この各クラス毎の重み係数Kcとして
は、例えば クラス 重み係数Kc 1 1 2 0.75 3 0.5 4 0.25 とすることが挙げられる。
ータ値から、補正OFF/弱/強の判定を行ない、重み
係数Kpを得る。
を補正値算出部に送り、ブロック歪補正量の制御を行な
う。
場合には、補正量が大きくなり、ブロック歪の除去が効
果的に行うことができる。つまり、ブロック歪の検出精
度を高めることになる。
した図25の例と同様であるため、対応する部分に同じ
指示符号を付して説明を省略する。
れ4および3段階として説明したが、特にこれに限定さ
れず、例えば重み係数Kcを下記の式により求めても良
い。
定部の検出の閾値であるdiv-thの値を制御してもよい。
例えば、垂直相関が弱い程、ブロック歪である可能性が
低いので、検出の閾値div_thの値を大きくし、検出しに
くい方向へ制御する。
抽出部、補正信号算出部、ブロック歪判定パラメータ算
出部等については、上述したようなアルゴリズムを用い
たが、これらのアルゴリズムにのみ限定されるものでは
なく、例えば、補正信号算出部にはLPFを用いたり、
エッジ抽出部にはエッジ追跡によるエッジ抽出法などの
種々のエッジ抽出法、ブロック歪判定部には種々のパラ
メータを使うといった種々の変形が考えられる。
平方向に対してブロック歪補正をかける例であるが、こ
の例にのみ限定されるものではなく、例えば、垂直方向
やクロマ信号にブロック歪補正をかけるといった種々の
変形が考えられる。
画像データのエッジ成分を抽出し、動きを検出し、ブロ
ック歪判定に必要なパラメータを求め、これらのエッジ
抽出結果、動き検出結果、及びパラメータ演算結果に基
づいてブロック歪を判定し、この判定結果に応じてブロ
ック歪補正をかけているため、ブロック歪の判定にエッ
ジ成分情報や動き検出情報を用いることによりブロック
歪の判定が有効に行え、誤判定を防止できる。従って、
ブロック歪の誤判定により生じていた弊害、例えば完全
に歪が除去できなかったり、エッジを誤補正して擬似エ
ッジを発生させたりするような問題点を回避することが
できる。
3の具体例について、図34を参照しながら説明する。
のブロック歪低減回路72からの映像信号が入力されて
いる。この入力映像信号Vinが減算器121、122に
それぞれ供給される。減算器121からの出力信号は、
出力端子123を介して取り出されると共に、フィール
ドメモリ124に書き込まれる。フィールドメモリ12
4と関連して、メモリコントローラ125が設けられて
いる。メモリコントローラ125は、フィールドメモリ
124の書き込み動作及び読み出し動作を制御するため
のもので、フィールドメモリ124の読出データは、書
き込みデータに対して1フィールド遅延されたものであ
る。すなわち、出力信号をVout とし、フィールド遅延
をF-1と表すとき、フィールドメモリ124からの出力
信号は、Vout・F-1 となり、このフィールド遅延出力
信号が減算器124に供給される。減算器122では、
入力信号Vinから上記フィールド遅延出力信号Vout・
F-1 を減算して出力する。
用のLPF(ローパスフィルタ)126を介し、非線形
回路127に送られる。非線形回路127は、入力信号
であるLPF126からの出力のレベルに応じて帰還係
数Kを乗じるもので、例えばROMにより構成される。
この非線形回路127は、小さい範囲のフィールド差分
をノイズ成分として出力し、大きいフィールド差分は、
動きにより発生したものとして、出力を0とするような
入出力特性を有している。すなわち、ノイズ成分はフィ
ールド間の相関が小さくかつ小振幅である、という特性
を利用して、非線形回路127がノイズ成分を抽出す
る。
(Vin−Vout・F-1) が減算器121に供給され、入
力映像信号Vinから減算される。これは、減算器121
において抽出されたノイズ成分を入力映像信号Vinから
減算することによって、ノイズの低減された出力映像信
号Vout を得ることに相当する。
しての輪郭強調回路について、図35を参照しながら説
明する。
調回路の構成例を示している。この図35において、入
力端子130には、図1のノイズ低減回路14からの画
像データ、より具体的には図34のフィールド巡回型ノ
イズ低減回路73から出力端子74を介して得られた画
像データが供給される。入力端子130からの入力信号
は、BPF(バンドパスフィルタ)131及び加算器1
32に供給される。BPF131では、画像の輪郭成分
などの中高周波数成分が抽出される。この抽出された輪
郭成分などは、コアリング回路133に送られて、小振
幅信号であるノイズ成分などを除去するような非線形処
理(コアリング処理)が施された後、利得制御(ゲイン
コントロール)回路134に送られて、補正量の制御が
なされ、補正信号として加算器132に送られる。
ロコンピュータなどを制御回路19からの制御信号が供
給されており、この制御信号はコアリング回路133及
び利得制御回路134に送られている。すなわち、図1
の操作入力部20には、輪郭強調の制御スイッチなども
設けられており、このスイッチなどを操作することによ
り輪郭強調の効果の程度を制御できるようになってい
る。
像信号の中高周波数成分が強調され、画像の精細度を上
げている。
ブロックDCT符号化等を用いて画像圧縮/伸張した際
に発生するブロック歪などのノイズを先に除去している
ため、この後に輪郭強調等の画質補正を効果的に行うこ
とができる。
路などの後処理において、重み付けした符号化情報を用
いて適応的処理を施しても良い。
破綻を軽減するために、ブロック歪の補正量を例えばブ
ロック境界の段差の大きさに応じて制御することが考え
られる。この場合、ブロック境界の段差が大きいとき、
補正量は小さくなり、ブロック境界の段差は若干残るこ
とになる。そこで、このような残留ブロック歪を強調し
ないように、重み付けした符号化情報を用いて輪郭強調
の適応的処理を行う。図36は、このような変形例にお
ける輪郭強調回路の構成を示すブロック図である。この
図36の利得制御回路134において、上記図1の制御
回路19から端子135を介して供給される制御信号に
対して、例えば端子136からの符号化情報として量子
化ステップの値、端子137からの復号画像情報として
ブロック境界の段差の値及びブロック境界からの距離に
より、ウェイティング(重み付け)回路138bで重み
付けを行う。利得制御回路134に供給するパラメータ
としてのゲイン(利得)値Gは、上記図1の制御回路1
9におけるゲイン(利得)設定値をGst、量子化ステッ
プ重み付け係数をKQ 、境界距離の重み付け係数をLW
とするとき、例えば次の式により求める。 G = Gst×(KQ/8)×(LW/4) この式中の1/8,1/4は、正規化のための除数であ
る。
びブロック境界段差に対する量子化ステップ重み付け係
数を示し、図38はブロック境界距離に対する境界距離
重み付け係数を示している。
の制御信号としてのゲイン設定値が2のとき、量子化ス
テップコード及びブロック境界段差が与えられて図37
のテーブルより量子化ステップ重み付け係数が例えば4
となり、ブロック境界からの距離1が図38のテーブル
に与えられて境界距離重み付け係数値2を得たとする。
このときの利得制御回路134に供給されるパラメー
タ、すなわちゲインGは、 G = 2 ×(4/8)×(2/4) = 0.5 となり、輪郭強調効果は弱まる。
同様である。すなわち、図36のコアリング回路133
において、端子135から供給される制御信号としての
パラメータに対して、例えば端子136からの符号化情
報としての量子化ステップの値、端子137からの復号
画像情報としてのブロック境界の段差の値及びブロック
境界からの距離により、ウェイティング(重み付け)回
路138aで重み付けを行う。
ク境界段差に対するコアリング重み付け係数を示してい
る。コアリング回路133に供給するパラメータの値C
は、上記図1の制御回路19におけるコアリング設定値
をCst、重み付け係数をKC、境界距離の重み付け係数
をLW とするとき、例えば次の式により求める。 C = Cst×KC×(LW/4) この式中の1/4は、正規化のための除数である。
は一例であって、これらに限定されるものではない。ま
た、上述したMPEG規格で圧縮/伸張される場合、量
子化ステップはマクロブロック単位で変化する。このた
め、注目するブロック境界において、隣接するマクロブ
ロックの量子化ステップの差分を加味してもよい。
に限定されるものではなく、例えば、上記実施の形態に
おいては、水平(H)方向の処理について述べたが、垂
直(V)方向についても同様に適用可能である。また、
輝度信号の処理のみならず、色信号についても同様に適
用可能であることは勿論である。
補正回路15では、圧縮符号化された映像信号を復号し
て信号処理する際に、復号された映像信号のノイズを低
減した後、ノイズ低減された映像信号に対して画質補正
を行っているため、輪郭強調等の画質補正を効果的に行
うことができる。
像圧縮/伸張に伴って発生するブロック歪やモスキート
ノイズ等の量子化歪やノイズを低減、除去した後に、輪
郭強調等の画質補正を行うことにより、効果的なブロッ
ク歪やモスキートノイズの除去と輪郭強調等の画質補正
を行うことができる。
画面内におけるノイズを低減し、次に画面間で発生する
ノイズを低減することにより、画面内で発生する歪やノ
イズと、画面間で発生する歪やノイズとを効果的に除去
することができる。
おいて、MPEGエンコーダ5では、プリフィルタのオ
ン/オフを含む強さをシーケンス毎、GOP毎、ピクチ
ャ毎、スライス毎、或いはマクロブロック毎にコード化
し、例えば画像データのヘッダにデータとして付加して
光ディスクDに記録しても良い。また、このプリフィル
タの強さを示すデータを伝送路を介してノイズ低減回路
14に伝送しても良い。
おいて、スライス毎にプリフィルタの強さを示すデータ
を画像データに付加するときの一例について図2に示す
MPEGエンコーダ5を用いて説明する。
すデータを生成するときには、スライス毎におけるフィ
ルタ係数k_currentの各スライス毎における代表値を
決定することで生成する。この各スライス毎における代
表値を決定するときには、図40に示すように、例えば
4段階にコード化することで決定する。この図40によ
れば、フィルタ係数k_currentの大きさに応じてプリ
フィルタレベル(プリフィルタの強さ)のコード値を決
定する。すなわち、このプリフィルタレベルは、例えば
フィルタをオフ状態としている場合を0とし、弱,中,
強である場合をそれぞれ1,2,3としてコード値を決
定して、コード化を行う。
る小ブロックの平均値とする。そして、このコード化さ
れたプリフィルタ23の強さが他の種々の付加情報とと
もに画像データのヘッダとして付加される。そして、こ
のプリフィルタ23の強さを示すプリフィルタレベル
は、例えば動画像符号化回路24で画像データに付加さ
れて光ディスクDに記録される。そして、このプリフィ
ルタレベルは、MPEGデコーダ13を介してノイズ低
減回路14及び画質補正回路15に供給される。
ルタレベルは、符号化情報として、例えばプリフィルタ
23からノイズ低減回路14及び/又は画質補正回路1
5に伝送路を介して入力されても良い。
イズ低減回路14で用いる一例について説明する。
ルタレベルを用いる場合には、例えばMPEGエンコー
ダ5からのコード値に応じた係数Kfbを用いて、上述
の重み係数Kcを変化させる。すなわち、このブロック
歪低減回路72では、プリフィルタレベルに応じてブロ
ック歪の補正の重み付け係数Kcfを下記のように定め
る。
に示すように割り当てる。
おいては、図42に示すように構成しても良い。すなわ
ち、この図42に示したフィールド巡回型ノイズ低減回
路73は、減算器121,減算器122と、周波数帯域
を制限するLPF140a,BPF140b,BPF1
40cと、非線形回路141a〜141cとフィールド
メモリ124と、メモリコントローラ125とで構成さ
れている。なお、以下の説明においては、上述のフィー
ルド巡回型ノイズ低減回路と同一の部分は同一の符号を
付することでその詳細な説明を省略する。
では、LPF140a,BPF140b,BPF140
cを設けることで、周波数帯域毎に帰還量を制御する。
すなわち、このフィールド巡回型ノイズ低減回路73で
は、端子142からプリフィルタレベルが非線形回路1
41a〜141cに供給され、MPEGエンコーダ5か
らのプリフィルタレベルに応じて帰還量を変化させる。
ここで、非線形回路141a〜141cでは、供給され
るプリフィルタレベルに応じて入出力特性を変化させ
る。
では、例えば、プリフィルタレベルが強いときには高い
周波数帯域の帰還量を大きくするように制御する。これ
により、このフィールド巡回型ノイズ低減回路73で
は、フィールド差分信号の高い周波数帯域の小振幅のノ
イズを低減することができる。なお、このフィールド巡
回型ノイズ低減回路73では、各周波数帯域毎の境界で
急激に帰還量が変化しないように、なだらかにソフトス
イッチングを行うことが望ましい。
を通過した画像データは、加算器143で加算処理され
て、減算器121に供給される。
でプリフィルタが施された部分について復号を施した後
に生ずる高周波成分を効率的に除去することができる。
したがって、このフィールド巡回型ノイズ低減回路で
は、プリフィルタレベルの強さを示すデータを用いるこ
とで、MPEGエンコーダ5で符号化を行って、復号し
た後の画像データに生ずるブロック歪やモスキートノイ
ズを除去することができる。
す画質補正回路15で用いる一例について説明する。
グ回路138a,138bで生成する重み付け係数を変
化させる。すなわち、この画質補正回路15では、利得
制御回路134のゲインにプリフィルタレベルに応じた
係数Kfsを乗算し、コアリング回路133のコアリン
グ設定値にプリフィルタレベルに応じた係数Kfcを乗
算する。すなわち、コアリング回路ではコアリング設定
値をCst’=Cst×Kfsとし、利得制御回路134で
は、ゲインをG’=G×Kfcとする。このプリフィル
タレベルに応じた重み付け係数Kfs,Kfcは、図4
3(a)及び図43(b)に示すように、プリフィルタ
レベルに応じて変化させる。なお、上述のフィールド巡
回型ノイズ低減回路73と同様に、周波数帯域によって
急激にゲイン、コアリング設定値が変化しないように、
周波数的になだらかにスイッチングすることが望まし
い。
によれば、符号化して復号した後に生じた高周波成分に
応じて画質の補正を行うことができ、効率的に画質の補
正を行うことができる。
る画像信号処理装置では、画像にフィルタリング処理を
施すフィルタ手段と、画像にブロック符号化処理を施す
圧縮符号化手段と、圧縮符号化手段で圧縮符号化された
画像に復号処理を施す復号手段と、復号手段で符号処理
が施された画像のブロック歪を少なくとも低減する処理
を行うノイズ低減手段とを備えるので、入力された画像
に対して圧縮符号化手段を通過させる前にフィルタ手段
でフィルタリング処理を行い、復号手段で復号された画
像のブロック歪をノイズ低減手段で低減する処理を行う
ことができる。したがって、この画像信号処理装置で
は、フィルタリング処理を行うことで符号化効率を向上
させることができ、さらに復号後に生ずるブロック歪や
モスキートノイズを低減することができる。
では、フィルタリング処理を行うことにより、入力した
画像の高周波成分を減少させることにより、復号後に生
ずるブロック歪等を顕著にし、当該ブロック歪等の検出
制度を向上させることができる。したがって、この画像
信号処理装置では、復号後において効率的にノイズ低減
手段によりノイズを低減させることができる。
画像に圧縮符号化処理及び復号処理を施す画像信号処理
方法において、入力画像にフィルタリング処理を施し、
入力画像にブロック符号化処理を施し、圧縮符号化手段
で圧縮符号化された入力画像に復号処理を施し、復号手
段で符号処理が施された入力画像のブロック歪を少なく
とも低減する処理を行うので、入力された画像に対して
符号化を通過させる前にフィルタ手段でフィルタリング
処理を行い、復号手段で復号された画像のブロック歪を
ノイズ低減手段で低減する処理を行うことができる。し
たがって、この画像信号処理装置では、フィルタリング
処理を行うことで符号化効率を向上させることができ、
さらに復号後に生ずるブロック歪やモスキートノイズを
低減することができる。
では、フィルタリング処理を行うことにより、入力した
画像の高周波成分を減少させ、復号後に生ずるブロック
歪等を顕著にし、当該ブロック歪等の検出精度を向上さ
せることができる。したがって、この画像処理装置で
は、復号後において効率的にノイズ低減手段によりノイ
ズを低減させることができる。
れば、入力された画像に対して圧縮符号化を行う前にフ
ィルタリング処理を行い、復号された後に画像のブロッ
ク歪を低減する処理を行うので、入力された画像に対し
て圧縮符号化を行う前にフィルタリング処理を行い、復
号された画像のブロック歪を低減するノイズ低減処理を
行うことができる。したがって、この画像信号処理方法
では、フィルタリング処理を行うことで符号化効率を向
上させることができ、さらに復号後に生ずるブロック歪
やモスキートノイズを低減することができる。
では、フィルタリング処理を行うことにより、入力した
画像の高周波成分を減少させ、復号後に生ずるブロック
歪等を顕著にし、当該ブロック歪等の検出精度を向上さ
せることができる。したがって、この画像処理方法で
は、復号後において効率的にノイズを低減させることが
できる。
の一例を示すブロック図である。
を示すブロック図である。
ートである。
数の代表値k_gopの対応関係を示す図である。
る小ブロックで使われたプリフィルタ特性を考慮して、
プリフィルタ係数を計算する一例を示す図である。
タ係数k_currentとの対応関係を示す図である。
を示すフローチャートである。
を示す図である。
成例を示すブロック回路図である。
の構成例を示すブロック回路図である。
ック回路図である。
プの構成を示す図である。
ック回路図である。
を示す図である。
レームと小ブロックの関係を示す図である。
ャートである。
ックのフレーム間予測で参照される小ブロックで使われ
たプリフィルタ特性を用いて内挿補間により、プリフィ
ルタ係数を計算する一例を示す図である。
一例を示すフローチャートである。
係数k_current の計算例を示す図である。
ック回路図である。
ある。
ブロック歪低減装置の概略構成を示すブロック図であ
る。
めのフローチャートである。
画素を示す図である。
のフローチャートである。
である。
フローチャートである。
ためのフローチャートである。
合の処理動作の一例を説明するためのフローチャートで
ある。
のブロック歪低減装置の概略構成を示すブロック図であ
る。
のDCTブロック境界近傍の画素を示す図である。
すブロック図である。
概略構成を示すブロック図である。
である。
に対する量子化ステップ重み付け係数の具体例を示す図
である。
係数の具体例を示す図である。
に対するコアリング重み付け係数の具体例を示す図であ
る。
rrentとの関係を示す図である。
レベルとの関係を示す図である。
を示すブロック図である。
レベルとの関係を示す図であり、(b)が重み付け係数
Kfcとプリフィルタレベルとの関係を示す図である。
図である。
る。
示す図である。
ダ、13 MPEGデコーダ、14 ノイズ低減回路、
15 画質補正回路、19 制御回路、20 操作入力
部、22,61 フレームメモリ群、23,62 プリ
フィルタ、24,63 動画像符号化回路、25,4
4,66 動きベクトル検出回路、26,65プリフィ
ルタ制御情報記憶回路、27,46 符号化難易度測定
回路、28プリフィルタ制御回路、45 画像処理タイ
プ判定回路、47,69 符号化難易度平滑化回路、4
8,70 内挿補間回路、52 ローパスフィルタ、7
2ブロック歪低減回路、73 フィールド巡回型ノイズ
低減回路
Claims (57)
- 【請求項1】 入力画像に圧縮符号化処理及び復号処理
を施す画像信号処理装置において、 入力画像にフィルタリング処理を施すフィルタ手段と、 上記フィルタ手段でフィルタリング処理が施された画像
にブロック符号化処理を施す圧縮符号化手段と、 上記圧縮符号化手段で圧縮符号化された画像に復号処理
を施す復号手段と、 上記復号手段で復号処理が施された画像のブロック歪を
少なくとも低減する処理を行うノイズ低減手段とを備え
ることを特徴とする画像信号処理装置。 - 【請求項2】 上記ノイズ低減手段は、画面内における
ノイズを低減し、次に画面間で発生するノイズを低減す
ることを特徴とする請求項1に記載の画像信号処理装
置。 - 【請求項3】 画像に画質補正処理を行う画質補正手段
を備え、 上記画質補正手段は、上記ノイズ低減手段によりノイズ
低減処理がなされた入力画像に画質補正処理を行うこと
を特徴とする請求項1に記載の画像信号処理装置。 - 【請求項4】 上記フィルタ手段は、入力画像にフィル
タリング処理を行うことで、上記復号手段で復号された
画像に輪郭部に生ずるモスキートノイズを低減すること
を特徴とする請求項1に記載の画像信号処理装置。 - 【請求項5】 上記フィルタ手段は、 入力画像を少なくとも1画素からなる小ブロックに分割
する分割手段と、 所定の方法により上記入力画像の小ブロックの符号化難
易度を計算する計算手段と、 上記入力画像の小ブロックの符号化難易度と、当該入力
画像の小ブロックが画像間予測で参照する小ブロックで
使われたフィルタ制御情報とに基づいて、上記入力画像
の小ブロックに対して適応的にローパスフィルタ処理を
施す際のフィルタ特性を決定するフィルタ特性決定手段
とを有することを特徴とする請求項1に記載の画像信号
処理装置。 - 【請求項6】 上記フィルタ特性決定手段は、 上記入力画像の小ブロックに使うローパスフィルタの帯
域制限値と、当該入力画像の小ブロックが画像間予測で
参照する小ブロックで使われたローパスフィルタの帯域
制限値とを比較して比較値を求める比較手段と、 上記比較値が予め決められた閾値より大きい時は当該比
較値を上記閾値以内に抑えるように上記入力画像の小ブ
ロックに使うローパスフィルタの帯域制限値を制御する
制御手段とを備えることを特徴とする請求項5に記載の
画像信号処理装置。 - 【請求項7】 上記計算手段は、 上記入力画像に対して予測符号化及び/又は直交変換符
号化を施して係数データを生成する係数データ生成手段
と、 当該係数データを一定の量子化ステップで量子化するこ
とにより上記小ブロック単位の発生符号量を求める発生
符号量生成手段とを備え、 当該小ブロック単位で求めた発生符号量を上記符号化難
易度とすることを特徴とする請求項5に記載の画像信号
処理装置。 - 【請求項8】 上記計算手段は、 上記入力画像の画像間の動きベクトルを上記小ブロック
単位で検出して予測残差を求める予測残差生成手段を備
え、 当該小ブロック単位で求めた予測残差を上記符号化難易
度とすることを特徴とする請求項5に記載の画像信号処
理装置。 - 【請求項9】 上記フィルタ特性決定手段は、フレーム
間予測で参照されるフレーム上において上記入力画像の
小ブロックの動きベクトルにより参照される位置にある
小ブロックに基づいて上記入力画像の小ブロックに対し
て適応的にローパスフィルタ処理を施す際のフィルタ特
性を決定することを特徴とする請求項5に記載の画像信
号処理装置。 - 【請求項10】 上記フィルタ特性決定手段は、フレー
ム間予測で参照されるフレーム上において上記入力画像
の小ブロックの動きベクトルにより参照される位置にあ
る小ブロックに基づいて上記入力画像の小ブロックに対
して適応的にローパスフィルタ処理を施す際のフィルタ
特性を決定することを特徴とする請求項6に記載の画像
信号処理装置。 - 【請求項11】 上記フィルタ特性決定手段は、フレー
ム間予測で参照されるフレーム上において上記入力画像
の小ブロックと同じ空間的位置にある小ブロックに基づ
いて上記入力画像の小ブロックに対して適応的にローパ
スフィルタ処理を施す際のフィルタ特性を決定すること
を特徴とする請求項5に記載の画像信号処理装置。 - 【請求項12】 上記フィルタ特性決定手段は、フレー
ム間予測で参照されるフレーム上において上記入力画像
の小ブロックと同じ空間的位置にある小ブロックに基づ
いて上記入力画像の小ブロックに対して適応的にローパ
スフィルタ処理を施す際のフィルタ特性を決定すること
を特徴とする請求項6に記載の画像信号処理装置。 - 【請求項13】 上記フィルタ手段は、 入力画像を少なくとも1画素からなる小ブロックに分割
する分割手段と、 上記入力画像をフィルタ特性の参照画像とフィルタ特性
の非参照画像に分類する分類手段と、 上記入力画像がフィルタ特性の参照画像である場合に
は、所定の方法により当該入力画像の小ブロックの符号
化難易度を計算する計算手段と、 上記入力画像の小ブロックの符号化難易度と、当該入力
画像内の全小ブロックの符号化難易度を平滑化する平滑
化手段と、 上記入力画像の小ブロックが画像間予測で参照する小ブ
ロックで使われたフィルタ制御情報とに基づいて、当該
入力画像の小ブロックに対して適応的にローパスフィル
タ処理を施す際のフィルタ特性を決定するフィルタ特性
決定手段と、 上記入力画像がフィルタ特性の非参照画像である場合に
は、当該入力画像の小ブロックが画像間予測で参照する
過去参照画像における小ブロックで使われたフィルタ制
御情報と未来参照画像における小ブロックで使われたフ
ィルタ制御情報と時間的に近接する画像の空間的に同じ
位置の小ブロックで使われたフィルタ制御情報とに基づ
いて、上記入力画像の小ブロックに対して適応的にロー
パスフィルタ処理を施す際のフィルタ特性を決定するフ
ィルタ特性決定手段とを有することを特徴とする請求項
1に記載の画像信号処理装置。 - 【請求項14】 上記フィルタ特性決定手段は、 上記入力画像がフィルタ特性の参照画像である場合に、
上記入力画像の小ブロックに使うローパスフィルタの帯
域制限値と、当該入力画像の小ブロックが画像間予測で
参照する小ブロックで使われたローパスフィルタの帯域
制限値とを比較して比較値を求める比較手段と、 上記比較値が予め決められた閾値より大きい時は当該比
較値を上記閾値以内に抑えるように上記入力画像の小ブ
ロックに使うローパスフィルタの帯域制限値を制御する
制御手段と、 上記入力画像がフィルタ特性の非参照画像である場合
に、上記入力画像の小ブロックが画像間予測で参照する
過去参照画像における小ブロックで使われたローパスフ
ィルタの帯域制限値と未来参照画像における小ブロック
で使われたローパスフィルタの帯域制限値から、内挿補
間によって当該入力画像の小ブロックのローパスフィル
タの帯域制限値を得る内挿補間手段とを備えることを特
徴とする請求項13に記載の画像信号処理装置。 - 【請求項15】 上記計算手段は、 上記入力画像に対して予測符号化及び/又は直交変換符
号化を施して係数データを生成する係数データ生成手段
と、 上記係数データを一定の量子化ステップで量子化するこ
とにより上記小ブロック単位の発生符号量を求める発生
符号量生成手段とを備え、 上記小ブロック単位で求めた発生符号量を上記符号化難
易度とすることを特徴とする請求項13に記載の画像信
号処理装置。 - 【請求項16】 上記計算手段は、 上記入力画像の画像間の動きベクトルを上記小ブロック
単位で検出して予測残差を求める予測残差生成手段を備
え、 上記小ブロック単位で求めた予測残差を上記符号化難易
度とすることを特徴とする請求項13に記載の画像信号
処理装置。 - 【請求項17】 上記フィルタ特性決定手段は、フレー
ム間予測で参照されるフレーム上において上記入力画像
の小ブロックの動きベクトルにより参照される位置にあ
る小ブロックに基づいて上記入力画像の小ブロックに対
して適応的にローパスフィルタ処理を施す際のフィルタ
特性を決定することを特徴とする請求項13に記載の画
像信号処理装置。 - 【請求項18】 上記フィルタ特性決定手段は、フレー
ム間予測で参照されるフレーム上において上記入力画像
の小ブロックの動きベクトルにより参照される位置にあ
る小ブロックに基づいて上記入力画像の小ブロックに対
して適応的にローパスフィルタ処理を施す際のフィルタ
特性を決定することを特徴とする請求項14に記載の画
像信号処理装置。 - 【請求項19】 上記フィルタ特性決定手段は、フレー
ム間予測で参照されるフレーム上において上記入力画像
の小ブロックと同じ空間的位置にある小ブロックに基づ
いて上記入力画像の小ブロックに対して適応的にローパ
スフィルタ処理を施す際のフィルタ特性を決定すること
を特徴とする請求項13に記載の画像信号処理装置。 - 【請求項20】 上記フィルタ特性決定手段は、フレー
ム間予測で参照されるフレーム上において上記入力画像
の小ブロックと同じ空間的位置にある小ブロックに基づ
いて上記入力画像の小ブロックに対して適応的にローパ
スフィルタ処理を施す際のフィルタ特性を決定すること
を特徴とする請求項14に記載の画像信号処理装置。 - 【請求項21】 上記ノイズ低減手段は、 入力画像のエッジ成分を抽出するエッジ抽出手段と、 入力画像の動きを検出する動き検出手段と、 入力画像からブロック歪判定に必要なパラメータを算出
するパラメータ算出手段と、 上記エッジ抽出の結果、上記動き検出の結果、及び上記
パラメータ演算の結果に基づいてブロック歪を判定する
ブロック歪判定手段と、 上記ブロック歪を低減するための補正値を算出する補正
値算出手段と、 上記ブロック歪の判定結果に応じた上記補正値による補
正を入力画像に対して施して出力する手段とを有するこ
とを特徴とする請求項1に記載の画像信号処理装置。 - 【請求項22】 上記ブロック歪判定手段からの判定結
果に応じて、上記補正された信号と、上記入力画像とを
切り換えて出力する切換選択手段を有することを特徴と
する請求項1に記載の画像信号処理装置。 - 【請求項23】 上記フィルタ手段は、輝度信号及び色
信号からなる入力画像にフィルタリング処理を施し、上
記ノイズ低減手段では、上記輝度信号及び上記色信号の
少なくとも一方に対して上記ノイズ低減処理を施すこと
を特徴とする請求項1に記載の画像信号処理装置。 - 【請求項24】 上記ノイズ低減手段は、入力画像の垂
直方向、水平方向の少なくとも一方に対してノイズ低減
処理を行うことを特徴とする請求項1に記載の画像信号
処理装置。 - 【請求項25】 入力画像を記録媒体に記録するととも
に、記録媒体に記録された入力画像を再生する記録再生
手段を備え、 上記記録再生手段は、圧縮符号化手段で圧縮符号化され
た入力画像を記録媒体に記録するとともに、記録媒体に
記録された圧縮符号化された入力画像を再生することを
特徴とする請求項1に記載の画像信号処理装置。 - 【請求項26】 上記圧縮符号化手段は、上記フィルタ
レベル検出手段で検出したフィルタレベルを入力画像に
付加して入力画像の圧縮符号化を行い、上記記録再生手
段は、上記圧縮符号化手段でフィルタレベルが付加され
た入力画像を記録媒体に記録することを特徴とする請求
項25に記載の画像信号処理装置。 - 【請求項27】 上記フィルタ手段が行うフィルタリン
グ処理のフィルタレベルを検出するフィルタレベル検出
手段を備え、 上記フィルタレベル検出手段は、検出したフィルタレベ
ルを上記ノイズ低減手段に供給し、上記ノイズ低減手段
は、上記フィルタレベルに応じて上記復号手段で復号処
理が施された入力画像のブロック歪を少なくとも低減す
る処理を行うことを特徴とする請求項1に記載の画像信
号処理装置。 - 【請求項28】 上記フィルタレベル検出手段は、検出
したフィルタレベルを上記画質補正手段に供給し、上記
画質補正手段は、上記フィルタレベルに応じて復号処理
が施された入力画像に画質補正処理を行うことを特徴と
する請求項27に記載の画像信号処理装置。 - 【請求項29】 入力画像に圧縮符号化処理及び復号処
理を施す画像信号処理方法において、 入力画像にフィルタリング処理を施し、 上記フィルタリング処理が施された画像にブロック符号
化処理を施し、 上記ブロック符号化処理が施された画像に復号処理を施
し、 上記復号処理が施された画像のブロック歪を少なくとも
低減するノイズ低減処理を行うことを特徴とする画像信
号処理方法。 - 【請求項30】 上記ノイズ低減処理が行われた画像に
画質補正処理を行うことを特徴とする請求項29に記載
の画像信号処理方法。 - 【請求項31】 画像の画面内におけるノイズを低減
し、次に画面間で発生するノイズを低減することで上記
ノイズ低減処理を行うことを特徴とする請求項29に記
載の画像信号処理方法。 - 【請求項32】 上記フィルタリング処理を行うこと
で、上記復号処理を行うことで画像の輪郭部に生ずるモ
スキートノイズを少なくとも低減することを特徴とする
請求項29に記載の画像信号処理方法。 - 【請求項33】 画像を少なくとも1画素からなる小ブ
ロックに分割し、 所定の方法により上記画像の小ブロ
ックの符号化難易度を計算し、 上記画像の小ブロックの符号化難易度と、当該入力画像
の小ブロックが画像間予測で参照する小ブロックで使わ
れたフィルタ制御情報とに基づいて、上記入力画像の小
ブロックに対して適応的にローパスフィルタ処理を施す
際のフィルタ特性を決定することで上記フィルタリング
処理を行うことを特徴とする請求項29に記載の画像信
号処理方法。 - 【請求項34】 上記入力画像の小ブロックに使うロー
パスフィルタの帯域制限値と、当該入力画像の小ブロッ
クが画像間予測で参照する小ブロックで使われたローパ
スフィルタの帯域制限値とを比較して比較値を求め、 当該比較値が予め決められた閾値より大きい時は、当該
比較値を上記閾値以内に抑えるように、上記入力画像の
小ブロックに使うローパスフィルタの帯域制限値を制御
することを特徴とする請求項33に記載の画像符号化方
法。 - 【請求項35】 上記入力画像に対して予測符号化及び
/又は直交変換符号化を施して係数データを生成し、 当該係数データを一定の量子化ステップで量子化するこ
とにより上記小ブロック単位の発生符号量を求め、 当該小ブロック単位で求めた発生符号量を上記符号化難
易度とすることを特徴とする請求項33に記載の画像符
号化方法。 - 【請求項36】 上記入力画像の画像間の動きベクトル
を上記小ブロック単位で検出して予測残差を求め、 当該小ブロック単位で求めた予測残差を上記符号化難易
度とすることを特徴とする請求項34に記載の画像信号
処理方法。 - 【請求項37】 上記入力画像の小ブロックが画像間予
測で参照する小ブロックは、フレーム間予測で参照され
るフレーム上において上記入力画像の小ブロックの動き
ベクトルにより参照される位置にある小ブロックである
ことを特徴とする請求項33に記載の画像信号処理方
法。 - 【請求項38】 上記入力画像の小ブロックが画像間予
測で参照する小ブロックは、フレーム間予測で参照され
るフレーム上において上記入力画像の小ブロックの動き
ベクトルにより参照される位置にある小ブロックである
ことを特徴とする請求項34に記載の画像信号処理方
法。 - 【請求項39】 上記入力画像の小ブロックが画像間予
測で参照する小ブロックは、フレーム間予測で参照され
るフレーム上において上記入力画像の小ブロックと同じ
空間的位置にある小ブロックであることを特徴とする請
求項33に記載の画像信号処理方法。 - 【請求項40】 上記入力画像の小ブロックが画像間予
測で参照する小ブロックは、フレーム間予測で参照され
るフレーム上において上記入力画像の小ブロックと同じ
空間的位置にある小ブロックであることを特徴とする請
求項34に記載の画像信号処理方法。 - 【請求項41】 入力画像を所定の方法により、適応的
にローパスフィルタ処理を施す際のフィルタ特性を決定
する際に参照する参照画像と、適応的にローパスフィル
タ処理を施す際のフィルタ特性を決定する際に参照しな
い非参照画像に分類し、 上記入力画像を少なくとも1画素からなる小ブロックに
分割し、 上記入力画像がフィルタ特性の参照画像である場合は、
所定の方法により計算した当該入力画像内の小ブロック
の符号化難易度及び上記小ブロックに近接する同一画像
内の小ブロックの符号化難易度と、上記入力画像の小ブ
ロックが画像間予測で参照する小ブロックで使われたフ
ィルタ制御情報に基づいて、上記入力画像の小ブロック
に対して適応的にローパスフィルタ処理を施す際のフィ
ルタ特性を決定し、 上記入力画像がフィルタ特性の非参照画像の場合は、上
記入力画像の小ブロックが画像間予測で参照する過去参
照画像における小ブロックのフィルタ制御情報と、未来
参照画像における小ブロックのフィルタ制御情報とに基
づいて、上記入力画像の小ブロックに対して適応的にロ
ーパスフィルタ処理を施す際のフィルタ特性を決定する
ことで上記ノイズ低減処理を行うことを特徴とする請求
項29に記載の画像信号処理方法。 - 【請求項42】 上記入力画像がフィルタ特性の参照画
像である場合には、上記入力画像内の全小ブロックの符
号化難易度を当該入力画像内で平滑化して算出した小ブ
ロックのローパスフィルタの帯域制限値と、当該入力画
像の小ブロックが画像間予測で参照する小ブロックで使
われたローパスフィルタの帯域制限値とを比較して比較
値を求め、当該比較値が予め決められた閾値より大きい
時は、当該比較値を上記閾値以内に抑えるように、上記
入力画像の小ブロックに使うローパスフィルタの帯域制
限値を制御し、 上記入力画像がフィルタ特性の非参照画像である場合に
は、当該入力画像の小ブロックが画像間予測で参照する
過去参照画像における小ブロックで使われたローパスフ
ィルタの帯域制限値と未来参照画像における小ブロック
で使われたローパスフィルタの帯域制限値から、所定の
方法で内挿補間によって上記入力画像の小ブロックに使
うローパスフィルタの帯域制限値を計算し、当該帯域制
限値と当該入力画像に時間的に近接する画像の空間的に
同じ位置の小ブロックで使われたローパスフィルタの帯
域制限値とを比較して比較値を求め、当該比較値が予め
決められた閾値より大きい時は、当該比較値を上記閾値
以内に抑えるように、上記入力画像の小ブロックに使う
ローパスフィルタの帯域制限値を制御することを特徴と
する請求項41記載の画像信号処理方法。 - 【請求項43】 上記参照画像に対して予測符号化及び
/又は直交変換符号化を施して係数データを生成し、当
該係数データを一定の量子化ステップで量子化すること
により上記小ブロック単位の発生符号量を求め、当該小
ブロック単位で求めた発生符号量を上記符号化難易度と
することを特徴とする請求項41に記載の画像信号処理
方法。 - 【請求項44】 上記参照画像の画像間の動きベクトル
を上記小ブロック単位で検出して予測残差を求め、当該
小ブロック単位で求めた予測残差を上記符号化難易度と
することを特徴とする請求項41に記載の画像信号処理
方法。 - 【請求項45】 上記入力画像の小ブロックが画像間予
測で参照する小ブロックは、フレーム間予測で参照され
るフレーム上において上記入力画像の小ブロックの動き
ベクトルにより参照される位置にある小ブロックである
ことを特徴とする請求項41に記載の画像信号処理方
法。 - 【請求項46】 上記入力画像の小ブロックが画像間予
測で参照する小ブロックは、フレーム間予測で参照され
るフレーム上において上記入力画像の小ブロックの動き
ベクトルにより参照される位置にある小ブロックである
ことを特徴とする請求項42に記載の画像信号処理方
法。 - 【請求項47】 上記入力画像の小ブロックが画像間予
測で参照する小ブロックは、フレーム間予測で参照され
るフレーム上において上記入力画像の小ブロックと同じ
空間的位置にある小ブロックであることを特徴とする請
求項41に記載の画像信号処理方法。 - 【請求項48】 上記入力画像の小ブロックが画像間予
測で参照する小ブロックは、フレーム間予測で参照され
るフレーム上において上記入力画像の小ブロックと同じ
空間的位置にある小ブロックであることを特徴とする請
求項42に記載の画像信号処理方法。 - 【請求項49】 上記決定されたフィルタ特性でローパ
スフィルタ処理された画像信号に対し、符号化処理を施
すことを特徴とする請求項41に記載の画像信号処理方
法。 - 【請求項50】 入力画像のエッジ成分を抽出し、 上記入力画像の動きを検出し、 上記入力画像からブロック歪判定に必要なパラメータを
演算し、 上記エッジ抽出の結果、上記動き検出の結果、及び上記
パラメータ演算の結果に基づいてブロック歪を判定し、 上記ブロック歪を低減するための補正値を算出し、 上記ブロック歪の判定結果に応じた上記補正値による補
正を上記入力画像に対して施して出力することで上記ノ
イズ低減処理を行うことを特徴とする請求項29に記載
の画像信号処理方法。 - 【請求項51】 上記ブロック歪を判定するときには、
ブロック歪の複数段階の強さを判定し、判定された強さ
に応じた補正量で補正を行わせることを特徴とする請求
項50に記載の画像信号処理方法。 - 【請求項52】 上記入力画像が輝度信号及び色信号か
らなり、上記輝度信号及び上記色信号の少なくとも一方
に対して上記ノイズ低減処理を施すことを特徴とする請
求項29に記載の画像信号処理方法。 - 【請求項53】 上記ノイズ低減処理は、画像の垂直方
向、水平方向の少なくとも一方に対してノイズ低減処理
を行うことを特徴とする請求項29に記載の画像信号処
理方法。 - 【請求項54】 上記符号化処理された入力画像を記録
媒体に記録し、記録媒体に記録された圧縮符号化された
入力画像を再生することを特徴とする請求項29に記載
の画像信号処理方法。 - 【請求項55】 上記フィルタリング処理におけるフィ
ルタレベルを検出し、フィルタレベルに応じて復号処理
を行い、 復号処理が施された入力画像のブロック歪を少なくとも
低減する処理を行うことを特徴とする請求項29に記載
の画像信号処理方法。 - 【請求項56】 上記フィルタリング処理におけるフィ
ルタレベルを検出し、 検出したフィルタレベルに応じて復号処理が施された入
力画像に画質補正処理を行うことを特徴とする請求項5
5に記載の画像信号処理方法。 - 【請求項57】 検出したフィルタレベルを入力画像に
付加して画像の圧縮符号化を行い、フィルタレベルが付
加された画像を記録媒体に記録することを特徴とする請
求項55に記載の画像信号処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36150097A JP4186242B2 (ja) | 1997-12-26 | 1997-12-26 | 画像信号処理装置及び画像信号処理方法 |
US09/220,746 US6466625B1 (en) | 1997-12-26 | 1998-12-23 | Picture signal processing method and apparatus |
US10/106,290 US6825886B2 (en) | 1997-12-26 | 2002-03-25 | Picture signal processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36150097A JP4186242B2 (ja) | 1997-12-26 | 1997-12-26 | 画像信号処理装置及び画像信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11196419A true JPH11196419A (ja) | 1999-07-21 |
JP4186242B2 JP4186242B2 (ja) | 2008-11-26 |
Family
ID=18473836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36150097A Expired - Fee Related JP4186242B2 (ja) | 1997-12-26 | 1997-12-26 | 画像信号処理装置及び画像信号処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US6466625B1 (ja) |
JP (1) | JP4186242B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006157239A (ja) * | 2004-11-26 | 2006-06-15 | Canon Inc | 画像処理装置及び画像処理方法 |
US7177358B2 (en) | 2000-06-27 | 2007-02-13 | Mitsubishi Denki Kabushiki Kaisha | Picture coding apparatus, and picture coding method |
JP2007174690A (ja) * | 2007-01-26 | 2007-07-05 | Monolith Co Ltd | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
JP2008252759A (ja) * | 2007-03-30 | 2008-10-16 | Sony Corp | 映像信号処理装置と映像信号処理方法 |
JP2009206713A (ja) * | 2008-02-27 | 2009-09-10 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2009232217A (ja) * | 2008-03-24 | 2009-10-08 | Mega Chips Corp | 画像処理装置 |
WO2011061957A1 (ja) * | 2009-11-17 | 2011-05-26 | シャープ株式会社 | 符号化装置、復号化装置、符号化装置の制御方法、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
KR20110116055A (ko) * | 2009-02-10 | 2011-10-24 | 실리콘 이미지, 인크. | 블록 노이즈 검출 및 필터링 |
JP2012016048A (ja) * | 2001-09-12 | 2012-01-19 | Panasonic Corp | 画像符号化装置および符号化画像ストリーム |
JP2014146988A (ja) * | 2013-01-29 | 2014-08-14 | Fujitsu Ltd | 動画像符号化装置 |
US8824825B2 (en) | 2009-11-17 | 2014-09-02 | Sharp Kabushiki Kaisha | Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6873368B1 (en) * | 1997-12-23 | 2005-03-29 | Thomson Licensing Sa. | Low noise encoding and decoding method |
AU717480B2 (en) * | 1998-08-01 | 2000-03-30 | Korea Advanced Institute Of Science And Technology | Loop-filtering method for image data and apparatus therefor |
KR100875781B1 (ko) * | 2000-03-13 | 2008-12-24 | 소니 가부시끼 가이샤 | 콘텐츠 공급 장치 및 방법과, 기록 매체 |
JP2002077917A (ja) * | 2000-06-13 | 2002-03-15 | Sony Corp | 画像データ処理装置及び画像データ処理方法 |
JP2002112257A (ja) * | 2000-07-26 | 2002-04-12 | Matsushita Electric Ind Co Ltd | 映像圧縮伝送装置および方法 |
US6914939B1 (en) * | 2000-11-13 | 2005-07-05 | International Business Machines Corporation | Method and apparatus for producing pseudo-constant bits per picture video bit-streams for low-delay compression system |
EP1209624A1 (en) | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
US7161633B2 (en) * | 2001-01-10 | 2007-01-09 | Koninklijke Philips Electronics N.V. | Apparatus and method for providing a usefulness metric based on coding information for video enhancement |
US20040190023A1 (en) * | 2003-03-24 | 2004-09-30 | Tatsuya Aoyama | Image processing method, apparatus and program |
JP2005020294A (ja) * | 2003-06-25 | 2005-01-20 | Sony Corp | ブロック歪低減装置 |
US7277592B1 (en) * | 2003-10-21 | 2007-10-02 | Redrock Semiconductory Ltd. | Spacial deblocking method using limited edge differences only to linearly correct blocking artifact |
US7519274B2 (en) | 2003-12-08 | 2009-04-14 | Divx, Inc. | File format for multiple track digital data |
US8472792B2 (en) | 2003-12-08 | 2013-06-25 | Divx, Llc | Multimedia distribution system |
US7397855B2 (en) * | 2004-04-14 | 2008-07-08 | Corel Tw Corp. | Rate controlling method and apparatus for use in a transcoder |
JP4534723B2 (ja) * | 2004-11-05 | 2010-09-01 | 株式会社日立製作所 | 画像表示装置、画像処理装置および画像処理方法 |
JP2006157730A (ja) * | 2004-11-30 | 2006-06-15 | Toshiba Corp | 映像データ演算装置 |
KR100672592B1 (ko) * | 2005-01-14 | 2007-01-24 | 엘지전자 주식회사 | 디스플레이 장치의 영상 보상장치 및 보상방법 |
EP1727372A1 (en) * | 2005-05-27 | 2006-11-29 | Thomson Licensing | Method and apparatus for encoding and decoding video data, |
US7787541B2 (en) * | 2005-10-05 | 2010-08-31 | Texas Instruments Incorporated | Dynamic pre-filter control with subjective noise detector for video compression |
US7515710B2 (en) | 2006-03-14 | 2009-04-07 | Divx, Inc. | Federated digital rights management scheme including trusted systems |
FR2898757A1 (fr) * | 2006-03-14 | 2007-09-21 | Canon Kk | Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video |
CN101072343A (zh) * | 2006-05-12 | 2007-11-14 | 松下电器产业株式会社 | 图像处理装置、方法及集成电路 |
JP4358215B2 (ja) * | 2006-09-27 | 2009-11-04 | 株式会社東芝 | 動画像符号化装置及びその方法 |
US20080101469A1 (en) * | 2006-10-31 | 2008-05-01 | Motorola, Inc. | Method and apparatus for adaptive noise filtering of pixel data |
ES2935410T3 (es) | 2007-01-05 | 2023-03-06 | Divx Llc | Sistema de distribución de vídeo que incluye reproducción progresiva |
US8315709B2 (en) * | 2007-03-26 | 2012-11-20 | Medtronic, Inc. | System and method for smoothing sampled digital signals |
JP4790669B2 (ja) * | 2007-07-05 | 2011-10-12 | 株式会社メガチップス | トランスコーダ |
EP2188979A2 (en) * | 2007-09-10 | 2010-05-26 | Nxp B.V. | Method and apparatus for motion estimation in video image data |
KR20100106327A (ko) | 2007-11-16 | 2010-10-01 | 디브이엑스, 인크. | 멀티미디어 파일을 위한 계층적 및 감소된 인덱스 구조 |
CN102132566B (zh) * | 2008-10-07 | 2015-05-20 | 株式会社Ntt都科摩 | 图像加工装置及方法、动态图像编码装置及方法、动态图像解码装置及方法、以及编码解码系统和方法 |
CN104104391B (zh) * | 2008-12-09 | 2017-04-26 | 日本电信电话株式会社 | 编码方法以及编码装置 |
US8340448B2 (en) * | 2009-10-06 | 2012-12-25 | Cisco Technology, Inc. | Locally variable quantization and hybrid variable length coding for image and video compression |
WO2011068668A1 (en) | 2009-12-04 | 2011-06-09 | Divx, Llc | Elementary bitstream cryptographic material transport systems and methods |
AU2010345142B2 (en) * | 2010-02-05 | 2015-01-22 | Telefonaktiebolaget L M Ericsson (Publ) | De-blocking filtering control |
WO2011128272A2 (en) * | 2010-04-13 | 2011-10-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Hybrid video decoder, hybrid video encoder, data stream |
WO2012008037A1 (ja) * | 2010-07-15 | 2012-01-19 | 富士通株式会社 | 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法 |
US8542751B2 (en) * | 2010-08-20 | 2013-09-24 | Intel Corporation | Techniques for identifying and reducing block artifacts |
US8914534B2 (en) | 2011-01-05 | 2014-12-16 | Sonic Ip, Inc. | Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol |
JP5645699B2 (ja) * | 2011-02-16 | 2014-12-24 | 三菱電機株式会社 | 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置 |
US8812662B2 (en) | 2011-06-29 | 2014-08-19 | Sonic Ip, Inc. | Systems and methods for estimating available bandwidth and performing initial stream selection when streaming content |
US9467708B2 (en) | 2011-08-30 | 2016-10-11 | Sonic Ip, Inc. | Selection of resolutions for seamless resolution switching of multimedia content |
US9955195B2 (en) | 2011-08-30 | 2018-04-24 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
US8787570B2 (en) | 2011-08-31 | 2014-07-22 | Sonic Ip, Inc. | Systems and methods for automatically genenrating top level index files |
US8799647B2 (en) | 2011-08-31 | 2014-08-05 | Sonic Ip, Inc. | Systems and methods for application identification |
US8909922B2 (en) | 2011-09-01 | 2014-12-09 | Sonic Ip, Inc. | Systems and methods for playing back alternative streams of protected content protected using common cryptographic information |
US8964977B2 (en) | 2011-09-01 | 2015-02-24 | Sonic Ip, Inc. | Systems and methods for saving encoded media streamed using adaptive bitrate streaming |
US9398300B2 (en) * | 2011-10-07 | 2016-07-19 | Texas Instruments Incorporated | Method, system and apparatus for intra-prediction in video signal processing using combinable blocks |
WO2013081085A1 (en) * | 2011-11-28 | 2013-06-06 | Canon Kabushiki Kaisha | Moving image encoding apparatus, control method thereof and computer program |
US20130179199A1 (en) | 2012-01-06 | 2013-07-11 | Rovi Corp. | Systems and methods for granting access to digital content using electronic tickets and ticket tokens |
US9936267B2 (en) | 2012-08-31 | 2018-04-03 | Divx Cf Holdings Llc | System and method for decreasing an initial buffering period of an adaptive streaming system |
US9313510B2 (en) | 2012-12-31 | 2016-04-12 | Sonic Ip, Inc. | Use of objective quality measures of streamed content to reduce streaming bandwidth |
US9191457B2 (en) | 2012-12-31 | 2015-11-17 | Sonic Ip, Inc. | Systems, methods, and media for controlling delivery of content |
US9338455B1 (en) * | 2013-01-23 | 2016-05-10 | Pixelworks, Inc. | Adaptive compression artifacts reduction method |
US10397292B2 (en) | 2013-03-15 | 2019-08-27 | Divx, Llc | Systems, methods, and media for delivery of content |
US9906785B2 (en) | 2013-03-15 | 2018-02-27 | Sonic Ip, Inc. | Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata |
US9094737B2 (en) | 2013-05-30 | 2015-07-28 | Sonic Ip, Inc. | Network video streaming with trick play based on separate trick play files |
US9100687B2 (en) | 2013-05-31 | 2015-08-04 | Sonic Ip, Inc. | Playback synchronization across playback devices |
US9380099B2 (en) | 2013-05-31 | 2016-06-28 | Sonic Ip, Inc. | Synchronizing multiple over the top streaming clients |
US9386067B2 (en) | 2013-12-30 | 2016-07-05 | Sonic Ip, Inc. | Systems and methods for playing adaptive bitrate streaming content by multicast |
US9866878B2 (en) | 2014-04-05 | 2018-01-09 | Sonic Ip, Inc. | Systems and methods for encoding and playing back video at different frame rates using enhancement layers |
MX2016015022A (es) | 2014-08-07 | 2018-03-12 | Sonic Ip Inc | Sistemas y metodos para proteger corrientes de bits elementales que incorporan tejas codificadas independientemente. |
US9979970B2 (en) | 2014-08-08 | 2018-05-22 | Qualcomm Incorporated | System and method for determining buffer fullness for display stream compression |
CN107111477B (zh) | 2015-01-06 | 2021-05-14 | 帝威视有限公司 | 用于编码内容和在设备之间共享内容的系统和方法 |
EP3627337A1 (en) | 2015-02-27 | 2020-03-25 | DivX, LLC | Systems and methods for frame duplication and frame extension in live video encoding and streaming |
CN115278228A (zh) * | 2015-11-11 | 2022-11-01 | 三星电子株式会社 | 对视频进行解码的方法和对视频进行编码的方法 |
US10075292B2 (en) | 2016-03-30 | 2018-09-11 | Divx, Llc | Systems and methods for quick start-up of playback |
US10129574B2 (en) | 2016-05-24 | 2018-11-13 | Divx, Llc | Systems and methods for providing variable speeds in a trick-play mode |
US10231001B2 (en) | 2016-05-24 | 2019-03-12 | Divx, Llc | Systems and methods for providing audio content during trick-play playback |
US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
US10498795B2 (en) | 2017-02-17 | 2019-12-03 | Divx, Llc | Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming |
WO2020185152A1 (en) * | 2019-03-11 | 2020-09-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Video coding involving gop-based temporal filtering |
ES2974683T3 (es) | 2019-03-21 | 2024-07-01 | Divx Llc | Sistemas y métodos para enjambres multimedia |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5552832A (en) * | 1994-10-26 | 1996-09-03 | Intel Corporation | Run-length encoding sequence for video signals |
JP3353604B2 (ja) * | 1995-08-09 | 2002-12-03 | ソニー株式会社 | 動画像符号化方法及び装置、並びに信号記録媒体 |
US5819035A (en) * | 1995-10-20 | 1998-10-06 | Matsushita Electric Industrial Co., Ltd. | Post-filter for removing ringing artifacts of DCT coding |
KR100213089B1 (ko) * | 1997-01-29 | 1999-08-02 | 윤종용 | 루프필터링 방법 및 루프필터 |
US6188799B1 (en) * | 1997-02-07 | 2001-02-13 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for removing noise in still and moving pictures |
US6028965A (en) * | 1997-05-13 | 2000-02-22 | Lg Electronics, Inc | Method and apparatus for intelligent codec system |
US6195394B1 (en) * | 1998-11-30 | 2001-02-27 | North Shore Laboratories, Inc. | Processing apparatus for use in reducing visible artifacts in the display of statistically compressed and then decompressed digital motion pictures |
-
1997
- 1997-12-26 JP JP36150097A patent/JP4186242B2/ja not_active Expired - Fee Related
-
1998
- 1998-12-23 US US09/220,746 patent/US6466625B1/en not_active Expired - Lifetime
-
2002
- 2002-03-25 US US10/106,290 patent/US6825886B2/en not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7177358B2 (en) | 2000-06-27 | 2007-02-13 | Mitsubishi Denki Kabushiki Kaisha | Picture coding apparatus, and picture coding method |
JP2012016048A (ja) * | 2001-09-12 | 2012-01-19 | Panasonic Corp | 画像符号化装置および符号化画像ストリーム |
JP2006157239A (ja) * | 2004-11-26 | 2006-06-15 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2007174690A (ja) * | 2007-01-26 | 2007-07-05 | Monolith Co Ltd | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
JP2008252759A (ja) * | 2007-03-30 | 2008-10-16 | Sony Corp | 映像信号処理装置と映像信号処理方法 |
JP2009206713A (ja) * | 2008-02-27 | 2009-09-10 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2009232217A (ja) * | 2008-03-24 | 2009-10-08 | Mega Chips Corp | 画像処理装置 |
KR20110116055A (ko) * | 2009-02-10 | 2011-10-24 | 실리콘 이미지, 인크. | 블록 노이즈 검출 및 필터링 |
WO2011061957A1 (ja) * | 2009-11-17 | 2011-05-26 | シャープ株式会社 | 符号化装置、復号化装置、符号化装置の制御方法、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP5291804B2 (ja) * | 2009-11-17 | 2013-09-18 | シャープ株式会社 | 符号化装置、符号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US8811765B2 (en) | 2009-11-17 | 2014-08-19 | Sharp Kabushiki Kaisha | Encoding device configured to generate a frequency component extraction signal, control method for an encoding device using the frequency component extraction signal, transmission system, and computer-readable recording medium having a control program recorded thereon |
US8824825B2 (en) | 2009-11-17 | 2014-09-02 | Sharp Kabushiki Kaisha | Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon |
JP2014146988A (ja) * | 2013-01-29 | 2014-08-14 | Fujitsu Ltd | 動画像符号化装置 |
Also Published As
Publication number | Publication date |
---|---|
US20020141503A1 (en) | 2002-10-03 |
US6825886B2 (en) | 2004-11-30 |
JP4186242B2 (ja) | 2008-11-26 |
US6466625B1 (en) | 2002-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4186242B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP4164877B2 (ja) | ブロック歪低減方法及び装置並びに符号化方法及び装置 | |
EP0710031B1 (en) | System for coding a video signal in the presence of an image intensity gradient | |
US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
US5500689A (en) | System for detecting a video signal image intensity gradient | |
KR100823371B1 (ko) | 화상 데이터 처리 장치 및 화상 데이터 처리 방법 | |
EP1506525B1 (en) | System for and method of sharpness enhancement for coded digital video | |
JPH08237669A (ja) | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 | |
CA2616363A1 (en) | Coding device, coding method, decoding device, decoding method, and programs of same | |
WO2012063878A1 (ja) | 画像処理装置と画像処理方法 | |
JP2006509437A (ja) | デジタルビデオ処理に対する統一測定基準(umdvp) | |
US6950561B2 (en) | Method and system for sharpness enhancement for coded video | |
EP1461957A1 (en) | Improving temporal consistency in video sharpness enhancement | |
JPH11205792A (ja) | ブロック歪低減方法及び装置 | |
JPH09298753A (ja) | 動画像符号化方法及び動画像符号化装置 | |
JP4239231B2 (ja) | ブロック歪低減装置及び方法 | |
JPH07231449A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
JP3239583B2 (ja) | 撮像装置及び撮像装置を有するテレビ電話装置 | |
JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
JPH1056646A (ja) | 映像信号復号化装置 | |
JP2001094996A (ja) | ブロック歪低減方法及びブロック歪低減装置 | |
JP2001359098A (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP2001145104A (ja) | 画像復号化方法および画像復号化装置 | |
JP2000278690A (ja) | 符号化装置 | |
JPH11313329A (ja) | 画像データ処理装置および方法、並びに提供媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080513 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |