JPH09107549A - 動画像符号化方法及び装置、並びに信号記録媒体 - Google Patents

動画像符号化方法及び装置、並びに信号記録媒体

Info

Publication number
JPH09107549A
JPH09107549A JP11168196A JP11168196A JPH09107549A JP H09107549 A JPH09107549 A JP H09107549A JP 11168196 A JP11168196 A JP 11168196A JP 11168196 A JP11168196 A JP 11168196A JP H09107549 A JPH09107549 A JP H09107549A
Authority
JP
Japan
Prior art keywords
filter
image
moving picture
signal
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11168196A
Other languages
English (en)
Other versions
JP3353604B2 (ja
Inventor
Takashi Kojima
尚 小嶋
Motoki Kato
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP11168196A priority Critical patent/JP3353604B2/ja
Priority to DE1996624639 priority patent/DE69624639T2/de
Priority to KR1019960033110A priority patent/KR970012226A/ko
Priority to EP19960305862 priority patent/EP0758186B1/en
Publication of JPH09107549A publication Critical patent/JPH09107549A/ja
Priority to US08/962,886 priority patent/US5875003A/en
Application granted granted Critical
Publication of JP3353604B2 publication Critical patent/JP3353604B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 伝送ビットレートの高低にかかわらずに画像
の品質劣化を最小限に抑えると共に、動きベクトルの誤
検出を防止し、また例えばグレインノイズの質感をも残
すこを可能にする。 【解決手段】 動画像信号から動きベクトルを検出する
ＭＥ器１０５と、当該ＭＥ器１０５により検出された動
きベクトル信号Ｓ２３を用いて、動画像信号に対して符
号化処理を施すハイブリッド符号化器１０４と、上記Ｍ
Ｅ器１０５に入力する動画像信号にフィルタリング処理
を施すプリフィルタ回路１０２と、上記ハイブリッド符
号化器１０４に入力する動画像信号にフィルタリング処
理を施すプリフィルタ回路１０１とを有し、上記プリフ
ィルタ回路１０１と１０２のフィルタ特性を、別々に制
御する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像信号を、例
えば光磁気ディスクや磁気テープなどの記録媒体に記録
したり、テレビ会議システム、テレビ電話システム、放
送用機器など、動画像信号を伝送路を介して送信側から
受信側に伝送する場合、などに用いて好適な動画像符号
化方法及び装置、並びに符号化された画像信号が記録さ
れた信号記録媒体に関する。
【０００２】
【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、高品質の伝送を実現するため
に、上記動画像信号をディジタル化することが行われて
いる。また、動画像信号を信号記録媒体に記録する場合
においても、同様にディジタル化した動画像信号を記録
することが行われている。
【０００３】ここで、ディジタル化した動画像信号はデ
ータ量が膨大であるので、記録又は伝送する場合には、
データの符号化（圧縮）が行われることが多い。しか
し、動画像信号を符号化（圧縮）すると、多少の画質劣
化は避けられないものである。この画質劣化としては、
例えば、ブロック状歪みや輪郭部のリンギング（モスキ
ートノイズ）がある。このような画質劣化を少なくする
ために、従来より、プリフィルタ（具体的にはローパス
フィルタ）を使用し、符号化前の入力画像信号に対して
フィルタリング処理を施すことが多い。
【０００４】図２８には、上記プリフィルタを使用する
従来の動画像信号の符号化装置の一例を示す。
【０００５】図２８において、端子１から入力されるデ
ィジタル動画像信号Ｓ１０は、プリフィルタ回路２でフ
ィルタリング処理される。上記フィルタリング処理がな
された処理画像信号Ｓ１１は、次段の符号化回路３へ入
力される。
【０００６】符号化回路３は、ハイブリッド符号化器３
１とＭＥ（動きベクトル推定，Motion vectre Estimati
on）器３２とからなるものである。上記ハイブリッド符
号化器３１は、ハイブリッド符号化方法を用いてディジ
タル動画像信号を符号化するものである。なお、上記ハ
イブリッド符号化方法は、動き補償フレーム間予測とＤ
ＣＴ（離散コサイン変換）などの変換符号化を組み合わ
せた代表的な符号化方法である。また、ＭＥ器３２で
は、フレーム間の動きベクトル（ＭＶ）を計算し得られ
た動きベクトル信号Ｓ１３をハイブリッド符号化器３１
に送る。ハイブリッド符号化器３１は、上記動きベクト
ル信号Ｓ１３を使って動き補償フレーム間予測を行い、
予測残差に対して、ＤＣＴなどの変換符号化を行なう。
当該ハイブリッド符号化器３１により得られた符号化ビ
ットストリームＳ１２は、端子４から出力される。
【０００７】ここで、上記図２８の構成例において、プ
リフィルタ回路２からの出力である上記処理画像信号Ｓ
１１は、ハイブリッド符号化器３１とＭＥ器３２の両方
に入力されているが、上記入力画像信号Ｓ１０に対する
プリフィルタリングの目的は、大きく分けて２つある。
【０００８】一番目の目的は、ハイブリッド符号化器３
１での符号化によって発生する視覚的に目立つ画質劣化
を少なくするためである。すなわち、例えば入力画像の
絵柄が複雑であるために、与えられた伝送ビットレート
では十分な画質を表現できない（視覚上目立つブロック
歪みが発生する）ような時に、予め画像の高周波数成分
を削減したり、またノイズレベルを低減するために使用
する。このように入力画像信号をフィルタリングしてか
ら符号化すると、その後の復号化により得られる画像は
多少ぼけることになるが、ブロック歪みのある画像より
は、視覚的に印象の良いものとなる。
【０００９】２番目の目的は、ＭＥ器３２での動きベク
トル検出の際の誤検出を防ぐためである。一般に、フレ
ーム間での動きベクトル推定は、１６画素×１６ライン
のブロックのパターンマッチングで行う。すなわちこの
パターンマッチングでは、例えば１つ前のフレームの中
から、現在入力されたブロックに最も似ているブロック
位置を検出することを行う。この時、例えば、入力画像
信号のノイズレベルが大きいと、絵柄が平坦な画像部分
や例えば動きの少ない画像部分であったとしても、当該
ノイズを動きとして誤って検出してしまい、本当の画像
の動きと関係ない動きベクトルがランダムに発生する虞
れがある。このように本当の画像の動きと関係ない動き
ベクトルがランダムに発生すると、当該動きベクトルを
使ってハイブリッド符号化器３１にて動き補償フレーム
間予測符号化した動画像は、画像の平坦部が、ざわざわ
と不安定になり、視覚的な印象が悪くなる。これを防ぐ
ために、上記プリフィルタリングにより入力画像信号か
らノイズ成分を予め除去する。このようにプリフィルタ
リングによってノイズ成分を予め除去することで動きベ
クトルが正しく求められるようになれば、動き補償フレ
ーム間予測の効率が上がることになり、結果的に画質劣
化は少なくなる。
【００１０】
【発明が解決しようとする課題】ここで、例えばいわゆ
るＭＰＥＧ２規格のように十分高い伝送ビットレートを
用いることができる符号化手法にて上記入力動画像信号
を符号化するような場合を考えてみる。なお、ＭＰＥＧ
(Moving Picture Expert Group)とは、ＩＳＯ（国際標
準化機構）とＩＥＣ（国際電気標準会議）のＪＴＣ（Jo
int Technical Committee）１のＳＣ（Sub Committe
e）２９のＷＧ（Working Group）１１においてまとめら
れた動画像符号化方式の通称である。このＭＰＥＧ２規
格のような十分高い伝送ビットレートを用いる符号化手
法によれば、大きな劣化（ブロック歪み等）無しに入力
動画像信号を符号化することができ、後の復号化された
動画像は高品位なものが得られることになる。
【００１１】ところが、前述した図２８の構成のよう
に、入力動画像信号に対してプリフィルタ回路２により
プリフィルタリング処理を施し、当該フィルタリング処
理された動画像信号をＭＥ器３２とハイブリッド符号化
器３１の両方に供給するような符号化装置に対して、上
述のように十分高い伝送ビットレートを用いることがで
きる符号化手法を適用した場合には、以下のような問題
が発生することがある。
【００１２】すなわち、上記十分高い伝送ビットレート
を使用可能な符号化手法を用いれば、上述したように大
きな劣化無しで且つ高品位な画像を得ることができるは
ずであるのに、上記入力動画像信号に対してプリフィル
タリング処理を行うと画像がぼけてしまい、例えば細か
い絵柄などは失われることになる。また、画像がぼける
と前記ＭＥ器３２における動きベクトルの検出精度も落
ちる。逆に、上記プリフィルタリング処理に起因する画
像のぼけを少なくすることや動きベクトルの検出精度を
上げることを優先させて、上記図２８の符号化装置のプ
リフィルタ回路２でのフィルタリングを行わないか、或
いは弱めのフィルタリングを行うようにすると、前述し
たように入力動画像の絵柄が例え平坦であったとして
も、例えば画像信号中のノイズによって上記ＭＥ器３２
が誤った動きベクトルの検出をしてしまうようになる。
勿論、当該ＭＥ器３２での動きベクトルの誤検出を避け
ることを優先させて、上記プリフィルタリングによって
上記画像のノイズを除去してしまうようにすると、上述
したように伝送ビットレートが十分高いにも関わらず、
復号化後の画像がぼけたり、動きベクトルの検出精度が
落ちることになる。
【００１３】また、例えばいわゆるＭＰＥＧ１規格のよ
うに低い伝送ビットレートとなる符号化手法にて上記入
力動画像信号を符号化するような場合を考えてみる。
【００１４】このように伝送ビットレートが低いような
符号化手法も、上記図２８の符号化装置に適用すると、
以下のような問題が発生する虞れがある。
【００１５】すなわち、入力動画像信号に対して上記プ
リフィルタ回路２にてプリフィルタリング処理を施す
と、ＭＥ器３２における動きベクトルの検出精度が下が
ることなる。逆に、上記動きベクトルの検出精度を優先
させて、上記図２８の符号化装置のプリフィルタ回路２
でのフィルタリングを行わないか、或いは弱めのフィル
タリングを行うようにすると、画像の絵柄が細かくて複
雑な場合には符号化後のビット量が増加し、規定の使用
可能な伝送ビットレートを越えてしまうようになる虞れ
がある。また、ノイズの除去も困難になり、動きベクト
ルを誤って検出してしまうようになる。
【００１６】次に、上記入力動画像信号を例えば映画な
どのフィルムソースから得られた動画像信号とし、更に
例えば上記ＭＰＥＧ２規格のように十分高い伝送ビット
レートを用いることができる符号化手法にて当該入力動
画像信号を符号化するような場合をも考えてみる。な
お、フィルムソースの画像は独特のグレインノイズ（粒
状ノイズ）をもつものであり、当該グレインノイズはい
わゆる不必要な除去されるべきノイズとは異り、フィル
ム映像の質感（テクスチャ）を与えるものといわれてい
る。また、前述したようにＭＰＥＧ２規格のような十分
高い伝送ビットレートを用いる符号化手法によれば、大
きな劣化（ブロック歪み等）無しに入力動画像信号を符
号化することができ、したがって通常は上記グレインノ
イズの質感も損なわれることがない。
【００１７】ここで、前述した図２８の構成のように、
入力動画像信号に対してプリフィルタ回路２によりプリ
フィルタリング処理を施し、当該フィルタリング処理さ
れた動画像信号をＭＥ器３２とハイブリッド符号化器３
１の両方に供給するような符号化装置に対して、上述の
ように映画などのフィルムソースから得られた動画像信
号を入力すると共に、上記ＭＰＥＧ２規格のように十分
高い伝送ビットレートを用いることができる符号化手法
を適用した場合には、以下のような問題が発生する。
【００１８】すなわち、当該符号化装置において、例え
ば上記入力動画像信号に含まれるグレインノイズの質感
を残すことを優先させて、上述した図２８の符号化装置
のプリフィルタ回路２でのフィルタリングを行わない
か、或いは弱めのフィルタリングによってグレインノイ
ズを少し残すようにしたときには、入力動画像の絵柄が
例え平坦であったとしても当該グレインノイズによって
上記ＭＥ器３２が動きベクトルを誤検出してしまうよう
になる。逆に、ＭＥ器３２での動きベクトルの誤検出を
防ぐことを優先させて、プリフィルタリングによって上
記グレインノイズを除去してしまうようにすると、上述
したように伝送ビットレートが十分高いにも関わらず、
ハイブリッド符号化器３１による符号化後の符号化画像
に上記グレインノイズの質感を残すことができなくな
る。
【００１９】また、上述同様に入力動画像信号を例えば
映画などのフィルムソースから得られた動画像信号とし
た場合において、図２８の符号化装置に対して上記ＭＰ
ＥＧ１規格のように伝送ビットレートが低い符号化手法
を用いたときにも、前述同様の問題が発生する。
【００２０】すなわち、入力動画像信号に対して上記プ
リフィルタ回路２にてプリフィルタリング処理を施す
と、ＭＥ器３２における動きベクトルの検出精度が下が
ると共に、グレインノイズの質感も得られない。逆に、
上記動きベクトルの検出精度を優先させて、上記プリフ
ィルタ回路２でのフィルタリングを行わないか、或いは
弱めのフィルタリングを行うようにすると、画像の絵柄
が細かくて複雑な場合には符号化後のビット量が増加
し、使用可能な伝送ビットレートを越えてしまうように
なると共に、グレインノイズによって動きベクトルを誤
検出してしまう虞れがある。
【００２１】次に、例えば映画やテレビなどのように、
複数のカメラによって撮影され、それらの映像を編集し
て一つの作品となしたような動画像信号を、入力動画像
信号として符号化することを考えてみる。すなわち、こ
の編集により得られた動画像信号は、異なったシーンが
集められて構成されたものである。
【００２２】ここで、当該異なったシーンが集められて
構成された動画像信号を、前記図２８の符号化装置への
入力動画像信号とした場合には、以下のような問題が発
生する。
【００２３】すなわち、当該入力動画像信号は上述した
ようなそれぞれ異なったシーンが集められて構成されて
おり、各シーンは、例えば静止画に近い映像やカーチェ
イスのような激しい動きを伴う映像であったり、細かい
テクスチャを持った映像や粗いテクスチャを持った映像
であったりする。したがって、このような入力動画像信
号に対して、上記プリフィルタ回路２により一括して同
じプリフィルタリング処理を施すことは、個々のシーン
の映像に対して最適なフィルタリング処理がなされてい
るとは言い難く、また、当該プリフィルタリング処理後
の動画像信号を上記ＭＥ器３２とハイブリッド符号化器
３１の両方に供給することは、前述同様に符号化後の画
像の品質や動きベクトルの誤検出という点で問題があ
る。
【００２４】そこで、本発明はこのような状況に鑑みて
なされたものであり、伝送ビットレートの高低にかかわ
らずに画像の品質劣化を最小限に抑えることができると
共に、動きベクトルの誤検出を防止し、また例えばグレ
インノイズの質感をも残すことができ、さらにシーン毎
に最適なフィルタリング処理を行うことも可能な動画像
符号化方法及び装置、並びに信号記録媒体を提供するこ
とを目的とする。
【００２５】
【課題を解決するための手段】本発明においては、動画
像信号に対して、別々に制御されるフィルタ特性を用い
た第１，第２のプリフィルタリング処理を施し、上記第
１のプリフィルタリング処理した動画像信号から動きベ
クトルを検出し、上記検出した動きベクトル情報を用
い、上記第２のプリフィルタリング処理した動画像信号
に符号化処理を施すことにより、上述の課題を解決す
る。
【００２６】また、本発明においては、動画像信号のシ
ーンの区切りを検出して、シーン毎にフィルタ特性を制
御することにより、上述の課題を解決する。
【００２７】すなわち、本発明によれば、動きベクトル
を検出する動画像信号に対するプリフィルタリング処理
の際のフィルタ特性と、符号化処理を施す動画像信号に
対するプリフィルタリング処理の際のフィルタ特性と
を、例えば画像の特徴に応じて別々に制御可能にしてい
るため、例えば、伝送ビットレートが十分に高く、グレ
インノイズをあまり劣化なく符号化できる時には、符号
化処理される動画像信号に対してはグレインノイズを残
すか又は僅かに残すプリフィルタリングを施し、また、
動きベクトルを検出する動画像信号に対してはグレイン
ノイズを除去することで動きベクトル検出精度を上げる
ことのできるプリフィルタリングを施すことが可能とな
る。逆に、例えば、伝送ビットレートが低く、動画像信
号を大きな劣化（ブロック歪み）なしに符号化すること
が難しい時には、符号化される動画像信号と動きベクト
ル検出される動画像信号とに対して、共にグレインノイ
ズを除去するプリフィルタリングを施すことが可能とな
る。
【００２８】また、本発明によれば、上述したフィルタ
特性の制御をシーン毎に行うことが可能となっている。
【００２９】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照にしながら説明する。
【００３０】本発明の動画像符号化方法が適用される動
画像符号化装置の第１の構成例を図１に示す。
【００３１】図１において、端子１００から入力される
ディジタル動画像信号Ｓ２０は、特徴量検出器１１０
と、当該特徴量検出器１１０における演算処理の時間分
を吸収するための遅延器１１１を介してプリフィルタ回
路１０１，１０２とへ送られる。
【００３２】上記特徴量検出器１１０は、後述するよう
にして上記ディジタル動画像信号Ｓ２０から画像の絵柄
の細かさ又は粗さ（テクスチャの多少）や伝送ビットレ
ートの高低、画像の動きの大小（動きの速さが速い，普
通，遅い）、輝度の明暗などの画像の特徴量を検出し、
この特徴量を示す情報を上記プリフィルタ回路１０１，
１０２に供給する。
【００３３】プリフィルタ回路１０１，１０２は、後述
するようにフィルタ特性が可変なローパスフィルタ構造
を有するものであり、例えばそれぞれが時間フィルタ
（フレーム間フィルタ、具体的には後述するノイズリデ
ューサ）とそれに続く空間フィルタ（フレーム内フィル
タ、具体的には後述する２次元空間フィルタ）とを備え
てなるものである。なお、当該プリフィルタ回路１０
１，１０２の具体的構成及び動作については後述する。
【００３４】符号化回路１０３は、ハイブリッド符号化
器１０４とＭＥ（動きベクトル推定，Motion vectre Es
timation）器１０５とからなるものであり、上記プリフ
ィルタ回路１０１からの処理画像信号Ｓ２１がハイブリ
ッド符号化器１０４へ、プリフィルタ回路１０２からの
処理画像信号Ｓ２２がＭＥ器１０５へ供給される。上記
ＭＥ器１０５ではフレーム間の動きベクトル（ＭＶ）を
計算し、得られた動きベクトル信号Ｓ２３をハイブリッ
ド符号化器１０４に送る。上記ハイブリッド符号化器１
０４は、動き補償フレーム間予測とＤＣＴなどの変換符
号化を組み合わせた代表的な符号化方法であるハイブリ
ッド符号化方法（例えばいわゆるＭＰＥＧ１やＭＰＥＧ
２規格等の符号化方法）を用いてディジタル動画像信号
を符号化するものである。すなわち、当該ハイブリッド
符号化器１０４では、上記ＭＥ器１０５からの上記動き
ベクトル信号Ｓ２３を使って動き補償フレーム間予測を
行い、予測残差に対して、ＤＣＴ（離散コサイン変換）
などの変換符号化を行う。当該ハイブリッド符号化器１
０４により得られた符号化ビットストリームＳ２４は、
端子１０６から出力される。なお、符号化回路１０３の
具体的構成及び動作については後述する。
【００３５】ここで、上述したような図１の構成におい
て、上記ＭＥ器１０５側のプリフィルタ回路１０２は、
基本的には上記時間フィルタを用いて画像信号中のノイ
ズ除去を行うようにコントロールされ、これによって当
該ＭＥ器１０５の動きベクトルの誤検出を防止するよう
にしている。また、上記ハイブリッド符号化器１０４側
のプリフィルタ回路１０１は、基本的には伝送ビットレ
ートが高いときにはフィルタリングを行わずに画像信号
を通過させ、逆に伝送ビットレートが低いときにはフィ
ルタリングを行うようにコントロールされ、これら伝送
ビットレートに応じた画像の品質維持、或いは符号化に
必要なビット数の低減を実現するようにしている。
【００３６】さらに、上記図１の構成においては、上記
プリフィルタ回路１０１及び１０２に対して、上述した
ような基本的なフィルタ特性のコントロールを行うと同
時に、上記画像の特徴量の情報に応じたフィルタ特性の
コントロールを行うことで、画像の特徴に応じた適応的
なフィルタリング処理を実現し、より良好な画像が得ら
れるようにしている。すなわち、上記各プリフィルタ回
路１０１，１０２内の時間フィルタ及び空間フィルタ
は、上記特徴量検出器１１０からの上記画像の特徴量を
示す情報に基づいて、それぞれのフィルタの特性が制御
されるようになされており、上記遅延器１１１を介した
ディジタル動画像信号は、これら各プリフィルタ回路１
０１，１０２にてそれぞれ上記画像の特徴量を示す情報
に基づいた適応的なローパス処理を受けるようになされ
ている。
【００３７】以下に、上記特徴量検出器１１０からの上
記絵柄の細かさ又は粗さ（テクスチャの多少）や伝送ビ
ットレートの高低、画像の動きの大小、輝度の明暗など
の画像の特徴量を示す情報に基づいて、上記プリフィル
タ回路１０１，１０２におけるプリフィルタリング処理
の制御を行う理由について説明する。
【００３８】先ず、画像の動きが大きい（動きが速い）
場合、人間の目はその画像の動きについて行けず、テク
スチャが多い画像（細かい絵柄の画像）を認識すること
ができない。逆に画像の動きが小さい（動きが遅い）場
合或いは画像が静止しているような場合は、テクスチャ
が多くても認識（細かい絵柄を認識）できる。勿論、画
像の動きが普通の速度である場合には、テクスチャに対
する上記認識力は上記速い場合と遅い場合の中間とな
る。したがって、画像の動きが速い場合には、当該画像
に対して例えば強いローパスフィルタによるフィルタリ
ング処理を施したとしても、人間の目は不自然さを感じ
難い。一方、画像の動きが例えば遅い場合或いは画像が
静止しているような場合には、上述のように人間は画面
内の細かい絵柄を認識することができ、テクスチャの多
い画像（細かい絵柄の画像）に例えば強いローパスフィ
ルタをかけて当該細かい絵柄を消してしまうと、人間の
目には不自然さが感じられることになるので、フィルタ
リングを行わないか、若しくは弱いローパスフィルタ特
性を用いたフィルタリングを行うようにし、見ている人
間に不快感を与えないようにすることが望ましい。勿
論、画像の動きが普通の速度である場合には、フィルタ
リングの特性も当該普通の速度に応じて適当に制御する
ことが望ましい。なお、テクスチャが少ない画像は、絵
柄が平坦な画像ということになる。
【００３９】次に、人間の目の感度は画面の輝度（すな
わち画像の明暗）により影響を受け、ある一定範囲内の
明るさの画像に対して敏感であり、明る過ぎる画像に対
しては感度が鈍る。特に、昼間の野外のような全体的に
明る過ぎる（輝度が高すぎる）画面では例えば残像など
の時間軸方向の感度が鈍り、逆に夜の暗闇のような全体
的に暗い（輝度が低い）画面では残像などの時間軸方向
の感度が高くなる（残像を見つけ易くなる）。したがっ
て、画面が全体的に明る過ぎるような場合には、当該画
像に対して特に時間フィルタによって強いフィルタリン
グを行ったとしても、人間の目は不自然さを感じ難い。
逆に、画面全体が暗いような場合には、当該画像に対し
て特に時間フィルタによるフィルタリングを行わないよ
うにすることが望ましい。
【００４０】さらに、例えばいわゆるＭＰＥＧ１のよう
に伝送ビットレートが低い場合、前述したように画像の
絵柄が細かくて複雑な場合には符号化後のビット量が増
加し、規定の使用可能な伝送ビットレートを越えてしま
うようになる虞れがある。したがって、伝送ビットレー
トが低いにもかかわらず例えば画像の絵柄が細かいよう
な場合には、例えば当該画像に対して強いローパスフィ
ルタをかけて符号化に必要なビットレートを減少させる
ようなことが必要となる。また、伝送ビットレートが低
い場合において、例えば前述したフィルムソースから得
られた動画像信号のようにグレインノイズを含むものが
入力画像信号として供給されたときには、当該グレイン
ノイズを大きな劣化（例えばブロック歪み）無しに符号
化することが難しいので、例えばハイブリッド符号化器
１０４側のプリフィルタ回路１０１の時間フィルタは当
該グレインノイズが除去できる特性に制御し、また空間
フィルタを符号化画像にブロック歪みが見えないような
特性に制御し、同様に、ＭＥ器１０５側のプリフィルタ
回路１０２も時間フィルタは上記グレインノイズを除去
できる特性に制御し、元空間フィルタはＯＦＦにして使
用しないか又は弱めの特性とするように制御することが
望ましい。一方、例えばいわゆるＭＰＥＧ２のように伝
送ビットレートが高い場合には、符号化の際に前述した
ように大きな劣化無しで且つ高品位な画像を得ることが
できるはずである。したがって、この場合は、画像の品
質を維持するためになるべくローパスフィルタをかけな
いようにすることが望ましい。ここで、このように伝送
ビットレートが高い場合において、例えば記グレインノ
イズを含む入力動画像信号が入力された場合には、前記
ハイブリッド符号化器１０４側の時間フィルタは使用し
ないか又は弱めのフィルタ特性に制御し、また空間フィ
ルタも使用しないか又は符号化画像にブロック歪みが見
えないようなフィルタ特性に制御すると同時に、ＭＥ器
１０５側の時間フィルタはグレインノイズを除去できる
フィルタ特性に制御し、空間フィルタは使用しないか又
は弱めのフィルタ特性に制御することが望ましい。これ
により、画像がぼけて細かい絵柄が失われることなく、
またグレインノイズの質感を保つことができ、さらに動
きベクトルの誤検出を防ぐことが可能となる。なお、プ
リフィルタ回路１０２はプリフィルタ回路１０１よりも
弱い特性としても良い。
【００４１】上述した伝送ビットレート，画像の明暗，
画像の動きの大小，テクスチャの多少の各関係は相互に
関連しており、本構成例では、これらの特徴量の情報に
基づいて、上記ハイブリッド符号化器１０４とＭＥ器１
０５にそれぞれ供給される画像信号に対して施すプリフ
ィルタリングのフィルタ特性を、以下の表１及び表２に
示すようにコントロールしている。なお、表１には、低
ビットレート時の各特徴量の情報と、符号化器側（ハイ
ブリッド符号化器１０４側）のプリフィルタ回路１０１
内の時間フィルタ及び空間フィルタ、並びにＭＥ側（Ｍ
Ｅ器１０５側）のプリフィルタ回路１０２内の時間フィ
ルタ及び空間フィルタの特性制御との関係を示してい
る。また、表２には、高ビットレート時の関係を示して
いる。
【００４２】
【表１】
【００４３】
【表２】
【００４４】以下、伝送ビットレートが低いときの表１
について順番に説明する。
【００４５】先ず、表１の項目１において、画像の動き
が速く、テクスチャが多く、さらに輝度が明るい場合に
は、符号化器側（ハイブリッド符号化器１０４側）のプ
リフィルタ回路１０１内の時間フィルタはＯＮし、空間
フィルタは強いフィルタ特性とし、一方ＭＥ側（ＭＥ器
１０５側）のプリフィルタ回路１０２内の時間フィルタ
はＯＮし、空間フィルタはＯＦＦするようなコントロー
ルを行う。すなわち、画像の動きが速いときには人間の
目は動きについてゆけずに細かいテクスチャを認識でき
ず、また、輝度が明るいときには残像等の感度も低くな
るため、符号化器１０４側のプリフィルタ回路１０１内
の時間フィルタをＯＮし、空間フィルタも強いフィルタ
特性として符号化に必要なビット数を低減し、一方、Ｍ
Ｅ器１０５側のプリフィルタ回路１０２内の時間フィル
タはＯＮするが、空間フィルタはＯＦＦして動きベクト
ルの誤検出の防止と検出精度の向上とを両立させるよう
にしている。さらに、このように伝送ビットレートが低
いときには、前述したように画像がフィルムソースから
得られたもののようにグレインノイズを含む場合であっ
ても、プリフィルタ回路１０１の時間フィルタは当該グ
レインノイズが除去できる特性（ＯＮ）に制御し、また
空間フィルタを符号化画像にブロック歪みが見えないよ
うな特性（ＯＦＦ）に制御し、同様に、プリフィルタ回
路１０２も時間フィルタは上記グレインノイズを除去で
きる特性（ＯＮ）に制御し、元空間フィルタはＯＦＦに
して使用しないか又は弱めの特性とするように制御す
る。
【００４６】表１の項目２において、画像の動きが速
く、輝度も明るいが、テクスチャが少ない場合には、上
記項目１と同様に、符号化器側のプリフィルタ回路１０
１の時間フィルタはＯＮし、空間フィルタは強いフィル
タ特性とし、一方ＭＥ側のプリフィルタ回路１０２の時
間フィルタはＯＮし、空間フィルタはＯＦＦするような
コントロールを行う。すなわち、この場合は、画像の動
きが速く、輝度も明るく、さらにテクスチャも少ないた
め、符号化器１０４側のプリフィルタ回路１０１内の時
間フィルタをＯＮし、空間フィルタも強いフィルタ特性
として符号化に必要なビット数を低減し、一方、ＭＥ器
１０５側のプリフィルタ回路１０２内の時間フィルタは
ＯＮするが、空間フィルタはＯＦＦして動きベクトルの
誤検出の防止と検出精度の向上とを両立させる。
【００４７】表１の項目３において、画像の動きが速
く、テクスチャは多いが、輝度が暗い場合には、符号化
器側のプリフィルタ回路１０１の時間フィルタはＯＦＦ
し、空間フィルタは強いフィルタ特性とし、一方ＭＥ側
のプリフィルタ回路１０２の時間フィルタと空間フィル
タは共にＯＦＦするようなコントロールを行う。すなわ
ち、この場合は、テクスチャが多く、画像の動きも速い
が、輝度が暗いため、符号化器１０４側のプリフィルタ
回路１０１内の時間フィルタはＯＦＦして残像等に対す
る人間の高い感度に対応できるようにする一方、画像の
動きが速くテクスチャの認識力は低いので空間フィルタ
は強くしてビット数の低減を実現する。ＭＥ器１０５側
のプリフィルタ回路１０２の時間フィルタ及び空間フィ
ルタは共にＯＦＦさせて動きベクトル検出精度を向上さ
せる。
【００４８】表１の項目４において、画像の動きが速
く、テクスチャも少ないが、輝度が暗い場合には、項目
３と同様に、符号化器側のプリフィルタ回路１０１の時
間フィルタはＯＦＦし、空間フィルタは強いフィルタ特
性とし、ＭＥ側のプリフィルタ回路１０２の時間フィル
タと空間フィルタは共にＯＦＦするようなコントロール
を行う。すなわち、この場合も、テクスチャが少なく、
画像の動きも速いが、輝度が暗いため、符号化器１０４
側のプリフィルタ回路１０１内の時間フィルタはＯＦＦ
しする一方、空間フィルタは強くしてビット数の低減を
実現する。ＭＥ器１０５側のプリフィルタ回路１０２の
時間フィルタ及び空間フィルタは共にＯＦＦさせて動き
ベクトル検出精度を向上させる。
【００４９】表１の項目５において、画像の動きは普通
で、テクスチャが多く、輝度も明るい場合には、符号化
器側のプリフィルタ回路１０１内の時間フィルタはＯＮ
し、空間フィルタは中程度のフィルタ特性とし、一方Ｍ
Ｅ側のプリフィルタ回路１０２内の時間フィルタはＯＮ
し、空間フィルタはＯＦＦするようなコントロールを行
う。すなわち、画像の動きが普通であるときには人間の
目もある程度のテクスチャの細かさについては認識でき
るため、符号化器１０４側のプリフィルタ回路１０１の
空間フィルタについては中程度のフィルタ特性とする。
プリフィルタ回路１０１の時間フィルタと、ＭＥ器１０
５側のプリフィルタ回路１０２の時間フィルタ及び空間
フィルタについては上記項目１と同様である。
【００５０】表１の項目６において、画像の動きは普通
で、テクスチャは少なく、輝度も明るい場合には、上記
項目５と同様に、符号化器側のプリフィルタ回路１０１
内の時間フィルタはＯＮし、空間フィルタは中程度のフ
ィルタ特性とし、一方ＭＥ側のプリフィルタ回路１０２
内の時間フィルタはＯＮし、空間フィルタはＯＦＦする
ようなコントロールを行う。
【００５１】表１の項目７において、画像の動きは普通
で、テクスチャは多いが、輝度が暗い場合には、上記項
目３と同様に、符号化器側のプリフィルタ回路１０１の
時間フィルタはＯＦＦし、ＭＥ側のプリフィルタ回路１
０２の時間フィルタと空間フィルタは共にＯＦＦにする
が、プリフィルタ１０１の空間フィルタについては上記
項目５と同様に中程度のフィルタ特性とするようなコン
トロールを行う。
【００５２】表１の項目８において、画像の動きは普通
で、テクスチャも少なく、輝度が暗い場合には、上記項
目４と同様に、符号化器側のプリフィルタ回路１０１の
時間フィルタはＯＦＦし、ＭＥ側のプリフィルタ回路１
０２の時間フィルタと空間フィルタは共にＯＦＦにする
が、プリフィルタ１０１の空間フィルタについては上記
項目５と同様に中程度のフィルタ特性とするようなコン
トロールを行う。
【００５３】表１の項目９において、テクスチャが多
く、輝度も明るいが、画像の動きが遅い場合には、符号
化器側のプリフィルタ回路１０１内の時間フィルタはＯ
Ｎし、空間フィルタはＯＦＦし、一方ＭＥ側のプリフィ
ルタ回路１０２内の時間フィルタはＯＮし、空間フィル
タはＯＦＦするようなコントロールを行う。すなわち、
画像の動きが遅いときには人間の目の感度は良く、細か
いテクスチャを認識することもできるため、符号化器１
０４側のプリフィルタ回路１０１の空間フィルタをＯＦ
Ｆして画像がぼけるのを防ぐようにしている。プリフィ
ルタ回路１０１の時間フィルタと、ＭＥ側のプリフィル
タ回路１０２の時間フィルタ及び空間フィルタについて
は上記項目１と同様である。
【００５４】表１の項目１０において、画像の動きは遅
く、テクスチャは少なく、輝度も明るい場合には、上記
項目９と同様に、符号化器側のプリフィルタ回路１０１
の時間フィルタはＯＮし、ＭＥ側のプリフィルタ回路１
０２の時間フィルタはＯＮし、空間フィルタもＯＦＦす
るが、プリフィルタ回路１０１の空間フィルタは弱いフ
ィルタ特性とするようなコントロールを行う。すなわ
ち、この場合は、テクスチャが少ないため、プリフィル
タ回路１０１の空間フィルタを弱くすることで必要なビ
ット数を低減する。プリフィルタ回路１０１の時間フィ
ルタと、ＭＥ器１０５側のプリフィルタ回路１０２の時
間フィルタ及び空間フィルタについては上記項目９と同
様である。
【００５５】表１の項目１１において、テクスチャは多
いが、画像の動きが遅く、輝度も暗い場合には、上記項
目３と同様に、符号化器側のプリフィルタ回路１０１の
時間フィルタはＯＦＦし、ＭＥ側のプリフィルタ回路１
０２の時間フィルタと空間フィルタは共にＯＦＦにする
が、プリフィルタ１０１の空間フィルタについては上記
項目９と同様にＯＦＦするようなコントロールを行う。
【００５６】表１の項目１２において、画像の動きは遅
く、テクスチャも少ないが、輝度が暗い場合には、上記
項目４と同様に、符号化器側のプリフィルタ回路１０１
の時間フィルタはＯＦＦし、ＭＥ側のプリフィルタ回路
１０２の時間フィルタと空間フィルタは共にＯＦＦにす
るが、上記項目１０と同様に、プリフィルタ１０１の空
間フィルタについては弱いフィルタ特性とするようなコ
ントロールを行う。
【００５７】次に、伝送ビットレートが高いときの表２
について順番に説明する。
【００５８】先ず、表２の項目１において、画像の動き
が速く、テクスチャが多く、さらに輝度が明るい場合に
は、符号化器側のプリフィルタ回路１０１の時間フィル
タはＯＦＦし、空間フィルタもＯＦＦし、一方ＭＥ側の
プリフィルタ回路１０２の時間フィルタはＯＮし、空間
フィルタはＯＦＦするようなコントロールを行う。すな
わち、伝送ビットレートが高いときにはビット数を低減
する必要性が少ないので、符号化器側のプリフィルタ回
路１０１の時間フィルタ及び空間フィルタ、並びにＭＥ
側のプリフィルタ回路１０２の空間フィルタを共にＯＦ
Ｆにして、画像の質感を高め、さらに前述したように画
像がフィルムソースから得られた場合のグレインノイズ
の質感をも損なわないようにしている。ただし、輝度が
明るい場合においても、画像のノイズ（グレインノイズ
を含む）によって動きベクトルを誤って検出すると当該
動きベクトルの誤検出に基づく画質の劣化が目立つよう
になるため、ＭＥ側のプリフィルタ回路１０２の時間フ
ィルタについてはＯＮして、当該ＭＥ器１０５へはノイ
ズ（グレインノイズを含む）を除去した動画像信号を入
力して、動きベクトルの誤検出を防ぐようにする。
【００５９】表２の項目２において、画像の動きが速
く、輝度も明るいが、テクスチャが少ない場合には、上
記表２の項目１と同様に、符号化器側のプリフィルタ回
路１０１の時間フィルタと空間フィルタは共にＯＦＦ
し、一方ＭＥ側のプリフィルタ回路１０２の時間フィル
タはＯＮし、空間フィルタはＯＦＦするようなコントロ
ールを行う。
【００６０】表２の項目３において、画像の動きが速
く、テクスチャは多いが、輝度が暗い場合には、符号化
器側のプリフィルタ回路１０１の時間フィルタと空間フ
ィルタは共にＯＦＦし、さらにＭＥ側のプリフィルタ回
路１０２の時間フィルタと空間フィルタも共にＯＦＦす
るようなコントロールを行う。すなわち、この場合は、
輝度が暗いので符号化器側のプリフィルタ回路１０１内
の時間フィルタもＯＦＦしている。
【００６１】表２の項目４において、画像の動きが速
く、テクスチャも少ないが、輝度が暗い場合には、表２
の項目３と同様に、符号化器側のプリフィルタ回路１０
１の時間フィルタと空間フィルタを共にＯＦＦし、さら
にＭＥ側のプリフィルタ回路１０２の時間フィルタと空
間フィルタも共にＯＦＦするようなコントロールを行
う。
【００６２】表２の項目５において、画像の動きは普通
で、テクスチャが多く、輝度も明るい場合は、表２の項
目１と同様に、符号化器側のプリフィルタ回路１０１の
時間フィルタはＯＦＦし、空間フィルタもＯＦＦし、一
方ＭＥ側のプリフィルタ回路１０２の時間フィルタはＯ
Ｎし、空間フィルタはＯＦＦするようなコントロールを
行う。
【００６３】表２の項目６において、画像の動きは普通
で、テクスチャは少なく、輝度も明るい場合には、上記
表２の項目５と同様に、符号化器側のプリフィルタ回路
１０１の時間フィルタはＯＦＦし、空間フィルタもＯＦ
Ｆし、一方ＭＥ側のプリフィルタ回路１０２の時間フィ
ルタはＯＮし、空間フィルタはＯＦＦするようなコント
ロールを行う。
【００６４】表２の項目７において、画像の動きは普通
で、テクスチャは多いが、輝度が暗い場合には、上記表
２の項目３と同様に、符号化器側のプリフィルタ回路１
０１の時間フィルタと空間フィルタは共にＯＦＦし、さ
らにＭＥ側のプリフィルタ回路１０２の時間フィルタと
空間フィルタも共にＯＦＦするようなコントロールを行
う。
【００６５】表２の項目８において、画像の動きは普通
で、テクスチャも少なく、輝度が暗い場合には、上記表
２の項目４と同様に、符号化器側のプリフィルタ回路１
０１の時間フィルタと空間フィルタは共にＯＦＦし、さ
らにＭＥ側のプリフィルタ回路１０２の時間フィルタと
空間フィルタも共にＯＦＦするようなコントロールを行
う。
【００６６】表２の項目９において、テクスチャが多
く、輝度も明るいが、画像の動きが遅い場合には、表２
の項目１と同様に、符号化器側のプリフィルタ回路１０
１の時間フィルタと空間フィルタを共にＯＦＦし、ＭＥ
側のプリフィルタ回路１０２の時間フィルタはＯＮし、
空間フィルタはＯＦＦするようなコントロールを行う。
【００６７】表２の項目１０において、画像の動きは遅
く、テクスチャは少なく、輝度も明るい場合には、上記
表２の項目９と同様に、符号化器側のプリフィルタ回路
１０１の時間フィルタと空間フィルタを共にＯＦＦし、
ＭＥ側のプリフィルタ回路１０２の時間フィルタはＯＮ
し、空間フィルタはＯＦＦするようなコントロールを行
う。
【００６８】表２の項目１１において、テクスチャは多
いが、画像の動きが遅く、輝度も暗い場合には、上記表
２の項目３と同様に、符号化器側のプリフィルタ回路１
０１の時間フィルタと空間フィルタは共にＯＦＦし、さ
らにＭＥ側のプリフィルタ回路１０２の時間フィルタと
空間フィルタも共にＯＦＦするようなコントロールを行
う。
【００６９】表２の項目１２において、画像の動きは遅
く、テクスチャも少ないが、輝度が暗い場合には、上記
表２の項目４と同様に、符号化器側のプリフィルタ回路
１０１の時間フィルタと空間フィルタは共にＯＦＦし、
さらにＭＥ側のプリフィルタ回路１０２の時間フィルタ
と空間フィルタも共にＯＦＦするようなコントロールを
行う。
【００７０】なお、上記表１及び表２の例では、フィル
タリング特性を制御するための特徴量を示す各情報を全
て用いる場合を挙げているが、必ずしも上述の全ての特
徴量の情報を用いる必要はなく、何れか一つ或いは何れ
かの組み合わせを用いることも可能である。
【００７１】次に、図１に戻って、本発明に第１の構成
例に符号化装置の各構成要素について、より具体的な構
成及び動作の説明を行う。
【００７２】上記符号化回路１０３の前段に配されてい
る上記プリフィルタ回路１０１と１０２は、それぞれが
例えば図２に示すように構成されている。すなわち、当
該プリフィルタ回路は、前記時間フィルタであるフレー
ム間フィルタ（具体的にはノイズリデューサ ３０１）
と、前記フレーム内フィルタ（具体的には２次元空間フ
ィルタ４００）とからなる時空間フィルタ（フレーム間
／内フィルタ）と、これらノイズリデューサ ３０１，
２次元空間フィルタ４００にそれぞれ対応して設けられ
たコントローラ３０２，４０１とを有してなるものであ
る。
【００７３】また、この図２の端子３００には図１の遅
延器１１１を介したディジタル動画像信号が供給され、
当該ディジタル動画像信号がノイズリデューサ３０１と
各コントローラ３０２，４０１に送られる。上記ノイズ
リデューサ３０１の出力信号は上記２次元空間フィルタ
４００に送られ、その後、端子４０２から出力されるよ
うになっている。このように、端子３００から入力され
たディジタル動画像信号は、ノイズリデューサ３０１と
２次元空間フィルタ４００にて順々にフィルタリング処
理される。
【００７４】図２の端子３０３には上記特徴量検出器１
１０からの上記特徴量を示す情報が供給され、当該特徴
量がコントローラ３０２，４０１にそれぞれ送られるよ
うになっている。上記コントローラ３０２，４０１は、
それぞれが受け取った上記ディジタル動画像信号と上記
特徴量を示す情報とに基づき、それぞれ対応するノイズ
リデューサ３０１と２次元空間フィルタ４００のフィル
タ特性を前述した表１及び表２のように制御する。な
お、各コントローラ３０２，４０１は、上記特徴量の情
報のみに基づいてフィルタ特性を制御するものとするこ
とも可能である。また、コントローラ３０２，４０１
は、一つにまとめることも可能であり、この場合は当該
一つのコントローラが上記ノイズリデューサ３０１と２
次元空間フィルタ４００の両方を制御することになる。
【００７５】ここで、上記ノイズリデューサ３０１は、
例えば図３に示すように構成されるものであり、１フレ
ームメモリ５０２を使ったリカーシブフィルタに動画像
信号を加えることにより、動画像信号のノイズを平均化
するものである。
【００７６】当該ノイズリデューサ３０１の端子５００
には、図２の端子３００を介して供給されたディジタル
動画像信号が供給され、当該動画像信号が加算器５０１
を介して上記フレームメモリ５０２に記憶される。当該
フレームメモリ５０２から読み出された１フレーム前の
画像信号は減算信号として加算器５０３に送られる。こ
の加算器５０３には、上記端子３００からのディジタル
動画像信号が加算信号として供給され、したがって当該
加算器５０３からはフレーム差信号（ΔＦ）が出力され
る。このフレーム差信号ΔＦは、非線形回路５０４に送
られる。
【００７７】当該非線形回路５０４は、図４に示すよう
な非線形曲線（非線形特性）を有し、上記フレーム差信
号ΔＦの値の大きさに応じた非線形曲線上の値を、非線
形処理した信号ΔＦ′として出力するものである。ここ
で、非線形回路５０４には、端子５０６を介して、図２
の対応するコントローラ３０２からの制御信号、すなわ
ち前述したように特徴量を示す情報に基づいて当該コン
トローラ３０２にて生成されたフィルタ特性を制御する
制御信号が供給される。具体的にいうと、上記制御信号
は図４の図中Ｋｍを変更するための信号であり、この図
４の図中Ｋｍは軽減できるノイズの最大振幅を示してい
る。したがって、この非線形回路５０４では、上記軽減
できるノイズの最大振幅（Ｋｍ）が上記制御信号に応じ
て適応的に変更されることになる。上記Ｋｍが大きいほ
どノイズ除去の強さが大きい特性となり、Ｋｍ＝０の時
はノイズ除去をしない特性である。なお、上記Ｋｍは、
動画像信号に含まれるノイズの統計的性質に応じて適応
的に変更することも可能である。当該ノイズの統計的性
質としては、画像内のノイズの平均値等を用いることが
できる。
【００７８】この非線形回路５０４からの出力信号Δ
Ｆ′は、前記入力ディジタル動画像信号が加算信号とし
て供給されている上記加算器５０１に、減算信号として
送られる。これにより、加算器５０１の出力信号は、上
記フレーム差信号ΔＦの大きさに応じて上記入力ディジ
タル動画像信号からノイズ成分が除去された信号とな
る。上記加算器５０１の出力信号が上記フレームメモリ
５０２への入力信号となる。
【００７９】このように、図３のノイズリデューサ３０
１によれば、非線形回路５０４においてフレーム差信号
（ΔＦ）の大きさに応じた非線形出力（ΔＦ′）を生成
することにより、フィルタの特性（ノイズ除去の強さ）
を適応的に変更でき、したがって、例えばノイズのよう
に小レベルのフレーム差信号だけを平均化することが可
能となっている。当該ノイズリデューサ３０１により処
理されたディジタル動画像信号は、図３の端子５０５か
ら図２の２次元空間フィルタ４００に出力される。
【００８０】２次元空間フィルタ４００は、供給された
画像信号の周波数帯域を制限するためのローパスフィル
タである。なお、ローパスフィルタは、例えばフィルタ
用ＤＳＰ（ディジタル・シグナル・プロセッサ）を用い
て実現できる。ここで、当該ローパスフィルタの周波数
特性は、フィルタ係数を入力することによって、変更で
きる。フィルタ係数の種類としては、例えば図５に示す
ように、周波数特性がＦ１からＦＮまでのＮ個のものを
用意しておき、これらのうち何れかを２次元空間フィル
タ４００に入力することになる。なお、図５のフィルタ
係数のうち、Ｆ１はフィルタ処理しない特性を示し、Ｆ
Ｎが最も周波数通過域が狭い特性を示している。このフ
ィルタ係数が、フィルタ特性の制御信号として前記図２
のコントローラ４０１から供給されるようになってい
る。
【００８１】次に、上述した図１の構成における符号化
回路１０３の具体例を図６を用いて説明する。
【００８２】この符号化回路１０３では、図７のように
フレームがＩピクチャ，Ｐピクチャ，Ｂピクチャという
符号化モードに分けて符号化される。Ｉピクチャのフレ
ームは、その画像情報だけで符号化（イントラ符号化）
して伝送し、Ｐピクチャのフレームは、それより時間的
に過去にあるＩピクチャまたはＰピクチャのフレームを
予測画像（参照フレーム）としてその予測残差信号を符
号化（順方向予測符号化）して伝送するものである。こ
の順方向予測符号化における予測の流れは、図７のＡの
ようになる。また、Ｂピクチャのフレームは、時間的に
過去及び未来にある参照フレームの両方を予測画像とし
てその予測残差信号を符号化（双方向予測符号化）して
伝送するものである。この双方向予測符号化における予
測の流れは、図７のＢのようになる。なお、図７の例
は、Ｉピクチャ又はＰピクチャの間に２毎のＢピクチャ
がある場合を示し、また図中の画像から画像への矢印は
予測の方向を表している。
【００８３】図６において、端子７０には前記ＭＥ器１
０５への入力動画像信号Ｓ８１（すなわち図１のプリフ
ィルタ回路１０２からの動画像信号Ｓ２２）が供給され
る。当該ＭＥ器１０５では、上記動画像信号Ｓ８１を用
いてフレーム間の動きベクトルを検出する。ここで動き
ベクトルを検出する際の動きベクトル推定は、例えば、
参照フレームと現在の１６画素×１６ラインのブロック
とのパターンマッチングで行なう。すなわち、式（１）
に示すように、現在のブロックの信号ＢＰijと、任意の
動きベクトルにより参照されるブロックの信号ＢＲijの
差の絶対値の和ＢＰfを求める。
【００８４】 ＢＰf ＝ Σ｜ＢＰij−ＢＲij｜ （１） ＭＥ器１０５は、上記ＢＰfの値が最小となる動きベク
トルを動きベクトル信号Ｓ２３として出力する。
【００８５】一方、端子６０には、前記ハイブリッド符
号化器１０４への入力動画像信号Ｓ８０（すなわち図１
のプリフィルタ回路１０１からの動画像信号Ｓ２１）が
供給される。また、当該ハイブリッド符号化器１０４の
動き補償フレーム間／内予測回路６７は、画像メモリを
備え、上記ＭＥ器１０５からの動きベクトル信号Ｓ２３
に基づいて当該画像メモリから読み出した予測画像信号
Ｓ９０を出力する。演算器６１は、端子６０からの入力
動画像信号Ｓ８０を加算信号とし、上記動き補償フレー
ム間／内予測回路６７からの上記予測画像信号Ｓ９０を
減算信号として加算処理を行うことにより、上記入力動
画像信号Ｓ８０と予測画像信号Ｓ９０の差分を計算し、
当該差分を予測残差信号Ｓ９１として出力する。なお、
後述するようなシーンチェンジがあった時は予測を行わ
ず、入力動画像信号Ｓ８０がそのまま取り出される。た
だし、Ｉピクチャのフレームにおいては、入力画像信号
Ｓ８０がそのまま加算器６１から出力される。
【００８６】次に、予測残差信号Ｓ９１（予測を行わな
い時は原信号）は、ＤＣＴ回路６２に送られる。このＤ
ＣＴ回路６２では上記予測残差信号Ｓ９１に対して２次
元ＤＣＴを施す。このＤＣＴ回路６２から出力されたＤ
ＣＴ係数は、量子化回路６３にてスカラー量子化され
る。この量子化回路６３の量子化出力信号は、可変長符
号化（ＶＬＣ）回路６８と逆量子化回路６４とに送られ
る。ＶＬＣ回路６８では、上記量子化出力信号に対して
例えばハフマン符号化を施す。このＶＬＣ回路６８の出
力信号はバッファメモリ６９に送られる。当該バッファ
メモリ６９では伝送路に出力するビットレートを平滑化
して出力端子１０６から出力する。また、当該バッファ
メモリ６９がオーバーフローしそうになった時には、そ
のことを量子化制御情報として量子化回路６３にフィー
ドバックする。このとき、量子化回路６３では量子化ス
テップサイズを大きくし、これにより量子化回路６３か
ら出力される情報量が小さくなされる。
【００８７】一方、逆量子化回路６４では、量子化回路
６３より供給される量子化ステップ情報Ｑ（量子化ステ
ップサイズを示す情報）に対応して、上記量子化出力信
号に逆量子化処理を施す。当該逆量子化回路６４の出力
は、逆ＤＣＴ回路６５に入力され、ここで逆ＤＣＴ処理
されて復号された予測残差信号Ｓ９２が、演算器６６へ
入力される。
【００８８】この演算器６６にはまた、演算器６１に供
給されている予測画像信号Ｓ９０と同一の信号が供給さ
れている。演算器６６は、上記予測残差信号Ｓ９２に予
測画像信号Ｓ９０を加算する。これにより、局所復号し
た画像信号が得られる。この画像信号は、受信側での出
力画像と同じ信号である。
【００８９】次に、図１の構成の特徴量検出器１１０
は、例えば図８に示すような構成を有するものであり、
前記画像の特徴量として、画像の動きを示す情報（具体
的にはビット発生量の情報）やテクスチャの量を示す情
報（具体的にはビット発生量比率の情報）、及び輝度を
示す情報を出力し、また、伝送ビットレートの情報をも
出力する。なお、当該伝送ビットレートの情報は、ユー
ザが能動的に設定したり、後述するように上記動画像信
号をある固定の量子化ステップサイズにて量子化して符
号化することにより求めたりすることが可能なものであ
る。また、上記ユーザが能動的に設定する伝送ビットレ
ートの情報は、具体的には当該ユーザの設定に応じたパ
ラメータとしてホストコンピュータから供給されるもの
である。
【００９０】この図８に示す特徴量検出回路５０（図１
の特徴量検出回路１１０）は、符号化器５１とカウンタ
５２とフレーム内情報解析器５５と演算回路５３とで構
成されている。
【００９１】この図８において、端子４４には入力ディ
ジタル動画像信号（図１の端子１００に入力された信号
Ｓ２０）が入力され、当該信号はフレーム内情報解析器
５５と符号化器５１に入力される。
【００９２】上記符号化器５１は、例えば前述した図６
と同様の構成を有する符号化器である。ただし、この符
号化器５１の場合、前述したＩ，Ｐ，Ｂピクチャの符号
化モードを一定パターン、例えば、「Ｉ，Ｂ，Ｂ，Ｐ，
Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，・・・」のよう
に繰り返しにし、前記量子化回路６３ではある固定の量
子化ステップサイズで量子化が行われる。したがって、
この場合の量子化回路６３はバッファメモリ６９のメモ
リ専有量に応じた量子化制御情報のフィードバックは行
わない。
【００９３】上記符号化器５１において固定の量子化ス
テップサイズで量子化されて符号化されたビットストリ
ームは、カウンタ５３に送られ、当該カウンタ５２によ
ってビットカウントされ、このカウント値が演算回路５
３に送られる。
【００９４】一方、フレーム内情報解析器５５では、例
えば画面内の平均輝度などが演算により求められ、その
演算結果が演算回路５３に伝えられる。なお、フレーム
内情報解析器５５では、例えばフレーム内の画素値の和
を当該フレームの画素数で割った値を上記画面内の平均
輝度として求め、この平均輝度の値を上記演算回路５３
に出力している。
【００９５】当該演算回路５３は、ある程度の容量のメ
モリを有しており、このメモリにカウンタ５２のカウン
ト値とフレーム内情報解析器５５からの情報とを保持す
るようにしている。
【００９６】この演算回路５３では、メモリに保持した
上記カウンタ５２からのカウント値を用いて例えば各フ
レーム（ピクチャ）毎に各画素の値（ビット）を加算す
ることにより、各フレーム（ピクチャ）毎の発生ビット
量を計算する。ここで、当該演算回路５３は、例えば所
定区間毎に上記ビット発生量をＩ，Ｐ，Ｂピクチャに分
けて加算し、当該所定区間内のＩ，Ｐ，Ｂピクチャの各
ピクチャタイプの枚数と上記発生ビット量とから、各ピ
クチャタイプのビット発生量比率と平均ビット発生量を
計算する。なお、上記所定区間内のＩ，Ｐ，Ｂピクチャ
のビット発生量は、例えば図９に示すようになる。演算
回路５３は、この図９のような所定区間内のビット発生
量から各ピクチャタイプの発生ビット量を計算し、ま
た、当該所定区間内のビット発生量に対する各ピクチャ
タイプ毎の発生ビット量の比から上記各ピクチャタイプ
のビット発生量比率を求め、さらに所定区間内のビット
発生量とピクチャタイプの枚数とから上記平均ビット発
生量を求める。
【００９７】ここで、上記ビット発生量比率において、
例えばＩピクチャとＢ，Ｐピクチャのビット発生量比率
が等しいときは、上記所定区間内で動きが大きいと判断
でき、逆にＩピクチャのビット発生量比率が大きくＰ，
Ｂピクチャのビット発生量比率が小さい場合は、上記所
定区間内で静止画に近く動きが無いと判断できる。ま
た、上記ビット発生量において、例えばＩピクチャのビ
ット発生量が多い場合にはテクスチャの多い画像である
と判断でき、逆にＩピクチャのビット発生量が少ない場
合にはテクスチャが少ない画像であると判断できる。な
お、上記ビット発生量比率と平均ビット発生量を計算す
る上記所定区間は、上記符号化モードが繰り返される上
記一定パターンの区切りや、これに限らず他の区間とす
ることも可能である。ただし、当該所定区間は、上記テ
クスチャの多少の判断と画像の動きの判断を実現するた
めには少なくともＩ，Ｐ，Ｂの３つのピクチャを含む区
間である必要がある。
【００９８】さらに、演算回路５３は、フレーム内情報
解析器５５から送られてくるフレーム内平均輝度を、例
えば上記所定区間で加算し、その加算値と当該所定区間
内のフレーム数とから、このシーケンス中の画面平均輝
度の推移を示す輝度情報を計算する。この輝度情報が、
前述した表１及び表２の輝度に対応する。なお、この計
算時も上記所定区間は前記一定パターンの区切りや他の
区間を用いることが可能である。ここで、当該演算回路
５３では、例えば以下の式（２），式（３），式（４）
のようにすることにより、各フレーム内平均輝度の加算
値と上記所定区間内のフレーム数とにより、上記輝度情
報を計算している。
【００９９】 Ｙ＿ｐｉｘ＝ＦＷ×ＦＨ （２）
【０１００】
【数１】
【０１０１】なお、上記式中において、ＤＣ(n)はフレ
ームｎの平均輝度を示し、Ｙ(x,y)は座標（ｘ，ｙ）の
輝度信号の値を、ＦＷはフレームの水平方向の大きさ
を、ＦＨはフレームの垂直方向の大きさを、Ｙ＿ｐｉｘ
はフレーム内のＹピクセル数を、ｎｕｍは上記所定区間
内のフレーム枚数を、ａｖｅ＿ｄｃは上記所定区間内の
平均輝度を示している。
【０１０２】さらに、上記演算回路５３は、上記カウン
タ５２からのカウント値に基づいて、フレーム単位で可
変の伝送ビットレートをも生成することができる。すな
わち、上記カウンタ５２のカウント値は、上記符号化器
５１において固定の量子化ステップサイズを用いて動画
像信号を量子化して符号化することにより得られたビッ
トストリームをカウントしたものであるため、フレーム
単位の当該カウント値から当該フレーム単位で可変の伝
送ビットレートを生成することができる。より具体的に
説明すると、上記カウンタ５２は、上記符号化器５１か
らのビットストリームのデータ量を所定の単位時間毎に
計数して、この所定の単位時間毎のデータ発生量が演算
回路５３に送られる。当該演算回路５３では、前記フレ
ーム内情報解析器５５からの各フレーム内の平均輝度
と、上記各ピクチャタイプのビット発生量比率と平均ビ
ット発生量とから、フレーム毎の符号化ビットレートす
なわち伝送ビットレートを計算している。なお、演算回
路５３は、符号化ビットストリームが記録或いは伝送さ
れる際の使用可能なデータ総量も用いて上記伝送ビット
レートを計算することも可能である。
【０１０３】ここで、例えば図１０に示すように、上記
ＩピクチャとＢ，Ｐピクチャのビット発生量比率が等し
いときは、当該所定区間内で画像の動きが大きいと判断
し、逆に例えば図１１に示すように、Ｉピクチャのビッ
ト発生量比率が大きくＰ，Ｂピクチャのビット発生量比
率が小さい場合は、当該所定区間内で静止画に近く動き
が無いと判断する。
【０１０４】また、上記ビット発生量において、例えば
各所定区間内のＩピクチャのビット発生量が多い場合に
はテクスチャの多い画像であると判断でき、逆に所定区
間内のＩピクチャのビット発生量が少ない場合にはテク
スチャが少ない画像であると判断できる。図１２には、
上記ビット発生量において、各所定区間内のＩピクチャ
の発生ビット量を示したものである。例えば図１２中の
所定区間ａのようにＩピクチャのビット発生量が多い場
合はテクスチャの多い画像が多く、逆に図１２中の所定
区間ｃのようにビット発生量が少ない場合は平坦な画像
と判断でき、図１２中の所定区間ｂは普通の画像と判断
できる。
【０１０５】上述したようにして演算回路５３にて求め
れた各情報が、前記特徴量の情報のうち画像の動きの大
小とテクスチャの多少と画面の明暗を示す情報として、
端子５６から前記プリフィルタ回路１０１，１０２に送
られる。
【０１０６】次に、図１３及び図１４には上記構成例の
符号化装置の上記演算回路５３における演算処理の詳細
なフローチャートを示す。なお、図１３及び図１４にフ
ローチャートの中の変数は以下のようであり、これら変
数はＣ言語に準じて示している。
【０１０７】 ＤＣ(n) ：フレームｎのフレーム内平均輝度 ＤＦＴ(n) ：フレームｎの発生ビット量 Ｔｙｐｅ(n) ：フレームｎのピクチャタイプ ｓｕｍ＿ｄｃ ：フレーム内平均輝度の合計 ａｖｅ＿ｄｃ ：フレーム内平均輝度の平均 ｎｕｍ ：所定区間のフレーム数 ｎｕｍ＿ｉ ：Ｉピクチャのフレーム数 ｎｕｍ＿ｐ ：Ｐピクチャのフレーム数 ｎｕｍ＿ｂ ：Ｂピクチャのフレーム数 ｓｕｍ＿ｉ ：Ｉピクチャの発生ビット量の合計 ｓｕｍ＿ｐ ：Ｐピクチャの発生ビット量の合計 ｓｕｍ＿ｂ ：Ｂピクチャの発生ビット量の合計 ａｖｅ＿ｉ ：Ｉピクチャの発生ビット量の平均 ａｖｅ＿ｐ ：Ｐピクチャの発生ビット量の平均 ａｖｅ＿ｂ ：Ｂピクチャの発生ビット量の平均 ｒａｔｅ＿ｉ ：Ｉピクチャの発生ビット割り合い ｒａｔｅ＿ｐ ：Ｐピクチャの発生ビット割り合い ｒａｔｅ＿ｂ ：Ｂピクチャの発生ビット割り合い 先ず、図１３のフローチャートにおいて、ステップＳＴ
１では上記所定区間の区切りに達したか否かの判定が行
われる。このステップＳＴ１にて所定区間に達していな
いと判定されたときにはステップＳＴ２に進み、所定区
間に達したと判定されたときにはステップＳＴ７に進
む。
【０１０８】上記ステップＳＴ１にて所定区間に達した
と判定された場合のステップＳＴ２では、上記フレーム
内平均輝度の合計を示す変数ｓｕｍ＿ｄｃに上記フレー
ムｎのフレーム内平均輝度を示す変数ＤＣ(n)を加算し
て、その加算値を新たなフレーム内平均輝度の合計とし
て変数ｓｕｍ＿ｄｃに代入し、その後、所定区間のフレ
ーム数の変数ｎｕｍをインクリメントする。このステッ
プＳＴ２の後は。ステップＳＴ３に進む。
【０１０９】ステップＳＴ３では、フレームのピクチャ
タイプが何れであるかの判定を行い、ピクチャタイプが
Ｉピクチャを示すときにはステップＳＴ４に、Ｂピクチ
ャを示すときにはステップＳＴ５に、Ｐピクチャを示す
ときにはステップＳＴ６に進む。これらステップＳＴ
４，ＳＴ５，ＳＴ６では、各ピクチャタイプの各ピクチ
ャにおいてそれぞれ発生ビット量の合計値を求める。
【０１１０】すなわち、ピクチャタイプがＩピクチャを
示す上記ステップＳＴ４では、上記Ｉピクチャの発生ビ
ット量の合計を示す変数ｓｕｍ＿ｉの値に上記フレーム
の発生ビット量を示す変数ＤＦＴ(n)の値を加算して、
その加算値を新たなＩピクチャの発生ビット量の合計値
として変数ｓｕｍ＿ｉに代入し、その後、Ｉピクチャの
発生ビット量の合計の変数ｓｕｍ＿ｉインクリメントす
る。
【０１１１】また、ピクチャタイプがＢピクチャを示す
上記ステップＳＴ５では、上記Ｂピクチャの発生ビット
量の合計を示す変数ｓｕｍ＿ｂの値に上記フレームの発
生ビット量を示す変数ＤＦＴ(n)の値を加算して、その
加算値を新たなＢピクチャの発生ビット量の合計値とし
て変数ｓｕｍ＿ｂに代入し、その後、Ｂピクチャの発生
ビット量の合計の変数ｓｕｍ＿ｂインクリメントする。
【０１１２】さらに、ピクチャタイプがＰピクチャを示
す上記ステップＳＴ６では、上記Ｐピクチャの発生ビッ
ト量の合計を示す変数ｓｕｍ＿ｐの値に上記フレームの
発生ビット量を示す変数ＤＦＴ(n)の値を加算して、そ
の加算値を新たなＰピクチャの発生ビット量の合計値と
して変数ｓｕｍ＿ｐに代入し、その後、Ｐピクチャの発
生ビット量の合計の変数ｓｕｍ＿ｐインクリメントす
る。
【０１１３】これらステップＳＴ４，ＳＴ５，ＳＴ６の
後はステップＳＴ１に戻る。
【０１１４】一方、上記ステップＳＴ１にて所定区間に
達したと判定された場合に進むステップＳＴ７では、各
ピクチャの発生ビット量の平均値とフレーム内平均輝度
の平均値とを求めると共に、各ピクチャの発生ビット割
り合いを求める。すなわち、Ｉピクチャの発生ビット量
の平均値は、当該Ｉピクチャの発生ビット量の合計を示
す変数ｓｕｍ＿ｉの値をＩピクチャのフレーム数を示す
変数ｎｕｍ＿ｉの値にて除算して、その除算値を新たな
Ｉピクチャの発生ビット量の平均値として変数ａｖｅ＿
ｉに代入する。以下同様に、Ｐピクチャの発生ビット量
の平均値の場合には、当該Ｐピクチャの発生ビット量の
合計を示す変数ｓｕｍ＿ｐの値をＰピクチャのフレーム
数を示す変数ｎｕｍ＿ｐの値にて除算して、その除算値
を新たなＰピクチャの発生ビット量の平均値として変数
ａｖｅ＿ｐに代入する。Ｂピクチャの発生ビット量の平
均値の場合には、当該Ｂピクチャの発生ビット量の合計
を示す変数ｓｕｍ＿ｂの値をＢピクチャのフレーム数を
示す変数ｎｕｍ＿ｂの値にて除算して、その除算値を新
たなＢピクチャの発生ビット量の平均値として変数ａｖ
ｅ＿ｂに代入する。フレーム内平均輝度の平均値は、フ
レーム内平均輝度の合計を示す変数ｓｕｍ＿ｄｃの値を
所定区間のフレーム数を示す変数ｎｕｍにて除算して、
その除算値を新たなフレーム内平均輝度の平均値として
変数ａｖｅ＿ｄｃに代入する。また、Ｉピクチャの発生
ビット割り合いの場合は、Ｉピクチャの発生ビット量の
平均を示す変数ａｖｅ＿ｉの値とＰピクチャの発生ビッ
ト量の平均を示す変数ａｖｅ＿ｐの値とＢピクチャの発
生ビット量の平均を示す変数ａｖｅ＿ｂの値とを加算
し、Ｉピクチャの発生ビット量の平均を示す変数ａｖｅ
＿ｉの値を上記加算値にて除算して、その除算値を新た
なＩピクチャの発生ビット割り合いとして変数ｒａｔｅ
＿ｉに代入する。以下同様に、Ｐピクチャの発生ビット
割り合いの場合は、Ｐピクチャの発生ビット量の平均を
示す変数ａｖｅ＿ｐの値を、上記変数ａｖｅ＿ｉの値と
変数ａｖｅ＿ｐの値と変数ａｖｅ＿ｂの値との加算値に
て除算して、その除算値を新たなＰピクチャの発生ビッ
ト割り合いとして変数ｒａｔｅ＿ｐに代入する。Ｂピク
チャの発生ビット割り合いの場合は、Ｂピクチャの発生
ビット量の平均を示す変数ａｖｅ＿ｂの値を、上記変数
ａｖｅ＿ｉの値と変数ａｖｅ＿ｐの値と変数ａｖｅ＿ｂ
の値との加算値にて除算して、その除算値を新たなＢピ
クチャの発生ビット割り合いとして変数ｒａｔｅ＿ｂに
代入する。
【０１１５】このステップＳＴ７の処理の後は、図１４
のステップＳＴ８に進む。
【０１１６】図１４において、ステップＳＴ８では、Ｉ
ピクチャの発生ビット量の平均を示す変数ａｖｅ＿ｉの
値が、所定のしきい値を越えているか否かを判定し、越
えていると判定したときにはステップＳＴ９に進む。こ
のステップＳＴ９ではテクスチャが多いと判断した後に
ステップＳＴ１１に進む。一方、上記ステップＳＴ８に
て越えていないと判定したときには、ステップＳＴ１０
に進み、当該ステップＳＴ１０にてテクスチャが少ない
と判断し、その後ステップＳＴ１１に進む。
【０１１７】上記ステップＳＴ９又はステップＳＴ１０
の後に進むステップＳＴ１１では、フレーム内平均輝度
の平均を示す変数ａｖｅ＿ｄｃが所定のしきい値を越え
ているか否かを判定し、越えていると判定したときには
ステップＳＴ１２に進む。このステップＳＴ１２では明
るいと判断した後にステップＳＴ１４に進む。一方、上
記ステップＳＴ１１にて越えていないと判定したときに
は、ステップＳＴ１３に進み、このステップＳＴ１３に
て暗いと判断し、その後ステップＳＴ１４に進む。
【０１１８】ステップＳＴ１４では、Ｉピクチャの発生
ビット割り合いを示す変数ｒａｔｅ＿ｉの値が極端に多
く、Ｐピクチャの発生ビット割り合いを示す変数ｒａｔ
ｅ＿ｐの値とＢピクチャの発生ビット割り合いを示す変
数ｒａｔｅ＿ｂの値が少ないか否かを判定する。このス
テップＳＴ１４での判定において、変数ｒａｔｅ＿ｉの
値が極端に多く、変数ｒａｔｅ＿ｐの値と変数ｒａｔｅ
＿ｂの値が少ないと判定したときには、ステップＳＴ１
５に進む。このステップＳＴ１５では動きが遅いと判断
した後、ステップＳＴ１９に進む。
【０１１９】また、ステップＳＴ１４において、変数ｒ
ａｔｅ＿ｉの値が極端に多くなく、変数ｒａｔｅ＿ｐの
値と変数ｒａｔｅ＿ｂの値が少なくないと判定したとき
には、ステップＳＴ１６に進む。このステップＳＴ１６
では、Ｉピクチャの発生ビット割り合いを示す変数ｒａ
ｔｅ＿ｉの値と、Ｐピクチャの発生ビット割り合いを示
す変数ｒａｔｅ＿ｐの値と、Ｂピクチャの発生ビット割
り合いを示す変数ｒａｔｅ＿ｂの値とが、略々同じであ
るか否かを判定する。このステップＳＴ１６での判定に
おいて、略々同じであると判定したときには、ステップ
ＳＴ１７に進む。このステップＳＴ１７では動きが速い
と判断した後、ステップＳＴ１９に進む。また、ステッ
プＳＴ１９での判定において、略々同じでないと判定し
たときには、ステップＳＴ１８に進む。このステップＳ
Ｔ１８では動きが普通と判断した後、ステップＳＴ１９
に進む。
【０１２０】ステップＳＴ１９では、全ての変数を０に
リセットした後、図１３のステップＳＴ１に戻る。
【０１２１】次に、本発明の動画像符号化方法を実現す
る動画像符号化装置の第２の構成例を、図１５に示す。
【０１２２】この図１５において、端子２００から入力
されるディジタル動画像信号Ｓ３０は、前記図１同様の
遅延器１１１を介してプリフィルタ回路２０１と遅延器
２０２に送られる。上記プリフィルタ回路２０１は、前
述の図２〜図５にて説明したものと同様のものであり、
特性が可変な構造となっていて、図１同様の特徴量検出
器１１０から供給される前記画像の特徴量を示す情報に
よって、前述の表１及び表２と同様に適応的にローパス
フィルタの特性が制御されるものである。一方、遅延器
２０２では、プリフィルタ回路２０１での処理にかかる
のと同じフレームディレイ時間だけ遅れて、動画像信号
Ｓ３２が出力される。上記プリフィルタ回路２０１の出
力信号Ｓ３１は、切換スイッチ２０３の被切換端子ａと
切換スイッチ２０４の被切換端子ｃに送られ、遅延器２
０２の出力信号Ｓ３２は、切換スイッチ２０３の被切換
端子ｂと切換スイッチ２０４の被切換端子ｄに送られ
る。なお、上記切換スイッチ２０４の被切換端子ｄは必
ずしも必要なものではない。
【０１２３】これら切換スイッチ２０３，２０４の出力
信号Ｓ３３とＳ３４は、図１に示した第１の構成例同様
の符号化回路１０３に送られる。この符号化回路１０３
も、前記図６同様の構成を有するハイブリッド符号化器
１０４と、前記ＭＥ器１０５とからなるものであり、上
記切換スイッチ２０３の出力信号Ｓ３３はハイブリッド
符号化器１０４へ、切換スイッチ２０４の出力信号Ｓ３
４はＭＥ器１０５に送られる。すなわち言い換えると、
上記切換スイッチ２０３は、上記ハイブリッド符号化器
１０４への入力動画像信号Ｓ３３を、プリフィルタ回路
２０１からの信号Ｓ３１か又は遅延器２０２からの信号
Ｓ３２の何れかに切り換えるために設けられ、上記切換
スイッチ２０４は、上記ＭＥ器１０５への入力動画像信
号Ｓ３４を、プリフィルタ回路２０１からの信号Ｓ３１
か又は遅延器２０２からの信号Ｓ３２の何れかに切り換
えるために設けられている。これら切換スイッチ２０
３，２０４の切り換えは、前述の第１の構成例同様の上
記特徴量検出器１１０からの前記特徴量の情報に基づい
て制御される。
【０１２４】この第２の構成例でも、上記符号化回路１
０３のハイブリッド符号化器１０４により得られた符号
化ビットストリームＳ２４は、端子１０６から出力され
る。
【０１２５】ここで、当該第２の構成例におけるプリフ
ィルタ回路と切換スイッチの制御方法の例について、入
力動画像信号が映画などのフィルムソースから得られた
ものである場合を挙げて説明する。すなわちこの例の場
合、当該第２の構成例においても前述の第１の構成例同
様に、伝送ビットレートが十分に高く、グレインノイズ
をあまり劣化なく符号化できる時には、ハイブリッド符
号化器１０４へはグレインノイズのある動画像信号か又
は弱めのプリフィルタリングにより当該グレインノイズ
を少し残した動画像信号を入力すべきであり、ＭＥ器１
０５へは動きベクトル検出精度を上げるためにグレイン
ノイズを除去した動画像を入力すべきである。逆に伝送
ビットレートが低く、グレインノイズを大きな劣化（ブ
ロック歪み）なしに符号化することが難しい時には、ハ
イブリッド符号化器１０４とＭＥ器１０５へは共にプリ
フィルタリングによってグレインノイズを除去した動画
像を入力すべきである。
【０１２６】このようなことから、第２の構成例では、
例えば伝送ビットレートが高い時には、プリフィルタ回
路２０１をＭＥ器１０５のために使用する。このとき、
当該プリフィルタ回路２０１では、前記コントローラ３
０２にてノイズリデューサ３０１をグレインノイズが除
去できる特性に選択制御し、またコントローラ４０１に
て２次元空間フィルタ４００を使用しないかまたは弱め
の特性に制御する。これは、画像がぼけると、細かい絵
柄が失われ、動きベクトルの検出精度が下がるためであ
る。そして、ＭＥ器１０５への入力信号Ｓ３４として
は、プリフィルタ回路２０１による処理画像信号Ｓ３１
を選択するように切換スイッチ２０４を切り換える（す
なわち被切換端子ｃに切り換える）。また、ハイブリッ
ド符号化器１０４への入力信号Ｓ３３としては、原信号
すなわち遅延器２０２を介したディジタル動画像信号Ｓ
３２を選択するように切換スイッチ２０３を切り換える
（すなわち被切換端子ｂに切り換える）。
【０１２７】一方、伝送ビットレートが低い時には、プ
リフィルタ回路２０１をＭＥ器１０５と符号化器１０４
の両方のために使用する。このとき、当該プリフィルタ
回路２０１では、コントローラ３０２にてノイズリデュ
ーサ３０１をグレインノイズが除去できる特性に選択制
御し、コントローラ４０１にて２次元空間フィルタ４０
０を符号化画像にブロック歪みが見えないような特性に
選択制御する。このとき、２次元空間フィルタ４００の
フィルタ特性は、伝送ビットレートが高い場合よりも強
くなる。そして、ハイブリッド符号化器１０４への入力
信号Ｓ３３とＭＥ器１０５への入力信号Ｓ３４の両方と
も、プリフィルタ回路２０１による処理画像信号Ｓ３１
を選択するように切換スイッチ２０３，２０４を切り換
える（すなわち切換スイッチ２０３は被切換端子ａに、
切換スイッチ２０４は被切換端子ｃに切り換える）。
【０１２８】このように第２の構成例では、符号化条件
に応じて、プリフィルタ特性の設定、およびプリフィル
タを使用するかしないかについて、ハイブリッド符号化
器１０４のためと、ＭＥ器１０５のためとで、別々に制
御する。
【０１２９】ところで、上述の第１の構成例及び第２の
構成例では、プリフィルタの制御の処理単位について動
画像シーケンス単位やフレーム単位とする方法を述べた
が、これを画素単位での制御とすることは有効である。
【０１３０】プリフィルタを画素単位で制御する例を説
明する。例えばフレームを構成するブロックそれぞれの
絵柄は様々に変化するものであり、符号化による画質劣
化はフレームの中でも目立つ部分と目立たない部分があ
る。例えば、画面内で暗い部分は劣化が目立ち易く、逆
に明るい部分は劣化が目立ち難い。したがってこの場合
は、絵柄と明るさに応じて、第１の構成例で説明したプ
リフィルタ回路１０１と１０２の制御を画素単位でする
ことが有効となり、また、第２の構成例で説明したプリ
フィルタ回路２０１と切換スイッチ２０３，２０４の制
御を画素単位ですることが有効となる。
【０１３１】上記入力画像の絵柄と明るさに応じてプリ
フィルタを画素単位で制御する場合、具体的には以下の
ようなことを行う。
【０１３２】図１６に示すように、輝度画素Ｙ(i,j)を
中心として、上下左右にそれぞれＮ画素の幅の矩形上の
ブロック内の平均輝度値ＤＣ＿ｉｊと分散値ＶＡＲ＿ｉ
ｊを式（５），式（６）のように計算する。図１６の図
中点線で示す例では、Ｎ＝２の場合を表している。
【０１３３】
【数２】
【０１３４】上記平均輝度値ＤＣ＿ｉｊと分散値ＶＡＲ
＿ｉｊは、フレーム内のそれぞれの輝度画素について計
算される。平均輝度値ＤＣ＿ｉｊは局所的な明るさを表
し、大きいほど明るいことを表す。また、分散値ＶＡＲ
＿ｉｊは絵柄の複雑さを表し、これが大きいほど複雑で
あり、符号化画像に劣化が見え易くなる。
【０１３５】ここで、前記第１の構成例の場合につい
て、上記平均輝度値ＤＣ＿ｉｊと分散値ＶＡＲ＿ｉｊ、
そしてビットレートに基づいて第１の構成例で説明した
プリフィルタ回路１０１と１０２の制御を画素単位で行
う方法を説明する。
【０１３６】伝送ビットレートが高いとき、プリフィル
タ回路１０１のコントローラ３０２は、ノイズリデュー
サ３０１を使用しないか又は上記平均輝度値ＤＣ＿ｉｊ
に基づいて、フィルタ特性を選択する。このフィルタ特
性を、図１７に示す。図１７において、横軸は平均輝度
値ＤＣ＿ｉｊを表し、縦軸は図４で説明したＫｍ（これ
が大きいほど、ノイズ除去の強さが強い特性となる。）
を表す。すなわち、画像が暗い部分ほど、Ｋｍを小さく
する特性とする。これは、画像が暗い部分で、強いフィ
ルタ特性のノイズリデューサ３０１を使用することによ
って、符号化画像に残像が現れることを防ぐためであ
る。
【０１３７】また、伝送ビットレートが高いときのコン
トローラ４０１は、２次元空間フィルタ４００を使用し
ないか又は、上記分散値ＶＡＲ＿ｉｊに基づいて、符号
化画像にブロック歪みが見えないようなフィルタ特性を
選択制御する。このフィルタ特性を、図１８に示す。図
１８において、横軸は上記分散値ＶＡＲ＿ｉｊを表し、
縦軸は図５で説明したフィルタ係数Ｆ（以下、Ｆ＿inde
xとし、indexが大きいほど通過周波数帯域が狭くな
る。）を表す。すなわち、画像が複雑である部分ほど、
Ｆ＿indexを大きくしている。
【０１３８】一方、伝送ビットレートが高いときのプリ
フィルタ回路１０２のコントローラ３０２は、ノイズリ
デューサ３０１を平均輝度値ＤＣ＿ｉｊに関係なく、グ
レインノイズが除去できるフィルタ特性に固定する。こ
のフィルタ特性を図１９に示す。また、コントローラ４
０１は２次元空間フィルタ４００を使用しないように、
図５の図中Ｆ１のフィルタ特性を選択する。このフィル
タ特性を図２０に示す。これにより、動きベクトルの検
出精度を上げる効果がある。
【０１３９】逆に、伝送ビットレートが低いとき、プリ
フィルタ回路１０１のコントローラ３０２はノイズリデ
ューサ３０１を平均輝度値ＤＣ＿ｉｊに基づいて、グレ
インノイズ除去できるフィルタ特性に選択する。このフ
ィルタ特性が、図１７に示されている。上述の伝送ビッ
トレートが高い場合に比べて、ノイズ除去の強いフィル
タ特性とする。
【０１４０】また、伝送ビットレートが低いときのコン
トローラ４０１は２次元空間フィルタ４００を上記分散
値ＶＡＲ＿ｉｊに基づいて、符号化画像にブロック歪み
が見えないようなフィルタ特性を選択するように制御す
る。このフィルタ特性が、図１８に示されている。上述
の伝送ビットレートが高い場合より、通過周波数帯域が
狭い特性となる。
【０１４１】一方、伝送ビットレートが低いときのプリ
フィルタ回路１０２のコントローラ３０２はノイズリデ
ューサ３０１を平均輝度値ＤＣ＿ｉｊに関係なく、グレ
インノイズを除去できるフィルタ特性に固定する。この
フィルタ特性が図１９に示されている。また、コントロ
ーラ４０１は２次元空間フィルタ４００を使用しないよ
うに図５の図中Ｆ１のフィルタ特性を選択する。このフ
ィルタ特性が図２０に示されている。これにより、動き
ベクトルの検出精度を上げる効果がある。
【０１４２】以上の説明で明らかなように、本発明の第
１，第２の構成例によれば、符号化回路の前段で入力動
画像信号にプリフィルタ処理をする時に、フィルタ特性
の設定を、動き補償フレーム間予測符号化器（ハイブリ
ッド符号化器１０４）のためとＭＥ器１０５のために、
別々に制御することが可能であり、当該フィルタ特性の
制御を、伝送ビットレートや入力画像の絵柄などの前記
画像の特徴量を示す情報に応じて変更することで、良好
な符号化画像を得ることが可能となっている。
【０１４３】また、上記構成において、入力動画像信号
をフィルムソースの動画像信号、すなわち例えばグレイ
ンノイズのある動画像信号とした場合でも、伝送ビット
レートが十分に高く、画像を劣化なく符号化できるとき
には、ハイブリッド符号化器１０４へはグレインノイズ
のある動画像信号をそのまま供給したり、又は弱めのプ
リフィルタリングによりグレインノイズを少し残した動
画像信号を入力し、一方、ＭＥ器１０５へはノイズ除去
をした画像信号を入力するといったことができる。すな
わち、上記構成によれば、与えられた伝送ビットレート
に応じて、ハイブリッド符号化器１０４ではグレインノ
イズの質感を損なうことなく最適に符号化することが可
能であると共に、ＭＥ器１０５ではノイズに影響される
ことなく、正しく動きベクトルを求めることが可能とな
る。このように動きベクトルが正しく求まれば、動き補
償フレーム間予測の効率が上がるため、従来よりも大き
な画質改善が実現できる。
【０１４４】逆に、伝送ビットレートが低く、画像信号
を大きな劣化（ブロック歪み等）無しに符号化すること
が難しいときには、ハイブリッド符号化器１０４とＭＥ
器１０５へは、共にプリフィルタリングしてノイズ（グ
レインノイズ等）を除去した動画像信号を入力すること
ができる。また、同じく伝送ビットレートが低いとき、
視覚的に目立つ画質劣化を少なくするために、ハイブリ
ッド符号化器１０４へは、強いローパスフィルタリング
を使って、ぼかした画像を入力し、ＭＥ器１０５へは、
ノイズ除去だけした画像を入力するということが可能と
なる。ＭＥ器１０５では、画像がぼけると、細かい絵柄
が失われるため、動きベクトルの検出精度が下がる問題
があったが、これを防止できる。この場合も、動きベク
トルが正しく求まれば、動き補償フレーム間予測の効率
が上がるため、従来よりも大きな画質改善が実現でき
る。
【０１４５】さらに、本発明の第１，第２の構成例で
は、上述したようなフィルタ特性の制御を、シーケンス
単位やフレーム単位のみならず、画素単位でも制御可能
であり、したがって、従来よりも非常に大きな画質改善
が実現できる。以上のようなことから、本発明の動画像
符号化装置は、実用上非常に大きな効果がある。
【０１４６】次に、本発明の第３の構成例について説明
する。
【０１４７】映画やテレビジョン放送などにおいて、映
像は複数のカメラによって撮影され、それらの映像が編
集され、１つの作品が出来上がっている。つまり、映像
は異なったシーンが集められて構成されている。各シー
ンは同じような画像が時間的に連続したものであり、シ
ーンチェンジからシーンチェンジまでの間の映像は同じ
ような特徴量を持っているものと考えられる。例えば、
静止画に近い映像やカーチェイスのような激しい動きを
伴うものであったり、細かいテクスチャを持っている映
像などに分けることができる。
【０１４８】このように１シーン内において映像の特徴
は同じであり、個々のシーンは各々の特徴をもってい
る。したがって、各シーン毎の画像に用いるフィルタリ
ング手法も、個々のシーンの特徴に最適なものを用いた
方が良い。この第３の構成例では、映像の中のシーンチ
ェンジを自動的に検出してそのシーンの特徴量を求め、
この特徴量に基づいて各シーンに最適なフィルタリング
手法を決定して、ＭＥ器と符号化器に対して別々のフィ
ルタリングを行い符号化する符号化装置について本発明
を適用したものである。
【０１４９】図２１には、当該第３の構成例の符号化装
置の概略構成を示している。
【０１５０】この図２１において、端子１０から入力さ
れるディジタル動画像信号は、上述のように異なったシ
ーンが集められて構成されているものであり、当該ディ
ジタル動画像信号が特徴量検出器１２とシーンチェンジ
検出器１１と遅延器１５とに送られる。
【０１５１】上記シーンチェンジ検出器１１は、例えば
フレーム間の画素の差分をとり、その値が急激に変化す
る場所をシーンチェンジとして検出し、このシーンチェ
ンジ検出信号Ｓ１０１を特徴量検出器１２に送る。な
お、当該シーンチェンジ検出回路１１は、フレーム間の
画素の差分をとり、さらにフレームあたりの差分の絶対
値和を求め、この差分の絶対値和の値が急激に変化する
場所をシーンチェンジとして検出するものとすることが
できる。また、当該シーンチェンジ検出回路１１は、フ
レーム間の画素の差分をとり、さらにフレームあたりの
差分の絶対値和を求め、この差分の絶対値和の値と所定
値と比較し、当該絶対値和が所定値以上の場合にシーン
チェンジを検出するようなものとすることも可能であ
る。このとき、上記所定値を可変にすることも可能であ
り、当該所定値を可変とした場合は、上述した差分の絶
対値和の値からシーンチェンジを検出する場合と略々同
一となる。
【０１５２】特徴量検出器１２は、上記シーンチェンジ
検出器１１からのシーンチェンジ検出信号Ｓ１０１から
上記ディジタル動画像信号のシーンチェンジの場所を認
識し、上記入力端子１０を介して供給された上記ディジ
タル動画像信号の各シーン毎に、そのシーン内の特徴量
を前述した第１の構成例と同様にして検出する。この特
徴量検出器１２にてシーン毎に求められた前述同様の画
像の特徴量を示す情報Ｓ１０２が、上記プリフィルタ回
路１３及び１４に送られる。なお、当該特徴量検出器１
２の具体的構成について後述する。
【０１５３】上記プリフィルタ回路１３，１４は、前述
した第１の構成例と同様にフィルタ特性が可変な構造と
なっており、前記時間フィルタと空間フィルタとを有し
てなるものである。これらプリフィルタ回路１３，１４
には、上記遅延器１５を介したディジタル動画像信号が
供給されるようになされており、上記シーン毎に求めら
れた特徴量の情報Ｓ１０２に基づいて前述の表１，表２
と同様にプリフィルタリング特性が制御されることで、
各シーン毎のディジタル動画像信号に対して適応的なプ
リフィルタリング処理が施されることになる。これらプ
リフィルタ回路１３，１４にてフィルタリング処理がな
された信号は、符号化回路１６に送られる。なお、この
第３の構成例のプリフィルタ回路１３，１４の具体的構
成及び動作については後述する。
【０１５４】上記遅延器１５は、シーンの長さに対して
適度な大きさを持っているとする。この遅延量がシーケ
ンスより長い場合は、全てのシーンの特徴量を求めるこ
とができる。
【０１５５】上記符号化回路１６は、前記第１の構成例
と同様に、ハイブリッド符号化器１７とＭＥ器１８とか
らなるものであり、上記プリフィルタ回路１３からの処
理画像信号がハイブリッド符号化器１７へ、プリフィル
タ回路１４からの処理画像信号がＭＥ器１８へ供給され
る。上記ＭＥ器１８では前述同様にフレーム間の動きベ
クトル（ＭＶ）を計算し、得られた動きベクトル信号を
ハイブリッド符号化器１７に送る。上記ハイブリッド符
号化器１７は、動き補償フレーム間予測とＤＣＴなどの
変換符号化を組み合わせた代表的な符号化方法であるハ
イブリッド符号化方法（例えば前記ＭＰＥＧ１やＭＰＥ
Ｇ２規格等の符号化方法）を用いてディジタル動画像信
号を符号化するものである。すなわち、当該ハイブリッ
ド符号化器１７では、上記ＭＥ器１８からの上記動きベ
クトル信号を使って動き補償フレーム間予測を行い、予
測残差に対して、ＤＣＴ（離散コサイン変換）などの変
換符号化を行う。当該ハイブリッド符号化器１７により
得られた符号化ビットストリームは、端子１９から出力
される。
【０１５６】次に、当該第３の構成例の特徴量検出回路
１２は、例えば図２２に示すような構成を有するもので
あり、前記シーン毎の画像の特徴量として、前述同様
に、画像の動きを示す情報（具体的にはビット発生量の
情報）やテクスチャの量を示す情報（具体的にはビット
発生比率の情報）、及び輝度を示す情報を出力し、ま
た、伝送ビットレートの情報をも出力する。
【０１５７】この図２２に示す特徴量検出回路５０（図
２１の特徴量検出回路１２）は、前述した図８と同様に
符号化器５１とカウンタ５２とフレーム内情報解析器５
５と演算回路５３とで構成されている。
【０１５８】この図２２において、端子４４には入力デ
ィジタル動画像信号（図２１の端子１０に入力されたデ
ィジタル動画像信号）が入力され、当該信号はフレーム
内情報解析器５５と符号化器５１に入力される。上記符
号化器５１は、例えば前述した図８と同様に動作し、固
定の量子化ステップサイズを有する符号化器である。
【０１５９】この符号化器５１にて符号化されたビット
ストリームは、カウンタ５３に送られ、当該カウンタ５
２によってビットカウントされ、このカウント値が演算
回路５３に送られる。
【０１６０】一方、当該第３の構成例におけるフレーム
内情報解析器５５では、前述の図８のものと同様に例え
ば画面内の平均輝度などが演算により求められ、その演
算結果が演算回路５３に伝えられる。すなわち、当該フ
レーム内情報解析器５５では、例えばフレーム内の画素
値の和を当該フレームの画素数で割った値を上記画面内
の平均輝度として求め、この平均輝度の値を上記演算回
路５３に出力する。
【０１６１】当該演算回路５３も前述の図８と同様に、
ある程度の容量のメモリを有しており、このメモリにカ
ウンタ５２とフレーム内情報解析器５５の情報を保持す
るようにしている。ここで、当該第３の構成例における
演算回路５３には、端子５７を介して上記シーンチェン
ジ検出器１１からのシーンチェンジ検出信号Ｓ１０１が
供給されるようになっている。この演算回路５３では、
上記シーンチェンジ検出信号Ｓ１０１によってシーンチ
ェンジが発生したことを知ると、上記メモリに蓄えられ
た情報を引き出し、所定の演算を行う。
【０１６２】すなわち、上記シーンチェンジ検出器１１
からシーンチェンジを検出したことを知らされた演算回
路５３は、次にシーンチェンジが検出されるまで、ビッ
ト発生量をＩ，Ｐ，Ｂピクチャに分けて加算し、次にシ
ーンチェンジが検出されるとＩ，Ｐ，Ｂピクチャのシー
ン内の各ピクチャタイプの枚数とそれぞれの発生ビット
量とから、各ピクチャタイプのビット発生量比率と平均
ビット発生量とを計算する。なお、上述したようなシー
ン内のビット発生量が例えば前述した図９に示したよう
になった場合、演算回路５３は、当該図９に示したよう
なシーン内のビット発生量から、前述同様に各ピクチャ
タイプの発生ビット量を計算し、各ピクチャタイプのビ
ット発生量比率と平均ビット発生量とを計算する。
【０１６３】また、当該演算回路５３では、前述の第１
の構成例同様に、フレーム内情報解析器５５から送られ
てくるフレーム内平均輝度を加算し、その加算値とシー
ン内のフレーム数とから、このシーン内の画面平均輝度
の推移を示す輝度情報を計算する。この輝度情報も、前
述した表１及び表２の輝度に対応する。当該演算回路５
３における上記輝度情報の計算は前記式（２），式
（３），式（４）を用いて行われる。なお、この第３の
構成例の場合、上記式（２），式（３），式（４）の各
中において、ＤＣ(n)はフレームｎの平均輝度を示し、
Ｙ(x,y)は座標（ｘ，ｙ）の輝度信号の値を、ＦＷはフ
レームの水平方向の大きさを、ＦＨはフレームの垂直方
向の大きさを、Ｙ＿ｐｉｘはフレーム内のＹピクセル数
を、ｎｕｍはシーン内のフレーム枚数を、ａｖｅ＿ｄｃ
はシーン内の平均輝度を示すことになる。
【０１６４】さらに、この第３の構成例の上記演算回路
５３でも、前述同様に上記カウンタ５２からのカウント
値に基づいて、フレーム単位で可変の伝送ビットレート
を生成することができる。
【０１６５】この第３の構成例においても、例えば前述
した図１０に示したように、上記ＩピクチャとＢ，Ｐピ
クチャのビット発生量比率が等しいときは、当該シーン
内で画像の動きが大きいと判断し、逆に例えば前述した
図１１に示したように、Ｉピクチャのビット発生量比率
が大きくＰ，Ｂピクチャのビット発生量比率が小さい場
合は、当該シーン内で静止画に近く動きが無いと判断す
る。
【０１６６】また、上記ビット発生量において、例えば
各シーン内のＩピクチャのビット発生量が多い場合には
テクスチャの多い画像であると判断でき、逆にシーン内
のＩピクチャのビット発生量が少ない場合にはテクスチ
ャが少ない画像であると判断できる。図２３には、上記
ビット発生量において、各シーン内のＩピクチャの発生
ビット量を示したものである。例えば図２３中のシーン
ＡのようにＩピクチャのビット発生量が多い場合はテク
スチャの多い画像が多く、逆に図２３中のシーンＣのよ
うにビット発生量が少ない場合は平坦な画像と判断で
き、図２３中のシーンＢは普通の画像と判断できる。
【０１６７】図２４はシーケンス中の画面平均輝度の推
移について示したものである。すなわちこの図２４にお
いて、人間の目の感度は画面の明るさにより影響を受
け、ある一定範囲の明るさの画像に対して敏感であり、
明る過ぎる画像に対しては感度が鈍る。例えば、図２４
のシーンＤは、昼間の野外シーンのような全体的に明る
いシーンであり、逆に図２４のシーンＥは例えば夜の暗
闇のようなシーンであり、したがって、シーンＤとシー
ンＥのシーケンス中の画面平均輝度の推移から、これら
の区別が可能となる。
【０１６８】上述したようにして演算回路５３にて求め
られた各シーン毎の特徴量の情報が、端子５６を介して
図２１のプリフィルタ回路１３，１４に伝送される。
【０１６９】次に、図２５及び前述した図１４を用い
て、上記第３の構成例の符号化装置の上記演算回路５３
における演算処理の詳細な流れを説明する。なお、この
第３の構成例における図２５及び前記図１４のフローチ
ャートにおいて、各変数は前述した図１３及び図１４と
同様であるが、この第３の構成例では、変数ｎｕｍがシ
ーンのフレーム数となっている。
【０１７０】図２５のフローチャートにおいて、ステッ
プＳＴ２１では上記シーンチェンジ検出器１１からの信
号Ｓ１０１に基づいてシーンチェンジであるか否かの判
定が行われる。このステップＳＴ２１にてシーンチェン
ジでないと判定されたときには前述同様のステップＳＴ
２２に進み、シーンチェンジであると判定されたときに
は前述同様のステップＳＴ２７に進む。
【０１７１】上記ステップＳＴ２１にてシーンチェンジ
でないと判定された場合のステップＳＴ２２では、前述
同様に、上記フレーム内平均輝度の合計を示す変数ｓｕ
ｍ＿ｄｃに上記フレームｎのフレーム内平均輝度を示す
変数ＤＣ(n)を加算して、その加算値を新たなフレーム
内平均輝度の合計として変数ｓｕｍ＿ｄｃに代入し、そ
の後、シーンのフレーム数の変数ｎｕｍをインクリメン
トする。このステップＳＴ２２の後は。ステップＳＴ２
３に進む。
【０１７２】ステップＳＴ２３では、フレームのピクチ
ャタイプが何れであるかの判定を行い、ピクチャタイプ
がＩピクチャを示すときにはステップＳＴ２４に、Ｂピ
クチャを示すときにはステップＳＴ２５に、Ｐピクチャ
を示すときにはステップＳＴ２６に進む。これらステッ
プＳＴ２４，ＳＴ２５，ＳＴ２６では、各ピクチャタイ
プの各ピクチャにおいてそれぞれ発生ビット量の合計値
を求める。
【０１７３】すなわち、ピクチャタイプがＩピクチャを
示す上記ステップＳＴ２４では、上記Ｉピクチャの発生
ビット量の合計を示す変数ｓｕｍ＿ｉの値に上記フレー
ムの発生ビット量を示す変数ＤＦＴ(n)の値を加算し
て、その加算値を新たなＩピクチャの発生ビット量の合
計値として変数ｓｕｍ＿ｉに代入し、その後、Ｉピクチ
ャの発生ビット量の合計の変数ｓｕｍ＿ｉインクリメン
トする。
【０１７４】また、ピクチャタイプがＢピクチャを示す
上記ステップＳＴ２５では、上記Ｂピクチャの発生ビッ
ト量の合計を示す変数ｓｕｍ＿ｂの値に上記フレームの
発生ビット量を示す変数ＤＦＴ(n)の値を加算して、そ
の加算値を新たなＢピクチャの発生ビット量の合計値と
して変数ｓｕｍ＿ｂに代入し、その後、Ｂピクチャの発
生ビット量の合計の変数ｓｕｍ＿ｂインクリメントす
る。
【０１７５】さらに、ピクチャタイプがＰピクチャを示
す上記ステップＳＴ２６では、上記Ｐピクチャの発生ビ
ット量の合計を示す変数ｓｕｍ＿ｐの値に上記フレーム
の発生ビット量を示す変数ＤＦＴ(n)の値を加算して、
その加算値を新たなＰピクチャの発生ビット量の合計値
として変数ｓｕｍ＿ｐに代入し、その後、Ｐピクチャの
発生ビット量の合計の変数ｓｕｍ＿ｐインクリメントす
る。
【０１７６】これらステップＳＴ２４，ＳＴ２５，ＳＴ
２６の後はステップＳＴ２１に戻る。
【０１７７】一方、上記ステップＳＴ２１にてシーンチ
ェンジであると判定された場合に進むステップＳＴ２７
では、各ピクチャの発生ビット量の平均値とフレーム内
平均輝度の平均値とを求めると共に、各ピクチャの発生
ビット割り合いを求める。すなわち、Ｉピクチャの発生
ビット量の平均値は、当該Ｉピクチャの発生ビット量の
合計を示す変数ｓｕｍ＿ｉの値をＩピクチャのフレーム
数を示す変数ｎｕｍ＿ｉの値にて除算して、その除算値
を新たなＩピクチャの発生ビット量の平均値として変数
ａｖｅ＿ｉに代入する。以下同様に、Ｐピクチャの発生
ビット量の平均値の場合には、当該Ｐピクチャの発生ビ
ット量の合計を示す変数ｓｕｍ＿ｐの値をＰピクチャの
フレーム数を示す変数ｎｕｍ＿ｐの値にて除算して、そ
の除算値を新たなＰピクチャの発生ビット量の平均値と
して変数ａｖｅ＿ｐに代入する。Ｂピクチャの発生ビッ
ト量の平均値の場合には、当該Ｂピクチャの発生ビット
量の合計を示す変数ｓｕｍ＿ｂの値をＢピクチャのフレ
ーム数を示す変数ｎｕｍ＿ｂの値にて除算して、その除
算値を新たなＢピクチャの発生ビット量の平均値として
変数ａｖｅ＿ｂに代入する。フレーム内平均輝度の平均
値は、フレーム内平均輝度の合計を示す変数ｓｕｍ＿ｄ
ｃの値をシーンのフレーム数を示す変数ｎｕｍにて除算
して、その除算値を新たなフレーム内平均輝度の平均値
として変数ａｖｅ＿ｄｃに代入する。また、Ｉピクチャ
の発生ビット割り合いの場合は、Ｉピクチャの発生ビッ
ト量の平均を示す変数ａｖｅ＿ｉの値とＰピクチャの発
生ビット量の平均を示す変数ａｖｅ＿ｐの値とＢピクチ
ャの発生ビット量の平均を示す変数ａｖｅ＿ｂの値とを
加算し、Ｉピクチャの発生ビット量の平均を示す変数ａ
ｖｅ＿ｉの値を上記加算値にて除算して、その除算値を
新たなＩピクチャの発生ビット割り合いとして変数ｒａ
ｔｅ＿ｉに代入する。以下同様に、Ｐピクチャの発生ビ
ット割り合いの場合は、Ｐピクチャの発生ビット量の平
均を示す変数ａｖｅ＿ｐの値を、上記変数ａｖｅ＿ｉの
値と変数ａｖｅ＿ｐの値と変数ａｖｅ＿ｂの値との加算
値にて除算して、その除算値を新たなＰピクチャの発生
ビット割り合いとして変数ｒａｔｅ＿ｐに代入する。Ｂ
ピクチャの発生ビット割り合いの場合は、Ｂピクチャの
発生ビット量の平均を示す変数ａｖｅ＿ｂの値を、上記
変数ａｖｅ＿ｉの値と変数ａｖｅ＿ｐの値と変数ａｖｅ
＿ｂの値との加算値にて除算して、その除算値を新たな
Ｂピクチャの発生ビット割り合いとして変数ｒａｔｅ＿
ｂに代入する。
【０１７８】このステップＳＴ２７の処理の後は、前述
同様の図１４のステップＳＴ８に進む。なお、この第３
の構成例における図１４の説明については、前述した第
１の構成例での説明を準用するが、当該第３の構成例で
の図１４のステップＳＴ１９の処理後は、図２５のステ
ップＳＴ２１に戻る。
【０１７９】次に、図２１のプリフィルタ回路１３，１
４の構成の具体例を図２６に示す。
【０１８０】この図２６に示したプリフィルタ回路２０
（プリフィルタ回路１３または１４）は、端子３４から
特徴量検出回路１２から各シーン毎の特徴量の情報が入
力された、コントローラ３１に入力される。コントロー
ラ３１は、受け取った特徴量の情報に基づきフィルタ回
路３２，３３のフィルタリング特性を前述の第１の構成
例同様に制御する。なお、上記フィルタ回路３２は前述
したノイズリデューサ３０１と同じ構成をとることがで
き、上記フィルタ回路３３は前述した２次元空間フィル
タ４００と同じ構成をとることができる。上記端子３５
から入力されたディジタル動画像信号は、これらフィル
タ回路３２，３３によって順々にフィルタリング処理さ
れた後、端子３６から出力される。また、コントローラ
３１は図２６の例では１つとしているが、各フィルタ回
路３２，３３に合わせて前述の図２で示したように２つ
とすることも可能である。
【０１８１】上述した第１、第２、第３の構成例の符号
化装置によって符号化された符号化ビットストリーム
は、例えば信号記録媒体に記録されたり、伝送路を介し
て伝送されることになる。
【０１８２】図２７には、信号記録媒体の一例として光
ディスク７０４を用いた例について説明する。この図２
７において、端子７００には、上記符号化ビットストリ
ームと、量子化スケール等の後の復号化に必要な情報と
からなるデータ列が供給される。このデータ列は、ＥＣ
Ｃエンコーダ７０１によってエラーコレクションコード
が付加され、変調回路７０２に送られる。当該変調回路
７０２では上記ＥＣＣエンコーダ７０１の出力に対し
て、所定の変調処理例えば８−１４変調等の処理を施
す。この変調回路７０２の出力は記録ヘッド７０３に送
られ、当該記録ヘッド７０３にて光ディスク７０４に記
録される。
【０１８３】なお、図２７の例では、信号記録媒体とし
て光ディスクを例に挙げたが、磁気テープ等のテープ状
記録媒体や、ハードディスクやフレキシブルディスク等
の磁気ディスク媒体、ＩＣカードや各種メモリ素子等の
半導体記憶媒体等の信号記録媒体に対して、本発明装置
にて符号化した信号を記録することも可能である。ま
た、光ディスクとしては、ピットによる記録がなされる
ディスクや、光磁気ディスクの他に、相変化型光ディス
クや有機色素型光ディスク、紫外線レーザ光により記録
がなされる光ディスク、多層記録膜を有する光ディスク
等の各種のディスクを用いることができる。
【０１８４】
【発明の効果】以上の説明で明らかなように、本発明に
おいては、動きベクトルを検出する動画像信号に対する
プリフィルタリング処理の際のフィルタ特性と、符号化
処理を施す動画像信号に対するプリフィルタリング処理
の際のフィルタ特性とを、別々に制御可能にしているた
め、伝送ビットレートの高低にかかわらずに画像の品質
劣化を最小限に抑えることができると共に、動きベクト
ルの誤検出を防止し、また例えばグレインノイズの質感
をも残すことができる。すなわち例えば伝送ビットレー
トが十分に高く、グレインノイズをあまり劣化なく符号
化できる時には、符号化処理される動画像信号に対して
はグレインノイズを残すか又は僅かに残すプリフィルタ
リングを施し、また、動きベクトルを検出する動画像信
号に対してはグレインノイズを除去することで動きベク
トル検出精度を上げることのできるプリフィルタリング
を施すことが可能となる。逆に、例えば伝送ビットレー
トが低く、グレインノイズを大きな劣化（ブロック歪
み）なしに符号化することが難しい時には、符号化され
る動画像信号と動きベクトル検出される動画像信号とに
対して、共にグレインノイズを除去するプリフィルタリ
ングを施すことが可能となる。すなわち、本発明におい
ては、伝送ビットレートが十分高く、グレインノイズを
あまり劣化なく符号化できるときには、グレインノイズ
による質感を残すことができると共に、動きベクトルの
ランダムな発生を抑えて画像品質を維持することが可能
であり、伝送ビットレートが低い場合でもこの伝送ビッ
トレートを守りつつ画像品質を維持することが可能であ
る。また、本発明においては、シーン毎に最適なフィル
タリング処理を行うことができるため、良好な符号化が
可能となっている。
【図面の簡単な説明】
【図１】本発明の第１の構成例の動画像符号化装置のブ
ロック回路図である。
【図２】第１の構成例装置のプリフィルタ回路の具体的
構成を示すブロック回路図である。
【図３】ノイズリデューサの具体的構成を示すブロック
回路図である。
【図４】ノイズリデューサの非線形回路の特性を説明す
るための図である。
【図５】２次元空間フィルタのフィルタ係数の周波数特
性を示す図である。
【図６】ハイブリッド符号化器の具体的構成を示すブロ
ック回路図である。
【図７】ピクチャタイプと予測の流れを説明するための
図である。
【図８】第１の構成例装置の特徴量検出器の具体的構成
を示すブロック回路図である。
【図９】所定区間内の各ピクチャ毎の発生ビット量の一
例を説明するための図である。
【図１０】所定区間内の画像の動きが大きいと判断され
る時のビット発生量比率と各ピクチャの発生ビット量と
の関係を説明するための図である。
【図１１】所定区間内の画像が静止画に近いと判断され
る時のビット発生量比率と各ピクチャの発生ビット量と
の関係を説明するための図である。
【図１２】Ｉピクチャのビット発生量に応じてテクスチ
ャの多少を判断する例を説明するための図である。
【図１３】第１の構成例装置における演算回路での処理
の流れのうち後半部を示すフローチャートである。
【図１４】第１及び第３の構成例装置のプリフィルタ回
路の具体的構成例を示すブロック回路図である。
【図１５】本発明の第２の構成例の動画像符号化装置の
ブロック回路図である。
【図１６】平均輝度の計算の説明に用いる図である。
【図１７】符号化器側のプリフィルタ回路の時間フィル
タにおける高伝送ビットレートと低伝送ビットレート時
のフィルタ特性を示す特性図である。
【図１８】符号化器側のプリフィルタ回路の空間フィル
タにおける高伝送ビットレートと低伝送ビットレート時
のフィルタ特性を示す特性図である。
【図１９】ＭＥ器側のプリフィルタ回路の時間フィルタ
におけるフィルタ特性を示す特性図である。
【図２０】ＭＥ器側のプリフィルタ回路の空間フィルタ
におけるフィルタ特性を示す特性図である。
【図２１】本発明の第３の構成例の動画像符号化装置の
ブロック回路図である。
【図２２】第３の構成例装置の特徴量検出器の具体的構
成を示すブロック回路図である。
【図２３】Ｉピクチャのビット発生量に応じてテクスチ
ャの多少を判断する例を説明するための図である。
【図２４】シーケンス中の画面平均輝度の推移について
の説明に用いる図である。
【図２５】第３の構成例装置における演算回路での処理
の流れのうち前半部を示すフローチャートである。
【図２６】第３の構成例装置のプリフィルタ回路の具体
的構成例を示すブロック回路図である。
【図２７】信号記録媒体の一例として光ディスクに符号
化ビットストリームを記録するための構成を示すブロッ
ク回路図である。
【図２８】従来のプリフィルタリングを行う動画像符号
化装置の概略構成を示すブロック回路図である。
【符号の説明】
１０１，１０２ プリフィルタ回路、 １０３ 符号化
回路、 １０４ ハイブリッド符号化器、 １０５ Ｍ
Ｅ器、 １１０ 特徴量検出器、 １１１ 遅延器

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 動画像信号に対して、別々に制御される
    フィルタ特性を用いた第１，第２のプリフィルタリング
    処理を施し、 上記第１のプリフィルタリング処理を施した動画像信号
    から動きベクトルを検出し、 上記検出した動きベクトル情報を用いて、上記第２のプ
    リフィルタリング処理された動画像信号に符号化処理を
    施すことを特徴とする動画像符号化方法。
  2. 【請求項２】 上記フィルタ特性を伝送ビットレート及
    び／又は画像内容に応じて制御することを特徴とする請
    求項１記載の動画像符号化方法。
  3. 【請求項３】 上記符号化処理は、動き補償フレーム間
    予測符号化であることを特徴とする請求項１記載の動画
    像符号化方法。
  4. 【請求項４】 上記符号化処理は、動き補償フレーム間
    予測符号化と所定の変換符号化とを組み合わせたもので
    あることを特徴とする請求項１記載の動画像符号化方
    法。
  5. 【請求項５】 上記第２のプリフィルタリング処理は、
    動画像信号の高周波数成分を除去するローパス処理であ
    ることを特徴とする請求項１記載の動画像符号化方法。
  6. 【請求項６】 上記第２のプリフィルタリング処理は、
    動画像信号からノイズ成分を除去するフィルタリング処
    理であることを特徴とする請求項１記載の動画像符号化
    方法。
  7. 【請求項７】 上記第１のプリフィルタリング処理は、
    動画像信号からノイズ成分を除去するフィルタリング処
    理であることを特徴とする請求項１記載の動画像符号化
    方法。
  8. 【請求項８】 上記フィルタ特性を、少なくとも画像の
    動きと画像の明るさと画像内のテクスチャの量とに基づ
    いて制御することを特徴とする請求項１記載の動画像符
    号化方法。
  9. 【請求項９】 上記画像の動きの量と画像内のテクスチ
    ャの量を、条件を固定にした符号化処理により発生する
    ビット量より求めることを特徴とする請求項８記載の動
    画像符号化方法。
  10. 【請求項１０】 動画像信号のシーンの区切りを検出
    し、 各シーン毎に上記フィルタ特性の制御を行うことを特徴
    とする請求項１記載の動画像符号化方法。
  11. 【請求項１１】 動画像信号から動きベクトルを検出す
    る動きベクトル推定器と、 当該動きベクトル推定器により検出された動きベクトル
    情報を用いて、動画像信号に対して符号化処理を施す符
    号化器と、 上記動きベクトル推定器に入力する動画像信号にフィル
    タリング処理を施す第１のプリフィルタ回路と、 上記符号化器に入力する動画像信号にフィルタリング処
    理を施す第２のプリフィルタ回路とを有し、 上記第１のプリフィルタ回路と第２のプリフィルタ回路
    のフィルタ特性を、別々に制御することを特徴とする動
    画像符号化装置。
  12. 【請求項１２】 上記フィルタ特性を、伝送ビットレー
    ト及び／又は画像内容に応じて制御する制御手段を備え
    ることを特徴とする請求項１１記載の動画像符号化装
    置。
  13. 【請求項１３】 上記符号化器では、動き補償フレーム
    間予測符号化を行うことを特徴とする請求項１１記載の
    動画像符号化装置。
  14. 【請求項１４】 上記符号化器では、動き補償フレーム
    間予測符号化と所定の変換符号化とを組み合わせた符号
    化を行うことを特徴とする請求項１１記載の動画像符号
    化装置。
  15. 【請求項１５】 上記第２のプリフィルタ回路は、動画
    像信号の高周波数成分を除去するローパスフィルタより
    なることを特徴とする請求項１１記載の動画像符号化装
    置。
  16. 【請求項１６】 上記第２のプリフィルタ回路は、動画
    像信号からノイズ成分を除去するフィルタであることを
    特徴とする請求項１１記載の動画像符号化装置。
  17. 【請求項１７】 上記第１のプリフィルタ回路は、動画
    像信号からノイズ成分を除去するフィルタであることを
    特徴とする請求項１１記載の動画像符号化装置。
  18. 【請求項１８】 少なくとも画像の動きと画像の明るさ
    と画像内のテクスチャの量とを求める特徴量検出手段
    と、 上記フィルタ特性を、上記特徴量検出手段からの情報に
    基づいて制御する制御手段とを設けることを特徴とする
    請求項１１記載の動画像符号化装置。
  19. 【請求項１９】 上記特徴量検出手段は、上記画像の動
    きの量と画像内のテクスチャの量を、条件を固定にした
    符号化処理により発生するビット量より求めることを特
    徴とする請求項１８記載の動画像符号化装置。
  20. 【請求項２０】 動画像信号のシーンの区切りを検出す
    るシーンチェンジ検出手段と、 各シーン毎に上記フィルタ特性の制御を行う制御手段と
    を設けることを特徴とする請求項１１記載の動画像符号
    化装置。
  21. 【請求項２１】 動画像信号に対して、別々に制御され
    るフィルタ特性を用いた第１，第２のプリフィルタリン
    グ処理を施し、上記第１のプリフィルタリング処理した
    動画像信号から動きベクトルを検出し、上記検出した動
    きベクトル情報を用い、上記第２のプリフィルタリング
    処理した動画像信号に符号化処理が施された符号化信号
    を少なくとも記録してなることを特徴とする信号記録媒
    体。
JP11168196A 1995-08-09 1996-05-02 動画像符号化方法及び装置、並びに信号記録媒体 Expired - Fee Related JP3353604B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP11168196A JP3353604B2 (ja) 1995-08-09 1996-05-02 動画像符号化方法及び装置、並びに信号記録媒体
DE1996624639 DE69624639T2 (de) 1995-08-09 1996-08-09 Kodierung von digitalen Videosignalen
KR1019960033110A KR970012226A (ko) 1995-08-09 1996-08-09 디지털 비디오 신호를 엔코딩하기 위한 장치 및 방법
EP19960305862 EP0758186B1 (en) 1995-08-09 1996-08-09 Encoding digital video signals
US08/962,886 US5875003A (en) 1995-08-09 1997-11-10 Apparatus and method for encoding a digital video signal

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-203282 1995-08-09
JP20328295 1995-08-09
JP11168196A JP3353604B2 (ja) 1995-08-09 1996-05-02 動画像符号化方法及び装置、並びに信号記録媒体

Publications (2)

Publication Number Publication Date
JPH09107549A true JPH09107549A (ja) 1997-04-22
JP3353604B2 JP3353604B2 (ja) 2002-12-03

Family

ID=26451020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11168196A Expired - Fee Related JP3353604B2 (ja) 1995-08-09 1996-05-02 動画像符号化方法及び装置、並びに信号記録媒体

Country Status (5)

Country Link
US (1) US5875003A (ja)
EP (1) EP0758186B1 (ja)
JP (1) JP3353604B2 (ja)
KR (1) KR970012226A (ja)
DE (1) DE69624639T2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308058A (ja) * 1999-04-26 2000-11-02 Minolta Co Ltd 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法
JP2005026747A (ja) * 2003-06-30 2005-01-27 Matsushita Electric Ind Co Ltd フィルタ処理装置、画像符号化装置及び方法
WO2006043392A1 (ja) * 2004-10-18 2006-04-27 Sony Corporation 画像処理装置および処理方法
JP2007506361A (ja) * 2003-09-17 2007-03-15 トムソン ライセンシング 適応参照画像の発生
JP2007158770A (ja) * 2005-12-06 2007-06-21 Nippon Hoso Kyokai <Nhk> 映像復号装置および映像復号プログラム
JP2009268139A (ja) * 2009-07-02 2009-11-12 Thomson Licensing ビデオ信号を処理する方法
US7800690B2 (en) 1997-12-23 2010-09-21 Thomson Licensing Low noise encoding and decoding apparatus and method

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
FR2764156B1 (fr) * 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
FR2772138B1 (fr) * 1997-12-10 1999-12-31 Inst Francais Du Petrole Methode statistique multivariable pour caracteriser des images que l'on a formees d'un milieu complexe tel que le sous-sol
JPH11177993A (ja) * 1997-12-12 1999-07-02 Nec Corp 動画像符号化装置
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JPH11285002A (ja) * 1998-02-02 1999-10-15 Sony Corp 動画像符号化装置及び動画像符号化方法
CN1184820C (zh) * 1999-01-15 2005-01-12 皇家菲利浦电子有限公司 编码和噪声过滤图象序列
CN1159916C (zh) * 1999-06-22 2004-07-28 日本胜利株式会社 活动图象编码装置及其方法
JP3593929B2 (ja) * 1999-09-03 2004-11-24 日本電気株式会社 動画像符号化方法及び動画像符号化装置
US6674800B1 (en) * 2000-08-29 2004-01-06 Koninklijke Philips Electronics N.V. Method and system for utilizing a global optimal approach of scalable algorithms
US7136508B2 (en) * 2000-11-09 2006-11-14 Minolta Co., Ltd. Image processing apparatus, method, and program for processing a moving image
CN1167034C (zh) 2001-02-27 2004-09-15 华为技术有限公司 图像预去噪的方法
WO2003075116A2 (en) 2002-03-01 2003-09-12 T5 Labs Ltd Centralised interactive graphical application server
JP2003330445A (ja) * 2002-05-15 2003-11-19 Fujitsu Ltd 表示装置
EP1627360B1 (en) 2003-05-15 2018-10-03 Dolby International AB Method and apparatus for representing image granularity by one or more parameters
US7394856B2 (en) * 2003-09-19 2008-07-01 Seiko Epson Corporation Adaptive video prefilter
EP1524856A1 (en) * 2003-10-15 2005-04-20 Sony International (Europe) GmbH Method for processing video signals
US7787541B2 (en) * 2005-10-05 2010-08-31 Texas Instruments Incorporated Dynamic pre-filter control with subjective noise detector for video compression
US20070098086A1 (en) * 2005-10-28 2007-05-03 Vasudev Bhaskaran Spatio-temporal noise filter for digital video
US7664337B2 (en) * 2005-12-20 2010-02-16 Marvell International Ltd. Film grain generation and addition
US20070230804A1 (en) * 2006-03-31 2007-10-04 Aldrich Bradley C Encoding techniques employing noise-based adaptation
US8009732B2 (en) * 2006-09-01 2011-08-30 Seiko Epson Corporation In-loop noise reduction within an encoder framework
TR201810171T4 (tr) * 2006-10-03 2018-08-27 Vestel Elektronik Sanayi Ve Ticaret Anonim Sirketi Bir girdi görüntüsündeki halka şeklinde artefaktları en aza indirmek için yöntem ve aparat.
WO2010016823A1 (en) * 2008-08-08 2010-02-11 Thomson Licensing Method and apparatus for detecting dark noise artifacts
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
FR3073999B1 (fr) 2017-11-23 2024-02-09 Ateme Compression intelligente de contenus video graines

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3189861B2 (ja) * 1992-11-13 2001-07-16 ソニー株式会社 動画像符号化装置および方法
KR940001441B1 (ko) * 1991-07-19 1994-02-23 삼성전자 주식회사 운동 적응형 y/c분리기
US5343247A (en) * 1991-08-02 1994-08-30 U.S. Philips Corporation Filter circuit for preprocessing a video signal to be coded
JP2507204B2 (ja) * 1991-08-30 1996-06-12 松下電器産業株式会社 映像信号符号化装置
US5214507A (en) * 1991-11-08 1993-05-25 At&T Bell Laboratories Video signal quantization for an mpeg like coding environment
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US5499057A (en) * 1993-08-27 1996-03-12 Sony Corporation Apparatus for producing a noise-reducded image signal from an input image signal
US5635281A (en) * 1994-08-12 1997-06-03 Donnelly Corporation Glazing using a melt-processible gasket material
JP3911035B2 (ja) * 1994-08-31 2007-05-09 ソニー株式会社 動画像符号化方法及び動画像符号化装置
US5734419A (en) * 1994-10-21 1998-03-31 Lucent Technologies Inc. Method of encoder control

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800690B2 (en) 1997-12-23 2010-09-21 Thomson Licensing Low noise encoding and decoding apparatus and method
JP2000308058A (ja) * 1999-04-26 2000-11-02 Minolta Co Ltd 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法
US7024047B2 (en) 1999-04-26 2006-04-04 Minolta Co., Ltd. Apparatus, method, and computer program product for image processing
JP2005026747A (ja) * 2003-06-30 2005-01-27 Matsushita Electric Ind Co Ltd フィルタ処理装置、画像符号化装置及び方法
US8094711B2 (en) 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
JP2007506361A (ja) * 2003-09-17 2007-03-15 トムソン ライセンシング 適応参照画像の発生
AU2005297645B2 (en) * 2004-10-18 2009-12-24 Sony Corporation Image processing device and processing method
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
JP2006115380A (ja) * 2004-10-18 2006-04-27 Sony Corp 画像処理装置および処理方法
WO2006043392A1 (ja) * 2004-10-18 2006-04-27 Sony Corporation 画像処理装置および処理方法
US8139648B2 (en) 2004-10-18 2012-03-20 Sony Corporation Image processing apparatus and image processing method
US8681878B2 (en) 2004-10-18 2014-03-25 Sony Corporation Image processing apparatus and image processing method
JP2007158770A (ja) * 2005-12-06 2007-06-21 Nippon Hoso Kyokai <Nhk> 映像復号装置および映像復号プログラム
JP4528255B2 (ja) * 2005-12-06 2010-08-18 日本放送協会 映像復号装置および映像復号プログラム
JP2009268139A (ja) * 2009-07-02 2009-11-12 Thomson Licensing ビデオ信号を処理する方法
JP4724240B2 (ja) * 2009-07-02 2011-07-13 トムソン ライセンシング ビデオ信号を処理する方法

Also Published As

Publication number Publication date
DE69624639T2 (de) 2003-07-03
US5875003A (en) 1999-02-23
EP0758186B1 (en) 2002-11-06
KR970012226A (ko) 1997-03-29
EP0758186A2 (en) 1997-02-12
DE69624639D1 (de) 2002-12-12
JP3353604B2 (ja) 2002-12-03
EP0758186A3 (en) 1999-01-07

Similar Documents

Publication Publication Date Title
JP3353604B2 (ja) 動画像符号化方法及び装置、並びに信号記録媒体
US5719986A (en) Video signal encoding method
US5473377A (en) Method for quantizing intra-block DC transform coefficients using the human visual characteristics
JP3436507B2 (ja) ビットレート制御方法
JP3189861B2 (ja) 動画像符号化装置および方法
US6151360A (en) Method for encoding video signal using statistical information
JP2006519565A (ja) ビデオ符号化
JPH11196419A (ja) 画像信号処理装置及び画像信号処理方法
EP0680217B1 (en) Video signal decoding apparatus capable of reducing blocking effects
JPH0818976A (ja) 動画像符号化／復号化装置
JP2000350211A (ja) 動画像符号化方法及び動画像符号化装置
JP3551666B2 (ja) 動画像符号化方法及び動画像符号化装置
JP2002238060A (ja) 画像符号化方法、画像符号化装置、プログラムおよび記録媒体
EP0520789B1 (en) Video coder and coding method
GB2435140A (en) Compression of image data comprising regions of interest
Jacquin et al. Content-adaptive postfiltering for very low bit rate video
JPH0710103B2 (ja) 画像符号化伝送装置
JPH0984024A (ja) 動画像信号の符号化装置
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JPH0681308B2 (ja) フレ−ム間符号化における量子化雑音抑圧方式
JP4399794B2 (ja) 画像符号化装置及び画像符号化方法
JPH06224773A (ja) 高能率符号化回路
JP2007020216A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法
JPS63199589A (ja) フレ−ム間符号化方式
JP3922581B2 (ja) 可変転送レート符号化方法および装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020827

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090927

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090927

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130927

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees