JPH01192273A - 動画像の予測符号化方式 - Google Patents
動画像の予測符号化方式Info
- Publication number
- JPH01192273A JPH01192273A JP63017754A JP1775488A JPH01192273A JP H01192273 A JPH01192273 A JP H01192273A JP 63017754 A JP63017754 A JP 63017754A JP 1775488 A JP1775488 A JP 1775488A JP H01192273 A JPH01192273 A JP H01192273A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- block
- prediction error
- error
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 59
- 238000011156 evaluation Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 80
- 238000004364 calculation method Methods 0.000 abstract description 17
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000003247 decreasing effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔目次〕
概要
産業上の利用分野
発明が解決しようとする問題点
問題点を解決するための手段
作用
実施例 (第2図〜第1O図)
変更例 (第11図)
発明の効果
(m要〕
可変ブロックサイズによる動画像の予測符号化方式に関
し。
し。
動画像の各部位の性質に応じて適応的に予測方式とブロ
ックサイズを選択して画像符号化を行うことにより、動
画像全体に対して誤差の小さい的確な符号化を行いつつ
全体として伝送効率の向上を図ることを目的とし。
ックサイズを選択して画像符号化を行うことにより、動
画像全体に対して誤差の小さい的確な符号化を行いつつ
全体として伝送効率の向上を図ることを目的とし。
被符号化ブロックのサイズを複数種類予め定め。
各サイズのブロック毎に複数の予測方法で予測誤差が求
められ、求められた各予測誤差を評価して当該ブロック
に通した予測方法と予測誤差を決定し、各ブロックの予
測誤差を評価して最適のブロックサイズを動画像の各部
位毎に決定し、この予測方式の決定は、フレーム間予測
、動き補償予測。
められ、求められた各予測誤差を評価して当該ブロック
に通した予測方法と予測誤差を決定し、各ブロックの予
測誤差を評価して最適のブロックサイズを動画像の各部
位毎に決定し、この予測方式の決定は、フレーム間予測
、動き補償予測。
フレーム内予測の順に優先して行うように構成した。
本発明は可変ブロックサイズによる動画像の予測符号化
方式に関する。
方式に関する。
テレビ会議システム等を実現する動画像帯域圧縮方式と
して予測符号化方式があり、予測方法としてはフレーム
内予測、フレーム間予測、動き補償フレーム間予測等が
知られている。一般に背景などの静止領域(静止した部
分)、あるいはカメラの角度を変えるなどの平行移動に
よる動領域(動きがある部分)についてはフレーム間予
測あるいは動き補償予測によったほうが効果が大きい。
して予測符号化方式があり、予測方法としてはフレーム
内予測、フレーム間予測、動き補償フレーム間予測等が
知られている。一般に背景などの静止領域(静止した部
分)、あるいはカメラの角度を変えるなどの平行移動に
よる動領域(動きがある部分)についてはフレーム間予
測あるいは動き補償予測によったほうが効果が大きい。
一方9回転等により新しい画面が現れる部分あるいは動
きの激しい部分ではフレーム内予測によったほうが大き
な効果が得られる。したがってこれらの予測方法を画像
の動きに応じて適応的に切り換えることが望ましい。
きの激しい部分ではフレーム内予測によったほうが大き
な効果が得られる。したがってこれらの予測方法を画像
の動きに応じて適応的に切り換えることが望ましい。
動き補償予測方式の場合1画面を複数のブロックに分割
してブロック単位で符号化を行い、各ブロックにつき動
ベクトルを算出して予測の補正を行っているが、このブ
ロックのサイズに着目してみると、一般にブロックサイ
ズは小さくなるほど伝送情報量は増大するのでビットレ
ートの低減化の観点からはブロックサイズは大きくとっ
たほうがよい。この場合、静止領域については予測のブ
ロックサイズを大きくして伝送情報量を小さくしても、
復元された画面と原画との誤差は小さい。
してブロック単位で符号化を行い、各ブロックにつき動
ベクトルを算出して予測の補正を行っているが、このブ
ロックのサイズに着目してみると、一般にブロックサイ
ズは小さくなるほど伝送情報量は増大するのでビットレ
ートの低減化の観点からはブロックサイズは大きくとっ
たほうがよい。この場合、静止領域については予測のブ
ロックサイズを大きくして伝送情報量を小さくしても、
復元された画面と原画との誤差は小さい。
一方、動領域ではブロックサイズを大きくすると予測誤
差が大きくなり、復元画像の品質が劣化する。このため
ブロックサイズを小さくして予測誤差を小さくする必要
があるが、この場合、伝送情報量が太き(なり、ビット
レートの低減を図れない。
差が大きくなり、復元画像の品質が劣化する。このため
ブロックサイズを小さくして予測誤差を小さくする必要
があるが、この場合、伝送情報量が太き(なり、ビット
レートの低減を図れない。
従来、動き補償予測方式では符号化を行うブロックのサ
イズは画面のどの部分でも一定であり。
イズは画面のどの部分でも一定であり。
画面の静止領域でも動きの激しい動領域でも同一のサイ
ズで符号化を行っている。このため1例えばブロックサ
イズを一様に大きくした場合は静止部分において生じる
誤差が小さくとも9画面の変化が激しい部分では誤差が
大きくなる。一方、ブロックサイズを一様に小さくした
場合は動きの激しい部分での誤差を小さくできるが、半
面、静止部分に対しての伝達情報量が増大し、余分な情
報を伝送しなければならなくなる。
ズで符号化を行っている。このため1例えばブロックサ
イズを一様に大きくした場合は静止部分において生じる
誤差が小さくとも9画面の変化が激しい部分では誤差が
大きくなる。一方、ブロックサイズを一様に小さくした
場合は動きの激しい部分での誤差を小さくできるが、半
面、静止部分に対しての伝達情報量が増大し、余分な情
報を伝送しなければならなくなる。
したがって本発明の目的は、動画像の静止部分や動部分
等の各部位の性質に応じて適応的に予測方式とブロック
サイズを選択して画像符号化を行うことにより、動画像
全体に対して誤差の小さい的確な符号化を行いつつ全体
として伝送効率の向上も図ることができる動画像の予測
符号化方式を提供することにある。
等の各部位の性質に応じて適応的に予測方式とブロック
サイズを選択して画像符号化を行うことにより、動画像
全体に対して誤差の小さい的確な符号化を行いつつ全体
として伝送効率の向上も図ることができる動画像の予測
符号化方式を提供することにある。
第1図は本発明にかかる動画像の予測符号化方式の概要
を示す原理図である。
を示す原理図である。
本発明にかかる動画像の予測符号化方式は、動画像信号
をブロック単位で符号化するものであって、符号化を行
うブロックのブロックサイズが複数種類予め定められ(
31)、各ブロックサイズのブロックについて、それぞ
れ異なる予測方法で予測誤差が求められ(32)、求め
られた各予測誤差を第1の評価手段で評価することによ
って当該ブロックに適した予測方法とその予測誤差が適
応的に選択され(S3)、かようにして得られた各ブロ
ックサイズについての予測誤差を第2の評価手段で評価
することによって符号化に最適のブロックサイズが動画
像の各部位毎に適応的に選択され(S4)、予測方式の
決定に際しては、フレーム間予測、動き補償予測、フレ
ーム内予測の順に優先して決定されるように構成されて
いる。
をブロック単位で符号化するものであって、符号化を行
うブロックのブロックサイズが複数種類予め定められ(
31)、各ブロックサイズのブロックについて、それぞ
れ異なる予測方法で予測誤差が求められ(32)、求め
られた各予測誤差を第1の評価手段で評価することによ
って当該ブロックに適した予測方法とその予測誤差が適
応的に選択され(S3)、かようにして得られた各ブロ
ックサイズについての予測誤差を第2の評価手段で評価
することによって符号化に最適のブロックサイズが動画
像の各部位毎に適応的に選択され(S4)、予測方式の
決定に際しては、フレーム間予測、動き補償予測、フレ
ーム内予測の順に優先して決定されるように構成されて
いる。
画像情報の符号化を行うに際しては、まず画像情報を含
む所要の大きさのブロックを複数種類定めておき1次い
でこれらの各大きさのブロックについてそれぞれフレー
ム間予測、動き補償予測およびフレーム内予測を行うこ
とによって各大きさのブロックについてのそれぞれの予
測誤差を第1の評価手段で評価することにより、これら
の予測誤差の中からフレーム間予測、動き補償予測およ
びフレーム内予測のいずれかによって求められた予測誤
差を選択し1次いでこの選択された予測誤差を第2の評
価手段で評価することによって複数種類のブロックサイ
ズの中から最適の大きさのブロックを決定する。
む所要の大きさのブロックを複数種類定めておき1次い
でこれらの各大きさのブロックについてそれぞれフレー
ム間予測、動き補償予測およびフレーム内予測を行うこ
とによって各大きさのブロックについてのそれぞれの予
測誤差を第1の評価手段で評価することにより、これら
の予測誤差の中からフレーム間予測、動き補償予測およ
びフレーム内予測のいずれかによって求められた予測誤
差を選択し1次いでこの選択された予測誤差を第2の評
価手段で評価することによって複数種類のブロックサイ
ズの中から最適の大きさのブロックを決定する。
第1の評価手段による選択は、フレーム間予測誤差、動
き補償予測誤差およびフレーム内予測誤差のうち、フレ
ーム間予測誤差が最小である場合。
き補償予測誤差およびフレーム内予測誤差のうち、フレ
ーム間予測誤差が最小である場合。
動き補償予測誤差が最小であるがフレーム間予測誤差と
の差が第1のしきい値以内である場合、またはフレーム
内予測誤差が最小であるがフレーム間予測誤差との差が
第2のしきい値以内である場合にはフレーム間予測が選
択され、動き補償予測誤差が最小でありかつフレーム間
予測誤差との差が該第1のしきい値を越える場合は動き
補償予測が選択され、フレーム内予測予測誤差が最小で
ありかつフレーム内予測誤差および動き補償予測誤差と
の差がそれぞれ第1.第2のしきい値を越える場合はフ
レーム内予測が選択される。
の差が第1のしきい値以内である場合、またはフレーム
内予測誤差が最小であるがフレーム間予測誤差との差が
第2のしきい値以内である場合にはフレーム間予測が選
択され、動き補償予測誤差が最小でありかつフレーム間
予測誤差との差が該第1のしきい値を越える場合は動き
補償予測が選択され、フレーム内予測予測誤差が最小で
ありかつフレーム内予測誤差および動き補償予測誤差と
の差がそれぞれ第1.第2のしきい値を越える場合はフ
レーム内予測が選択される。
以下9図面を参照しつつ本発明にかかる一実施例として
の動画像の予測符号化方式を説明する。
の動画像の予測符号化方式を説明する。
この実施例方式においては、動画像信号をブロック単位
で予測符号化し、それに際し予測方式としてフレーム間
予測、動き補償予測およびフレーム内予測の何れかを適
応的に選択切換えし、さらに画像の変化の激しい部分に
対してはブロックサイズを小さくし静止的な部分に対し
てはブロックサイズを大きくするといったように画面の
部分的な状態に応じてブロックサイズを適応的に切り換
えるものである。
で予測符号化し、それに際し予測方式としてフレーム間
予測、動き補償予測およびフレーム内予測の何れかを適
応的に選択切換えし、さらに画像の変化の激しい部分に
対してはブロックサイズを小さくし静止的な部分に対し
てはブロックサイズを大きくするといったように画面の
部分的な状態に応じてブロックサイズを適応的に切り換
えるものである。
第2図には予測方式を適応的に選択するための回路の概
略的なブロック構成が示され、また第3図にはブロック
サイズを適応的に選択するための回路の概略的なブロッ
ク構成が示される。第2図において、11は動き検出部
、12は可変遅延部、13は平均値算出部、14はフレ
ーム間予測部、 15は動き補償予測部、16はフレー
ム内予測部、17は予測方式評価部である。
略的なブロック構成が示され、また第3図にはブロック
サイズを適応的に選択するための回路の概略的なブロッ
ク構成が示される。第2図において、11は動き検出部
、12は可変遅延部、13は平均値算出部、14はフレ
ーム間予測部、 15は動き補償予測部、16はフレー
ム内予測部、17は予測方式評価部である。
動き検出部11.平均値算出部13.フレーム間予測部
14.動き補償予測部15およびフレーム内予測部16
にはそれぞれ入力画像Xが入力され、可変遅延部12お
よびフレーム間予測部14には再生画像Yがそれぞれ入
力される。ここで再生画像Yは符号化情報から再生され
てフレームメモリに蓄積されていた前フレームの画像で
ある。
14.動き補償予測部15およびフレーム内予測部16
にはそれぞれ入力画像Xが入力され、可変遅延部12お
よびフレーム間予測部14には再生画像Yがそれぞれ入
力される。ここで再生画像Yは符号化情報から再生され
てフレームメモリに蓄積されていた前フレームの画像で
ある。
可変遅延部12からの出力は動き補償予測部15に入力
され、平均値算出部13の出力はフレーム内予測部16
に入力される。さらにフレーム間予測部I4から出力さ
れるフレーム間予測誤差ε(k)、動き補償予測部15
から出力される動き補償予測誤差ε(ホ)。
され、平均値算出部13の出力はフレーム内予測部16
に入力される。さらにフレーム間予測部I4から出力さ
れるフレーム間予測誤差ε(k)、動き補償予測部15
から出力される動き補償予測誤差ε(ホ)。
およびフレーム内予測部16から出力されるフレーム内
予測誤差ε(n)はそれぞれ予測方式評価部17に入力
される。
予測誤差ε(n)はそれぞれ予測方式評価部17に入力
される。
動き検出部11は再生画像Yを参照してパターンマツチ
ング等により入力画像Xの動きを追跡して動ベクトルを
算出し、それを可変遅延部12に与える回路である。可
変遅延部12は算出された動ベクトルに従って予測値の
位置をずらして予測を行うための回路である。平均値算
出部13は入力画像Xの平均値を被符号化ブロック毎に
算出する回路である。
ング等により入力画像Xの動きを追跡して動ベクトルを
算出し、それを可変遅延部12に与える回路である。可
変遅延部12は算出された動ベクトルに従って予測値の
位置をずらして予測を行うための回路である。平均値算
出部13は入力画像Xの平均値を被符号化ブロック毎に
算出する回路である。
フレーム間予測部14は入力画像Xと再生画像Yとの差
をとってフレーム間予測誤差ε(k)を算出する回路で
あり、動き補償予測部15は入力画像Xと可変遅延部1
2からの位置補正された再生画像Yとの差をとって動き
補償予測誤差ε(ホ)を算出する回路であり、フレーム
内予測部16は入力画像Xと平均値算出部13からの入
力画像Xの被符号化ブロックの平均値との差をとってフ
レーム内予測誤差ε(n)を算出する回路である。ここ
でフレーム内予測としては」1述のように現在処理して
いる被符号化ブロックの平均値を用いる方法に限られる
ものではなく1例えば画面内において当該被符号化ブロ
ックの上あるいは左に位置している既に符号比隣のブロ
ックの平均値を用いてもよい。
をとってフレーム間予測誤差ε(k)を算出する回路で
あり、動き補償予測部15は入力画像Xと可変遅延部1
2からの位置補正された再生画像Yとの差をとって動き
補償予測誤差ε(ホ)を算出する回路であり、フレーム
内予測部16は入力画像Xと平均値算出部13からの入
力画像Xの被符号化ブロックの平均値との差をとってフ
レーム内予測誤差ε(n)を算出する回路である。ここ
でフレーム内予測としては」1述のように現在処理して
いる被符号化ブロックの平均値を用いる方法に限られる
ものではなく1例えば画面内において当該被符号化ブロ
ックの上あるいは左に位置している既に符号比隣のブロ
ックの平均値を用いてもよい。
予測方式評価部17は入力された各予測誤差ε(k)。
ε(ml 、 ε(n)を所定の評価関数によって評
価して被符号化ブロックについての最適の予測方式を選
択決定し、その選択された予測方式の識別情報とその予
測方式で得られる予測誤差とを出力線17 (a) 。
価して被符号化ブロックについての最適の予測方式を選
択決定し、その選択された予測方式の識別情報とその予
測方式で得られる予測誤差とを出力線17 (a) 。
17(b)からそれぞれ出力する回路であり、それら出
力情報はメモリ回路に送られて記憶される。なお本実施
例のようにフレーム内予測で自分自身のブロックの平均
値を用いて誤差信号を算出する場合には9選択された予
測方式の識別情報と予測誤差とともに自分自身のブロッ
クの平均値も出力するものである。
力情報はメモリ回路に送られて記憶される。なお本実施
例のようにフレーム内予測で自分自身のブロックの平均
値を用いて誤差信号を算出する場合には9選択された予
測方式の識別情報と予測誤差とともに自分自身のブロッ
クの平均値も出力するものである。
第3図において、20はブロックサイズ評価部であり、
ある被符号化ブロックについて第2図回路で決定された
予測誤差εLが入力線21を介して入力される。入力線
23は入力線21に入力されるブロック(便宜上、大ブ
ロックと称する)のブロックサイズを複数に分割したブ
ロック(便宜上、小ブロックと称する)のそれぞれにつ
いて算出された予測誤差εSが順次に入力される信号線
であり。
ある被符号化ブロックについて第2図回路で決定された
予測誤差εLが入力線21を介して入力される。入力線
23は入力線21に入力されるブロック(便宜上、大ブ
ロックと称する)のブロックサイズを複数に分割したブ
ロック(便宜上、小ブロックと称する)のそれぞれにつ
いて算出された予測誤差εSが順次に入力される信号線
であり。
これらの予測誤差ε3は予測誤差平均値算出部22に送
られる。予測誤差平均値算出部22はこられ小ブロック
の予測誤差εSの平均値H3を算出する回路であり、算
出された平均値H3は出力線24を介してブロックサイ
ズ評価部20に入力される。
られる。予測誤差平均値算出部22はこられ小ブロック
の予測誤差εSの平均値H3を算出する回路であり、算
出された平均値H3は出力線24を介してブロックサイ
ズ評価部20に入力される。
ブロックサイズ評価部20は入力された大ブロックの予
測誤差εLとそのブロックを分割した複数個の小ブロッ
クの予測誤差εSの平均値i3とを所定の評価関数に従
って評価し、その大小二つのサイズのうち何れが被符号
化画像の性質に応じた最適のブロックサイズであるかを
評価し決定する。
測誤差εLとそのブロックを分割した複数個の小ブロッ
クの予測誤差εSの平均値i3とを所定の評価関数に従
って評価し、その大小二つのサイズのうち何れが被符号
化画像の性質に応じた最適のブロックサイズであるかを
評価し決定する。
以下、被符号化ブロックのサイズを最大で32×32(
pel)とした場合を例にとって本実施例方式を更に詳
細に説明する。
pel)とした場合を例にとって本実施例方式を更に詳
細に説明する。
まず被符号化ブロックのブロックサイズとしては、第4
図に示されるように、最大で32 X 32とし。
図に示されるように、最大で32 X 32とし。
これを数段階に分けて順次に細分割して16 X 16
゜8X8.4X4の4種類のブロックサイズを用いる。
゜8X8.4X4の4種類のブロックサイズを用いる。
従って32 X 32のブロックは、第5図に示される
ように、16X16.8X8.4X4と順次に小なるブ
ロックに4段階に細分化されることになる。
ように、16X16.8X8.4X4と順次に小なるブ
ロックに4段階に細分化されることになる。
第2図の回路による最適の予測方法の決定は。
上述のようにして細分化された各ブロックサイズのブロ
ックそれぞれについてブロック毎に行われる。
ックそれぞれについてブロック毎に行われる。
すなわち、いま成る大きさのブロックサイズの入力画像
ブロックXが第2図回路に入力されたとすると、フレー
ム間予測部14.動き補償予測部15およびフレーム内
予測部16はこの入力画像ブロックに対してそれぞれ演
算を行ってフレーム間予測誤差ε(k)、動き補償予測
誤差ε((2)およびフレーム内予測誤差ε(nlをそ
れぞれ求め、それらを予測方式評価部17に送る。
ブロックXが第2図回路に入力されたとすると、フレー
ム間予測部14.動き補償予測部15およびフレーム内
予測部16はこの入力画像ブロックに対してそれぞれ演
算を行ってフレーム間予測誤差ε(k)、動き補償予測
誤差ε((2)およびフレーム内予測誤差ε(nlをそ
れぞれ求め、それらを予測方式評価部17に送る。
予測方式評価部17はこれら予測誤差ε(k)、ε((
6)。
6)。
ε(n)を所定の評価関数に従って評価し、最適の予測
方式を決定してその予測方式識別情報と予測誤差とを出
力するが、その決定手順が第6図の流れ図に示される。
方式を決定してその予測方式識別情報と予測誤差とを出
力するが、その決定手順が第6図の流れ図に示される。
この第6図を参照して予測方式評価部17による予測方
式決定処理を説明する。
式決定処理を説明する。
フレーム間予測部14からのフレーム間予測誤差εへ)
、動き補償予測部15からの動き補償予測誤差ε(II
I)、およびフレーム内予測部16からのフレーム内予
測誤差ε(n)がそれぞれ予測方式評価部17に入力さ
れると、それら予測誤差ε(k)、ε(ホ)、ε(n)
のうち最小となるものがフレーム間予測誤差ε伽)であ
るかを判定する(ステップ512)。フレーム間予測誤
差ε(k)が最小である場合にはこのブロックについて
はフレーム間予測が最適の予測方式と判定され、フレー
ム間予測識別情報とそのフレーム間予測誤差ε山)が出
力線17(a)、 17(b)がら出力されて(ステッ
プ513)、当該ブロック対応に用意されたメモリに格
納される。
、動き補償予測部15からの動き補償予測誤差ε(II
I)、およびフレーム内予測部16からのフレーム内予
測誤差ε(n)がそれぞれ予測方式評価部17に入力さ
れると、それら予測誤差ε(k)、ε(ホ)、ε(n)
のうち最小となるものがフレーム間予測誤差ε伽)であ
るかを判定する(ステップ512)。フレーム間予測誤
差ε(k)が最小である場合にはこのブロックについて
はフレーム間予測が最適の予測方式と判定され、フレー
ム間予測識別情報とそのフレーム間予測誤差ε山)が出
力線17(a)、 17(b)がら出力されて(ステッ
プ513)、当該ブロック対応に用意されたメモリに格
納される。
フレーム間予測誤差ε(k)が最小でない場合は次に動
き補償予測誤差εに)が最小であるかを判定しくステッ
プ514)、最小であればフレーム間予測誤差ε(k)
と動き補償予測誤差ε(ffl)の差の絶対値が所定の
しきい値TH以下であるかを判定する(ステップ515
)。しきい値TI以下であれば前述同様に最適予測方式
としてフレーム間予測を選択する(ステップ513)。
き補償予測誤差εに)が最小であるかを判定しくステッ
プ514)、最小であればフレーム間予測誤差ε(k)
と動き補償予測誤差ε(ffl)の差の絶対値が所定の
しきい値TH以下であるかを判定する(ステップ515
)。しきい値TI以下であれば前述同様に最適予測方式
としてフレーム間予測を選択する(ステップ513)。
両者の差がしきい値THを越えていれば動き補償予測を
最適の予測方式と決定して動き補償予測識別情報と動き
補償予測誤差ε(山)を出力してメモリに格納する(ス
テップS 20)。
最適の予測方式と決定して動き補償予測識別情報と動き
補償予測誤差ε(山)を出力してメモリに格納する(ス
テップS 20)。
フレーム間予測誤差ε(klも動き補償予測誤差ε(−
も最小でない場合にはフレーム内予測誤差ε(n)が最
小かを判定しくステップ516)、最小である場合には
フレーム内予測誤差ε(n)とフレーム間予測誤差ε(
klとの差が所定のしきい値71以内かを判定しくステ
ップ318) 、 Lきい値以内であればフレーム間
予測を最適の予測方式と決定しくステップ513)、差
がしきい値THを越えている場合は次に動き補償予測誤
差ε(ホ)とフレーム内予測誤差ε(n)との差が所定
のしきい値71以内かを判定する(ステップ519)。
も最小でない場合にはフレーム内予測誤差ε(n)が最
小かを判定しくステップ516)、最小である場合には
フレーム内予測誤差ε(n)とフレーム間予測誤差ε(
klとの差が所定のしきい値71以内かを判定しくステ
ップ318) 、 Lきい値以内であればフレーム間
予測を最適の予測方式と決定しくステップ513)、差
がしきい値THを越えている場合は次に動き補償予測誤
差ε(ホ)とフレーム内予測誤差ε(n)との差が所定
のしきい値71以内かを判定する(ステップ519)。
差が所定のしきい値TH以内であれば動き補償予測が最
適の予測方式と決定され(ステップ520)、差がしき
い値↑Hを越えていればフレーム内予測が最適の予測方
式と決定されてフレーム内予測識別情報とフレーム内予
測誤差ε(n)が出力され(ステップ521) 、対応
メモリに格納される。
適の予測方式と決定され(ステップ520)、差がしき
い値↑Hを越えていればフレーム内予測が最適の予測方
式と決定されてフレーム内予測識別情報とフレーム内予
測誤差ε(n)が出力され(ステップ521) 、対応
メモリに格納される。
なお予測誤差ε(ト))、ε(ホ)、ε(n)の何れも
最小でない場合はエラーであるので(ステップ5IT)
。
最小でない場合はエラーであるので(ステップ5IT)
。
処理をやり直すこととなる。
以上の手順によれば各ブロックについて最適の予測方式
を選択できるが、これを画面の動きの観点からみると、
入力画像Xの動きが少ないときはフレーム間予測が選ば
れ、動きが多くなるに従って動き補償予測、フレーム内
予測が順に選ばれることになる。
を選択できるが、これを画面の動きの観点からみると、
入力画像Xの動きが少ないときはフレーム間予測が選ば
れ、動きが多くなるに従って動き補償予測、フレーム内
予測が順に選ばれることになる。
上述の予測方式の決定が各ブロックサイズの全てのブロ
ックについて行われ、その結果選択された予測方式と予
測誤差が各ブロック対応のメモリにそれぞれ格納される
と9次に第3図の回路によって符号化に最適のブロック
サイズの決定が行われる。このブロックサイズの決定は
、まず4×4のブロックと8×8のブロックの間で行わ
れ、ついで8×8と16X16の間、16X16と32
X 32間の順で行われる。
ックについて行われ、その結果選択された予測方式と予
測誤差が各ブロック対応のメモリにそれぞれ格納される
と9次に第3図の回路によって符号化に最適のブロック
サイズの決定が行われる。このブロックサイズの決定は
、まず4×4のブロックと8×8のブロックの間で行わ
れ、ついで8×8と16X16の間、16X16と32
X 32間の順で行われる。
すなわち上述のようにしてそれぞれのサイズのブロック
について予測方式と予測誤差が決定されると9次に第3
図のブロックサイズ評価部20に入力線21を介して大
ブロック(例えば8×8のブロック)の予測誤差εLが
入力される。一方、予測誤差平均値算出部22には入力
線23を介してその大ブロックを構成するn個の小ブロ
ック (例えば4×4の4つのブロック)の予測誤差ε
Sが順次に入力されてそれらの平均値i3が求められ、
その平均値H3が ブロックサイズ評価部20に送られ
る。ブロックサイズ評価部20はこれらの予測誤差εL
とN3を所定の評価関数に従って評価して最適なブロッ
クサイズを決定するが、その決定処理の流れ図が第7図
に示される。
について予測方式と予測誤差が決定されると9次に第3
図のブロックサイズ評価部20に入力線21を介して大
ブロック(例えば8×8のブロック)の予測誤差εLが
入力される。一方、予測誤差平均値算出部22には入力
線23を介してその大ブロックを構成するn個の小ブロ
ック (例えば4×4の4つのブロック)の予測誤差ε
Sが順次に入力されてそれらの平均値i3が求められ、
その平均値H3が ブロックサイズ評価部20に送られ
る。ブロックサイズ評価部20はこれらの予測誤差εL
とN3を所定の評価関数に従って評価して最適なブロッ
クサイズを決定するが、その決定処理の流れ図が第7図
に示される。
第7図において、大ブロックの予測誤差εLと小ブロッ
クの予測誤差平均値i3が計算されて入力される。ここ
で予めしきい値TIを定めておく (ステップ531)
。いま大ブロックの予測誤差εLが小ブロックの予測誤
差平均値MS以下であれば(ステップ532) 、大ブ
ロックのほうが予測に適したブロックサイズであると判
断され、大ブロックのブロックサイズ情報と予測誤差ε
Lとが出力される(ステップ533) 。
クの予測誤差平均値i3が計算されて入力される。ここ
で予めしきい値TIを定めておく (ステップ531)
。いま大ブロックの予測誤差εLが小ブロックの予測誤
差平均値MS以下であれば(ステップ532) 、大ブ
ロックのほうが予測に適したブロックサイズであると判
断され、大ブロックのブロックサイズ情報と予測誤差ε
Lとが出力される(ステップ533) 。
小ブロックの予測誤差平均値g3のほうが小さい場合に
は更に大ブロックの予測誤差εLとの差の絶対値が所定
のしきい値HT以下であるかを判定しくステップ534
) 、その差がしきい値Tll以下であれば依然として
大ブロックのブロックサイズを最適なブロックサイズと
決定する(ステップ533)。その差がしきい値THを
越えている場合には小ブロックのブロックサイズのほう
を符号化に適したブロックサイズと判定してそのブロッ
クサイズ情報と予測誤差εSとを出力する(ステップ5
35)。
は更に大ブロックの予測誤差εLとの差の絶対値が所定
のしきい値HT以下であるかを判定しくステップ534
) 、その差がしきい値Tll以下であれば依然として
大ブロックのブロックサイズを最適なブロックサイズと
決定する(ステップ533)。その差がしきい値THを
越えている場合には小ブロックのブロックサイズのほう
を符号化に適したブロックサイズと判定してそのブロッ
クサイズ情報と予測誤差εSとを出力する(ステップ5
35)。
以上の処理によれば画像の各部位に応じて最適なブロッ
クサイズが選ばれる。この場合、動きが少ない静止的な
部位に対しては最大のブロックサイズ32 X 32が
選択され、動きが多くなるに従い順に小さなブロックサ
イズ16X16,3x3,4X4が選択される。
クサイズが選ばれる。この場合、動きが少ない静止的な
部位に対しては最大のブロックサイズ32 X 32が
選択され、動きが多くなるに従い順に小さなブロックサ
イズ16X16,3x3,4X4が選択される。
なお第3図の実施例ではn個の小ブロックの予測誤差の
平均値の計算方法として予測誤差を絶対値誤差として計
算する場合を示しているが、これに限られることはなく
、予測誤差の計算方法によって種々の平均値の計算方法
が可能であり、要は大ブロックに対応するn個の小ブロ
ックが集まった時の予測誤差の平均値が計算できればよ
いものである。
平均値の計算方法として予測誤差を絶対値誤差として計
算する場合を示しているが、これに限られることはなく
、予測誤差の計算方法によって種々の平均値の計算方法
が可能であり、要は大ブロックに対応するn個の小ブロ
ックが集まった時の予測誤差の平均値が計算できればよ
いものである。
以上にようにして32 X 32のブロックサイズを最
大ブロックとして16X16.8X8.4X4の各サイ
ズのブロックの全てについて予測誤差等のデータを求め
ると、そのデータ構造は第8図に示されるような4段4
分岐のツリー状のものとなり、この中で評価関数に従っ
て順次にブロックサイズを決定することによって最適な
径路が決定されるものである。
大ブロックとして16X16.8X8.4X4の各サイ
ズのブロックの全てについて予測誤差等のデータを求め
ると、そのデータ構造は第8図に示されるような4段4
分岐のツリー状のものとなり、この中で評価関数に従っ
て順次にブロックサイズを決定することによって最適な
径路が決定されるものである。
第9図は本実施例方式による処理結果の一例としての成
る32 X 32のブロックについて決定された最適な
径路を示すものである。図中、細線で描かれた長円は最
適のブロックサイズとして選ばれたブロックを示し、太
線で描かれた長円は最適のブロックサイズに選ばれなか
ったブロックを示す。
る32 X 32のブロックについて決定された最適な
径路を示すものである。図中、細線で描かれた長円は最
適のブロックサイズとして選ばれたブロックを示し、太
線で描かれた長円は最適のブロックサイズに選ばれなか
ったブロックを示す。
なお各長円に対応して予測誤差εと予測のための情報量
iがデー久としてメモリに蓄えられているものとする。
iがデー久としてメモリに蓄えられているものとする。
第9図中に■〜■で示された16 X 16のブロック
は、第10図に示されるように、32X32のブロック
を4分割した16 X 16の各ブロック■〜■の各位
置に対応している。第9図において16 X 16のブ
ロックよりさらに下位段階に分岐されるブロックの上位
プロ、りに対する位置関係は第10図の位置関係と同様
となっている。したがって第9図のように決定された径
路は9画面上では第11図に示すように32 X 32
のブロックが複数種類のブロックで細分化されたものに
対応する。
は、第10図に示されるように、32X32のブロック
を4分割した16 X 16の各ブロック■〜■の各位
置に対応している。第9図において16 X 16のブ
ロックよりさらに下位段階に分岐されるブロックの上位
プロ、りに対する位置関係は第10図の位置関係と同様
となっている。したがって第9図のように決定された径
路は9画面上では第11図に示すように32 X 32
のブロックが複数種類のブロックで細分化されたものに
対応する。
本発明の実施にあたっては種々の変更態様が可能である
。第12図はかかる変更例を示すものである。上述の実
施例では予測方式の決定に際して全てのブロックに対し
て動き補償予測の計算を行っているが、動き補償予測の
計算は計算量が多く時間がかかるものである。このため
第12図の変更例では動き補償予測の計算をできるだけ
行うことなく予測方式の決定を行えるようにしている。
。第12図はかかる変更例を示すものである。上述の実
施例では予測方式の決定に際して全てのブロックに対し
て動き補償予測の計算を行っているが、動き補償予測の
計算は計算量が多く時間がかかるものである。このため
第12図の変更例では動き補償予測の計算をできるだけ
行うことなく予測方式の決定を行えるようにしている。
すなわちこの変更例では、フレーム間予測誤差ε伽)と
フレーム内予測誤差ε(n)の少なくとも一方が所定の
しきい値未満であればフレーム間予測あるいはフレーム
内予測のいずれかを予測方式として選択して済ませるこ
とによって動き補償予測の計算を省略しており、フレー
ム間予測誤差ε(ト))とフレーム内予測誤差ε(n)
が共にしきい値以上の場合のみ、動き補償予測の計算を
して動き補償予測誤差ε(m+も加えて最適の予測方式
の決定を行うようにしている。
フレーム内予測誤差ε(n)の少なくとも一方が所定の
しきい値未満であればフレーム間予測あるいはフレーム
内予測のいずれかを予測方式として選択して済ませるこ
とによって動き補償予測の計算を省略しており、フレー
ム間予測誤差ε(ト))とフレーム内予測誤差ε(n)
が共にしきい値以上の場合のみ、動き補償予測の計算を
して動き補償予測誤差ε(m+も加えて最適の予測方式
の決定を行うようにしている。
いまフレーム間予測誤差ε(klおよびフレーム内予測
誤差ε(nlに対してしきい値THI、TH2を定める
。まずフレーム間予測誤差ε(′k)およびフレーム内
予測誤差ε(nlが共にしきい値711以上であるかを
判定する(ステップ542)。共にしきい値711以上
である場合は動き補償予測の計算も行って前述の第6図
の流れ図に従ってフレーム間予測、動き補償予測および
フレーム内予測のうちから最適の予測方式の決定を行う
(ステップ543)。
誤差ε(nlに対してしきい値THI、TH2を定める
。まずフレーム間予測誤差ε(′k)およびフレーム内
予測誤差ε(nlが共にしきい値711以上であるかを
判定する(ステップ542)。共にしきい値711以上
である場合は動き補償予測の計算も行って前述の第6図
の流れ図に従ってフレーム間予測、動き補償予測および
フレーム内予測のうちから最適の予測方式の決定を行う
(ステップ543)。
予測誤差ε(k)、ε(n)の少なくとも一方がしきい
値lより小さければ両者の大小を判定し、フレーム間予
測誤差ε伽)がフレーム内予測誤差ε(n)よりも小さ
い場合、あるいはフレーム内予測誤差ε(nlが小さく
とも両者の差が所定のしきい値782以内である場合は
フレーム間予測を選択してフレーム間予測識別情報とフ
レーム間予測誤差ε(k)を出力する(ステップ545
)。それ以外の場合はフレーム内予測を選択してフレー
ム内予測識別情報とフレーム内予測誤差ε(n)を出力
する(ステップ546)。
値lより小さければ両者の大小を判定し、フレーム間予
測誤差ε伽)がフレーム内予測誤差ε(n)よりも小さ
い場合、あるいはフレーム内予測誤差ε(nlが小さく
とも両者の差が所定のしきい値782以内である場合は
フレーム間予測を選択してフレーム間予測識別情報とフ
レーム間予測誤差ε(k)を出力する(ステップ545
)。それ以外の場合はフレーム内予測を選択してフレー
ム内予測識別情報とフレーム内予測誤差ε(n)を出力
する(ステップ546)。
本発明によれば1画像の符号化に際し被符号化ブロック
のブロックサイズを画面の静止的部分では大きくし変化
の激しい部分では小さくするとともに予測方式もフレー
ム間予測、動き補償予測。
のブロックサイズを画面の静止的部分では大きくし変化
の激しい部分では小さくするとともに予測方式もフレー
ム間予測、動き補償予測。
フレーム内予測のうちの最適なものを選択できるもので
あり、すなわち画面の局所的な性質に合わせて各部位毎
に最適の予測方式とブロックサイズを適応的に選択でき
るものであるから、復元画像と元の画像との誤差が小さ
い良好な符号化を行いつつ、全体としての伝送効率の向
上を図ることができる。ものである。
あり、すなわち画面の局所的な性質に合わせて各部位毎
に最適の予測方式とブロックサイズを適応的に選択でき
るものであるから、復元画像と元の画像との誤差が小さ
い良好な符号化を行いつつ、全体としての伝送効率の向
上を図ることができる。ものである。
第1図は本発明にかかる動画像の予測符号化方式の原理
図。 第2図は本発明方式の実施例における予測方式決定のた
めの回路の概略的ブロック構成図。 第3図は本発明方式の実施例におけるブロックサイズ決
定のための回路の概略的ブロック構成図。 第4図および第5図はブロック分割の例を説明する図。 第6図は第2図における予測方式評価部で行われる予測
方式決定処理を説明する流れ図。 第7図は第3図におけるブロックサイズ評価部で行われ
るブロックサイズ決定処理を説明する流れ図。 第8図は実施例のデータ構造を示す図。 第9図〜第1f図は本実施例方式による処理結果の一例
を説明する図。 第12図は本発明の詳細な説明する流れ図である。 図中、 lt−動き検出部 12・−可変遅延部 13−平均値算出部 14−フレーム間予測部 15−動き補償予測部 16−フレーム内予測部 17−予測方式評価部 20− ブロックサイズ評価部 22・−予測誤差平均値算出部
図。 第2図は本発明方式の実施例における予測方式決定のた
めの回路の概略的ブロック構成図。 第3図は本発明方式の実施例におけるブロックサイズ決
定のための回路の概略的ブロック構成図。 第4図および第5図はブロック分割の例を説明する図。 第6図は第2図における予測方式評価部で行われる予測
方式決定処理を説明する流れ図。 第7図は第3図におけるブロックサイズ評価部で行われ
るブロックサイズ決定処理を説明する流れ図。 第8図は実施例のデータ構造を示す図。 第9図〜第1f図は本実施例方式による処理結果の一例
を説明する図。 第12図は本発明の詳細な説明する流れ図である。 図中、 lt−動き検出部 12・−可変遅延部 13−平均値算出部 14−フレーム間予測部 15−動き補償予測部 16−フレーム内予測部 17−予測方式評価部 20− ブロックサイズ評価部 22・−予測誤差平均値算出部
Claims (1)
- 【特許請求の範囲】 1、動画像信号をブロック単位で符号化する動画像の予
測符号化方式であって、 符号化を行うブロックのブロックサイズが複数種類予め
定められ、 各ブロックサイズのブロックについて、それぞれ異なる
複数の予測方法により予測誤差が求められ、 求められた各予測誤差を第1の評価手段で評価すること
によって当該ブロックに適した予測方法とその予測誤差
が適応的に選択され、 かようにして得られた各ブロックサイズについての予測
誤差を第2の評価手段で評価することによって符号化に
最適のブロックサイズが動画像の各部位毎に適応的に選
択される、動画像の予測符号化方式において、 複数の予測方法としてフレーム間予測、動き補償予測お
よびフレーム内予測が行われ、 該第1の評価手段による選択は、 フレーム間予測誤差、動き補償予測誤差およびフレーム
内予測誤差のうち、フレーム間予測誤差が最小である場
合、動き補償予測誤差が最小であるがフレーム間予測誤
差との差が第1のしきい値以内である場合、またはフレ
ーム内予測誤差が最小であるがフレーム間予測誤差との
差が第2のしきい値以内である場合にはフレーム間予測
が選択され、 動き補償予測誤差が最小でありかつフレーム間予測誤差
との差が該第1のしきい値を越える場合は動き補償予測
が選択され、 フレーム内予測予測誤差が最小でありかつフレーム内予
測誤差および動き補償予測誤差との差がそれぞれ第1、
第2のしきい値を越える場合はフレーム内予測が選択さ
れるように構成されたことを特徴とする動画像の予測符
号化方式。 2、該第1の評価手段による選択は、フレーム間予測誤
差またはフレーム内予測誤差の少なくとも一方がそれぞ
れについて定められたしきい値以下であるときには動き
補償予測を考慮することなく、フレーム間予測またはフ
レーム内予測の何れか一方に決定されることを特徴とす
る請求項1に記載の動画像の予測符号化方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1775488A JP2608909B2 (ja) | 1988-01-28 | 1988-01-28 | 動画像の予測符号化方式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1775488A JP2608909B2 (ja) | 1988-01-28 | 1988-01-28 | 動画像の予測符号化方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH01192273A true JPH01192273A (ja) | 1989-08-02 |
JP2608909B2 JP2608909B2 (ja) | 1997-05-14 |
Family
ID=11952520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1775488A Expired - Fee Related JP2608909B2 (ja) | 1988-01-28 | 1988-01-28 | 動画像の予測符号化方式 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2608909B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8259226B2 (en) | 2006-11-24 | 2012-09-04 | Sharp Kabushiki Kaisha | Image display device |
JP2015228695A (ja) * | 2009-10-29 | 2015-12-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 符号化・復号化装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4501675B2 (ja) * | 2004-12-22 | 2010-07-14 | 日本電気株式会社 | 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム |
JP4501676B2 (ja) | 2004-12-22 | 2010-07-14 | 日本電気株式会社 | 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム |
-
1988
- 1988-01-28 JP JP1775488A patent/JP2608909B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8259226B2 (en) | 2006-11-24 | 2012-09-04 | Sharp Kabushiki Kaisha | Image display device |
JP2015228695A (ja) * | 2009-10-29 | 2015-12-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 符号化・復号化装置 |
US9497460B2 (en) | 2009-10-29 | 2016-11-15 | Sun Patent Trust | Image coding method and image decoding method |
US9854264B2 (en) | 2009-10-29 | 2017-12-26 | Sun Patent Trust | Image coding method and image decoding method |
US10171827B2 (en) | 2009-10-29 | 2019-01-01 | Sun Patent Trust | Image coding method and image decoding method |
US10455246B2 (en) | 2009-10-29 | 2019-10-22 | Sun Patent Trust | Image coding method and image decoding method |
Also Published As
Publication number | Publication date |
---|---|
JP2608909B2 (ja) | 1997-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPS63121372A (ja) | 動画像信号のハイブリツド符号化方式 | |
JPH0714209B2 (ja) | 動画像符号化装置 | |
JPH0837662A (ja) | 画像符号化復号化装置 | |
JP3659157B2 (ja) | 映像内容に重み付けをする画像圧縮方式 | |
JPH05328333A (ja) | 動きベクトル検出装置 | |
CN114586366A (zh) | 帧间预测方法、编码器、解码器及存储介质 | |
JPH0638194A (ja) | 符号化装置 | |
JP3426092B2 (ja) | 動画像符号化装置における動き補償フレーム間予測方法 | |
KR20050020714A (ko) | 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법 | |
JP2500439B2 (ja) | 動画像の予測符号化方式 | |
JPH01179584A (ja) | 動き補償動ベクトル探索方法 | |
JPH01192273A (ja) | 動画像の予測符号化方式 | |
JP2716703B2 (ja) | 可変ブロックサイズ動き補償方法 | |
JP2702488B2 (ja) | 動画像の予測符号化方式 | |
JPH0221776A (ja) | 予測性静止画像エンコーダ・デコーダ | |
JPS61164390A (ja) | 動画像信号のフレ−ム間、フレ−ム内適応予測符号化装置 | |
JPH06169452A (ja) | 画面に重み付けを持たせた画像圧縮方式 | |
JPH0683443B2 (ja) | フレ−ム内フレ−ム間符号化方式 | |
KR100186268B1 (ko) | 가상 영상 영역을 이용한 영상의 가장자리 부분 보상 방법 및 구조 | |
JPH03220887A (ja) | 動画像のフレーム選択予測符号化装置 | |
JPH0281589A (ja) | 動きベクトル検出方式 | |
JP2502862B2 (ja) | 画像符号化方法及び画像符号化装置 | |
JP3744018B2 (ja) | ブロック画像シフト装置及び画像復号器 | |
JPH01265684A (ja) | 動き補償フレーム間予測符号化および復号化装置 | |
KR100239291B1 (ko) | 선택적인 화소 탐색을 이용한 그리드 이동방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |