JPH05308628A

JPH05308628A - 動画像符号化装置

Info

Publication number: JPH05308628A
Application number: JP11134992A
Authority: JP
Inventors: Kazuhiro Matsukura; 和浩松倉
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-04-30
Filing date: 1992-04-30
Publication date: 1993-11-19

Abstract

(57)【要約】【目的】高能率でかつ高画質の符号化を行うことができ
る動画像符号化装置を提供する。【構成】現画像と前画像または後画像との間でブロック
マッチングを行ない、ブロック情報の類似性を示す評価
関数値を求め、動ベクトルを発生させ、かつ、同評価関
数値より画像の相関性を判定する画像間相関性判定手段
１０２と、画像間相関性判定手段１０２より出力される
制御信号に基づき、画像情報記憶手段１０１より出力さ
れる画像を符号化順に並べかえ、かつ、符号化する画像
をイントラ符号化するかまたはインター符号化するかを
決定する画像順列変換手段１０３とを具備する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像符号化装置に関す
る。

【０００２】

【従来の技術】動画像符号化技術の向上に伴い、各分野
から符号化装置が活発に開発されている。その背景とし
て、符号化方式の国際標準化が進んでいることがあげら
れる。中でも、蓄積メディアを想定したＭＰＥＧ方式
（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏ
ｕｐ）においては、仕様決定が完了している。図６にそ
の符号化装置の構成を示す。

【０００３】同方式では、時間軸方向の冗長度を落とす
ために予測部６１０において動き補償を行ない、減算部
６０３で画像の差分を取り、その後、空間軸方向に冗長
度を落とすためにＤＣＴ変換部６０４において直交変換
の一種である離散コサイン変換を施した後、量子化部６
０５で直交変換係数を量子化している。さらに、可変長
符号化部６０６において可変長符号化を行っている。

【０００４】時間軸方向の冗長度削減については、連続
した動画像が前後のフレーム間（又はフィールド間）に
おいて高い相関性を有するといった性質を利用してい
る。すなわち、動き検出部６０２で符号化を行なおうと
している画像（現画像）と時間的に前後にある画像との
間で各ブロックごとに動ベクトルを検出し、その情報を
予測部６１０へ出力し同予測部６１０において、逆量子
化部６０７、逆直交変換部６０８および加算部６０９に
より作成された局部復号画像から、動き予測を行ない現
画像を予測した後、両者の間における予測誤差を減算部
６０３において算出する。

【０００５】ここで、動画像を構成する各画像は、予測
部６１０において、図７（ａ）に示されるように、１Ｇ
ＯＰ（グループオブピクチャ）中においてＩ画像
（フレーム又はフィールド内符号化画像）、Ｐ画像（前
方向予測画像）、Ｂ画像（前方向、後方向、両方向予測
画像）の３つの種類に分類され、例えば、図７（ｂ）の
順序に並びかえられた後、符号化されることになる。ま
た、空間軸方向の冗長度については、各画像の予測誤差
信号をブロック単位でＤＣＴ係数に対し量子化を施した
後、同様に可変長符号化を行なっている。

【０００６】さらに、多重化部６１１では、可変長符号
化部６０６からの画像に関する符号語およびベクトル信
号、モード信号を多重化し、符号後として出力する。た
だし、同部においてベクトル信号およびモード信号は符
号化されることになる。バッファ部６１２は符号語を一
定の転送レートにする部分であり、そのための一手段と
して制御部６１３を介し量子化部６０５へも制御信号も
送っている。

【０００７】

【発明が解決しようとする課題】圧縮符号を記録媒体に
記録し再生利用する場合、媒体へのランダムアクセス、
誤まり伝搬の防止を可能とするためにフレーム内符号化
を行なうことを提案したものとして特開昭６３−１２５
０７１号公報がある。同公報によると、システム制御器
によりフレーム内符号化を行なうように、制御信号に基
づき前フレーム記憶メモリ、符号化器が動作することに
なっている。しかしながら、システム制御器の具体的な
動作原理については、何ら明らかにされていない。

【０００８】また、上記した従来の動画像符号化装置
は、符号化処理を開始した後のシーンチェンジ直後、あ
るいは、画像間の予測誤差が大きい場合、符号量が増大
してしまう。その対策として、例えば、特開平２−２２
２３８８号公報において述べられているように、シーン
チェンジ直後等に量子化ステップサイズを大きくし、符
号量の増大を抑える提案がある。

【０００９】また、シーンチェンジ直後の画像が比較的
平坦な画像の場合、画像データをフレーム（あるいはフ
ィールド）内符号化処理すると効率が向上する。例え
ば、ＭＰＥＧ方式により符号化を行なう場合、図５
（ａ）に示されているように１ＧＯＰの構成が固定さ
れ、かつ、２Ｂ画像と３Ｂ画像との間でシーンチェンジ
等が発生した場合、１Ｉ画像のみから予測される４Ｐ画
像の画質が劣化しやすくなるため、４Ｐ画像からさらに
予測される画像２Ｂ，３Ｂ，５Ｂ，６Ｂの各画像は重大
な影響を受けることになる。特に、３Ｂ画像は画像相関
性の理由により４Ｐ画像からの予測だけとなり、画質劣
化がまぬがれないかあるいは符号量が増大する。従っ
て、フレーム（フィールド）内符号化のほうがよい。

【００１０】一方、同図に示されているようにＧＯＰの
構成を固定してしまうと、画像間の相関性がかなり長い
画像間においても大きい場合、７Ｉ画像のようにＧＯＰ
の境界にフレーム（あるいはフィールド）内符号化処理
を行なうと、符号量が必要以上に増大し効率が低下する
という欠点が生じてしまう。

【００１１】本発明の動画像符号化装置はこのような課
題に着目してなされたものであり、その目的とするとこ
ろは、高能率でかつ高画質の符号化を行うことができる
動画像符号化装置を提供することにある。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の動画像符号化装置は、動画像をフレーム
またはフィールド画像内でｍ×ｎ画像ごとにブロック分
割し、符号化すべき注目ブロックの画像内の相関のみを
用いるイントラ符号化と、符号化済みの参照画像から予
測されたブロックとの間の相関を用いるインター符号化
とを、画像間の相関性に応じて適応的に切り換えること
によって符号化の基本単位となる画像群における各画像
の符号化を行う。

【００１３】

【作用】すなわち、本発明の動画像符号化装置において
は、符号化の基本単位となる画像群における各画像の符
号化を行う際に、画像間の相関性に応じてインター符号
化とイントラ符号化を適応的に切り換えるものである。

【００１４】

【実施例】以下に、図面を参照して本発明の動画像符号
化装置の一実施例を説明する。

【００１５】まず、本発明の一実施例の概略を述べる。
本実施例は動画像をフレームまたはフィールド画像内で
ｍ×ｎ画像ごとにブロック分割し、符号化すべき注目ブ
ロックの画像内の相関のみを用いるイントラ符号化と、
符号化済みの参照画像から予測されたブロックとの間の
相関を用いるインター符号化とを、画像間の相関性に応
じて適応的に切り換えることによって基本単位となる画
像群における各画像の符号化を行う。

【００１６】このため、本実施例の動画像符号化装置
は、図１に示すように、入力された画像データをフレー
ム単位あるいはフィールド単位で記憶する画像情報記憶
手段１０１と、現画像（フレーム画像またはフィールド
画像）と前画像（フレーム画像またはフィールド画像）
または後画像（フレーム画像またはフィールド画像）と
の間でブロックマッチングを行ない、ブロック情報の類
似性を示す評価関数値を求め、動ベクトルを発生させ、
かつ、同評価関数値より画像の相関性を判定する画像間
相関性判定手段１０２と、前記画像間相関性判定手段１
０２より出力される制御信号に基づき、前記画像情報記
憶手段１０１より出力される画像を符号化順に並べか
え、かつ、符号化する画像をイントラ符号化すなわち、
フレーム（あるいはフィールド）内符号化するか、また
はインター符号化すなわち、フレーム（フィールド）間
符号化するかを決定する画像順列変換手段１０３とを具
備する。

【００１７】本実施例においては以上に示された構成に
より、画像間の相関性に応じ、フレーム（フィールド）
内符号化からフレーム（フィールド）間符号化への変
更、あるいはフレーム（フィールド）間符号化からフレ
ーム（フィールド）内符号化への変更を適応的に行なう
ことができる。

【００１８】また、本実施例においては、ランダムアク
セスの実現および誤り伝搬の防止だけでなく、符号化効
率を向上させるため、動画像符号化装置における動検出
部にシステム制御部を設けることにより、図５（ｂ）に
示されるように、シーンチェンジ等が発生した場合、そ
の直後の画像をフレーム（フィールド）内符号化し（４
Ｂ画像を４Ｉ画像に変更）、あるいは、ＧＯＰ間でも画
像の相関性が大きい場合、当初予定していたフレーム
（フィールド）内符号化をとり消し、フレーム（フィー
ルド）間符号化（７Ｉ画像を７Ｐ画像に変更）する方式
を提案する。すなわち、本実施例は、符号化する際あら
かじめ設定したＧＯＰの構成を画像間の相関性に応じキ
ャンセルし、適応的にＧＯＰの構成を変更することによ
り動画像の符号化効率を向上させるものである。

【００１９】また、本実施例は、図６に示される従来例
に対応させると、減算部６０３へ画像が入力されるまで
の処理、すなわち、動画像の並べかえおよびベクトル検
出が終了するまでの処理に関し、それ以降の符号化処理
は、従来例と同様な方式を採用してもよい。以下に図２
を参照して本発明の一実施例をより詳細に述べる。

【００２０】同図において、画像メモリ部２０１は、入
力動画像をフレーム（あるいはフィールド）画像単位で
複数の画像データを記憶するところである。マッチング
部２０２は、ＧＯＰ中のＩ画像、Ｐ画像、Ｂ画像の構成
を命令する初期設定データに従って、前記画像メモリ部
２０１から画像データを呼び込み、フレーム単位、偶数
フィールド単位、奇数フィールド単位で注目ブロックに
対し画像間のブロックマッチングを行ない、同ブロック
マッチングごとの相関値を出力するところである。同時
に、同マッチング部２０２は画像間におけるブロックど
うしの空間的な位置のずれを示すアドレス情報をも出力
する。

【００２１】評価関数値算出部２０３は、各マッチング
ごとに算出された相関値から最適なマッチングがとれた
ブロックに対し、そのマッチングの精度を示す評価関数
値を算出するところである。最も簡単なマッチングによ
る相関値の算出方法として、２つのブロック間における
同一画素位置の画素に対し、差分絶対値和あるいは差分
２乗和として同値を相関値としてマッチング部から出力
し、多種類のマッチング口より入力される相関値の中で
最もマッチングの精度の高いもの、すなわち、最小の相
関値を評価関数値として選び出し出力することが考えら
れる。

【００２２】評価関数値算出部２０３は評価関数値Ｅ_fr
（フレーム単位時）、Ｅ_fi0（偶数フィールド単位）、
Ｅ_fi1（奇数フィールド単位）をそれぞれ出力するとと
もに、各Ｅ_fr，Ｅ_fi0，Ｅ_fi1を与えるときのアドレス
情報信号から動ベクトルを作成するように動ベクトル発
生部２０４へ制御信号を送り出す。動ベクトル発生部２
０４は前記制御信号に基づき動ベクトルを各ブロックご
とに作り出し、動ベクトルバッファメモリ２０５へ出力
する。

【００２３】縮小判定部２０６は、前記評価関数値の情
報に基づき、ＧＯＰの構成を縮小するように変化させる
か否かを判定して制御信号を出力する。その一例を図３
に示す。図３において、比較値設定部３０１よりブロッ
ク単位で画像間の相関性の低さの有無の判定基準となる
しきい値Ｔｈ₁が出力される。コンパレータ３０２に
は、しきい値Ｔｈ₁および前記評価関数値Ｅ_fr（または
Ｅ_fi0またはＥ_fi1）が入力され、両者の値が比較され
る。そして、Ｅ_fr＞Ｔｈ₁ （Ｅ_fi0＞Ｔｈ₁又は、Ｅ_fi1＞Ｔ
ｈ₁）のとき、各ブロック単位で画像間の相関性がかなり低い
と判定されフラグ信号「１」が出力される。カウンタ部
３０３は、フラグ信号「１」のときのみカウンタを動作
させ、画像間の相関性が低いブロックの数をカウントす
る。なお、カウンタ３０３は、画像単位でリセット動作
するものとする。

【００２４】コンパレータ３０５は、比較値設定部３０
４より出力され、画像単位の画像間の相関性の低さの有
無の判定基準となるしきい値Ｔｈ₂と、カウント部３０
３より出力されるカウント値Ｃ₁とを比較し、Ｃ₁＞Ｔｈ₂ のときはシーンチェンジ等により画像間の相関性がかな
り低いものと判定する。その結果から、現在注目してい
る画像が例えば図５（ａ）に示すように、フレーム（フ
ィールド）間符号化方式を採用する予定の３Ｂ画像であ
る場合、図５（ｂ）に示すように、３Ｂ画像の次に現わ
れる最初のＰ画像すなわち４Ｐ画像を、フレーム（フィ
ールド）内符号化方式の４Ｉ画像に切り換える制御信号
を出力する。

【００２５】すなわち、同コンパレータ３０５からは、
前記縮小判定部２０６からの出力に相当するものとし
て、第１に前記マッチング部２０２へ動き検出を打ち切
らせる制御信号と、第２に注目画像の各ブロックごとに
求められ、かつ蓄積されていた動ベクトルをキャンセル
するための前記動ベクトルバッファメモリ２０５への制
御信号と、第３に、前述した図５（ａ）における４Ｂ画
像を図５（ｂ）における４Ｉ画像へ変更させる制御信号
とが画像順序変換部２０８へ送出される。従って、この
動作により、従来の方式では図５（ａ）のようにＧＯＰ
の構成を初期設定すると、符号化終了までＧＯＰの構成
は不変であったが本実施例の方式によると、画像間の相
関性が低い場合、注目画像がフレーム（フィールド）間
符号化に初期設定された場合であっても、フレーム（フ
ィールド）内符号化に適応的に切り換えることが可能と
なる。これにより、従来方式のようにシーンチェンジ時
が発生してもフレーム（フィールド）間符号化し、予測
誤差の大きな情報を符号化するよりも本実施例のように
フレーム（フィールド）内符号化したほうが高画質を保
ちつつより少ない符号量で符号化できるという利点があ
る。

【００２６】一方、図２における拡大判定部２０７は、
前記評価関数値の情報に基づき、ＧＯＰの構成を拡大す
るように変化させるか否かを判定し、その制御信号を出
力する。その一例を図４に示す。同図において、比較値
設定部４０１よりブロック単位で画像間の相関性の高さ
の有無の判定基準となるしきい値Ｔｈ₃が出力される。
コンパレータ４０２には、しきい値Ｔｈ₃および前記評
価関数値Ｅ_fr（またはＥ_fi0またはＥ_fi1）が入力され
両者の値が比較される。そして、Ｅ_fr＜Ｔｈ₃ （Ｅ_fi0＜Ｔｈ₃，Ｅ_fi1＜Ｔｈ₃）のとき、各ブロック単位で画像間の相関性がかなり高い
と判定されフラグ信号「１」が出力される。カウンタ部
４０３では、フラグ信号「１」のときのみカウンタが動
作し、画像間の相関性が高いブロックの数をカウントす
る。なお、カウンタは、画像単位でリセット動作するも
のとする。

【００２７】コンパレータ４０５は、比較値設定部４０
４より出力され、画像単位の画像間の相関性の高さの有
無の判定基準となるしきい値Ｔｈ₄と、前記カウント部
４０３より出力されるカウント値Ｃ₂との間で比較を行
い、Ｃ₂＞Ｔｈ₄ のとき、静止画像等の画像間の相関性がかなり高いもの
と判定する。その結果から、現在注目している画像が、
例えば、図５（ａ）に示すように、フレーム（フィール
ド）内符号化方式を採用する予定の７Ｉ画像である場
合、図５（ｂ）に示すように、フレーム（フィールド）
間符号化方式の７Ｐ画像に切り換える制御信号を出力す
る。すなわち、同コンパレータ４０５からは、前記拡大
判定部２０７からの出力として、前記制御信号が画像順
列変換部２０８へ出力される。従って、この動作によ
り、従来の方式では、図５（ａ）のように、ＧＯＰの構
成を初期設定すると、符号化終了までＧＯＰの構成は不
変であったが、本実施例の方式によると画像間の相関性
が高い場合、注目画像がフレーム（フィールド）内符号
化に初期設定された場合であっても、フレーム（フィー
ルド）間符号化に適応的に切り換えることが可能とな
る。これにより、従来方式のように、画像間の相関性が
かなり高いにもかかわらずフレーム（フィールド）内符
号化するよりも、本実施例のようにフレーム（フィール
ド）間符号化したほうが、より少ない符号量に抑えなが
らも高画質を保つことができる。

【００２８】なお、７Ｐ画像を例としてあげたが、７Ｂ
画像としても何ら問題はない。また、拡大判定部２０７
を動作させる場合、すべてのフレーム（フィールド）画
像について、ブロックマッチングを行なうことになる。

【００２９】さらに、画像順列変換部２０８では縮小判
定部２０６および拡大判定部２０７からの制御信号によ
り符号化順序に動画像が並べかえられ画像データとして
出力され、かつ、その画像の並びに関する情報すなわち
ＧＯＰ単位でＩ画像、Ｐ画像、Ｂ画像の構成についてヘ
ッダデータとして出力される。

【００３０】前記動ベクトルバッファメモリ上の動ベク
トルデータ、およびヘッダデータは図６に示されている
動画像符号化装置の予測部６１０および多重化部６１１
へそれぞれ入力することになる。また、画像順列変換部
２０８から出力される画像データは減算部６０３へ入力
される。従って、それ以降の符号化時の動作は従来と同
様に行なわれる。

【００３１】

【発明の効果】以上から明らかなように、本発明による
と動画像符号化を行なう際、画像間の相関性に応じ、イ
ントラ符号化あるいはインター符号化を適応的に切り換
えるので、高能率でかつ高画質な符号化を行なうことが
できる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略を示す回路構成図であ
る。

【図２】本発明の一実施例の構成をより詳細に示した図
である。

【図３】縮小判定部の内部構成を示す図である。

【図４】拡大判定部の内部構成を示す図である。

【図５】本発明の一実施例の動作を従来と比較して説明
するための図である。

【図６】従来の動画像符号化装置の回路構成を示す図で
ある。

【図７】画像入力順序と画像符号化の順序を示す図であ
る。

【符号の説明】

１０１…画像情報記憶手段、１０２…画像間相関性判定
手段、１０３…画像順列変換手段、２０１…画像メモリ
部、２０２…マッチング部、２０３…評価関数値算出
部、２０４…動ベクトル発生部、２０５…動ベクトルバ
ッファメモリ、２０６…縮小判定部、２０７…拡大判定
部、２０８…画像順列変換部。

Claims

【特許請求の範囲】

【請求項１】動画像をフレームまたはフィールド画像
内でｍ×ｎ画像ごとにブロック分割し、符号化すべき注
目ブロックの画像内の相関のみを用いるイントラ符号化
と、符号化済みの参照画像から予測されたブロックとの間の
相関を用いるインター符号化とを、画像間の相関性に応じて適応的に切り換えることによっ
て符号化の基本単位となる画像群における各画像の符号
化を行うことを特徴とする動画像符号化装置。