JPH0818959A - 画像信号符号化方法及び画像信号符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 各符号化器間の符号化ターゲットビット量の
割当を画像信号のアクティビティの評価関数に応じて行
なう。 【構成】 原画像信号と差分画像信号のアクティビティ
とサブピクチャー内での平均アクティビティを計算し、
アクティビティと平均アクティビティから量子化回路２
ａ４、２ｂ４の量子化係数を調整し、発生符号量を制御
するデータ制御回路２ａ８、２ｂ８を備えた符号化器２
ａ、２ｂと、ホストＣＰＵ５と、各符号化器２ａ、２ｂ
とホスト５とを結ぶホストバス４とを備え、各符号化器
２ａ、２ｂのターゲットビット量割当の際に、データ制
御回路２ａ８、２ｂ８で計算された原画像信号と差分画
像信号の平均アクティビティをホストバス４を介してホ
スト５に転送し、原画像信号又は差分画像信号の平均ア
クティビティを用いてホスト５にて各符号化器２ａ、２
ｂのターゲットビット量を決定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はＨＤＴＶ等の高速サンプ
リングによる画像信号の分割符号化を行なう画像信号符
号化方法及び、画像信号符号化装置に関する。

【０００２】

【従来の技術】近年、画像信号は情報量が多いため、効
率が良く再現性の高い符号化、復号化技術が蓄積メディ
アや情報通信等の分野で必要とされている。とりわけHD
TVの画像信号はサンプリング周波数が高く情報量が多い
ため、リアルタイムで符号化を行なう場合、ＨＤＴＶ画
面を複数の小画面（以下この小画面をサブピクチャーと
いう。画像信号の分割を示す図３参照。）に分割し、各
々のサブピクチャーに対して独立した符号化器で符号化
を行う方法がとられている。以下に従来例の画像信号符
号化装置について説明を行う。

【０００３】符号化にあたっては、フレーム内符号化、
及びフレーム間符号化を行う。フレーム内符号化は単一
フレーム内のデータのみで符号化を行う方法である。
（この符号化で得られるデータを以下Ｉフレームデータ
という。）フレーム間符号化には、片方向予測フレーム
間符号化と両方向予測フレーム間符号化がある。片方向
予測フレーム間符号化（この符号化によって得られるデ
ータを以下Ｐフレームデータという。）には２つの方法
がある。１つはＩフレームデータを用いて前方予測を行
う方法で、もう１つは時間的に１つ前のＰフレームデー
タを参照して前方予測を行う方法である。両方向予測フ
レーム間符号化（この符号化で得られるデータを以下Ｂ
フレームデータという。）はＩフレームデータまたはＰ
フレームデータを参照して予測を行う方法である。ある
フレーム間符号化フレームから次のフレーム間符号化フ
レームまでの一まとまりをＧＯＰといい、フレー内符号
化フレームから次の片方向フレーム間フレームまでの距
離をＭという。ここでの符号化はＧＯＰ＝６、Ｍ＝３の
場合である。

【０００４】図２は従来例の画像信号符号化装置であ
る。従来例では入力画像信号の情報量が画面分割を行わ
なくても済む程度であるとする。図２において、２ｓは
符号化器である。符号化によるフレーム当たりの許容発
生符号量（以下これをターゲットビット量）は、この場
合画面分割を行わないので全画面での画像信号に割り当
てられたターゲット符号量（メインターゲットビット
量）から分配される。入力画像信号はブロック化（Ａｘ
Ｂ画素単位、Ａ、Ｂは整数。以下このブロックを画像ブ
ロックという。図３参照。）され、過去に再生された画
像を参照して動き補償フレームまたはフィールドの信号
を動きベクトル検出回路２ｓ１２で予測する。フレーム
内符号化の時はスイッチ２ｓ２はＡ側に接続され、フレ
ーム間符号化の時はB側に接続される。次に原画像信号
もしくは減算器２ｓ１で生成された予測信号と原画像信
号との差分画像信号を直交変換回路２ｓ３で直交変換
し、量子化回路２ｓ４で量子化する。量子化した信号に
対して可変長符号化回路２ｓ５で可変長符号化を行な
う。可変長符号化器２ｓ５は伝送路に送出される。一
方、予測信号として再構成画像が用いられるので、量子
化回路２ｓ４からの出力は逆量子化回路２ｓ６で逆量子
化し、その出力を逆直交変換回路２ｓ７で逆直交変換
し、フレーム内符号化の場合はそのまま、フレームメモ
リ２ｓ１１に格納し、フレーム間符号化の場合は参照画
像との加算を加算器２ｓ９で行ない、再構成された画像
ブロックをフレームメモリ２ｓ１１に格納する。サブピ
クチャー内での発生符号量の調整には画像ブロックのア
クティビティと前記可変長符号化回路２ｓ５で画像ブロ
ックの符号化ごとに計算される発生符号量とを用いる。
アクティビティは画像ブロックを構成する複数のＣｘＤ
（Ｃはｉを正の整数としてＡ＝ｉｘＣを満たす正の整
数。Ｄはｊを正の整数としてＢ＝ｊｘＤを満たす正の整
数。）画素の画像（以下これをサブブロックという。図
３参照。）の分散の画像ブロック内での最小値に１を加
えたもののことである。前記アクティビティと前記アク
ティビティのサブピクチャー内での平均値（以下これを
平均アクティビティという。）はデータ制御回路２ｓ８
で計算される。フレームのの符号化による発生符号量が
符号化を行っているフレームに割り当てられたターゲッ
トビット量になるようにデータ制御回路２ｓ８は自身が
保持している現在符号化中のサブピクチャーの直前に符
号化したフレームの平均アクティビティと現在符号化を
行っているフレームのの画像ブロックのアクティビティ
と前記可変長符号化回路２ｓ５で計算される発生符号量
とをもとに量子化回路２ｓ４の量子化係数をアクティビ
ティが大きい時には量子化係数を大きくし、その逆の時
には小さくし、発生符号量の増加率が大きいときには量
子化係数を大きくし、その逆の時には小さくするといっ
た調整を行いフレーム内の発生符号量の制御を画像ブロ
ック単位で行う。

【０００５】

【発明が解決しようとする課題】上記は画像信号を分割
しないで符号化を行う画像信号符号化装置についての説
明であるが、次に画像信号を分割して並列符号化を行う
場合について説明を行う。

【０００６】画面分割した場合、分割した画面（以下こ
れをサブピクチャーという。）の周波数成分の分布等の
性質が異なる。そのため符号化の際に各サブピクチャー
に割り当てられるターゲットビット量をサブピクチャー
の画像の性質に応じて割り当てるようなターゲットビッ
ト量の制御が必要とされる。

【０００７】ところで、前記画像ブロックのアクティビ
ティは画像信号の周波数成分と相関が高く、画像ブロッ
ク単位での複雑さを表す指標であるからサブピクチャー
内でのアクティビティの平均値を求めると、それはそ
のサブピクチャー の画像の複雑さを表す指標と見なす
ことが出来る。図４は分割時の各々のサブピクチャーの
画像の一例を示すものである。図４では画面６がサブピ
クチャー ７とサブピクチャー ８に分割される。サブピ
クチャー ７においては高周波成分の多い画像、サブピ
クチャー ８は低周波成分の多い画像を示す。高周波成
分が多い領域は画像が細かく、符号化を行なう時に低周
波領域よりも多くのビットを割り当てないと符号化によ
って画像が歪む傾向が一般にみられる。符号化処理全体
で使用できるトータルターゲットビット量は有限である
から各サブピクチャー への割り当てターゲットビット
量はサブピクチャー の画像の性質に応じて適応的に変
化させることが望ましい。

【０００８】また、上記の事柄はフレーム間符号化を行
う場合の差分画像信号のアクティビティにも言えること
である。加えて、フレーム間符号化を行なう際に、差分
画像信号の画素値が大きい場合、その領域は高周波成分
が多い傾向がある。そこで差分画像信号の画像ブロック
を構成する複数のサブブロックの画素値の２乗和の中で
の最小値（以下これを２乗誤差和という。）を画像ブロ
ック単位で求め、サブピクチャー 内での平均値（以下
これを平均２乗誤差和という。）を求めると、これら値
は各サブピクチャー の画像信号の性質を反映するもの
となる。

【０００９】しかし従来例の画像信号符号化装置の場
合、各サブピクチャー の割り当てビット量はそのサブ
ピクチャー の画像の性質に関わらず全画面でのメイン
ターゲットビット量を均等に割り振ったものであるた
め、原画像信号の性質を利用した有効なターゲットビッ
ト量の割当がなされておらず、高周波成分の多いサブピ
クチャーでは符号化によって画像の劣化が他のサブピク
チャーに比べて大きくなることがあった。

【００１０】本発明はかかる点に鑑み、画像信号の分割
並列処理時に、各サブピクチャーの画像信号の性質を考
慮した各サブピクチャー へのターゲットビット量の割
当を行なうレート制御を実現することを目的としてい
る。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めにサブピクチャー の画像信号の性質を表す各サブピ
クチャー の原画像信号または差分画像信号の平均アク
ティビティを計算し、前記平均アクティビティをもとに
メインターゲットビット量から各サブピクチャー のタ
ーゲットビット量を適応的に制御することによって、分
割された各サブピクチャー の画像信号の性質に応じた
ビット量の割当を行なう。

【００１２】これを実現するために、本発明による画像
信号符号化装置は、画像信号分割器と符号化器と、マル
チプレクサーと、ホストＣＰＵと、前記ホストＣＰＵと
符号化器とを結ぶホストバスとを備え、画像ブロックの
アクティビティを計算するデータ制御回路で画像ブロッ
ク毎の原画像信号と差分画像信号のアクティビティと前
記アクティビティのサブピクチャー 内部での 平均アク
ティビティし、前記平均アクティビティをホストバスを
介してホストＣＰＵに転送し、前記平均アクティビティ
に基づいてメインターゲットビット量から各サブピクチ
ャー への適応的なターゲットビット量の割当を前記ホ
ストＣＰＵが計算し、前記ホストバスを介して符号化器
のデータ制御回路に各サブピクチャーのターゲットビッ
ト量を転送するという構成である。また、差分画像信号
の画像ブロックの２乗誤差和とそのサブピクチャー内で
の平均２乗誤差和についても、前記データ制御回路で計
算し、前記平均２乗誤差和に基づいて各サブピクチャー
のターゲットビット量の割当を行なう構成である。

【００１３】

【作用】本発明の画像信号符号化装置には上記した構成
により、原画像信号を複数のサブピクチャー に分割し
並列で符号化する際に、各サブピクチャー の画像の複
雑さを表す平均アクティビティの大きさに応じて適応的
に各サブピクチャー へのターゲットビット量を割当る
ことによって、各サブピクチャーの画像信号の性質に応
じたターゲットビット量の割当が動的に出来るため、割
り当てられたターゲットビット量を効率的に使用でき、
サブピクチャー間での画像の画質をそろえることが可能
となり、結果として符号化における画質の向上に寄与で
きるものである。

【００１４】

【実施例】

（実施例１）以下、本発明の実施例について、図面を参
照しながら説明する。図１は本発明の実施例の画像信号
符号化装置のブロック図を、図５は本発明の符号化装置
におけるサブピクチャーへのターゲットビット量の割り
当ての処理の表す流れ図を示す。なお、従来例と同一機
能の構成要素には同一符号をつけてその詳細な説明は省
略する。

【００１５】符号化にあたってはＧＯＰ＝６、Ｍ＝３と
する。図１において、４はホストバス、５はホストＣＰ
Ｕである。画像信号分割器は入力画像信号をN個のサブ
ピクチャー に対応した画像信号列に分割する。図５に
示されるターゲットビット量の割当を本画像信号符号化
装置で行う時の動作を以下に示す。各サブピクチャー毎
に分割された画像信号は各々の符号化器 ２（ａ）、２
（ｂ）に各々入力され、符号化される。符号化器２
（ａ）、２（ｂ）の基本的な動作は従来例の符号化器と
同様である。サブピクチャー 内でのレート制御に利用
される原画像信号の画像ブロックのアクティビティをデ
ータ制御回路２ａ９で計算する。計算された前記原画像
信号の画像ブロックのアクティビティからデータ制御回
路２ａ８は評価関数としてサブピクチャー内部で平均値
を計算し、原画像信号の画像ブロックのアクティビティ
とその平均値はサブピクチャー 内でのレート制御に利
用される。前記データ制御回路２ａ８で計算されたサブ
ピクチャー の原画像信号の平均アクティビティはホス
トバス４を介してホストＣＰＵ５に転送される。符号化
器２（ｂ）でも前記符号化器２（ａ）と同様にサブピク
チャーの符号化を行い、データ制御回２ｂ８で計算され
た平均アクティビティをホストバス４を介してホストＣ
ＰＵ５に転送する。前記ホストＣＰＵは前記各サブピク
チャーの平均アクティビティから全画面での平均アクテ
ィビティを計算する（ＳＴＥＰ５１）。前記ホストＣＰ
Ｕ５は、符号化器２（ａ）、２（ｂ）から転送されてき
た平均アクティビティと自身が計算した全画面での平均
アクティビティとをもとに次の符号化を行なうサブピク
チャー のターゲットビット量の割当をＳＴＥＰ５２で
行なう。各サブピクチャーへのターゲットビット量の割
当は、ホストＣＰＵ５は予め設定されたメインターゲッ
トビット量から、次の符号化を行うサブピクチャーに分
割していない１枚のフレーム全体に割り当てるターゲッ
トビット量（以下フレームターゲットビット量とい
う。）を求め、前記フレームターゲットビット量を

【００１６】

【数１】

【００１７】または

【００１８】

【数２】

【００１９】を用いて分配する。（数１）、（数２）に
おいてTarget_sub(k)はk番目のサブピクチャーのターゲ
ットビット量、Target＿totalはフレームターゲットビ
ット量、Nは分割数。act_sub(k)はk番目のサブピクチャ
ーの平均アクティビティ、avg_act＿fullは全画面での
平均アクティビティ、aは定数である。（数１）は平均
アクティビティの大きなサブピクチャーに多くのターゲ
ットビット量を割り当てるようになっているが、その割
当ターゲットビット量のサブピクチャー間での差異が極
端に大きくなりすぎないようなっている。一方、（数
２）は各サブピクチャーの平均アクティビティで単純に
重み付けしたものである。前記ホストＣＰＵ５で求めら
れた各サブピクチャー のターゲットビット量をホスト
ＣＰＵ５からホストバス４を介してデータ制御回路２ａ
８に転送し、前記データ制御回路２ａ８は得られたター
ゲットビット量をもとに平均アクティビティと、アクテ
ィビティ計算回路２ａ９から得られる符号化を行おうと
している画像ブロックのアクティビティと可変長符号化
回路２ａ５から得られる発生符号量の情報をもとに量子
化回路２ａ９の量子化係数の大きさの調整を行ない、符
号化による発生符号量がターゲットビット量に近づくよ
うにサブピクチャー 内でのレート制御を行なう。

【００２０】ところで、（数１）、（数２）を用いるに
あたっては、どのフレームの平均アクティビティを参照
するかを決める必要がある。図８はどのフレームの平均
アクティビティを参照するかを示すものである。本実施
例において、（数１）または（数２）を利用するにあた
って、平均アクティビティの参照フレームを図８
（ａ）、（ｂ）を用いて説明する。図８（ａ）は図８
（ｂ）のようにディスプレー順に並んだフレームをＧＯ
Ｐ＝６、Ｍ＝３で符号化した場合の符号化順番を示すも
のである。本実施例では平均アクティビティの参照の方
法として図８（ａ）の様に符号化しようとするフレーム
の直前のフレームのサブピクチャー の平均アクティビ
ティとする。即ち図８（ａ）において最初のＧＯＰの符
号化フレームであるフレーム内符号化を行うＩ０につい
ては各サブピクチャーに等分割にターゲットビット量を
割り振り、次の片方向フレーム間符号化フレームＰ３の
平均アクティビティの参照フレームは直前に符号化した
Ｉ０の原画像信号の平均アクティビティとし、これ以降
の参照アクティビティの参照フレームの関係もＰ３の時
と同様に直前の符号化フレームを参照する。

【００２１】上記実施例では各サブピクチャーの画像の
複雑さを表す原画像信号の平均アクティビティの大きさ
に応じてサブピクチャーにターゲットビット量を割り当
てる事ができるため、サブピクチャー間の符号化による
画質の不揃いを抑える事ができ、結果として全画面での
画質の向上を実現できる。

【００２２】なお、本実施例では評価関数としてアクテ
ィビティの平均値を用いたが、サブピクチャー内部での
アクティビティの総和、分散等を用いても同様な効果が
得られると考えられる。

【００２３】また、本実施例では各サブピクチャーへの
ターゲットビット量をフレーム単位で割り振ったが、Ｇ
ＯＰ単位で割り振りを行う処理も考えられる。

【００２４】（実施例２）次に、差分画像信号の画像ブ
ロックのアクティビティを用いた実施例について、図面
を参照しながら説明する。参照図面は図１と本発明の符
号化装置におけるサブピクチャーへのターゲットビット
量の割当の処理を示す流れ図である図６である。なお、
実施例１と同一機能の構成要素については説明を省略す
る。

【００２５】符号化においてＧＯＰ＝６、Ｍ＝３であ
る。本実施例のターゲットビット量の割当を本発明の画
像信号符号化装置で行う時の動作を以下に示す。符号化
器の動作説明は符号化器２（ａ）で行う。サブピクチャ
ー 内でのレート制御に利用される原画像信号の画像ブ
ロックのアクティビティの計算をデータ制御回路２ａ８
で行なう一方で、フレーム間符号化を行なう時には減算
器２ａ１からの出力である差分画像信号の画像ブロック
のアクティビティをデータ制御回路２ａ８で計算する。
前記原画像信号及び、差分画像信号の画像ブロックのア
クティビティをもとにデータ制御回路２ａ８はサブピク
チャー内で の平均アクティビティを計算する。前記デ
ータ制 御回路２ａ８で計算されたサブピクチャー の原
画像信号及び、差分画像信号の画像ブロックの平均アク
ティビティはホストバス４を介してホストＣＰＵ５に転
送される。前記ホストＣＰＵ５は前記符号化器２ａ、２
ｂから転送されてきた原画像信号または差分画像信号の
平均アクティビティから全画面での平均アクティビティ
を計算する（ＳＴＥＰ６１）。前記ホストＣＰＵ５は次
に符号化を行おうとしているサブピクチャーが、フレー
ム内符号化、片方向フレーム間符号化、両方向フレーム
間符号化のいずれで行うかを判断し（ＳＴＥＰ６２）、
前記３つの符号化の方法応じて前記原画像信号及び、差
分画像信号の平均アクティビティをもとに次の符号化を
行なうフレームのサブピクチャー のターゲットビット
量の割当をＳＰ６５、ＳＰ６６、ＳＰ６７に分岐する。
これは平均アクティビティの参照フレームが符号化方法
によって異なるためである。図９（ａ），（ｂ）は本実
施例の場合の平均アクティビティの参照フレームを示す
図である。ここでＧＯＰ＝６，Ｍ＝３である。図９
（ａ）に示すようにフレーム内符号化とフレーム間符号
化とで平均アクティビティの参照フレームの関係が異な
る。ＳＰ６３のフレーム内符号化を次に行う場合につい
ては、最初のＧＯＰのフレーム内符号化フレームＩ０で
は参照フレームがないためターゲットビット量を各サブ
ピクチャーに均等に割り振り、次のＧＯＰのＩ６につい
ては既に符号化が終了したフレームの中で、ディスプレ
ー順に見た場合に最も近いＰ３を参照し、次のＧＯＰの
フレーム内符号化フレームＩ１２も同様な参照の仕方で
Ｐ９を平均アクティビティの参照フレームとする。ＳＰ
６４の片方向フレーム間符号化を次に行う場合、最初の
ＧＯＰの片方向フレーム間符号化を行うＰ３はまだフレ
ーム内符号化がＩ０で行われただけで差分画像信号のア
クティビティが求められていないのでＩ０と同様にター
ゲットビット量は各サブピクチャーで均等に割り振られ
る。次のＧＯＰのＰ９については既に符号化が終了して
いるフレームの中でディスプレー順に見た場合最も近い
両方向フレーム間符号化フレームＢ５を平均アクティビ
ティの参照フレームとし、次のＧＯＰの片方向フレーム
符号化を行う際にもＰ６と同様な参照の仕方を行う。Ｓ
Ｐ６５の両方向フレーム間符号化を次の両方向予測フレ
ーム間符号化フレームで行う場合、最初のＧＯＰの両方
向フレーム間符号化フレームのB１においては既に符号
化が終了したフレーム間符号化フレームの中でディスプ
レー順に見た場合に最も近いＰ３の差分画像信号の平均
アクティビティを参照し、次のＢ２も同様な基準のもと
にＢ１の差分画像信号の平均アクティビティを参照す
る。Ｂ４，Ｂ５についても同様な基準でＢ４はＰ３を、
Ｂ５はＢ４の差分画像信号の平均アクティビティを参照
する。次のＧＯＰにおいても上記の方法で差分画像信号
のアクティビティの参照を行う。上記の参照フレームの
方法においては図９（ｂ）からわかるように、参照フレ
ームがディスプレー順に見た場合、なるべくアクティビ
ティの参照距離が小さくなるように平均アクティビティ
の参照が行われる。ＳＰ６３，ＳＰ６４，ＳＰ６５で符
号化フレームの符号化方法に応じて平均アクティビティ
をホストＣＰＵで決定した後、ＳＰ６６で前記ホストＣ
ＰＵは原画像信号または差分画像信号の平均アクティビ
ティをもとに（数１）または（数２）より各サブピクチ
ャーへのターゲットビット量を計算する。前記割当を行
なうに当たってホストＣＰＵ５は、予め設定されたター
ゲットビットレートから、次の符号化を行うサブピクチ
ャーに分割していないフレーム全体に割り当てるフレー
ムターゲットビット量をもとに（数１）または（数２）
に従って行い、求められた各サブピクチャー のターゲ
ットビット量をホストＣＰＵ５からホストバス４を介し
てレート制御回路に転送する。前記レート制御回路２ａ
８、２ｂ８は得られたターゲットビット量に従って量子
化回路２ａ９、２ｂ９の量子化係数の調整を実施例１と
同様に行ない、サブピクチャー内でのレート制御を行な
う。

【００２６】上記実施例では差分画像信号の平均アクテ
ィビティも各サブピクチャーへのターゲットビット量を
割当る時に用いるため、フレーム間符号化を行う符号化
方法において、ターゲットビット量の割当を適正に行
え、画像信号の効率的な符号化を行う事が出来る。

【００２７】なお、本実施例では評価関数としてアクテ
ィビティの平均値を用いたが、サブピクチャー内部での
アクティビティの総和、分散等を用いても同様な効果が
得られると考えられる。

【００２８】また、本実施例では各サブピクチャーへの
ターゲットビット量をフレーム単位で割り振ったが、Ｇ
ＯＰ単位で割り振りを行う処理も考えられる。

【００２９】（実施例３）次に、各サブピクチャー の
ターゲットビット量を決定する際にアクティビティを用
いるだけではなく、サブピクチャー 内での画像ブロッ
クの２乗誤差和を用いる実施例について以下に説明す
る。参照図面は図１と本発明の符号化装置におけるサブ
ピクチャーへのターゲットビット量の割当の処理を示す
流れ図である図７である。なお、実施例２と同一機能の
構成要素については説明を省略する。

【００３０】符号化においてＧＯＰ＝６、Ｍ＝３であ
る。本実施例のターゲットビット量の割当の処理の流れ
を本発明の画像信号符号化装置で行う時の動作を以下に
示す。実施例２の画像信号符号化装置において、画像ブ
ロックのアクティビティをデータ制御回路２ａ８、２ｂ
８で計算する際に画像ブロックを構成するサブブロック
について各々、原画像信号または差分画像信号の画素値
の２乗和を計算し、画像ブロックを構成するサブピクチ
ャーの誤差の画像ブロック内での２乗和の最小値である
２乗誤差和を求める。前記データ制御回路２ａ８で計算
される前記サブブロックの２乗誤差和からサブピクチャ
ー 内での総和を計算し、それより平均値を求め、ホス
トバス４を経由してホストＣＰＵ５に転送する。前記ホ
ストＣＰＵ５は符号化器２ａ、２ｂから転送された各サ
ブピクチャーの平均２乗誤差和から全画面での平均２乗
誤差和を求める（ＳＴＥＰ７１）。前記ホストＣＰＵ５
は次に符号化を行おうとしているサブピクチャーが、フ
レーム内符号化、片方向フレーム間符号化、両方向フレ
ーム間符号化のいずれで行うかを判断し（ＳＴＥＰ７
２）、前記３つの符号化の方法応じて前記原画像信号の
平均アクティビティ及び、差分画像信号の平均２乗誤差
和の参照フレームをＳＰ７３、ＳＰ７４，ＳＰ７５で決
定する。これは平均アクティビティ及び平均２乗誤差和
の参照フレームが符号化方法によって異なるためであ
る。図９（ａ），（ｂ）は本実施例の場合の平均アクテ
ィビティの参照フレームを示す図である。ここでＧＯＰ
＝６，Ｍ＝３である。図９（ａ）に示すようにフレーム
内符号化とフレーム間符号化とでターゲットビット量の
割当を決定するパラメータが異なる。ＳＰ７３のフレー
ム内符号化を次に行う場合については原画像信号の平均
アクティビティを用いるが、最初のＧＯＰのフレーム内
符号化フレームＩ０では参照フレームがないためターゲ
ットビット量を各サブピクチャーに均等に割り振り、次
のＧＯＰのＩ６については既に符号化が終了したフレー
ムの中で、ディスプレー順に見た場合に最も近いＰ３を
参照し、次のＧＯＰのフレーム内符号化フレームＩ１２
も同様な参照の仕方でＰ９を平均アクティビティの参照
フレームとする。ＳＰ７４の片方向フレーム間符号化を
次に行う場合には平均２乗誤差を用いるが、最初のＧＯ
Ｐの片方向フレーム間符号化を行うＰ３はまだフレーム
内符号化がＩ０で行われただけで差分画像信号の２乗誤
差和が求められていないのでＩ０と同様にターゲットビ
ット量は各サブピクチャーで均等に割り振られる。次の
ＧＯＰのＰ９については既に符号化が終了しているフレ
ームの中でディスプレー順に見た場合最も近い両方向フ
レーム間符号化フレームＢ５を平均２乗誤差和の参照フ
レームとし、次のＧＯＰの片方向フレーム符号化を行う
際にもＰ６と同様な参照の仕方を行う。ＳＰ７５の両方
向フレーム間符号化を次の両方向予測フレーム間符号化
フレームで行う場合、最初のＧＯＰの両方向フレーム間
符号化フレームのB１においては既に符号化が終了した
フレーム間符号化フレームの中でディスプレー順に見た
場合に最も近いＰ３の差分画像信号の平均２乗誤差和を
参照し、次のＢ２も同様な基準のもとにＢ１の差分画像
信号の平均２乗誤差和を参照する。Ｂ４，Ｂ５について
も同様な基準でＢ４はＰ３を、Ｂ５はＢ４の差分画像信
号の平均２乗誤差和を参照する。次のＧＯＰにおいても
上記の方法で差分画像信号の平均２乗誤差和の参照を行
う。

【００３１】上記の参照フレームの方法においては図９
（ｂ）からわかるように、参照フレームがディスプレー
順に見た場合、なるべく平均アクティビティ及び平均２
乗誤差和の参照距離が小さくなるように平均アクティビ
ティ及び平均２乗誤差和の参照が行われる。

【００３２】ＳＰ７３，ＳＰ７４，ＳＰ７５で符号化フ
レームの符号化方法に応じて平均アクティビティまたは
平均２乗誤差和をホストＣＰＵ５で決定した後、フレー
ム内符号化の場合にはＳＰ７６で前記ホストＣＰＵ５は
原画像信号の平均アクティビティをもとに

【００３３】

【数３】

【００３４】または

【００３５】

【数４】

【００３６】より各サブピクチャーへのターゲットビッ
ト量を計算する。（数３）、（数４）において、b_squa
re（k）はk番目のサブピクチャーの平均２乗誤差和、av
g_b_squre_fullは全画面での平均２乗誤差和である。片
方向フレーム間符号化及び両方向フレーム間符号化の場
合にはＳＰ７７において各サブピクチャーの平均２乗誤
差和と全画面での平均２乗誤差和から（数３）または
（数４）で各サブピクチャーへの発生ビット量を決定す
る。ターゲットビット量の割当を行なうに当たってホス
トＣＰＵ５は、予め設定されたターゲットビットレート
から、次の符号化を行うサブピクチャーに分割していな
いフレーム全体に割り当てるフレームターゲットビット
量を求め、前記フレームターゲットビット量から（数
１）または（数２）、（数３）または（数４）で分配を
行い、求められた各サブピクチャー のターゲットビッ
ト量をホストＣＰＵ５からホストバス４を介して各符号
化器のデータ制御回路２ａ８、２ｂ８に転送する。前記
データ制御回路２ａ８、２ｂ８は得られたターゲットビ
ット量に従って量子化回路２ａ９、２ｂ９の量子化係数
の調整を実施例１と同様に行ない、サブピクチャー 内
でのレート制御を行なう。

【００３７】上記本実施例の画像信号符号化装置はサブ
ピクチャーの原画像信号の平均アクティビティと平均２
乗誤差和とを各サブピクチャーへのターゲットビット量
を割り当てる際に用いる事によって、各サブピクチャー
の画像信号の複雑さに応じたターゲットビット量を割り
当てる事が出来、画像信号の効率的な符号化を実現でき
る。

【００３８】なお、本実施例では評価関数としてアクテ
ィビティ及び２乗誤差和の平均値を用いたが、サブピク
チャー内部でのアクティビティの総和、分散等を用いて
も同様な効果が得られると考えられる。

【００３９】また、本実施例では各サブピクチャーへの
ターゲットビット量をフレーム単位で割り振ったが、Ｇ
ＯＰ単位で割り振りを行う処理も考えられる。

【００４０】（実施例４）符号化を行う入力画像信号に
不連続性が生じた場合（以下これをシーンテェンジとい
う。）に対応した各サブピクチャーへのターゲットビッ
ト量の割り振り方についての実施例を以下で説明する。
図１０は本実施例の画像信号符号化装置である。実施例
１と同じ回路については省略する。図１０において２ａ
１３、２ｂ１３はシーンチェンジ検出回路である。シー
ンチェンジ検出回路２ａ１３、２ｂ１３は動きベクトル
検出回路２ａ１２、２ｂ１２の出力である動きベクトル
の分布の変化から入力動画像信号の不連続性、すなわち
シーンチェンジを判定し、シーンチェンジが生じた場合
には、データ制御回路２ａ８にシーンチェンジ発生を表
すフラグとシーンチェンジ発生点を示すデータを転送す
る。前記データ制御回路２ａ８はシーンチェンジの発生
を知らせるフラグとシーンチェンジの発生点を知らせる
データとを平均アクティビティと共にホストＣＰＵ５に
データバス４を介して転送する。前記ホストＣＰＵ５に
は前記各サブピクチャーの平均アクティビティのデータ
とシーンチェンジの有無を示すフラグとシーンチェンジ
の発生点を表すデータが蓄積される。前記ホストＣＰＵ
５が次の符号化フレームがシーンチェンジ後の最初のフ
レームであるとシーンチェンジを表すフラグとシーンチ
ェンジ発生点を表すデータから判断し、前記フレームの
サブピクチャーへ割り当てるターゲットビット量をフレ
ームターゲットビット量から均等に配分する。

【００４１】上記のような各サブピクチャーへのターゲ
ットビット量の割当を行う事によって、シーンチェンジ
が発生した場合に、まったく相関の無い異なる連続性を
もつシークエンスのフレームから平均アクティビティを
参照し、前記平均アクティビティに基づいて符号化がな
されることがなく、シーンチェンジが発生しても、ター
ゲットビット量の割当が大きく誤る事がなくなる。

【００４２】

【発明の効果】このように本発明の画像信号符号化方法
及び、画像信号符号化装置は画像信号をサブピクチャー
に分割して並列符号化を行う際に、各サブピクチャーの
ターゲットビット量を、画像信号の複雑さを表す原画像
信号と差分画像信号の平均アクティビティと平均２乗誤
差和とをもとにして動的に割り当てを決定するため、各
サブピクチャーの画像の複雑さに応じたターゲットビッ
ト量の配分がなされ、従来の場合のようにあるサブピク
チャーの画像の画質が他のサブピクチャーより劣化する
という現象を回避出来、結果として並列符号化における
画質の向上を実現する事が出来る。

【図面の簡単な説明】

【図１】本発明の一実施例の画像信号符号化装置を示す
ブロック図

【図２】従来例の画像信号符号化装置を示すブロック図

【図３】画像信号の分割を示す説明図

【図４】サブピクチャー の画像パターンの分布を示す
説明図

【図５】第一実施例のホストＣＰＵでのターゲットビッ
ト量の割当の処理を示す流れ図

【図６】第二実施例のホストＣＰＵでのターゲットビッ
ト量の割当の処理を示す流れ図

【図７】第三実施例のホストＣＰＵでのターゲットビッ
ト量の割当の処理を示す流れ図

【図８】原画像信号の平均アクティビティを用いる場合
の参照フレームを示す説明図

【図９】平均アクティビティ（差分画像信号と原画像信
号）と平均２乗誤差和を用いる場合の参照フレームを示
す説明図

【図１０】第四実施例の画像信号符号化装置の構成図

【符号の説明】

１ 画像信号分割器 ２ａ 第一符号化器 ２ｂ 第二符号化器 ２ａ１ 減算器 ２ａ２ スイッチ ２ａ３ 直交変換回路 ２ａ４ 量子化回路 ２ａ５ 可変長符号化回路 ２ａ６ 逆量子化回路 ２ａ７ 逆直交変換回路 ２ａ８ データ制御回路 ２ａ９ 加算器 ２ａ１０ スイッチ ２ａ１１ フレームメモリ ２ａ１２ 動きベクトル検出回路 ２ａ１３ シーンチェンジ検出回路 ３ マルチプレクサー ４ ホストバス ５ ホストＣＰＵ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹村 佳也 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (15)

【特許請求の範囲】
1. 【請求項１】画像信号をＮ（Ｎは２以上の整数。）個の
   画像信号（以下このN個に分割された画像信号をサブピ
   クチャー という。）に分割して、各々のサブピクチャ
   ー のフレーム毎にフレーム内符号化、フレーム間符号
   化を行なう画像信号符号化方法において、前記サブピク
   チャー 内のＡｘＢ（Ａ、Ｂは正の整数。）画素の原画
   像（以下これを画像ブロックという。）ごとに前記画像
   ブロックを構成する複数のＣｘＤ（Ｃはｉを正数として
   Ａ＝ｉｘＣを満たす正の整数。Ｄはｊを正数としてＢ＝
   ｊｘＤを満たす正の整数。）画素の画像信号（以下これ
   をサブブロックという。）の分散の最小値に１を加えた
   もの（以下これをアクティビティという。）を計算し、
   前記アクティビティの評価関数を用いて各サブピクチャ
   ーの符号化を行なう時に目標とする発生符号量（以下こ
   れをターゲットビット量という。）を符号化すべき全画
   面での許容発生符号量（以下これをメインターゲットビ
   ット量という。）から分配して決定することを特徴とす
   る画像信号符号化方法。
2. 【請求項２】画像信号をＮ個のサブピクチャー に分割
   して、各々のサブピクチャー のフレーム毎にフレーム
   内符号化、フレーム間符号化を行なう画像信号符号化方
   法において、フレーム間符号化を行なう時に生成する差
   分画像信号のアクティビティを計算し、前記差分画像信
   号のアクティビティの評価関数を用いて各サブピクチャ
   ーの ターゲットビット量をメインターゲットビット量
   から配分して決定することを特徴とする画像信号符号化
   方法。
3. 【請求項３】画像信号をN個のサブピクチャー に分割し
   て、各々のサブピクチャー 毎にフレーム内符号化、フ
   レーム間符号化を行なう画像信号符号化方法において、
   フレーム内符号化については原画像信号のアクティビテ
   ィの評価関数、フレーム間符号化については差分画像信
   号のアクティビティの評価関数を用いることを特徴とす
   る画像信号符号化方法。
4. 【請求項４】請求項１記載の画像信号符号化方法におい
   て、評価関数として原画像信号のアクティビティのサブ
   ピクチャー内での平均値（以下これを平均アクティビテ
   ィという。）を用い、前記平均アクティビティの大きな
   サブピクチャーに多くのターゲットビット量を割り当て
   る事を特徴とする画像信号符号化方法。
5. 【請求項５】請求項２記載の画像信号符号化方法におい
   て、評価関数としてアクティビティのサブピクチャー内
   での平均値（平均アクティビティ）を用い、前記平均ア
   クティビティの大きなサブピクチャーに多くのターゲッ
   トビット量を割り当てる事を特徴とする画像信号符号化
   方法。
6. 【請求項６】請求項３記載の画像信号符号化方法におい
   て、評価関数としてアクティビティのサブピクチャー内
   での平均値（以下これを平均アクティビティという。）
   を用い、前記平均アクティビティの大きなサブピクチャ
   ーに多くのターゲットビット量を割り当てる事を特徴と
   する画像信号符号化方法。
7. 【請求項７】画像信号分割器と、N個の符号化器と、ホ
   ストＣＰＵと、前期ホストＣＰＵと各符号化器とを結ぶ
   ホストバスと、マルチプレクサーとを備え、前記符号化
   器内部には画像信号の動きベクトルを抽出する動きベク
   トル検出回路と、前記動きベクトル検出回路の出力をも
   とに原画像信号から参照画像信号との差分を生成する減
   算器と、原画像信号の画像ブロックまたは動き補償され
   た差分画像信号の画像ブロックの直交変換を行なう直交
   変換回路と、前記直交変換回路の出力を量子化する量子
   化回路と、前記量子化回路の出力を可変長符号化する可
   変長符号化回路と、前記量子化回路の出力を逆量子化す
   る逆量子化回路と、前記逆量子化回路からの出力を逆直
   交変換する逆直交変換回路と、前記逆直交変換回路から
   の出力と前記参照画像信号とを加えて再構成画像信号を
   作成する加算器と、前記量子化回路の量子化係数を調整
   し、符号化の発生符号量の制御を行うデータ制御回路と
   を有し、前記画像信号分割器は入力画像信号をN個のサ
   ブピクチャーに分割し、第n（ｎ＝１〜Ｎ）番目の符号
   化器は第ｎ番目のサブピクチャーを画像ブロック単位で
   符号化し、更に前記逆量子化回路、逆直交変換回路、加
   算器によって再生された第ｎ番目の再生画像ブロックを
   フレームメモリに格納し、前記マルチプレクサーは前記
   Ｎ個の符号化器の出力を多重化して伝送する画像信号符
   号化装置であって、サブピクチャー 毎にフレーム内符
   号化、フレーム間符号化を行なう際に、メインターゲッ
   トビット量をホストＣＰＵで設定し、前記データ制御回
   路で各サブピクチャー 内の原画像信号のアクティビテ
   ィと前記アクティビティのサブピクチャー内での平均ア
   クティビティを求め、前記ホストバスを介してホストＣ
   ＰＵに前記平均アクティビティを転送し、前記メインタ
   ーゲットビット量から前記平均アクティビティをもと
   に、前記平均アクティビティの大きなサブピクチャー
   に多くのターゲットビット量を割り当てるような演算に
   よって各サブピクチャー へのターゲットビット量を決
   定し、前期ターゲットビット量を前記ホストバスを介し
   てデータ制御回路に転送し、前記データ制御回路は前記
   ホストＣＰＵにて割り当てられたターゲットビット量に
   サブピクチャー内部での発生符号量が近づくように前記
   量子化回路の量子化係数の大きさを画像ブロック単位で
   調整し、発生符号量の制御を行いながら画像信号を符号
   化することを特徴とする画像信号符号化装置。
8. 【請求項８】請求項７記載の画像信号符号化装置におい
   て、データ制御回路で差分画像信号のアクティビティ
   と、前記サブピクチャー内部での差分画像信号の平均ア
   クティビティとを計算し、原画像信号の平均アクティビ
   ティとともに前記差分画像信号の平均アクティビティを
   ホストバスを介してホストＣＰＵに転送し、前記ホスト
   ＣＰＵは前記原画像信号の平均アクティビティと前記差
   分画像信号の平均アクティビティとを用いて前記原画像
   信号または差分画像信号の平均アクティビティの大きな
   サブピクチャーに多くのターゲットビット量を割り当て
   るような計算を行うことを特徴とする画像信号符号化装
   置。
9. 【請求項９】画像信号をＮ個のサブピクチャーに分割し
   て、各々のサブピクチャー のフレーム毎にフレーム内
   符号化、フレーム間符号化で行なう際に、前記サブピク
   チャー 内の画像ブロックごとに前記画像ブロックを構
   成する複数のサブブロックの画素値の２乗和の中の最小
   値（以下これを２乗誤差和という。）を計算し、各サブ
   ピクャーの符号化を行なう時に目標とするターゲットビ
   ット量を前記２乗誤差和を用いて割り当てることを特徴
   とする画像信号符号化方法。
10. 【請求項１０】画像信号をN個のサブピクチャーに分割
    して、各々のサブピクチャー毎にフレーム内符号化、フ
    レーム間符号化を並列で行なう画像信号符号化方法にお
    いて、各サブピクチャー の原画像信号のアクティビテ
    ィ及び、差分画像信号の２乗誤差和を用いて各サブピク
    チャー へのターゲットビット量を割り当てることを特
    徴とする画像信号符号化方法。
11. 【請求項１１】請求項８記載の画像信号符号化方法にお
    いて、各サブピクチャー へのターゲットビット量の割
    り当てとして、原画像信号の平均アクティビティと、差
    分画像信号の２乗誤差のサブピクチャー内での平均値
    （以下これを平均２乗誤差和という。）を用いて前記平
    均アクティビティと前記平均２乗誤差和の大きなサブピ
    クチャーに多くのターゲットビット量を割り当てる事を
    特徴とする画像信号符号化方法。
12. 【請求項１２】フレーム内符号化については原画像信号
    のサブピクチャー 内での平均アクティビティ、フレー
    ム間符号化については差分画像信号のサブピクチャー
    内での平均２乗誤差和を用いることを特徴とする請求項
    ９記載の画像信号符号化方法。
13. 【請求項１３】画像信号分割器と、N個の符号化器と、
    ホストＣＰＵと、前期ホストＣＰＵと各符号化器とを結
    ぶホストバスと、マルチプレクサーとを備え、前記符号
    化器内部には画像信号の動きベクトルを抽出する動きベ
    クトル検出回路と、前記動きベクトル検出回路の出力を
    もとに原画像信号から参照画像信号との差分を生成する
    減算器と、原画像信号の画像ブロックまたは動き補償さ
    れた差分画像信号の画像ブロックの直交変換を行なう直
    交変換回路と、前記直交変換回路の出力を量子化する量
    子化回路と、前記量子化回路の出力を可変長符号化する
    可変長符号化回路と、前記量子化回路の出力を逆量子化
    する逆量子化回路と、前記逆量子化回路からの出力を逆
    直交変換する逆直交変換回路と、前記逆直交変換回路か
    らの出力と前記参照画像信号とを加えて再構成画像信号
    を作成する加算器と、前記量子化回路の量子化係数を調
    整し、符号化の発生符号量の制御を行うデータ制御回路
    とを有し、前記画像信号分割器は入力画像信号をN個の
    サブピクチャーに分割し、第n（ｎ＝１〜Ｎ）番目の符
    号化器は第ｎ番目のサブピクチャーを画像ブロック単位
    で符号化し、更に前記逆量子化回路、逆直交変換回路、
    加算器によって再生された第ｎ番目の再生画像ブロック
    をフレームメモリに格納し、前記マルチプレクサーは前
    記Ｎ個の符号化器の出力を多重化して伝送する画像信号
    符号化装置であって、サブピクチャー 毎にフレーム内
    符号化、フレーム間符号化を行なう際に、メインターゲ
    ットビット量をホストＣＰＵで設定し、前記データ制御
    回路でフレーム内符号化の場合には各サブピクチャー
    内の原画像信号のアクティビティと前記アクティビティ
    のサブピクチャー内での平均アクティビティを、フレー
    ム間符号化の場合には差分画像信号の画像ブロックを構
    成するサブブロックの画素値の２乗和を計算し、前記画
    像ブロック内でのサブブロックの画素値の２乗和の最小
    値である２乗誤差和を求め、前記データ制御回路でサブ
    ピクチャー内での２乗誤差和の平均値を計算し、ホスト
    バスを介してホストＣＰＵに転送し、前記ホストＣＰＵ
    で前記平均２乗誤差和と平均アクティビティとをもとに
    次に符号化するサブピクチャー のターゲットビット量
    を割り当て、前記ターゲットビット量を前記ホストバス
    を介してデータ制御回路に転送し、前記データ制御回路
    は前記ターゲットビット量をもとに量子化回路を量子化
    係数の大きさを画像ブロック単位で調整することによっ
    て符号化による発生ビット量を制御し、符号化を継続す
    ることを特徴とする画像信号符号化装置。
14. 【請求項１４】画像信号をN個のサブピクチャー に分割
    して、各々のサブピクチャー 毎にフレーム内符号化、
    フレーム間符号化し、各サブピクチャーへターゲットビ
    ット量を動的に割り当てる画像信号符号化方法におい
    て、符号化する入力画像信号の非連続性が生じた場合
    （以下これをシーンチェンジという。）、シーンチェン
    ジ後の最初のフレームについては、各サブピクチャーへ
    のターゲットビット量を均一に割り当てることを特徴と
    する画像信号符号化方法。
15. 【請求項１５】画像信号分割器と、N個の符号化器と、
    ホストＣＰＵと、前期ホストＣＰＵと各符号化器とを結
    ぶホストバスと、マルチプレクサーとを備え、前記符号
    化器内部には画像信号の動きベクトルを抽出する動きベ
    クトル検出回路と、前記動きベクトル検出回路の出力を
    もとに原画像信号から参照画像信号との差分を生成する
    減算器と、前記動きベクトル検出回路の出力をもとに入
    力画像信号の連続性を判定し、不連続性の生じたフレー
    ムの時間的な位置を検出するシーン検出回路と、原画像
    信号の画像ブロックまたは動き補償された差分画像信号
    の画像ブロックの直交変換を行なう直交変換回路と、前
    記直交変換回路の出力を量子化する量子化回路と、前記
    量子化回路の出力を可変長符号化する可変長符号化回路
    と、前記量子化回路の出力を逆量子化する逆量子化回路
    と、前記逆量子化回路からの出力を逆直交変換する逆直
    交変換回路と、前記逆直交変換回路からの出力と前記参
    照画像信号とを加えて再構成画像信号を作成する加算器
    と、前記量子化回路の量子化係数を調整し、符号化の発
    生符号量の制御を行うデータ制御回路とを有し、前記画
    像信号分割器は入力画像信号をN個のサブピクチャーに
    分割し、第n（ｎ＝１〜Ｎ）番目の符号化器は第ｎ番目
    のサブピクチャーを画像ブロック単位で符号化し、更に
    前記逆量子化回路、逆直交変換回路、加算器によって再
    生された第ｎ番目の再生画像ブロックをフレームメモリ
    に格納し、前記マルチプレクサーは前記Ｎ個の符号化器
    の出力を多重化して伝送する画像信号符号化装置であっ
    て、サブピクチャー 毎にフレーム内符号化、フレーム
    間符号化を行なう際に、入力画像信号の不連続性を検出
    した前記シーン検出回路は、シーンチェンジの発生を表
    す信号（以下これをシーンチェンジフラグ信号とい
    う。）と前記シーンチェンジの発生したフレームの時間
    的な位置を表す信号（シーンチェンジポイント信号）を
    ホストバスを介してホストＣＰＵに転送し、前記ホスト
    ＣＰＵは符号化を行おうとしているフレームのシーンチ
    ェンジの有無をシーンチェンジフラグ信号とシーンチェ
    ンジポイント信号から判断し、次のターゲットビット量
    を割り当てるフレームがシーンチェンジ後のフレームで
    あると判断した場合、前記フレームを構成するサブピク
    チャーのターゲットビット量をフレームターゲットビッ
    ト量から均一に割り当てるような処理を行い、前記処理
    によって決定されたカクサブピクチャーのターゲットビ
    ット量をホストバスを介して前記符号化器のデータ制御
    回路にそれぞれに転送し、前記データ制御回路はサブピ
    クチャー内の発生符号量がターゲットビット量に近づく
    ように前記量子化回路の量子化係数の大きさを調整し、
    符号化を行うことを特徴とする画像信号符号化装置。