JPH10229558A - 動画像情報の符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 伝送容量が制約されている範囲内で画像情報
を効率的に符号化して良質な動画像情報を提供する。 【解決手段】 符号化器１の構成は、カメラ２により取
り込む画像データをＣＩＦ変換した後、前フレームに対
するデータ変化量がしきい値以上ある変化ブロックのみ
についてフレーム内符号化処理を行なって送信信号を生
成する。符号化に際しては、情報発生量と音声情報の発
生状況に応じて決まる画像伝送容量に対応して画像の領
域で精度をあげることが必要な部分と精度が必要ない部
分とで符号化の程度を異ならせて行なう。これにより、
演算量の削減、限られた伝送容量内での効果的な画像情
報伝送、無線系の伝送誤り発生に強い画像伝送を行なう
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像情報を所定
の伝送容量の範囲内で伝送可能となるように圧縮符号化
する場合において動画像の動きを損なうことなく有効な
符号化を行なうことができるようにした動画像情報の符
号化装置に関する。

【０００２】

【発明が解決しようとする課題】近年、情報通信端末の
マルチメディア化が急速に進んでおり、電話においても
ディジタルデータ伝送に基づく様々な付加価値を生み出
していくことが、今後のビジネス展開において必須な条
件となってきている。特に、自動車電話やＰＨＳ（Pers
onal Handy-phone System ）においては既に従来の音
声，文字情報のみならず、静止画像や動画像を伝送する
ことが本格的に検討されつつあり、電話機のマルチメデ
ィア化は近い将来に当たり前のこととなることが予想さ
れる。

【０００３】しかし、画像を伝送する場合に、何等処置
を行わずそのまま伝送するのでは、約１６６Ｍｂｐｓ
（mega bit per second ）に相当する膨大なＴＶ映像の
データ量であるから、自動車電話（９．６ｋｂｐｓ）や
ＰＨＳ（３２ｋｂｐｓ）や既存の電話回線の伝送レート
（１０〜３０ｋｂｐｓ程度）程度の伝送容量では１フレ
ームの画像データを送信するのに多大な時間を要してし
まい、動画像の伝送には不適切である。

【０００４】このようなことに対応して、従来のＴＶ会
議やビデオＣＤに用いられている動画像圧縮技術が要求
されるが、現行のＴＶ会議用規格であるＩＴＵ−Ｔ／
Ｈ．２６１では、６４ｋｂｐｓ〜２Ｍｂｐｓ程度、ＩＳ
Ｏ／ＭＰＥＧ１では１．５Ｍｂｐｓ程度のものを対象と
しており、ここで対象としている６４ｋｂｐｓ以下の超
低レート伝送には適用することができないものである。

【０００５】一方、現在ＩＴＵ−Ｔで審議されている
Ｈ．２６３は、６４Ｋｂｐｓ以下の伝送レートを対象と
しているが、この場合には有線系の伝送を対象とするも
のであり、移動体通信の無線系で発生するデータ伝送誤
りのレベル（１０^−２〜１０^{− ３}程度）に対する対策が
なされていないものである。また、これらの規格におけ
るエンコーダは動き補償技術を用いるため、演算量が増
大することになり、低コスト化の実現は困難なものであ
る。

【０００６】さらには、上述のような伝送容量の範囲内
であっても、画像情報のみならず、同時に音声情報につ
いても送信する場合には、画像情報の伝送容量について
はさらに制約を受けることになる。また、このような音
声情報は、発生量の変動が大きくなることが予想される
ので、伝送容量を割り当てる場合においても弾力的に変
動させて有効に利用する必要がある。そして、音声情報
の伝送容量が変動することは画像情報の伝送容量につい
てもこれに追随して変動することになるが、そのような
状況の下でいかに動画像情報を有効に符号化して伝送す
るかということが課題となってくる。

【０００７】本発明は、上記事情に鑑みてなされたもの
で、その目的は、伝送容量が制約されている範囲内で使
用者にとって必要と思われる画像情報を効率的に選択符
号化して良質な動画像情報を提供できるようにする画像
情報の符号化装置を提供することにある。

【０００８】

【課題を解決するための手段】請求項１の発明では、変
化ブロック検出手段により、そのフレーム内の複数のブ
ロックについてそれらの画像データが前フレームの該当
するブロックの画像データとの変化量が所定レベル以上
となる変化ブロックを検出し、その検出された変化ブロ
ックについてのみ符号化処理手段により符号化を行なう
ので、限られた伝送容量の範囲内で変化が生じている領
域についての情報を有効に伝送することができる。

【０００９】しかも、符号化処理手段は、その符号化処
理をフレーム内符号化を行なうことにより伝送信号を生
成するので、復調装置側で伝送経路を介して受信復調し
たときに伝送誤りが生じている場合でも誤りはフレーム
内で完結しているので、次回以降のフレームの画像情報
に累積させずに再生することができるようになり、ビッ
ト誤り率が比較的高い無線系の通信でも質の良い動画像
伝送を行なうことができるようになる。

【００１０】また、符号化処理手段は、フレーム内符号
化を行なう構成であるから、一般的な動画像圧縮の場合
と異なり、前フレームに対する差分を演算したり動き補
償差分符号化の演算ループなどの構成が不要となり、総
じて簡単な構成で成し得ると共に符号化処理に際して演
算量を大幅に削減することができるようになる。

【００１１】請求項２の発明では、上述同様にして変化
ブロック検出手段により、そのフレーム内の複数のブロ
ックについてそれらの画像データが前フレームの該当す
るブロックの画像データとの変化量が所定レベル以上と
なる変化ブロックを検出し、その検出された変化ブロッ
クについてのみ符号化処理手段により符号化を行なうの
で、限られた伝送容量の範囲内で変化が生じている領域
についての情報を有効に伝送することができる。

【００１２】さらに、符号化条件設定手段を設けている
ので、上述の変化ブロックについての符号化を行なう際
に、変化ブロックの発生量や変化量等のデータに応じて
符号化処理の条件を伝送容量の範囲内で変更して有用な
情報を取捨選択してより良質な動画像を伝送することが
できるようになる。

【００１３】請求項３の発明では、上述した請求項１の
構成および請求項２の構成の両者を兼ね備えた構成とな
っているので、簡単な構成とすることができると共に、
限られた伝送容量の範囲内で変化が生じている領域につ
いての情報を有効に伝送することができる。

【００１４】請求項４の発明では、符号化処理に際して
フレーム内符号化処理を行なうので、符号化処理手段
は、変化ブロックに対して二次元離散コサイン変換手段
により二次元ＤＣＴ（離散コサイン変換）処理を行な
い、そのデータを量子化演算処理手段により量子化演算
を行ない、可変長符号化手段により符号化した伝送信号
をバッファ制御手段によるバッファ制御のもとで送信す
るようにした簡単な構成で実現させることができるよう
になる。この結果、例えば、従来の動画像符号化処理に
おいて必要とされている動きベクトル検出処理，逆量子
化処理，二次元逆離散コサイン変換処理などが不要とな
ると共に、ループフィルタや１フレームの画像データに
対応した予測メモリなどが不要となり、演算処理量が大
幅に削減されると共に、構成も簡単且つ低コストで実現
でき、パソコンなどのプログラムにより十分に処理可能
なものとなる。

【００１５】請求項５の発明では、変化ブロック検出手
段により、そのフレームの各ブロックについて前フレー
ムの該当するブロックに対する画像データの差分の絶対
値和を演算してその値が変化ブロックの判定しきい値以
上であるか否かで変化ブロックを検出するようになる。

【００１６】請求項６の発明では、上述の場合におい
て、ブロックを４個の輝度信号ブロックと２個の色信号
ブロックとからなる所謂マクロブロック単位で演算を行
ない、それらの輝度信号ブロックおよび色信号ブロック
の画像データの演算結果に重み付けを行なって加算した
結果に基づいて変化ブロックを検出するので、重み付け
の係数の設定の仕方によって対象とする変化ブロックの
検出に変化を持たせることができる。例えば、色信号ブ
ロックの重み付けの係数を大きく設定するにしたがって
色の変化に敏感な変化ブロック検出を行なうことができ
るようになる。

【００１７】請求項７の発明では、上述のようにして変
化ブロックを検出する場合に、そのブロック内のすべて
の画素のデータについて演算を行なうのではなく、例え
ば画素列の画素を１個置きあるいは複数個置きにサンプ
リングしたり、画素列を１列置きに選択してサンプリン
グするなどの所定の条件でサンプリングした画素のデー
タのみについて演算を行なうことで概略的に変化ブロッ
クを検出するので、演算量を削減して迅速な処理を行な
うことができるようになる。

【００１８】なお、上述の場合に、サンプリングするこ
とにより検出精度は若干低下するが、通常撮影した画面
の画像情報をサンプリングする条件下においては、演算
量の低減効果の方が大きく、また、画像の性質によって
サンプリングの設定条件を適宜設定することにより検出
精度の低下による悪影響を少なくすることができる。

【００１９】請求項８の発明では、上述のサンプリング
による変化ブロックの検出においてサンプリングの条件
を時間的あるいはフレーム内の二次元的な位置別に切り
換え設定することにより、情報発生量に応じて検出の精
度を変化させたり、あるいは特定の領域についてのみ検
出精度を高く設定するなどの制御を行なうことができる
ようになる。

【００２０】請求項９の発明では、変化ブロックの検出
に際して、変化ブロック検出手段は、特定の領域内のブ
ロックを対象として演算処理を行なうので、動画像の伝
送に必要となる特定の対象領域のみについて効率的に演
算処理を行なうことができるので、処理能力を向上させ
ることができるようになる。

【００２１】請求項１０の発明では、符号化条件設定手
段は、符号化するフレームに対する符号化処理条件を前
フレームの符号化処理を行なったときのデータ量から画
像データの送信可能な容量を余裕度として検出し、その
結果に基づいて符号化条件を設定するようになり、これ
により、前フレームから連続する動画像の伝送に際して
余裕度に応じた符号化条件を用いた効率的な符号化処理
を行なうことができるようになる。

【００２２】請求項１１の発明では、符号化条件設定手
段は、検出された変化ブロックの動き量を演算してその
動き量に基づいて符号化条件を設定するので、動き量に
応じて増大する情報発生量を符号化条件を適切に設定す
ることにより全体のバランスを考慮して伝送容量の範囲
内で効率的な符号化を行なって伝送信号を生成させるこ
とができるようになる。

【００２３】請求項１２の発明では、符号化条件設定手
段は、検出された変化ブロックの色変化量を演算してそ
の色変化量に基づいて符号化条件を設定するので、色変
化量に応じて増大する情報発生量を符号化条件を適切に
設定することにより全体のバランスを考慮して伝送容量
の範囲内で効率的な符号化を行なって伝送信号を生成さ
せることができるようになる。

【００２４】請求項１３の発明では、符号化条件設定手
段は、変化ブロックの動き量および色変化量の両者を重
み付けを行なって加算することにより総合変化量を求
め、その総合変化量に基づいて符号化条件を設定するの
で、動き量を重視する場合と色変化量を重視する場合と
の間の比率を重み付け係数により適宜設定すれば、フレ
ームの画像に則した適切な符号化条件を設定して効率的
な符号化処理を行なわせることができるようになる。

【００２５】請求項１４の発明では、符号化条件設定手
段は、変化ブロックの動き量を検出する際に、それら変
化ブロックの重心位置を求めると共にその重心位置の前
フレームに対する動きベクトルを求め、これに変化ブロ
ックの総個数を乗じて動き量を求めるので、演算量を削
減して簡略的に動き量を検出することができるようにな
る。

【００２６】請求項１５の発明では、符号化条件設定手
段は、変化ブロックの動き量を検出する際に、それら各
変化ブロックの前フレームに対する動きベクトルを求
め、それらの総和を演算することにより得るので、正確
な動き量を求めることができるようになる。

【００２７】請求項１６の発明では、上述の場合に、変
化ブロックの動きベクトルを計算する際には、その変化
ブロック内のすべての画素について演算対象とするので
はなく、サンプリングされた画素のデータについて演算
を行なうので、演算量を削減させることができる。

【００２８】請求項１７の発明では、符号化条件設定手
段は、変化ブロックの画素データをブロック単位で符号
化する際に、符号化データに変換した場合の変換係数の
伝送対象とするレベルを変化ブロックの総数に応じて設
定するので、例えば、画面全体的に動きがある場合には
低次数の変換係数のみを符号化して伝送することにより
情報発生量を効率的に制御することができるようにな
る。

【００２９】請求項１８の発明では、符号化条件設定手
段により、画像データ送信の余裕度，変化ブロックの動
き量，色変化量あるいは総合変化量のいずれかまたはそ
の組み合わせにより得られる値に応じて、次フレームに
おける変化ブロック検出のためのしきい値や変化ブロッ
クの符号化のための量子化スケールおよびフレームの変
化判定のしきい値を設定するので、画像状態に応じて変
化ブロックの検出レベルを適切に変更して変化ブロック
の発生個数を制御して情報発生量を制御することができ
ると共に、量子化スケールやフレームの変化判定のしき
い値を変更して符号化処理を効率的に行なうことができ
るようになる。

【００３０】請求項１９の発明では、符号化条件設定手
段により、フレーム内の領域に応じて符号化のレベルを
異なるように設定することが可能に構成されているの
で、精度の高い動画像を伝送すべき対象となる特定の領
域をあらかじめ設定しておくことにより、対象となる領
域のみを効率的な符号化処理を行なうことができるよう
になる。

【００３１】請求項２０の発明では、符号化条件設定手
段により、前記符号化のレベルを異ならせる領域を設定
可能に構成されているので、上述同様に効率的な符号化
処理を行なうことができるようになる。

【００３２】請求項２１の発明では、符号化条件設定手
段は、領域を設定するためのデータをあらかじめ決めら
れているフォーマットにより設定可能であるので、対応
する領域を指定する場合にそのフォーマットでコードを
付加して伝送することにより情報量を増大させることな
く符号化処理を行なうことができるようになる。

【００３３】請求項２２の発明では、符号化条件設定手
段により、領域を複数設定したときには、それぞれの領
域に対して符号化処理をする際に優先順位を設定するこ
とができるので、情報量の発生の度合いに応じて符号化
レベルを優先順位の高いものから順に優先的に行なうこ
とができ、使用者の要求に応じた効率的な符号化処理を
行なうことができるようになる。

【００３４】請求項２３の発明では、符号化条件設定手
段により、領域を複数設定したときにそれぞれの領域に
対して異なる符号化条件を設定可能に設けられているの
で、画面の状態に応じて必要となる情報を効率的に符号
化処理することができるようになる。

【００３５】請求項２４の発明では、符号化条件設定手
段により、フレーム全体の画像データの変化量が減少し
たときに、変化ブロック検出手段による変化ブロックの
検出に際して用いる判定のしきい値を低くするように変
更設定するので、変化ブロックの個数が多いときや情報
量が多いときにしきい値を高くして変化ブロックの検出
個数を低下させるように制御していた場合などにおいて
は、変化が少なくなってきた状態で余裕度が大きくなっ
たことを条件として、その小さな変化に追随させて変化
ブロックの検出を行なうことができるようになる。これ
により、例えば、フレーム中で動くべき領域の一部分が
張り付いたような状況が発生している場合でもこれを解
消させて自然な画面を提供することができるようにな
る。

【００３６】請求項２５の発明では、符号化条件設定手
段により、フレーム全体の画像データの変化量が減少し
たときに、前記変化ブロック検出手段による変化ブロッ
クの符号化に際して用いる量子化スケールを低くするよ
うに変更設定するので、変化ブロックの個数が多いとき
や情報量が多いときにしきい値を高くして変化ブロック
の検出個数を低下させるように制御していた場合などに
おいては、変化が少なくなってきた状態で余裕度が大き
くなったことを条件として、小さな動きに対してもこれ
に追随させるように量子化スケールを細かく設定するこ
とができるようになる。これにより、例えば、フレーム
中で動くべき領域の一部分が張り付いたような状況が発
生している場合でもこれを解消させて自然な画面を提供
することができるようになる。

【００３７】請求項２６，２７および２８の発明では、
符号化条件設定手段により、上述の場合にフレーム内の
画像データの不変領域や画面全体あるいは特定領域に対
して変更設定を行なうので、このような余裕度の高い状
態の期間を利用して不変領域の更新や画面全体の動きの
向上あるいは特定領域の動きを向上させることができる
ようになる。

【００３８】請求項２９の発明では、符号化条件設定手
段により、フレームにおける画像情報の発生量と送信可
能な伝送容量との関係から必要に応じてフレームサイズ
を変更設定するので、情報の発生量に応じた適切なフレ
ームサイズで符号化処理を行なうことができるようにな
る。

【００３９】請求項３０の発明では、符号化処理手段に
より、フレームサイズを縮小する側に変更設定するとき
には、変更前のフレームの画像データを変更後のフレー
ムの画像データに対応するようにサンプリングすること
により適合させるので、フレームサイズの変更時点で新
たなフレーム内符号化処理を行なう必要がなく、情報発
生量を増大させることなく変更をすることができるよう
になる。

【００４０】請求項３１の発明では、符号化処理手段に
より、フレームサイズを拡大する側に変更設定するとき
には、変更前のフレームの画像データを変更後のフレー
ムの画像データに対応させたときに補間フィルタを利用
して画像データのない画素について隣接する画素の画像
データから補間して画像データを生成するので、フレー
ムサイズの変更時点で新たなフレーム内符号化処理を行
なう必要がなく、情報発生量を増大させることなく変更
をすることができるようになる。

【００４１】請求項３２の発明では、符号化条件設定手
段により、外部から符号化条件を変更設定する入力に対
してこれを無効化させるプロテクト機能を設定できるの
で、使用者がプロテクト機能を設定することにより、使
用者が望まない符号化処理のモードを拒否することがで
き、外部から必要以上の精度の符号化を行なわせること
を阻止してプライバシーの保護を図ることができるよう
になる。

【００４２】請求項３３の発明では、符号化条件設定手
段には、フレームを形成している被写体あるいは用途等
に応じてその付帯状況をあらかじめ決められたコードで
設定するモード条件が記憶されており、符号化処理の際
にモード条件を使用して符号化を行なったときにはその
送信信号にモード条件を指定するコードを付加するの
で、付帯状況を設定することを簡単に行なえると共に、
モード条件設定のための符号化処理の情報量を削減する
ことができるようになる。

【００４３】請求項３４，３５または３６の発明では、
音声情報処理手段により音声情報を符号化して画像情報
と同時に送信し、このとき、画像情報については、符号
化処理手段により、画像情報を符号化して伝送する際の
画像伝送容量を、全体の伝送容量から音声情報の伝送に
割り当てられる音声伝送容量を差し引いた分としてその
範囲内で符号化処理を行なうので、音声情報の伝送を画
像情報のレベルによって妨げられることなく、しかも残
りの伝送容量を画像伝送容量に割り当てることにより、
伝送容量を効率的に利用して画像情報を伝送することが
できるようになる。

【００４４】請求項３７の発明では、容量比設定手段に
より、全体の伝送容量に対して音声伝送容量の比率を設
定することができ、これによって、符号化条件設定手段
においては、容量比設定手段により設定された比率に基
づいて音声伝送容量を設定するようになり、使用者の要
求に応じた音声情報および画像情報の伝送制御を行なう
ことができるようになる。

【００４５】請求項３８の発明では、符号化条件設定手
段により、送信信号を授受する他の装置から全体の伝送
容量に対する音声伝送容量の比率が指定されると、これ
に基づいて音声伝送容量を設定するので、外部から音声
情報や画像情報をモニタする場合などにおいては使用者
の要求に応じた情報を効率的に得ることができきるよう
になる。

【００４６】請求項３９の発明では、音声情報処理手段
により、音声通信に支障を来さない程度に設定される許
容遅延時間の範囲内で、インパルスノイズを識別できる
程度で且つ十分短く設定されるサンプリング時間を単位
としてそのサンプリング時間内で入力される音声信号を
積分してその積分値が音声増大判定のしきい値を超えた
ときに、あらかじめ設定されている伝送量の限度の範囲
内で伝送容量を大きく設定するので、音声情報の発生状
態に敏感に対応して伝送することができると共に、音声
情報の発生量が少ないときには画像情報の伝送容量を大
きくして伝送することができる。

【００４７】請求項４０の発明では、符号化条件設定手
段により、外部から符号化条件を変更設定する入力に対
してこれを無効化させるプロテクト機能を設定すること
ができるので、使用者がプロテクト機能を設定すること
により、使用者が望まない符号化処理のモードを拒否す
ることができ、外部から必要以上の精度の符号化を行な
わせることを阻止してプライバシーの保護を図ることが
できるようになる。

【００４８】請求項４１の発明では、符号化処理手段に
より、フレーム内の複数のブロックをひとつのグループ
として設定される符号化処理ブロックグループの設定パ
ターンをあらかじめ複数種類登録しているので、伝送信
号に符号化処理を行ったときの設定パターンの情報を付
加するだけで効率的に画像情報を伝送することができる
ようになる。また、このとき、符号化処理ブロックグル
ープのパターンをフレーム内の中心部から順に設定した
ものや、特定領域に対応する部分から順次設定したもの
などを選択することにより、伝送信号の最初の部分でフ
レームの要部のブロックデータを伝送することができる
ようになり、効率的な画像情報の伝送を行なうことがで
きるようになる。

【００４９】

【発明の実施の形態】以下、本発明を音声情報および画
像情報を同時に伝送するようにした無線系の通信装置に
適用した場合の一実施例について図面を参照しながら説
明する。図１を参照して本実施例の構成について説明す
る。まず、送信機として機能する符号化器１において、
撮像手段としてのカメラ２は使用者の上半身を撮影する
もので、画像情報をＲＧＢアナログ信号として出力す
る。Ａ／Ｄ変換部３は、カメラ２から与えられるアナロ
グ信号をデジタル信号に変換して出力する。ＲＧＢ／Ｃ
ＩＦ変換部４は、Ａ／Ｄ変換部３から与えられるＲＧＢ
デジタル信号をＣＩＦ（Common Intermediate Format；
共通中間フォーマット）信号に変換して出力する。

【００５０】二次元高速ＤＣＴ（離散コサイン変換）部
５は、ＲＧＢ／ＣＩＦ変換部４からＣＩＦ信号が与えら
れると、変換処理すべきブロックに対して二次元直交変
換の一つである二次元ＤＣＴ（Ｈ．２６１規定の二次元
直交変換に対応している）処理してＤＣＴ係数の信号を
出力する。また、変化ブロック検出手段としての変化領
域抽出部６は、ＲＧＢ／ＣＩＦ変換部４からＣＩＦ信号
が与えられるようになっており、そのＣＩＦ信号に基づ
いて後述するようにして変化ブロックを検出し、その結
果に応じて二次元高速ＤＣＴ部５に対して二次元ＤＣＴ
処理を行なうべき変化ブロックを指定する。

【００５１】量子化部７は、符号化条件設定手段として
の符号化制御部８により量子化スケールＱＳＣが設定さ
れており、二次元高速ＤＣＴ部５から与えられるＤＣＴ
係数の信号を設定されている量子化スケールＱＳＣで直
線量子化変換あるいはデッドゾーン付量子化変換処理を
して例えば９ビットの精度で量子化して出力する。有意
係数属性制御部９は、符号化制御部８から与えられる条
件にしたがって量子化部７から与えられる量子化された
ＤＣＴ係数の信号に対して属性制御を行なって可変長符
号化部１０に出力する。

【００５２】可変長符号化部１０は、ＤＣＴ係数の信号
に対して対応する可変長符号を割り当てて階層結合部１
１を介して変換することによりシンタックスに基づくビ
ットストリームを生成してバッファ１２に出力する。バ
ッファ１２では、信号送信部１３に出力するデータの出
力速度を制御すると共に、内部のデータ量を符号化制御
部８に出力するようになっている。信号送信部１３は、
ＲＳ２３２ｃ通信処理部１４およびデジタル携帯電話機
１５から構成されており、バッファ１２から出力される
ビットストリーム信号をデジタル携帯電話機１５を介し
て無線により伝送する。デジタル携帯電話機１５は、例
えば９６００ｂｐｓ（bit per second）の伝送容量（伝
送レート）に設定されており、音声信号と画像信号がこ
の伝送容量の範囲内で伝送されるようになっている。

【００５３】次に、受信機として機能する復号化器１６
の構成について説明する。信号受信部１７は、デジタル
携帯電話機１８およびＲＳ２３２ｃ通信処理部１９から
構成され、デジタル携帯電話機１８により受信したビッ
トストリーム信号を入力バッファ２０で受け取るように
なっている。パーザ２１は、バッファ２０に蓄積される
データを取り込んでシンタックス解析を行ない可変長復
号化部２２に出力する。可変長復号化部２２は、入力さ
れた信号の可変長符号を復号化して有意係数属性再生部
２３を介して逆量子化部２４に出力する。

【００５４】逆量子化部２４では再構成した量子化出力
９ビットを１２ビットの信号に逆変換して出力する。さ
らに、二次元高速逆ＤＣＴ２５では二次元逆ＤＣＴ処理
を行うことにより８ビットの画素データに戻す。復号化
制御部２６では有意係数属性再生部２３にて復号化した
符号化属性をもとにして逆量子化部２４の制御を行うよ
うになっている。

【００５５】ＣＩＦ／ＲＧＢ変換部２７では、８ビット
の画素データをＣＩＦ形式からＲＧＢ信号に変換し、Ｄ
／Ａ変換部２８を介してアナログ信号に変換して表示器
２９に出力するようになっている。

【００５６】なお、この復号化器１６の構成では、可変
ＧＯＢパターンおよび画像データサイズの適応的変更の
２つの機能を実行するように構成されているが、符号化
器１側でこの機能を実施しない場合には、復号化器１６
の構成を既存規格のものと同等のものを採用することが
できる。

【００５７】次に本実施例の作用について、まず、全体
の流れを図２ないし図６を参照して説明し、さらに詳細
について図７以下を参照して説明する。なお、説明の都
合上、次のように項目別に分けて述べる。（１）符号化
処理の原理の概略説明、（２）符号化処理の全体の流れ
（図２ないし図６参照）、（３）各部処理内容の詳細説
明。

【００５８】（１）符号化処理の原理の概略説明 通常、Ｈ．２６１やＭＰＥＧ規格ではフレーム間符号化
が用いられ、そこでは空間領域のブロック画素値のフレ
ーム間差分に対して二次元ＤＣＴ（二次元離散コサイン
変換）が施される。したがって、復号時にはこの差分デ
ータを復号処理してフレーム間の累積を行うことによ
り、画像を再構成していくことになる。ところが、この
方法ではデジタル無線通信路においてビット誤りが発生
した場合に、Ｈ．２６１やＨ．２６３あるいはＭＰＥＧ
規格のような複雑なシンタックスのプロトコルでは、各
符号語の持つ値が全くもとの値とずれてしまう上に、時
間方向に誤りが伝播してしまうことになる。

【００５９】そこで、本実施例では、データ圧縮度は有
線系で用いる一般的なフレーム間差分の符号化をする場
合ほどには期待できないが、誤りがフレーム内で完結し
てしまうフレーム内符号化（イントラ符号化）のみをブ
ロックベースで適用する構成を採用することにより無線
系に強いものとしているのである。つまり、最初の１フ
レームについては全てのブロックについてフレーム内符
号化であるイントラＤＣＴ符号化を実施し、２フレーム
目以降の符号化処理においては、後述する変化ブロック
の検出によって『変化あり』と判定されたブロックつま
り変化ブロックのみについてイントラＤＣＴ符号化を行
うのである。

【００６０】なお、この方式では、フレーム間差分を符
号化しないので、Ｈ２６１規格での動き補償差分を求め
るループ演算が不要となる。したがって、これによっ
て、動きベクトル検出処理および逆量子化処理のための
構成が不要となると共に、ループフィルタおよび１フレ
ーム分の画素データを記憶するための予測メモリが構成
から不要になる。この結果、主要な演算内容としては、
（ａ）二次元ＤＣＴ処理、（ｂ）量子化処理、（ｃ）可
変長符号化処理、（ｄ）バッファ制御および（ｅ）変化
ブロック検出処理だけとなり、この結果、パソコンのソ
フトウェアを用いた構成で、リアルタイムで動作可能な
程度のレベルの機能ブロック構成とすることができるの
である。

【００６１】（２）符号化処理の全体の流れの説明（図
２ないし図６） 符号化器１は、図２ないし図６に示す概略的な流れを示
すフローチャートにしたがって次のようにして画像情報
を符号化する。まず、符号化器１は、フレーム数を示す
変数ＰＩＣをゼロにクリアし（ステップＳ１）、カメラ
２によって撮影された画像情報を取り込んで（ステップ
Ｓ２）、Ａ／Ｄ変換部３においてデジタル信号に変換し
（ステップＳ３）、この後、ＲＧＢ／ＣＩＦ変換部４に
おいてＲＧＢ／ＣＩＦ変換を行う（ステップＳ４）。

【００６２】続いて、符号化器１は、画像情報の状態観
測のステップＳ５（図３参照），符号化状態と要求の判
定のステップＳ６（図４参照），符号化パラメータ決定
のステップＳ７（図５参照）および符号化演算処理のス
テップＳ８（図６参照）と順次実行し、フレーム番号Ｌ
ＰＩＣが所定の個数ＮＰＩＣに達するまで繰り返し実行
する（ステップＳ９）。以下に、ステップＳ５ないしＳ
９の内容について図３ないし図６を参照して説明する。

【００６３】（Ａ）画像信号の状態観測（図３参照） 符号化器１は、画像情報の状態観測のステップＳ５に進
むと、プログラム（図３参照）にしたがって、シーンの
特徴に応じてＧＯＢパターンの設定を行う（ステップＡ
１）。次に、符号化器１は、２フレーム目以降の場合は
現在フレームの符号化計算を行う前に、前フレームでの
計算結果に基づき、変化ブロック数を計算するために
（ステップＡ３）、まず、画像１フレーム全体の色変化
量，動き量，情報発生量のレベル判定を各々について行
う（ステップＡ４〜６）。

【００６４】なお、このようなレベル判定については別
途に詳述する。また、シーンが変わってから第１番目の
フレームについては強制的に全ブロックについてイント
ラＤＣＴ符号化を行うので、ステップＡ４〜Ａ６の処理
については実施しないようになっている。

【００６５】各フレームにおいてブロック間変化量の定
義に基づいてＭＢＫ（マクロブロック）単位に輝度変化
量，色変化量を計算し（ステップＡ１１，Ａ１２）、デ
フォルト値あるいは前フレームの計算で設定された変化
判定しきい値を基にして変化ブロックの判定を行う（ス
テップＡ１３）。そして、変化ブロックでない場合には
図６に示すステップＳ８の符号化演算処理のステップＤ
８にジャンプし、変化ブロックと判定された場合には、
変化ブロック数のカウンタをインクリメントしてこのプ
ログラムを終了する。

【００６６】（Ｂ）符号化状態と要求の判定（図４参
照） 符号化器１のバッファ１２に溜め込まれた符号化ビット
ストリームのビット数（バッファ量ＢＦ）をチェックす
る（ステップＢ１）。次に、符号化器１は、使用者から
のプロテクト要求の設定状態（ＯＮ／ＯＦＦ）を判定す
る（ステップＢ２）。また、ＡＶ比率に関する要求度Ｒ
ａを相手端末と自己端末の要求値に基づいて判定する
（ステップＢ３）。次に、音声信号の状態を検出して
（ステップＢ４）、無音状態や突発的音声などの検出さ
れた音声信号の状態に応じて音声符号化レートＢＲＡを
決定する（ステップＢ５）。次に、バッファ１２のバッ
ファ量ＢＦと音声符号化レートＢＲＡの値からデータレ
ート余裕度ＡＤＲと目標画像符号化レートＢＲＶ０を決
定する（ステップＢ６）。

【００６７】一方で、動き量ＳＭのレベル判定値ＬＭ，
色変化量ＤＣのレベル判定値ＬＣ，情報発生量のレベル
判定値ＬＩの各々から画像のフレーム間変化量の総合的
なレベル判定値Ｌを計算し（ステップＢ７）、データレ
ート余裕度ＡＤＲのレベル判定値ＬＡＤＲと総合的なレ
ベル判定値Ｌとからテーブル（後述する表１参照）を参
照して符号化パラメータの推奨値を計算する（ステップ
Ｂ８）。

【００６８】（Ｃ）符号化パラメータ決定（図５参照） 次に、符号化パラメータの決定を行う。ここでは、音声
符号化レートＢＲＡと目標画像符号化レートＢＲＶ０と
の値に基づいて、全体の伝送容量である符号化レートＢ
Ｒから画像符号化レートＢＲＶを演算する（ステップＣ
１）。この場合、これらの値の間には、 ＢＲＡ＋ＢＲＶ≦ＢＲ という関係が満たされることが条件となっており、この
条件のもとに画像符号化レートＢＲＶの値が決定される
が、データレート余裕度ＡＤＲはバッファ量ＢＦを監視
した後に決定される。したがって、データレート余裕度
ＡＤＲの値に応じて画像符号化レートＢＲＶは若干修正
を受けることになる。これは、例えば、バッファ量ＢＦ
が平均充足量ＢＦａよりも少なければ、その分だけデー
タレート余裕度ＡＤＲが大きくなるので、画像符号化レ
ートＢＲＶを大きく設定することができるのである。

【００６９】フレームレートと画像サイズは総合判定レ
ベルＬとデータレート余裕度ＡＤＲおよび画像への要求
度ＲＶからテーブル（表３参照）を参照して決定される
（ステップＣ２，Ｃ３）。また、量子化スケールＱＳＣ
は前述のテーブルを参照して決定する（ステップＣ
４）。

【００７０】次に、画面全体の変化ブロック数の判定し
きい値ＮＣＢ＿ＴＨはＤＣＴ有意係数の伝送個数を制御
するが、これは前述の表１を参照して決定する（ステッ
プＣ５）。変化ブロック判定しきい値ＤＴＨも同様に表
１を参照して決定する（ステップＣ６）。また、ブロッ
ク間変化量計算のサンプリング密度はシステム全体のＣ
ＰＵ負荷の現在値のレベル判定結果から決定する（ステ
ップＣ７）。

【００７１】（Ｄ）符号化演算（図６参照） 符号化演算は、上記した（Ａ）〜（Ｃ）で決定された符
号化パラメータを基にしてＨ．２６１／２６３の方式で
行う（ステップＤ１〜Ｄ１４）。なお、この実施例にお
いては、変化ブロックのＭＢＫ属性を強制的にイントラ
（フレーム内符号化）とする以外には特別な処理は含ま
れていない。すなわち、二次元ＤＣＴ処理，量子化処
理，有意係数制御処理，可変長符号化処理を順次行い
（ステップＤ３〜Ｄ６）、続いて、ＭＢＫ属性制御処
理，ＭＢＫ属性符号化処理，ＧＯＢ属性符号化処理，Ｐ
ＩＣ属性符号化処理を順次行ない（ステップＤ８〜Ｄ１
３），この後、ビットストリームの階層結合を行なう
（ステップＤ１４）。

【００７２】（３）各部処理内容の詳細説明 次に、上述した符号化処理の全体の流れの説明で取り上
げた各部の処理内容について詳細に説明する。なお、説
明の項目は次に示すとおりである。

【００７３】［ａ］変化ブロックの検出 ［ａ−１］ブロック間変化量の計算 ［ａ−２］しきい値判定 ［ｂ］符号化と通信状態の判定 ［ｂ−１］データレートの余裕度 ［ｂ−２］動き量の判定 ［ｂ−３］色変化量の判定 ［ｂ−４］情報発生量の判定

【００７４】［ｃ］情報発生量削減のための制御 ［ｃ−１］画面全体の変化量の判定と伝送係数の制御 ［ｃ−２］符号化状態に基づく変化判定しきい値制御 ［ｃ−３］領域に応じた制御 ［ｄ］画像データサイズの適応的変更 ［ｅ］音声データと画像データとの比率に対する要求度
の抽出 ［ｅ−１］連続制御 ［ｅ−２］プロテクト機能 ［ｅ−３］ＡＶ比率の制御に関する優先順序 ［ｅ−４］モード制御

【００７５】［ｆ］パラメータ制御 ［ｆ−１］要求度に基づく符号化レートの決定 ［ｆ−２］遠隔モニタリングモードの符号化パラメータ
の遠隔制御 ［ｆ−３］システム全体のパラメータ制御 ［ｇ］ブロック雑音の除去 ［ｈ］可変ＧＯＢ構造と識別番号の伝送

【００７６】［ａ］変化ブロックの検出 あるアドレスのマクロブロックが前フレームに対してど
れだけ変化したかを以下のようにして判定する。 ［ａ−１］ブロック間変化量の計算 （ア）ブロック間変化量 原画像として入力されたマクロブロック（以下ＭＢＫと
称する）について、１フレーム前のＭＢＫとの間のフレ
ーム間誤差分の絶対値和をＭＢＫ毎に演算する。ここ
で、ＭＢＫは６個のＢＬＫ（ブロック）からなるので、
以下のように総変化量Ｅ（ｎ，ｍ），輝度変化量ＥＬ
（ｎ，ｍ），色変化量ＥＣ（ｎ，ｍ）を定義することが
できる。

【００７７】

【数１】

【００７８】ここで、 Ｅ（ｎ，ｍ）；第ｎフレームの第ｍ番目のＭＢＫについ
て前フレームとの間の総変化量を示す値 ＥＬ（ｎ，ｍ）；第ｎフレームの第ｍ番目のＭＢＫにつ
いて前フレームとの間の輝度変化量を示す値 ＥＣ（ｎ，ｍ）；第ｎフレームの第ｍ番目のＭＢＫにつ
いて前フレームとの間の色変化量を示す値 ＭＢ（ｎ，ｍ，ｋ）；第ｎフレームの第ｍ番目のＭＢＫ
の第ｋ番目のＢＬＫ ｄ（ＢＬＫｉ，ＢＬＫｊ）；ＢＬＫｉとＢＬＫｊとの間
の誤差関数。ここでは画素単位の差分の絶対値和を計算
する。

【００７９】ＢＬＫｉ ；ｉ番目のブロック画素 α ；色情報の誤差の荷重係数

【００８０】（イ）計算の簡略化 上述したｄ（ＢＬＫｉ，ＢＬＫｊ）の計算において、ブ
ロック内画素のすべてについて差分を演算するのではな
く、例えば、図７に示すように、サンプリングした画素
についてのみ変化量計算の対象とすることができる。同
図（ａ）はＢＬＫ内の全ての画素（８×８＝６４個）に
ついて計算を行なう場合を示し、同図（ｂ）はＢＬＫ内
の画素を１個置きにサンプリングする（４×８＝３２
個、全画素の１／２）場合を示し、同図（ｃ）はＢＬＫ
内の画素を１列置き且つ１個置きにサンプリングする
（４×４＝１６個、全画素の１／４）場合を示してい
る。

【００８１】（ウ）簡易動ベクトル検出 上述の（イ）と同様にして、ブロック内画素をサンプリ
ングすることにより、ブロックマッチング法の演算量を
削減できるので、動ベクトル検出の演算量も削減するこ
とができる。

【００８２】（エ）変化量域・注視領域に限定した動き
検出の実行 符号化対象領域を信号変化条件やモデル条件、注視条件
の適用などにより特定領域に限定することができる場合
には、その限定された領域内でのみ動き検出を実行する
ことにより、演算量を削減することができる。

【００８３】［ａ−２］しきい値判定 ここでは、あるしきい値ＤＴＨによってＥ（ｎ，ｍ）を
判定し、例えば、以下のようにして前フレームに対して
変化があったか否かを判定する。

【００８４】 case１）Ｅ（ｎ，ｍ）≧ＤＴＨのとき →変化があったと判定し、イントラ符号化を開始する。 case２）Ｅ（ｎ，ｍ）＜ＤＴＨのとき →変化はないと判定し、符号化を行わない。

【００８５】上述の内容は、例えば、実験によると、デ
ータレートが９．６ｋｂｐｓの場合に、ＣＩＦ画像に対
して、量子化スケールパラメータＱＳＣＡＬＥを２０
（量子化ステップ＝４０）、変化検出しきい値ＤＴＨを
２０００程度に設定することで比較的良好な準動画像伝
送を行うことができる。

【００８６】［ｂ］符号化と通信状態の判定 ［ｂ−１］データレートの余裕度ＡＤＲ （ア）定義 超低レート通信では、人物像など動く対象物を符号化す
る場合に通信データレート（伝送容量）に余裕が発生す
ることはあまりないが、人物が不在の状態や遠隔モニタ
リングなどの場合には変化があまり発生しないことか
ら、データレートに余裕ができることがある。このよう
なデータレート余裕度ＡＤＲを次式のように定義づける
ことにする。

【００８７】ＡＤＲ＝（画像通信レート）−（前フレー
ムの符号化情報量） これは符号化器出力バッファ１２のバッファ量ＢＦの増
減に対応したバッファ余裕度を検出することで代用する
こともできるものである。

【００８８】（イ）画像通信レートの動的適用制御 画像通信レート（画像伝送容量）は後述するＡＶ比率の
要求度と現在の音声通信データ量に応じて時々刻々と変
化させることができる。したがって、音声通信データが
少ないと判断したときは要求度で初期設定した通信レー
トを変更して画像通信レートを拡大させることができる
モードを設定する。

【００８９】（ウ）音声データの急増に対する迅速な対
応 上記のような方法で音声通信レート（音声伝送容量）を
縮小した場合、突発的な音声データ増大に迅速に対応す
るには、画像符号化器１の出力停止、画像符号化器出力
バッファ１２の送出停止、ＡＶレート設定の初期値（要
求度から決定した値）への復帰を実行する。音声データ
増大の検出には、音声通信に支障のない最大遅延時間Ｔ
Ａｄｅｌａｙに対して十分小さい時間Ｔとしてインパル
ス雑音と十分識別が可能な程度の時間幅として設定し、
その時間Ｔ内での音声信号の積分値ＩＡを計算してある
しきい値以上になったときに音声データの増大であると
判定するようにしたものである。

【００９０】（エ）動作フローチャートの説明 上述した（イ）および（ウ）での音声データ発生量の増
減に対する画像データレートの適応制御では、図８に示
すプログラムのフローチャートにしたがって制御を行な
う。

【００９１】まず、突発的な音声データの増大があるか
否かを検出する（ステップＴ１，Ｔ２）。ここでは、上
述したごとく、サンプリングの時間Ｔ内での音声信号の
積分値ＩＡを計算して（ステップＴ１）、その積分値Ｉ
Ａがあるしきい値以上になったときに有意の変化が生じ
たとしてこれをもって音声データの増大であると判定す
る（ステップＴ２）。

【００９２】次に、判定結果から音声データの増大が検
出されない場合、つまり無音状態の場合には、音声符号
化レートを低減して（ステップＴ５）、代わりに画像符
号化レートを増大させる（ステップＴ６）。一方、突発
的な音声データの増大が検出された場合には、画像符号
化の演算を停止する（ステップＴ７）と共に画像データ
の送出を停止し（ステップＴ８）、適応制御をしていた
音声符号化レート，画像符号化レート（ＡＶレート）を
使用者の要求度に基づいて設定した初期値に戻す（ステ
ップＴ９）。また、無音状態ではないが、突発的な音声
データの増大でもない状態であるときには、音声符号化
レートは変更せず従前の状態を保持するようになってい
る。

【００９３】［ｂ−２］動き量の判定 動き量の判定については、次の２つの場合について総動
き量を演算する方法について説明する。なお、動き検出
を行なわない場合（ア）および動き検出を行なう場合
（イ）の違いは、動き検出を行なう方が正確な動き量を
判定できる反面、動き検出を行なうことによる演算量の
大幅な増大となる点で、これらは、制御部を構成するＣ
ＰＵの処理能力に応じて、リアルタイムで処理する場合
の大きな負担とならない場合には動き検出を行なう方を
採用することができる。

【００９４】（ア）動き検出を行わない場合 変化ブロックの重心計算を行い、１フレーム前に対する
その動きベクトルの大きさを重心動ベクトルｖｇとす
る。この重心動ベクトルｖｇを変化ブロック数ＮＣＢだ
け乗じた値を総動き量ＳＭとする。これらは次式のよう
に示される。

【００９５】

【数２】

【００９６】ここで、 ＮＭＢ；フレーム内のＭＢＫ数 ＩＧ（ｎ）；第ｎフレームにおける対象領域重心座標の
水平成分 ＪＧ（ｎ）；第ｎフレームにおける対象領域重心座標の
垂直成分

【００９７】（イ）動き検出を行う場合 フレーム内の全てのマクロブロックの前フレームに対す
る動きベクトルの大きさを計算し、得られた動きベクト
ルの大きさの総和を求めてこれを総動き量ＳＭとするも
ので、次式で示される。

【００９８】

【数３】

【００９９】上述のようにして得られる総動き量ＳＭか
ら、あらかじめ設定されている複数のしきい値を用いて
複数段階のレベルに判定してレベル判定値ＬＭを得る。
この動き量のレベル判定値ＬＭは後述する符号化制御に
おいて用いられるようになっている。

【０１００】［ｂ−３］色変化量の判定 変化ブロック検出で演算した変化量のうちで、色ブロッ
クのみについての変化量を画面全体で合計して、総色変
化量ＤＣを演算する。これは次式のように示される。

【０１０１】

【数４】

【０１０２】ここで、 ＤＣ（ｎ）；第ｎフレームの総色変化量 ＮＭＢＫ ；１フレーム中のＭＢＫ個数（ＣＩＦ形式の
画像では２２×１８＝３９６個である） ＥＣ（ｎ，ｍ）；第ｎフレームの第ｍ番目のＭＢＫにつ
いて前フレームとの間の色変化量 このＤＣ（ｎ）をいくつかの設定しきい値によりレベル
判定し、これをレベル判定値ＬＣとする。

【０１０３】［ｂ−４］情報発生量の判定 １フレーム前の画面全体の情報発生量をいくつかの設定
しきい値によりレベル判定する。この判定結果をレベル
判定値ＬＩとする。ＬＩは以下の因果関係で定められ
る。 ＲＡ→［Ｒｖ，ＡＤＲ］→ＬＩ これは、音声要求度Ｒａが設定されることによって、全
体の符号化レートの容量に対して画像要求度Ｒｖが決ま
り、この画像要求度Ｒｖとデータレート余裕度ＡＤＲと
の関係から許容される情報発生量のレベル判定値ＬＩが
定められる。

【０１０４】［ｃ］情報発生量削減のための制御 ［ｃ−１］画面全体の変化量の判定と伝送係数の制御 上述したしきい値判定の結果として得られた変化ブロッ
ク個数に基づいて、画面全体の変化度を判定する。これ
を用いて、例えば、以下のようにＤＣＴ係数の伝送を制
御する。

【０１０５】 case１）ＮＣＢ≧ＮＣＢ＿ＴＨ１のとき →変化ブロックのＤＣＴ有意係数のうち、ＤＣ成分のみ
を伝送する case２）ＮＣＢ＿ＴＨ１＞ＮＣＢ≧ＮＣＢ＿ＴＨ２のと
き →注視領域以外の変化ブロックはＤＣ成分のみ伝送する case３）ＮＣＢ＿ＴＨ２＞ＮＣＢのとき →変化ブロックの有意係数をすべて伝送する

【０１０６】ただし、 ＮＣＢ；１画面における変化ブロック個数 ＮＣＢ＿ＴＨｉ（ｉ＝１，２，…）；判定しきい値（デ
ータレート余裕度や使用モードによって可変） である。

【０１０７】［ｃ−２］符号化状態に基づく変化判定し
きい値制御 動き量判定レベルＬＭ、色変化量判定レベルＬＣ、情報
発生量判定レベルＬＩ、データレート余裕度の判定レベ
ルＬＡＤＲから変化領域判定しきい値ＤＴＨおよび量子
化スケールＱＳＣを動的に決定する。すなわち、 ［ＬＭ，ＬＣ，ＬＩ，ＬＡＤＲ］→［ＤＴＨ，ＱＳＣ，
ＮＣＢ＿ＴＨ］ とする。この場合、各レベル判定値のうちＬＭ，ＬＣ，
ＬＩについては、具体的には、例えば、次式を用いて、
総合判定レベルＬを演算してその結果に基づいて決定を
行なう。

【０１０８】

【数５】

【０１０９】したがって、総合判定レベルＬとデータレ
ート余裕度ＬＡＤＲとの組み合わせから、変化領域判定
しきい値ＤＴＨ，量子化スケールＱＳＣ，画面全体の変
化判定しきい値ＮＣＢ＿ＴＨを決定する。したがって、 ［Ｌ，ＬＡＤＲ］→［ＤＴＨ，ＱＳＣ，ＮＣＢ＿ＴＨ］ を考えると、ＬおよびＬＡＤＲがそれぞれ０〜３の４段
階の値をとる場合には、次の表１のような制御例を採用
することができる。

【０１１０】

【表１】

【０１１１】［ｃ−３］領域に応じた制御 （ア）領域の設定 領域の自動設定 注視領域、動きや色のクラスタリング等の手法により複
数個の領域を設定する。この手法についてはいくつかの
方法が考えられるが、本実施例では採用していないの
で、その可能性を述べるのみにとどめてここでは言及し
ない。

【０１１２】マニュアル設定 たとえば、以下に示すような種々の設定方法があり、い
ずれか一方あるいは両方を採用して設定に用いることが
できる。

【０１１３】i ）送信側でユーザがモニタ画像を見なが
ら送信するシーンについて設定する方法。 ii）受信側でユーザが受信画像を見ながら送信側のシー
ンについて設定する方法。

【０１１４】（イ）複数個の領域の記述 上記で設定した複数個の領域をその重心と領域の幅によ
り記述する。例えば、ライン方向に並行な矩形領域を記
述する場合、以下の表２のようになる。ここではＣＩＦ
形式のマクロブロックを単位として記述している。

【０１１５】

【表２】

【０１１６】上述の場合に、領域のカテゴリに関して
は、前述したようなマニュアル設定では人間の介在によ
り決定することができる。また、自動設定に関してもい
くつかの方法が考えられるが、ここでは省略する。

【０１１７】（ウ）領域のモニタリング 固定領域のモニタリング 領域の重心と大きさが決まれば、二次元の固定された窓
としてモニタリングができる。この場合、この窓内の画
像領域は優先的に情報量を割り当てることにより、高画
質や更新速度の高い動画として再生させることができ
る。

【０１１８】動領域のトラッキング 最初に設定した領域重心と大きさを固定化するのではな
く、自動設定に用いた手法やフレーム相関（例えば動き
検出など）により、領域内に映った対象物の動きに基づ
いてトラッキングしていくことができる。これは、対象
物や対象人物の三次元形状をモデル化して登録すると共
にその動きについて推定されるものを予測するモデルベ
ース三次元運動推定に用いた移動体領域抽出手法などに
よって実現できる。

【０１１９】領域情報の伝送 前述のように定義した領域情報（領域番号、重心、水平
幅、垂直幅）とその領域内の画像情報のみを伝送するこ
とにより、必要な領域に絞った符号化処理を行なうこと
ができ、効率的に情報発生量を削減することができる。

【０１２０】領域のプライオリティ 複数の領域を指定する場合には、情報量を割り当てる場
合にプライオリティ（優先順位）をつける。ここで、領
域番号は画像伝送上、重要と思われる領域から順番につ
ける。ただし、背景の領域番号は０とする。プライオリ
ティの変更については変更を示すフラグと変更情報のみ
を送る。変更情報は例えば、複数の領域に対応して順番
を番号により設定して送る。 （３４２１）→この場合には、領域３を最優先、領域４
を２番目、領域２を３番目、領域１を４番目に伝送する
ことを示す。

【０１２１】（エ）領域別しきい値設定 プライオリティに応じて変化判定しきい値ＤＴＨを自動
設定する。例えば、ＤＴＨ０〜ＤＴＨ３の順番に、 ［１０００，１５００，２０００，２５００］ のように設定する。あるいは個別に領域毎の変化判定し
きい値ＤＴＨを設定することもできる。

【０１２２】（オ）設定しきい値の適応的変更 画像内容の急激な変化（シーンチェンジ、移動物の出現
／消失など）が終息し、画面全体の変化量が少なくなる
と、データレート余裕度ＡＤＲも高くなる。このとき、
画質を向上させるためには以下のような方法が考えられ
る。

【０１２３】不変領域の変化判定しきい値ＤＴＨを下
げる〈不変領域の更新〉 画面全体の変化判定しきい値ＤＴＨを下げる〈画面全
体の動き向上〉 注視領域に対してのみ変化判定しきい値ＤＴＨを下げ
る〈注視部分の動き向上〉 特に、は事前に変化判定しきい値ＤＴＨを上げ過ぎた
場合におこる画像劣化現象への対処である。例えば、カ
メラの前に手をかざした場合、一度は画面全体が肌色に
切換わるが、その後、手をのけても変化判定しきい値Ｄ
ＴＨを超えないブロックが存在するときには、壁等の背
景に手の一部が不変領域として張付いたように残るとい
う状況が発生する。

【０１２４】また、については、あまり下げ過ぎる
と、ほんのわずかな輝度のむらや色相変化により変化ブ
ロックが急増するため、逆にフレームレートが低くなっ
てしまうという現象が起きてしまう。

【０１２５】一方、量子化スケールＱＳＣについては、
次のような方法が考えられる。 不変領域の量子化スケールＱＳＣを下げる〈不変領域
の画質向上〉 画面全体の量子化スケールＱＳＣを下げる〈画面全体
の画質向上〉 注視領域に対してのみ量子化スケールＱＳＣを下げる
〈注視部分の画質向上〉

【０１２６】図９は、以上の制御内容についての流れを
示すフローチャートである。なお、ここで変化判定しき
い値ＤＴＨ０〜ＤＴＨ３および量子化スケールＱＳＣ０
〜ＱＳＣ３の設定条件は次のようになっている。 データレート余裕度ＡＤＲ上昇の場合 ＤＴＨ０≧ＤＴＨ３≧ＤＴＨ２≧ＤＴＨ１ ＱＳＣ０≧ＱＳＣ３≧ＱＳＣ２≧ＱＳＣ１ データレート余裕度ＡＤＲ上昇の場合 ＤＴＨ３≧ＤＴＨ２≧ＤＴＨ１≧ＤＴＨ０ ＱＳＣ３≧ＱＳＣ２≧ＱＳＣ１≧ＱＳＣ０

【０１２７】符号化器１は、変化判定しきい値ＤＴＨお
よび量子化スケールＱＳＣの初期値ＤＴＨ０，ＱＳＣ０
が設定された状態で（ステップＰ１）、データレート余
裕度ＡＤＲが変化したか否かを監視する（ステップＰ
２）。そして、データレート余裕度ＡＤＲの値が変化し
た場合には、領域別適応化を行なわないときには（ステ
ップＰ３）、前述したようにテーブル（表１）を参照し
て変化判定しきい値ＤＴＨおよび量子化スケールＱＳＣ
を変更設定する（ステップＰ４）。

【０１２８】また、領域別適応化を行なう場合には、注
視領域優先モードであるか否かを判定し（ステップＰ
５）、「ＹＥＳ」の場合には注視領域の変化判定しきい
値ＤＴＨをＤＴＨ１に変更設定し（ステップＰ６）、量
子化スケールＱＳＣをＱＳＣ１に変更設定する（ステッ
プＰ７）。

【０１２９】そして、注視領域優先モードに設定されて
いる場合には、注視領域の変化判定しきい値をＤＴＨ２
に、不変表示領域の変化判定しきい値をＤＴＨ３に設定
すると共に（ステップＰ８，Ｐ９）、注視領域の量子化
スケールをＱＳＣ２に、不変表示領域の量子化スケール
をＱＳＣ３に設定する（ステップＰ１０，Ｐ１１）。こ
の後、変化判定しきい値の最低値ＤＴＨｍｉｎを超える
有意変化ブロックが有るか否かに応じて（ステップＰ１
２）、「ＹＥＳ」の場合には有意変化ブロックの変化判
定しきい値をＤＴＨ２に設定し（ステップＰ１３）、そ
うでないときには終了する。

【０１３０】［ｄ］画像データサイズの適応的変更 上述と同様に、動き量判定レベルＬＭ、色変化量判定レ
ベルＬＣ、変化ブロック数ＮＣＢ、データレート余裕度
ＡＤＲの判定レベルＬＡＤＲの総合的判定に加えて、画
像要求度ＲＶのレベルＬＲＶ（後述する）も考慮して画
像データサイズの適応的変更を行うことができる。

【０１３１】ここで、画像データサイズは、通常のＣＩ
Ｆに加えて、ＱＣＩＦ、ＳＱＣＩＦについて設定可能な
場合を想定している。そして、例えば、 ［Ｌ，ＬＡＤＲ，ＬＲＶ］→［ＳＱＣＩＦ／ＱＣＩＦ／
ＣＩＦ］ の参照テーブルを考える場合には、ＬおよびＬＡＤＲ，
ＬＲＶが０〜３の４段階の値をとるとすると、次の表３
のように制御内容を設定することができる。

【０１３２】

【表３】

【０１３３】上述の画像データサイズの変更を行なう場
合に、変更直後のフレームに対してイントラ符号化を行
なったイントラフレームを介さずに、連続的にフレーム
間のサイズ変更を行なうことができる。拡大変更と縮小
変更の両者についてそれぞれ以下のように実現すること
ができる。

【０１３４】（ア）ＣＩＦ→ＱＣＩＦ ＣＩＦ／ＱＣＩＦダウンサンプリングの駆動により、時
刻ｔ（ｎ−１）のＣＩＦ符号化フレーム（フレームメモ
リに格納されている）をＱＣＩＦに変換する。このＱＣ
ＩＦに対して時刻ｔ（ｎ）のＱＣＩＦベースのフレーム
間符号化を行う。デコーダ側ではピクチャヘッダ中のＱ
ＣＩＦ指示フラグにより、ダウンサンプリングを駆動す
る。

【０１３５】（イ）ＱＣＩＦ→ＣＩＦ ＱＣＩＦ／ＣＩＦ双一次補間フィルタの駆動により、時
刻ｔ（ｎ−１）のＱＣＩＦ符号化フレーム（フレームメ
モリに格納されている）をＣＩＦに変換する。このＣＩ
Ｆに対して時刻ｔ（ｎ）のＣＩＦベースのフレーム間符
号化を行う。デコーダ側ではピクチャヘッダ中のＣＩＦ
指示フラグにより、補間フィルタを駆動する。なお、こ
の補間フィルタについてはサイズ間の切換えを行なう場
合に対応して推奨されているものがある。

【０１３６】以上の方法により、イントラフレームを差
し挟まなくともサイズ変更を実現することができるよう
になるので、符号化器１側で情報量を極端に増大させる
ことなくフレームレートを維持することができるように
なる。

【０１３７】［ｅ］音声データと画像データとの比率に
対する要求度の抽出 ヒューマンインターフェイスを簡略化するために、通信
品質への要求を表現する場合において、必要な最低限の
制御入力手段を以下に示す一次元尺度で考慮する。すな
わち、音声比率に対する要求度Ｒａとして、 Ｒａｉｊ ；端末ｉで設定する端末ｊの符号化器の音声
比率への要求度 として示す。

【０１３８】［ｅ−１］連続制御 図１０に示すように、音声（Ａ）と映像（Ｖ）との間の
比率（ＡＶ比率）を指定するつまみ２９を表示装置２９
の前面部に設ける。これは、使用者によってスライド操
作することにより比率を設定可能に設けられるもので、
今、つまみ２９ａの示す値Ｔが０から１まで変化すると
き、 Ｒａｉｊ＝Ｔ ；データ全体に占める音声データ
の割合 Ｒｖｉｊ＝１−Ｔ ；データ全体に占める映像データ
の割合 となる。これにより、 モード制御 変化検出しきい値の変更（ＤＴＨ） 量子化スケールの変更（ＱＳＣＡＬＥ） を行う。

【０１３９】［ｅ−２］プロテクト機能 通信におけるプライバシ保護のため、自分の端末（端末
１）の伝送品質を相手端末（端末２）に操作させる際に
は必ず使用者の許可を必要とするようにプロテクト機能
を設けている。具体的には、図１１にも示すように、モ
ード設定用スイッチによるプロテクトＯＮ／ＯＦＦで実
現する。通常の対話モードにおいては、プロテクトＯＦ
Ｆの場合は、種々の音声および画像パラメータについて
手動で設定するマニュアルモードと次項に示すように自
己端末（端末１）と相手端末（端末２）との両者の要求
度に基づいて決定される自動設定モードがある。また、
上述の趣旨から、プロテクトＯＮの場合は相手端末（端
末２）から設定される要求を一切受け付けないようにな
っている。

【０１４０】［ｅ−３］ＡＶ比率の制御に関する優先順
序 上記プロテクト機能がＯＦＦされた場合には、１対１の
通信の場合においては、Ｒａｉｊの定義から端末１にお
いて以下の２つの要求度が発生して競合することにな
る。

【０１４１】Ｒａ１１；自分の端末（端末１）の音声符
号化器に対する要求度 Ｒａ２１；相手の端末（端末２）から自分の端末１の音
声符号化器に対して発生する要求度 上述の場合に、一般的には、背景情報についてユーザが
持つ可制御性は音声情報よりも映像情報の方が低いと推
察されるから、音声に比べて映像の方が自分の端末から
送る際の可制御性を高める必要があると考えて次のよう
な決定規則を設定する。

【０１４２】ＲＡ１＝ｍａｘ［Ｒａ１１，Ｒａ２１］ ＲＡ１ ；端末ｉの音声符号化器に送る最終的な要求度 これは、コミュニケーションとしての電話機能を最低限
満足するためには聞き手の音声品質に対する要求を満た
すことが必須であることにも対応している。

【０１４３】［ｅ−４］モード制御 被写体、用途などに応じたモード制御は、例えば、画像
の付帯状況として使用環境や被写体あるいは用途などに
応じて、符号化器１と復号化器１６との間であらかじめ
取り決められた符号化条件を備えており、それら各モー
ドに対応して付されるコードをビットストリームデータ
に付加することにより、発生する情報量を大幅に削減さ
せることができる。

【０１４４】ここで、設定可能なモードとしては、次の
ようなものが考えられている。例えば、使用環境に対応
するモードとしては、屋内，屋外，あるいは自動車の
中、さらには、それらの環境の中で固定モードか可動モ
ードか等がある。また、被写体のモードとしては、人
物，風景，静止物体あるいは図面，文字などのモードが
あり、さらには人物のモードにおいては、頭部，上半
身，全身あるいは複数人物などの様々なモードが考えら
れる。

【０１４５】さらには、符号化制御に関するモードとし
ては、画像中心優先モード，対象領域優先モード，動き
優先モード，準動画モード，静止画モード，モデルベー
ス予測モードなどの様々なモードがあるが、ここではモ
ードの例を概略的に述べるにとどめる。

【０１４６】［ｆ］パラメータ制御 ［ｆ−１］要求度に基づく符号化レートの決定 要求度に基づく符号化レートの決定画像要求度とデータ
レート余裕度とから符号化レートを決定する。すなわ
ち、 ［ＲＶ，ＡＤＲ］→［ＢＲＡ，ＢＲＶ］ ＢＲＡ；音声符号化レート ＢＲＶ；画像符号化レート この目標に基づき、量子化スケール（ＱＳＣＡＬＥ）と
変化検出しきい値（ＤＴＨ）の２つを既に記載した方法
で変化させることで画像データ量を調整し、ＡＶ比率を
制御する。

【０１４７】［ｆ−２］遠隔モニタリングモードの符号
化パラメータの遠隔制御 前述した音声要求度を決定した場合と同様にして、符号
化パラメータの各値を設定する際にも自己の端末に対す
る制御値を優先するようなプロテクト機能を設ける。

【０１４８】このような遠隔モニタリングモードにおい
ては、前述したようなプロテクト機能をＯＮさせて実行
することにより、次のような効果を得ることができる。
すなわち、通常の遠隔モニタリングモードにおいては、
プロテクト機能をＯＦＦにしている場合には、自己の端
末（端末１）側で、相手端末（端末２）から送信される
細かい符号化制御パラメータのセット（領域情報，量子
化スケール，各種しきい値など）を受け取ることができ
るようになっているのに対して、プロテクト機能をＯＮ
に設定することによりこれらのパラメータセットの受付
を却下することになり、パラメータの変更設定を禁止し
た状態つまり、同一条件で符号化を行なうように保持し
てモニタリングを継続することになる。

【０１４９】［ｆ−３］システム全体のパラメータ制御 以上のパラメータ決定関係を総合すると図１２に表すこ
とができる。すなわち、符号化パラメータの決定の要因
として、画像により発生する情報量があり、これには動
き量ＳＭ，色変化量ＤＣ，変化ブロック数ＮＢＣ，１フ
レーム前の情報発生量ＬＩ，バッファ量（データレート
余裕度ＡＤＲ）などの要素があり、これらのレベルを判
定した結果から画像関係の情報発生レベルを考慮し、一
方で、音声に関する要求度Ｒａ，音声信号の発生状況な
どから画像情報の符号化レートＢＲＶが決まり、これに
よってそのときのフレームの符号化パラメータを対応づ
けて決定する。

【０１５０】決定する符号化パラメータの要素として
は、前述したように、画像符号化レートＢＲＶ，量子化
スケールＱＳＣ，変化ブロック判定しきい値ＤＴＨ，画
像データサイズＣＩＦ／ＱＣＩＦ／ＳＱＣＩＦ，ブロッ
ク間変化量のサンプリング密度ＳＤ，画面全体の変化判
定ブロック数のしきい値ＮＣＢ＿ＴＨなどがある。

【０１５１】そして、このようにして決定された符号化
パラメータに基づいて符号化処理の演算が実行される。
また、このような符号化の状態は常時観測されており、
次回以降の符号化パラメータ決定に際して利用されるよ
うになっている。

【０１５２】［ｇ］ブロック雑音の除去 ブロック雑音の除去のために図１３のようにしてポスト
フィルタを用いる。これは、復号化器１６側において復
号処理を行なって画像を再生する場合に、ブロック単位
で再生を行なう際に、ＤＣＴ係数の送信レベルを制御す
ることにより、隣接するブロック間での輝度や色信号の
変動が雑音として悪影響を与えるのを除去あるいはその
影響力を緩和するためのものである。

【０１５３】実際には、例えば、図１３（ａ）のように
再生されたＭＢＫ（マクロブロック）間のラインに沿っ
てポストフィルタを用いてＢＬＫ雑音除去処理を行な
う。このＢＬＫ雑音除去処理では、同図（ｂ）に示すよ
うに、ＢＬＫ境界に沿って並ぶ画素のデータに対して、
隣接する８個の画素のデータを利用して重み付けを行な
って加算演算することにより変換して周囲の画素のデー
タとの中間的な画素データとなるように変換するもので
ある。この場合においては、例えば、自己の画素データ
を４，隣接する画素データを２，斜めに隣接する画素デ
ータを１の割合で重み付けして加算することにより変換
処理を施す。

【０１５４】［ｈ］可変ＧＯＢ構造と識別番号の伝送 符号化器１および復号化器１６の両者に、あらかじめ定
義した共通のＧＯＢパターンとそのＩＤコードを記憶し
ておき、符号化器１で用いたＧＯＢパターンのＩＤコー
ドのみを画像圧縮データに付加して既存プロトコル
（Ｈ．２６１やＨ．２６３あるいはＭＰＥＧ等）におけ
るユーザデータエリアなどを利用して伝送する。

【０１５５】可変ＧＯＢパターンとしては、例えば、図
１４および図１５に示すようなものが考えられる。すな
わち、図１４（ａ），（ｂ）では一般的なＨ．２６１規
格，Ｈ．２６３規格にしたがったＧＯＢパターンを示
し、同図（ｃ），（ｄ）および図１５（ａ）では変形さ
せたＧＯＢパターンを採用している。

【０１５６】変形ＧＯＢ（その１）では、マクロブロッ
クを４×４個まとめて１つのＧＯＢ単位を構成して画面
に並べたパターンであり、変形ＧＯＢ（その２）では、
画面中央にマクロブロックを４×８個配置すると共に、
その外周に隣接するマクロブロックを順次ＧＯＢの単位
として配置したものである。また、変形ＧＯＢ（その
３）においては、所定のパターンに区切った変形ＧＯＢ
を配置している。図１５（ｂ）では、指定領域をＧＯＢ
として設定しており、同図（ｃ），（ｄ）では、ＱＣＩ
Ｆ，ＳＱＣＩＦを埋込んで配置したＧＯＢパターンとし
ている。

【０１５７】さて、このようにＧＯＢパターンを設定し
ておくことにより、復号化器１６は送られてきた圧縮ビ
ットストリームをＧＯＢ単位で通常の画像復号プロトコ
ルによって解凍した後に、ユーザデータエリアなどに格
納されたＧＯＢパターンのＩＤコードをもとにＧＯＢパ
ターンデータベースから該当するＧＯＢパターンを選択
して、あらかじめ取り決められたＧＯＢ番号とＧＯＢ中
のマクロブロック数に基づいて、復号したＧＯＢデータ
を配置する。この方式によって、例えば、従来の画像の
ように左上部分から右下に向かう水平スキャンによる画
一的なＧＯＢ構造に比べて、画像内容に則したＧＯＢ間
のプライオリティを付けることができるようになる。

【０１５８】例えば、「変形ＧＯＢパターンその２」
（図１４（ｄ）参照）では、画面中央の中心部分から先
に伝送するので、伝送線路に誤りが混入して再送を繰り
返すといった場合でも、重要な画像部分だけは統計的に
少ない遅延時間で速く送ることができる。また、「変形
ＧＯＢパターンその３」（図１５（ａ）参照）では、略
人物正面像に近い形状でＧＯＢを区切ることができるよ
うにしているので、ＧＯＢ単位での効率的な符号割り当
てを可能にしている。

【０１５９】また「ＱＣＩＦ埋込」（同図（ｃ）参照）
では、伝送レート内の画像に割り当てる符号レートが少
なくなっても重要部分を良好な画質で且つ動きのある画
像として見たいという場合に対応して、中央のＱＣＩＦ
のみの符号化への移行を簡単に行なうことができるよう
になる。なお、複数指定領域をＧＯＢとする場合は、パ
ターン識別番号のみでは不十分となるので、前述した
［ｃ−３］の領域に応じた制御の項で述べた領域の記述
と伝送方法を用いることが必要になる。

【０１６０】ここで、指定領域外の背景画像部分をどの
ようにＧＯＢとして区分けするかという問題が生ずる
が、このような場合に対応した規則を符号化器１と復号
化器１６との両者の間で同じ内容として規定して記憶し
ておけば、特に新しい区分け情報を伝送する必要はなく
なる。

【０１６１】このような本実施例によれば、次のような
効果を得ることができる。すなわち、第１に、変化領域
抽出部６により、そのフレーム内のマクロブロックのう
ちの変化ブロックを検出してその変化ブロックについて
のみフレーム内符号化処理を行なうので、携帯電話機の
ような限られた伝送容量（例えば、９６００ｂｐｓ）の
範囲内で変化が生じている領域についての情報を有効に
伝送することができると共に、伝送誤りに強い画像再生
を行なえて、無線系にも強い動画像伝送を行なえる。

【０１６２】さらに、フレーム内符号化を行なうので、
一般的な動画像圧縮の場合と異なり、前フレームに対す
る差分を演算したり動き補償差分符号化の演算ループな
どの構成が不要となり、その分だけ演算処理量を大幅に
削減することができて、例えば、パソコンなどの処理に
よっても十分に対応でき、携帯用情報端末を用いた画像
伝送を行うことができるようになる。

【０１６３】また、符号化条件設定手段としての符号化
制御部８により、変化ブロックについての符号化を行な
う際に、変化ブロックの発生量や変化量等のデータに応
じて符号化処理の条件を伝送容量の範囲内で変更して必
要な情報を取捨選択してより良質な動画像を伝送するこ
とができるようになる。

【０１６４】第２に、符号化制御部８において、変化ブ
ロックにより発生する情報発生量を、動き量，色変化
量，変化ブロック個数，データレートの余裕度，音声符
号化レートなどから符号化パラメータを決定するので、
画像の変化に応じて弾力的に符号化条件の変更設定を行
なうことができる。

【０１６５】第３に、上述のように情報発生量およびデ
ータレートの余裕度の変化に基づいて、符号化パラメー
タとして、画像符号化レート，量子化スケール，変化ブ
ロック判定しきい値，画像データサイズ，ブロック間変
化量計算のサンプリング密度あるいは画面全体の変化判
定のブロック数のしきい値を変更設定するので、符号化
処理に際して有効な符号化を行なうことができるように
なる。

【０１６６】第４に、音声情報を同時に伝送する場合
に、その音声情報の発生状況に応じて画像情報の伝送容
量を求めて、符号化条件を適応的に変更設定するので、
限られた伝送容量の中で、画像情報を効率的に送信して
使用者が必要とする領域を精度良く再生することができ
る。

【０１６７】第５に、音声情報の突発的増大を検出して
画像情報の送信を弾力的に制限するので、音声情報の送
信を優先しながら、音声情報が少ないときに画像情報を
精度良く送信することができるようになる。

【０１６８】第６に、音声情報の符号化要求度を設定可
能にしたので、画像情報に対して音声情報を優先しなが
ら伝送容量の範囲で画像情報を有効に利用して送信する
ことができるようになる。

【０１６９】第７に、プロテクト機能を設けたので、外
部からの符号化要求度設定に対してプライバシーの保護
を図ることもできる。

【０１７０】本発明は、上記実施例にのみ限定されるも
のではなく、次のように変形また拡張できる。映像ソー
スとしては、カメラ２に限らず、ビデオ映像の画像情報
を利用するものでも良い。信号送信部および信号受信部
で信号の授受を行なう媒体としてはデジタル携帯電話機
に限らず、他の通信手段を用いても良いし、さらには無
線系だけではなく有線系の通信経路に適用することもで
きる。

【０１７１】音声情報と画像情報とを同時に送信する場
合に限らず、画像情報のみの通信を行なう場合にも適用
できる。ＡＶ比率の設定用つまみはスライド式以外に、
回転式のものでも良いし、デジタル的に設定するもので
も良い。また、必要に応じて省いた構成とすることもで
きる。

【０１７２】プロテクト機能は必要に応じて設ければ良
い。符号化レートを決定するための参照テーブルは、表
１〜３以外に適宜設定することができる。

【０１７３】可変ＧＯＢパターンの適応的変更や画像デ
ータサイズの適応的変更の制御については必要に応じて
設けることができる。また、これらを使用しない場合に
は、復号化器の構成上において、既存の規格のものを適
用することができる。

【０１７４】９６００ｂｐｓの携帯電話機の場合を説明
したが、Ｈ．２６３規格で対象とされている６４ｋｂｐ
ｓ程度以下の伝送容量の場合にも同様に適用でき、動画
像伝送に有効に利用することができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す全体のブロック構成図

【図２】全体の概略的動作を示すフローチャート

【図３】画像情報の状態観測動作を示すフローチャート

【図４】符号化状態と要求の判定動作を示すフローチャ
ート

【図５】符号化パラメータ決定動作を示すフローチャー
ト

【図６】符号化演算処理動作を示すフローチャート

【図７】画素のサンプリングパターンを示す説明図

【図８】音声データ量変動の検出動作を示すフローチャ
ート

【図９】領域に応じたしきい値変更制御の動作を示すフ
ローチャート

【図１０】ＡＶ比率を設定するつまみの部分を示す表示
装置の正面図

【図１１】プロテクト機能の動作を示す作用説明図

【図１２】符号化パラメータ決定の総合的な関係を示す
ブロック図

【図１３】ポストフィルタの説明図

【図１４】可変ＧＯＢパターン（その１）

【図１５】可変ＧＯＢパターン（その２）

【符号の説明】

１は符号化器、２はカメラ（撮像手段）、３はＡ／Ｄ変
換部、４はＲＧＢ／ＣＩＦ変換部、５は二次元高速ＤＣ
Ｔ部、６は変化領域抽出部（変化ブロック検出手段）、
７は量子化部、８は符号化制御部（符号化条件設定手
段）、９は有意係数属性制御部、１０は可変長符号化
部、１１は階層結合部、１２はバッファ、１３は信号送
信部、１４はＲＳ２３２ｃ通信処理部、１５はデジタル
携帯電話機、１６は復号化器、１７は信号受信部、１８
はデジタル携帯電話機、１９はＲＳ２３２ｃ通信処理
部、２０はバッファ、２１はパーザ、２２は可変長復号
化部、２３は有意係数属性再生部、２４は逆量子化部、
２５は二次元高速逆ＤＣＴ部、２６は復号化制御部、２
７はＣＩＦ／ＲＧＢ変換部、２８はＤ／Ａ変換部、２９
は表示器、２９ａはＡＶ比率設定用のつまみである。

Claims (41)

【特許請求の範囲】
1. 【請求項１】 複数のブロックから構成される１フレー
   ムの画像データをそのブロック単位で符号化および圧縮
   処理をすることにより所定の伝送容量の範囲内の送信信
   号を生成する動画像情報の符号化装置において、 前記フレーム中の複数のブロックのうちで前フレームの
   画像データとの変化量が判定しきい値以上であるときに
   これを変化ブロックとして検出する変化ブロック検出手
   段と、 前記フレームの画像データを符号化する際に、前記変化
   ブロック検出手段により検出された前記変化ブロックの
   みをフレーム内符号化処理をして伝送信号を生成する符
   号化処理手段とを備えたことを特徴とする動画像情報の
   符号化装置。
2. 【請求項２】 複数のブロックから構成される１フレー
   ムの画像データをそのブロック単位で符号化および圧縮
   処理をすることにより所定の伝送容量の範囲内の送信信
   号を生成する動画像情報の符号化装置において、 前記フレーム中の複数のブロックのうちで前フレームの
   画像データとの変化量が判定しきい値以上であるときに
   これを変化ブロックとして検出する変化ブロック検出手
   段と、 送信可能な伝送容量の範囲内で前記フレームの画像デー
   タを符号化する際に、前記変化ブロック検出手段により
   検出された前記変化ブロックの情報量に応じて符号化条
   件を変更設定する符号化条件設定手段と、 この符号化条件設定手段により設定される符号化条件で
   前記変化ブロックのみを符号化処理をして伝送信号を生
   成する符号化処理手段とを具備したことを特徴とする動
   画像情報の符号化装置。
3. 【請求項３】 請求項１記載の動画像情報の符号化装置
   において、 送信可能な伝送容量の範囲内で前記フレームの画像デー
   タを符号化する際に、前記変化ブロック検出手段により
   検出された前記変化ブロックの情報量に応じて符号化条
   件を変更設定する符号化条件設定手段を具備したことを
   特徴とする動画像情報の符号化装置。
4. 【請求項４】 請求項１または３記載の動画像情報の符
   号化装置において、 前記フレーム内符号化を行なう符号化処理手段は、 前記フレームを構成するブロックを単位として二次元離
   散コサイン変換を行なう手段と、 二次元離散コサイン変換されたブロック単位のデータに
   ついて量子化演算処理を行なう手段と、 量子化されたブロック単位のデータを可変長符号化する
   手段と、 可変長符号化されたデータを伝送する際にバッファ制御
   を行なう手段とを備えた構成とされていることを特徴と
   する動画像情報の符号化装置。
5. 【請求項５】 請求項１ないし４のいずれかに記載の動
   画像情報の符号化装置において、 前記変化ブロック検出手段は、前記複数のブロックのそ
   れぞれにおいてそのフレームのブロック内の画素データ
   の前フレームの画素データに対する差分の絶対値和があ
   らかじめ設定されている変化ブロック判定のしきい値以
   上であるときに変化ブロックとして検出することを特徴
   とする動画像情報の符号化装置。
6. 【請求項６】 請求項５記載の動画像情報の符号化装置
   において、 前記変化ブロック検出手段は、４個の輝度信号ブロック
   と２個の色信号ブロックとからなるマクロブロックを単
   位とし、それら４個の輝度信号ブロックから得られる前
   記差分の絶対値和の値と２個の色信号ブロックから得ら
   れる前記差分絶対値和の値とを所定の比率で重み付を行
   なって和を演算した結果に基づいて前記変化ブロックを
   検出するように構成されていることを特徴とする動画像
   情報の符号化装置。
7. 【請求項７】 請求項５または６記載の動画像情報の符
   号化装置において、 前記変化ブロック検出手段は、前記複数のブロックの差
   分の絶対値和を演算する場合において、そのブロックを
   構成する画素のうち所定の基準に従ってサンプリングし
   て得られる画素について演算を行なうことにより前記変
   化ブロックを検出するように構成されていることを特徴
   とする動画像情報の符号化装置。
8. 【請求項８】 請求項７記載の動画像情報の符号化装置
   において、 前記変化ブロック検出手段は、前記サンプリングの基準
   を切換可能に構成されていることを特徴とする動画像情
   報の符号化装置。
9. 【請求項９】 請求項５ないし８のいずれかに記載の動
   画像情報の符号化装置において、 前記変化ブロック検出手段は、前記変化ブロックの検出
   の演算をそのフレーム内の特定領域に存在するブロック
   を対象として行なうように構成されていることを特徴と
   する動画像情報の符号化装置。
10. 【請求項１０】 請求項２ないし９のいずれかに記載の
    動画像情報の符号化装置において、 前記符号化条件設定手段は、前フレームにおいて符号化
    処理を行なったデータから伝送容量内での画像データ送
    信の余裕度を検出してその結果に基づいて符号化条件を
    設定するように構成されていることを特徴とする動画像
    情報の符号化装置。
11. 【請求項１１】 請求項２ないし１０のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化条件設定手段は、前記フレーム内で変化ブロ
    ック検出手段により検出された変化ブロックについてそ
    の動き量を演算し、その結果に基づいて符号化処理条件
    を設定するように構成されていることを特徴とする動画
    像情報の符号化装置。
12. 【請求項１２】 請求項２ないし１０のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化条件設定手段は、前記フレーム内で変化ブロ
    ック検出手段により検出された変化ブロックについてそ
    の色変化量を演算し、その結果に基づいて符号化処理条
    件を設定するように構成されていることを特徴とする動
    画像情報の符号化装置。
13. 【請求項１３】 請求項２ないし１０のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化条件設定手段は、前記フレーム内で変化ブロ
    ック検出手段により検出された変化ブロックについてそ
    の動き量および色変化量を演算してそれらを所定の重み
    付を行なって加算した総合変化量に基づいて符号化処理
    条件を設定するように構成されていることを特徴とする
    動画像情報の符号化装置。
14. 【請求項１４】 請求項１１または１３記載の動画像情
    報の符号化装置において、 前記符号化条件設定手段は、前記動き量の演算におい
    て、前記検出された変化ブロックの重心位置を求めてそ
    の重心位置の前フレームに対する動きベクトルの大きさ
    を得てこれに変化ブロックの総数倍とすることにより求
    めることを特徴とする動画像情報の符号化装置。
15. 【請求項１５】 請求項１１または１３記載の動画像情
    報の符号化装置において、 前記符号化条件設定手段は、前記動き量の演算におい
    て、前記検出された変化ブロックの動きベクトルの大き
    さの総和を計算することにより求めることを特徴とする
    動画像情報の符号化装置。
16. 【請求項１６】 請求項１５記載の動画像情報の符号化
    装置において、 前記符号化条件設定手段は、前記変化ブロックの動きベ
    クトルを検出する際にそのブロックを構成する画素を所
    定条件でサンプリングすることにより演算するように構
    成されていることを特徴とする動画像情報の符号化装
    置。
17. 【請求項１７】 請求項２ないし１６のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化条件設定手段は、前記変化ブロック検出手段
    により検出された変化ブロックの総数に応じて変換係数
    の伝送量を制御するようにしきい値が設定されているこ
    とを特徴とする動画像情報の符号化装置。
18. 【請求項１８】 請求項１０ないし１７のいずれかに記
    載の動画像情報の符号化装置において、 前記符号化条件設定手段は、前記画像データ送信の余裕
    度，前記変化ブロックの動き量，色変化量あるいは総合
    変化量のいずれかまたはその組み合わせにより得られる
    値に応じて、次フレームに対して、前記変化ブロック検
    出のためのしきい値，符号化のための量子化スケールお
    よびフレームの変化判定のしきい値を設定することを特
    徴とする動画像情報の符号化装置。
19. 【請求項１９】 請求項２ないし１８のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化条件設定手段は、フレーム内の領域に応じて
    符号化のレベルを異なるように設定することが可能に構
    成されていることを特徴とする動画像情報の符号化装
    置。
20. 【請求項２０】 請求項１９記載の動画像情報の符号化
    装置において、 前記符号化条件設定手段は、前記符号化のレベルを異な
    らせる領域を設定可能に構成されていることを特徴とす
    る動画像情報の符号化装置。
21. 【請求項２１】 請求項１９または２０に記載の動画像
    情報の符号化装置において、 前記符号化条件設定手段は、前記領域を設定するための
    データをあらかじめ決められているフォーマットにより
    設定可能に設けられていることを特徴とする動画像情報
    の符号化装置。
22. 【請求項２２】 請求項１９ないし２１のいずれかに記
    載の動画像情報の符号化装置において、 前記符号化条件設定手段は、前記領域を複数設定したと
    きにそれぞれの領域に対して符号化処理をする際に優先
    順位を設定可能に設けられていることを特徴とする動画
    像情報の符号化装置。
23. 【請求項２３】 請求項２２記載の動画像情報の符号化
    装置において、 前記符号化条件設定手段は、前記領域を複数設定したと
    きにそれぞれの領域に対して異なる符号化条件を設定可
    能に設けられていることを特徴とする動画像情報の符号
    化装置。
24. 【請求項２４】 請求項１９ないし２３のいずれかに記
    載の動画像情報の符号化装置において、 前記符号化条件設定手段は、フレーム全体の画像データ
    の変化量が減少したときに、前記変化ブロック検出手段
    による変化ブロックの検出に際して用いる判定のしきい
    値を低くするように変更設定することを特徴とする動画
    像情報の符号化装置。
25. 【請求項２５】 請求項１９ないし２４のいずれかに記
    載の動画像情報の符号化装置において、 前記符号化条件設定手段は、フレーム全体の画像データ
    の変化量が減少したときに、前記変化ブロック検出手段
    による変化ブロックの符号化に際して用いる量子化スケ
    ールを低くするように変更設定することを特徴とする動
    画像情報の符号化装置。
26. 【請求項２６】 請求項２４または２５に記載の動画像
    情報の符号化装置において、 前記符号化条件設定手段は、フレーム内の画像データの
    不変領域に対して前記変更設定を行なうことを特徴とす
    る動画像情報の符号化装置。
27. 【請求項２７】 請求項２４ないし２６のいずれかに記
    載の動画像情報の符号化装置において、 前記符号化条件設定手段は、フレーム内の画像データの
    画面全体に対して前記変更設定を行なうことを特徴とす
    る動画像情報の符号化装置。
28. 【請求項２８】 請求項２４ないし２７のいずれかに記
    載の動画像情報の符号化装置において、 前記符号化条件設定手段は、フレーム内の画像データの
    特定領域に対して前記変更設定を行なうことを特徴とす
    る動画像情報の符号化装置。
29. 【請求項２９】 請求項２ないし２８のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化条件設定手段は、前記フレームにおける画像
    情報の発生量と送信可能な伝送容量との関係から必要に
    応じてフレームサイズを変更設定するように構成されて
    いることを特徴とする動画像情報の符号化装置。
30. 【請求項３０】 請求項２９記載の動画像情報の符号化
    装置において、 前記符号化処理手段は、前記フレームサイズを縮小する
    側に変更設定されたときには、変更前のフレームの画像
    データを変更後のフレームの画像データに対応するよう
    にサンプリングすることにより適合させるように構成さ
    れていることを特徴とする動画像情報の符号化装置。
31. 【請求項３１】 請求項２９または３０記載の動画像情
    報の符号化装置において、 前記符号化処理手段は、フレームサイズを拡大する側に
    変更設定されたときには、変更前のフレームの画像デー
    タを変更後のフレームの画像データに対応させたときに
    画像データのない画素について隣接する画素の画像デー
    タから補間して画像データを生成する補間フィルタを備
    えていることを特徴とする動画像情報の符号化装置。
32. 【請求項３２】 請求項２ないし３１のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化条件設定手段は、外部から符号化条件を変更
    設定する入力に対してこれを無効化させるプロテクト機
    能を設定可能に構成されていることを特徴とする動画像
    情報の符号化装置。
33. 【請求項３３】 請求項２ないし３２のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化条件設定手段は、フレームを形成している被
    写体あるいは用途等に応じてその付帯状況をあらかじめ
    決められたコードで設定するモード条件が記憶されてお
    り、前記符号化処理の際にモード条件を使用して符号化
    を行なったときにはその送信信号にモード条件を指定す
    るコードを付加するように構成されていることを特徴と
    する動画像情報の符号化装置。
34. 【請求項３４】 請求項１ないし３３のいずれかに記載
    の動画像情報の符号化装置において、 画像情報と同時に送信するための音声情報を符号化する
    音声情報処理手段を備え、 前記符号化処理手段は、画像情報を符号化して伝送する
    際の画像伝送容量を、前記伝送容量から前記音声情報の
    伝送に割り当てられる音声伝送容量を差し引いた分とし
    てその範囲内で符号化処理を行なうように構成されてい
    ることを特徴とする動画像情報の符号化装置。
35. 【請求項３５】 請求項３４記載の動画像情報の符号化
    装置において、 前記符号化条件設定手段は、前記伝送容量に対する画像
    伝送容量の判定を前記音声伝送容量に基づいて判定する
    ように構成されていることを特徴とする動画像情報の符
    号化装置。
36. 【請求項３６】 請求項３４または３５記載の動画像情
    報の符号化装置において、 前記符号化条件設定手段は、前記音声伝送容量をあらか
    じめ設定可能に設けられ、音声情報の発生に応じて前記
    設定された音声伝送容量の範囲で符号化条件を設定し、
    音声情報の発生量が音声伝送容量よりも低下していると
    きには前記画像伝送容量を増加させて符号化条件を設定
    するように構成されていることを特徴とする動画像情報
    の符号化装置。
37. 【請求項３７】 請求項３６に記載の動画像情報の符号
    化装置において、 前記伝送容量に対する前記音声伝送容量の比率を設定す
    る容量比設定手段を設け、 前記符号化条件設定手段は、前記容量比設定手段により
    設定された比率に基づいて音声伝送容量を設定すること
    を特徴とする動画像情報の符号化装置。
38. 【請求項３８】 請求項３６または３７記載の動画像情
    報の符号化装置において、 前記符号化条件設定手段は、前記送信信号を授受する他
    の装置から指定される伝送容量に対する音声伝送容量の
    比率に基づいて音声伝送容量を設定することを特徴とす
    る動画像情報の符号化装置。
39. 【請求項３９】 請求項３４ないし３８のいずれかに記
    載の動画像情報の符号化装置において、 前記音声情報処理手段は、音声通信に支障を来さない程
    度に設定される許容遅延時間の範囲内で、インパルスノ
    イズを識別できる程度で且つ十分短く設定されるサンプ
    リング時間を単位としてそのサンプリング時間内で入力
    される音声信号を積分してその積分値が音声増大判定の
    しきい値を超えたときに、前記あらかじめ設定されてい
    る伝送量の限度の範囲内で前記伝送容量を大きく設定す
    るように構成されていることを特徴とする動画像情報の
    符号化装置。
40. 【請求項４０】 請求項３４ないし３９のいずれかに記
    載の動画像情報の符号化装置において、 前記符号化条件設定手段は、外部から符号化条件を変更
    設定する入力に対してこれを無効化させるプロテクト機
    能を設定可能に構成されていることを特徴とする動画像
    情報の符号化装置。
41. 【請求項４１】 請求項１ないし４０のいずれかに記載
    の動画像情報の符号化装置において、 前記符号化処理手段は、フレーム内の複数のブロックを
    ひとつのグループとして設定される符号化処理ブロック
    グループの設定パターンをあらかじめ複数種類登録され
    ており、伝送信号に符号化処理を行ったときの設定パタ
    ーンの情報を付加することを特徴とする動画像情報の符
    号化装置。