JP4341078B2 - 動画像情報の符号化装置 - Google Patents
動画像情報の符号化装置 Download PDFInfo
- Publication number
- JP4341078B2 JP4341078B2 JP03047897A JP3047897A JP4341078B2 JP 4341078 B2 JP4341078 B2 JP 4341078B2 JP 03047897 A JP03047897 A JP 03047897A JP 3047897 A JP3047897 A JP 3047897A JP 4341078 B2 JP4341078 B2 JP 4341078B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- change
- amount
- frame
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、動画像情報を所定の伝送容量の範囲内で伝送可能となるように圧縮符号化する場合において動画像の動きを損なうことなく有効な符号化を行なうことができるようにした動画像情報の符号化装置に関する。
【0002】
【発明が解決しようとする課題】
近年、情報通信端末のマルチメディア化が急速に進んでおり、電話においてもディジタルデータ伝送に基づく様々な付加価値を生み出していくことが、今後のビジネス展開において必須な条件となってきている。特に、自動車電話やPHS(Personal Handy-phone System )においては既に従来の音声,文字情報のみならず、静止画像や動画像を伝送することが本格的に検討されつつあり、電話機のマルチメディア化は近い将来に当たり前のこととなることが予想される。
【0003】
しかし、画像を伝送する場合に、何等処置を行わずそのまま伝送するのでは、約166Mbps(mega bit per second )に相当する膨大なTV映像のデータ量であるから、自動車電話(9.6kbps)やPHS(32kbps)や既存の電話回線の伝送レート(10〜30kbps程度)程度の伝送容量では1フレームの画像データを送信するのに多大な時間を要してしまい、動画像の伝送には不適切である。
【0004】
このようなことに対応して、従来のTV会議やビデオCDに用いられている動画像圧縮技術が要求されるが、現行のTV会議用規格であるITU−T/H.261では、64kbps〜2Mbps程度、ISO/MPEG1では1.5Mbps程度のものを対象としており、ここで対象としている64kbps以下の超低レート伝送には適用することができないものである。
【0005】
一方、現在ITU−Tで審議されているH.263は、64Kbps以下の伝送レートを対象としているが、この場合には有線系の伝送を対象とするものであり、移動体通信の無線系で発生するデータ伝送誤りのレベル(10−2〜10−3程度)に対する対策がなされていないものである。また、これらの規格におけるエンコーダは動き補償技術を用いるため、演算量が増大することになり、低コスト化の実現は困難なものである。
【0006】
さらには、上述のような伝送容量の範囲内であっても、画像情報のみならず、同時に音声情報についても送信する場合には、画像情報の伝送容量についてはさらに制約を受けることになる。また、このような音声情報は、発生量の変動が大きくなることが予想されるので、伝送容量を割り当てる場合においても弾力的に変動させて有効に利用する必要がある。そして、音声情報の伝送容量が変動することは画像情報の伝送容量についてもこれに追随して変動することになるが、そのような状況の下でいかに動画像情報を有効に符号化して伝送するかということが課題となってくる。
【0007】
本発明は、上記事情に鑑みてなされたもので、その目的は、伝送容量が制約されている範囲内で使用者にとって必要と思われる画像情報を効率的に選択符号化して良質な動画像情報を提供できるようにする画像情報の符号化装置を提供することにある。
【0008】
【課題を解決するための手段】
請求項1の発明では、変化ブロック検出手段により、そのフレーム内の複数のブロックについてそれらの画像データが前フレームの該当するブロックの画像データとの変化量が所定レベル以上となる変化ブロックを検出し、その検出された変化ブロックについてのみ符号化処理手段により符号化を行なうので、限られた伝送容量の範囲内で変化が生じている領域についての情報を有効に伝送することができる。
【0012】
さらに、符号化条件設定手段を設けているので、上述の変化ブロックについての符号化を行なう際に、変化ブロックの発生量や変化量等のデータに応じて符号化処理の条件を伝送容量の範囲内で変更して有用な情報を取捨選択してより良質な動画像を伝送することができるようになる。
【0021】
そして、符号化条件設定手段は、符号化するフレームに対する符号化処理条件を前フレームの符号化処理を行なったときのデータ量から画像データの送信可能な容量を余裕度として検出し、その結果に基づいて符号化条件を設定するようになり、これにより、前フレームから連続する動画像の伝送に際して余裕度に応じた符号化条件を用いた効率的な符号化処理を行なうことができるようになる。
【0022】
請求項2の発明では、符号化条件設定手段は、検出された変化ブロックの動き量を演算してその動き量に基づいて符号化条件を設定するので、動き量に応じて増大する情報発生量を符号化条件を適切に設定することにより全体のバランスを考慮して伝送容量の範囲内で効率的な符号化を行なって伝送信号を生成させることができるようになる。
【0023】
請求項3の発明では、符号化条件設定手段は、検出された変化ブロックの色変化量を演算してその色変化量に基づいて符号化条件を設定するので、色変化量に応じて増大する情報発生量を符号化条件を適切に設定することにより全体のバランスを考慮して伝送容量の範囲内で効率的な符号化を行なって伝送信号を生成させることができるようになる。
【0024】
請求項4の発明では、符号化条件設定手段は、変化ブロックの動き量および色変化量の両者を重み付けを行なって加算することにより総合変化量を求め、その総合変化量に基づいて符号化条件を設定するので、動き量を重視する場合と色変化量を重視する場合との間の比率を重み付け係数により適宜設定すれば、フレームの画像に則した適切な符号化条件を設定して効率的な符号化処理を行なわせることができるようになる。
【0025】
請求項5の発明では、符号化条件設定手段は、変化ブロックの動き量を検出する際に、それら変化ブロックの重心位置を求めると共にその重心位置の前フレームに対する動きベクトルを求め、これに変化ブロックの総個数を乗じて動き量を求めるので、演算量を削減して簡略的に動き量を検出することができるようになる。
【0026】
請求項6の発明では、符号化条件設定手段は、変化ブロックの動き量を検出する際に、それら各変化ブロックの前フレームに対する動きベクトルを求め、それらの総和を演算することにより得るので、正確な動き量を求めることができるようになる。
【0027】
請求項7の発明では、上述の場合に、変化ブロックの動きベクトルを計算する際には、その変化ブロック内のすべての画素について演算対象とするのではなく、サンプリングされた画素のデータについて演算を行なうので、演算量を削減させることができる。
【0029】
請求項8の発明では、符号化条件設定手段により、画像データ送信の余裕度,変化ブロックの動き量,色変化量あるいは総合変化量のいずれかまたはその組み合わせにより得られる値に応じて、次フレームにおける変化ブロック検出のためのしきい値や変化ブロックの符号化のための量子化スケールおよびフレームの変化判定のしきい値を設定するので、画像状態に応じて変化ブロックの検出レベルを適切に変更して変化ブロックの発生個数を制御して情報発生量を制御することができると共に、量子化スケールやフレームの変化判定のしきい値を変更して符号化処理を効率的に行なうことができるようになる。
【0049】
【発明の実施の形態】
以下、本発明を音声情報および画像情報を同時に伝送するようにした無線系の通信装置に適用した場合の一実施例について図面を参照しながら説明する。
図1を参照して本実施例の構成について説明する。まず、送信機として機能する符号化器1において、撮像手段としてのカメラ2は使用者の上半身を撮影するもので、画像情報をRGBアナログ信号として出力する。A/D変換部3は、カメラ2から与えられるアナログ信号をデジタル信号に変換して出力する。RGB/CIF変換部4は、A/D変換部3から与えられるRGBデジタル信号をCIF(Common Intermediate Format;共通中間フォーマット)信号に変換して出力する。
【0050】
二次元高速DCT(離散コサイン変換)部5は、RGB/CIF変換部4からCIF信号が与えられると、変換処理すべきブロックに対して二次元直交変換の一つである二次元DCT(H.261規定の二次元直交変換に対応している)処理してDCT係数の信号を出力する。また、変化ブロック検出手段としての変化領域抽出部6は、RGB/CIF変換部4からCIF信号が与えられるようになっており、そのCIF信号に基づいて後述するようにして変化ブロックを検出し、その結果に応じて二次元高速DCT部5に対して二次元DCT処理を行なうべき変化ブロックを指定する。
【0051】
量子化部7は、符号化条件設定手段としての符号化制御部8により量子化スケールQSCが設定されており、二次元高速DCT部5から与えられるDCT係数の信号を設定されている量子化スケールQSCで直線量子化変換あるいはデッドゾーン付量子化変換処理をして例えば9ビットの精度で量子化して出力する。有意係数属性制御部9は、符号化制御部8から与えられる条件にしたがって量子化部7から与えられる量子化されたDCT係数の信号に対して属性制御を行なって可変長符号化部10に出力する。
【0052】
可変長符号化部10は、DCT係数の信号に対して対応する可変長符号を割り当てて階層結合部11を介して変換することによりシンタックスに基づくビットストリームを生成してバッファ12に出力する。バッファ12では、信号送信部13に出力するデータの出力速度を制御すると共に、内部のデータ量を符号化制御部8に出力するようになっている。信号送信部13は、RS232c通信処理部14およびデジタル携帯電話機15から構成されており、バッファ12から出力されるビットストリーム信号をデジタル携帯電話機15を介して無線により伝送する。デジタル携帯電話機15は、例えば9600bps(bit per second)の伝送容量(伝送レート)に設定されており、音声信号と画像信号がこの伝送容量の範囲内で伝送されるようになっている。
【0053】
次に、受信機として機能する復号化器16の構成について説明する。信号受信部17は、デジタル携帯電話機18およびRS232c通信処理部19から構成され、デジタル携帯電話機18により受信したビットストリーム信号を入力バッファ20で受け取るようになっている。パーザ21は、バッファ20に蓄積されるデータを取り込んでシンタックス解析を行ない可変長復号化部22に出力する。可変長復号化部22は、入力された信号の可変長符号を復号化して有意係数属性再生部23を介して逆量子化部24に出力する。
【0054】
逆量子化部24では再構成した量子化出力9ビットを12ビットの信号に逆変換して出力する。さらに、二次元高速逆DCT25では二次元逆DCT処理を行うことにより8ビットの画素データに戻す。復号化制御部26では有意係数属性再生部23にて復号化した符号化属性をもとにして逆量子化部24の制御を行うようになっている。
【0055】
CIF/RGB変換部27では、8ビットの画素データをCIF形式からRGB信号に変換し、D/A変換部28を介してアナログ信号に変換して表示器29に出力するようになっている。
【0056】
なお、この復号化器16の構成では、可変GOBパターンおよび画像データサイズの適応的変更の2つの機能を実行するように構成されているが、符号化器1側でこの機能を実施しない場合には、復号化器16の構成を既存規格のものと同等のものを採用することができる。
【0057】
次に本実施例の作用について、まず、全体の流れを図2ないし図6を参照して説明し、さらに詳細について図7以下を参照して説明する。なお、説明の都合上、次のように項目別に分けて述べる。(1)符号化処理の原理の概略説明、(2)符号化処理の全体の流れ(図2ないし図6参照)、(3)各部処理内容の詳細説明。
【0058】
(1)符号化処理の原理の概略説明
通常、H.261やMPEG規格ではフレーム間符号化が用いられ、そこでは空間領域のブロック画素値のフレーム間差分に対して二次元DCT(二次元離散コサイン変換)が施される。したがって、復号時にはこの差分データを復号処理してフレーム間の累積を行うことにより、画像を再構成していくことになる。ところが、この方法ではデジタル無線通信路においてビット誤りが発生した場合に、H.261やH.263あるいはMPEG規格のような複雑なシンタックスのプロトコルでは、各符号語の持つ値が全くもとの値とずれてしまう上に、時間方向に誤りが伝播してしまうことになる。
【0059】
そこで、本実施例では、データ圧縮度は有線系で用いる一般的なフレーム間差分の符号化をする場合ほどには期待できないが、誤りがフレーム内で完結してしまうフレーム内符号化(イントラ符号化)のみをブロックベースで適用する構成を採用することにより無線系に強いものとしているのである。つまり、最初の1フレームについては全てのブロックについてフレーム内符号化であるイントラDCT符号化を実施し、2フレーム目以降の符号化処理においては、後述する変化ブロックの検出によって『変化あり』と判定されたブロックつまり変化ブロックのみについてイントラDCT符号化を行うのである。
【0060】
なお、この方式では、フレーム間差分を符号化しないので、H261規格での動き補償差分を求めるループ演算が不要となる。したがって、これによって、動きベクトル検出処理および逆量子化処理のための構成が不要となると共に、ループフィルタおよび1フレーム分の画素データを記憶するための予測メモリが構成から不要になる。この結果、主要な演算内容としては、(a)二次元DCT処理、(b)量子化処理、(c)可変長符号化処理、(d)バッファ制御および(e)変化ブロック検出処理だけとなり、この結果、パソコンのソフトウェアを用いた構成で、リアルタイムで動作可能な程度のレベルの機能ブロック構成とすることができるのである。
【0061】
(2)符号化処理の全体の流れの説明(図2ないし図6)
符号化器1は、図2ないし図6に示す概略的な流れを示すフローチャートにしたがって次のようにして画像情報を符号化する。まず、符号化器1は、フレーム数を示す変数PICをゼロにクリアし(ステップS1)、カメラ2によって撮影された画像情報を取り込んで(ステップS2)、A/D変換部3においてデジタル信号に変換し(ステップS3)、この後、RGB/CIF変換部4においてRGB/CIF変換を行う(ステップS4)。
【0062】
続いて、符号化器1は、画像情報の状態観測のステップS5(図3参照),符号化状態と要求の判定のステップS6(図4参照),符号化パラメータ決定のステップS7(図5参照)および符号化演算処理のステップS8(図6参照)と順次実行し、フレーム番号LPICが所定の個数NPICに達するまで繰り返し実行する(ステップS9)。以下に、ステップS5ないしS9の内容について図3ないし図6を参照して説明する。
【0063】
(A)画像信号の状態観測(図3参照)
符号化器1は、画像情報の状態観測のステップS5に進むと、プログラム(図3参照)にしたがって、シーンの特徴に応じてGOBパターンの設定を行う(ステップA1)。次に、符号化器1は、2フレーム目以降の場合は現在フレームの符号化計算を行う前に、前フレームでの計算結果に基づき、変化ブロック数を計算するために(ステップA3)、まず、画像1フレーム全体の色変化量,動き量,情報発生量のレベル判定を各々について行う(ステップA4〜6)。
【0064】
なお、このようなレベル判定については別途に詳述する。また、シーンが変わってから第1番目のフレームについては強制的に全ブロックについてイントラDCT符号化を行うので、ステップA4〜A6の処理については実施しないようになっている。
【0065】
各フレームにおいてブロック間変化量の定義に基づいてMBK(マクロブロック)単位に輝度変化量,色変化量を計算し(ステップA11,A12)、デフォルト値あるいは前フレームの計算で設定された変化判定しきい値を基にして変化ブロックの判定を行う(ステップA13)。そして、変化ブロックでない場合には図6に示すステップS8の符号化演算処理のステップD8にジャンプし、変化ブロックと判定された場合には、変化ブロック数のカウンタをインクリメントしてこのプログラムを終了する。
【0066】
(B)符号化状態と要求の判定(図4参照)
符号化器1のバッファ12に溜め込まれた符号化ビットストリームのビット数(バッファ量BF)をチェックする(ステップB1)。次に、符号化器1は、使用者からのプロテクト要求の設定状態(ON/OFF)を判定する(ステップB2)。また、AV比率に関する要求度Raを相手端末と自己端末の要求値に基づいて判定する(ステップB3)。次に、音声信号の状態を検出して(ステップB4)、無音状態や突発的音声などの検出された音声信号の状態に応じて音声符号化レートBRAを決定する(ステップB5)。次に、バッファ12のバッファ量BFと音声符号化レートBRAの値からデータレート余裕度ADRと目標画像符号化レートBRV0を決定する(ステップB6)。
【0067】
一方で、動き量SMのレベル判定値LM,色変化量DCのレベル判定値LC,情報発生量のレベル判定値LIの各々から画像のフレーム間変化量の総合的なレベル判定値Lを計算し(ステップB7)、データレート余裕度ADRのレベル判定値LADRと総合的なレベル判定値Lとからテーブル(後述する表1参照)を参照して符号化パラメータの推奨値を計算する(ステップB8)。
【0068】
(C)符号化パラメータ決定(図5参照)
次に、符号化パラメータの決定を行う。ここでは、音声符号化レートBRAと目標画像符号化レートBRV0との値に基づいて、全体の伝送容量である符号化レートBRから画像符号化レートBRVを演算する(ステップC1)。この場合、これらの値の間には、
BRA+BRV≦BR
という関係が満たされることが条件となっており、この条件のもとに画像符号化レートBRVの値が決定されるが、データレート余裕度ADRはバッファ量BFを監視した後に決定される。したがって、データレート余裕度ADRの値に応じて画像符号化レートBRVは若干修正を受けることになる。これは、例えば、バッファ量BFが平均充足量BFaよりも少なければ、その分だけデータレート余裕度ADRが大きくなるので、画像符号化レートBRVを大きく設定することができるのである。
【0069】
フレームレートと画像サイズは総合判定レベルLとデータレート余裕度ADRおよび画像への要求度RVからテーブル(表3参照)を参照して決定される(ステップC2,C3)。また、量子化スケールQSCは前述のテーブルを参照して決定する(ステップC4)。
【0070】
次に、画面全体の変化ブロック数の判定しきい値NCB_THはDCT有意係数の伝送個数を制御するが、これは前述の表1を参照して決定する(ステップC5)。変化ブロック判定しきい値DTHも同様に表1を参照して決定する(ステップC6)。また、ブロック間変化量計算のサンプリング密度はシステム全体のCPU負荷の現在値のレベル判定結果から決定する(ステップC7)。
【0071】
(D)符号化演算(図6参照)
符号化演算は、上記した(A)〜(C)で決定された符号化パラメータを基にしてH.261/263の方式で行う(ステップD1〜D14)。なお、この実施例においては、変化ブロックのMBK属性を強制的にイントラ(フレーム内符号化)とする以外には特別な処理は含まれていない。すなわち、二次元DCT処理,量子化処理,有意係数制御処理,可変長符号化処理を順次行い(ステップD3〜D6)、続いて、MBK属性制御処理,MBK属性符号化処理,GOB属性符号化処理,PIC属性符号化処理を順次行ない(ステップD8〜D13),この後、ビットストリームの階層結合を行なう(ステップD14)。
【0072】
(3)各部処理内容の詳細説明
次に、上述した符号化処理の全体の流れの説明で取り上げた各部の処理内容について詳細に説明する。なお、説明の項目は次に示すとおりである。
【0073】
[a]変化ブロックの検出
[a−1]ブロック間変化量の計算
[a−2]しきい値判定
[b]符号化と通信状態の判定
[b−1]データレートの余裕度
[b−2]動き量の判定
[b−3]色変化量の判定
[b−4]情報発生量の判定
【0074】
[c]情報発生量削減のための制御
[c−1]画面全体の変化量の判定と伝送係数の制御
[c−2]符号化状態に基づく変化判定しきい値制御
[c−3]領域に応じた制御
[d]画像データサイズの適応的変更
[e]音声データと画像データとの比率に対する要求度の抽出
[e−1]連続制御
[e−2]プロテクト機能
[e−3]AV比率の制御に関する優先順序
[e−4]モード制御
【0075】
[f]パラメータ制御
[f−1]要求度に基づく符号化レートの決定
[f−2]遠隔モニタリングモードの符号化パラメータの遠隔制御
[f−3]システム全体のパラメータ制御
[g]ブロック雑音の除去
[h]可変GOB構造と識別番号の伝送
【0076】
[a]変化ブロックの検出
あるアドレスのマクロブロックが前フレームに対してどれだけ変化したかを以下のようにして判定する。
[a−1]ブロック間変化量の計算
(ア)ブロック間変化量
原画像として入力されたマクロブロック(以下MBKと称する)について、1フレーム前のMBKとの間のフレーム間誤差分の絶対値和をMBK毎に演算する。ここで、MBKは6個のBLK(ブロック)からなるので、以下のように総変化量E(n,m),輝度変化量EL(n,m),色変化量EC(n,m)を定義することができる。
【0077】
【数1】
【0078】
ここで、
E(n,m);第nフレームの第m番目のMBKについて前フレームとの間の総変化量を示す値
EL(n,m);第nフレームの第m番目のMBKについて前フレームとの間の輝度変化量を示す値
EC(n,m);第nフレームの第m番目のMBKについて前フレームとの間の色変化量を示す値
MB(n,m,k);第nフレームの第m番目のMBKの第k番目のBLK
d(BLKi,BLKj);BLKiとBLKjとの間の誤差関数。ここでは画素単位の差分の絶対値和を計算する。
【0079】
BLKi ;i番目のブロック画素
α ;色情報の誤差の荷重係数
【0080】
(イ)計算の簡略化
上述したd(BLKi,BLKj)の計算において、ブロック内画素のすべてについて差分を演算するのではなく、例えば、図7に示すように、サンプリングした画素についてのみ変化量計算の対象とすることができる。同図(a)はBLK内の全ての画素(8×8=64個)について計算を行なう場合を示し、同図(b)はBLK内の画素を1個置きにサンプリングする(4×8=32個、全画素の1/2)場合を示し、同図(c)はBLK内の画素を1列置き且つ1個置きにサンプリングする(4×4=16個、全画素の1/4)場合を示している。
【0081】
(ウ)簡易動ベクトル検出
上述の(イ)と同様にして、ブロック内画素をサンプリングすることにより、ブロックマッチング法の演算量を削減できるので、動ベクトル検出の演算量も削減することができる。
【0082】
(エ)変化量域・注視領域に限定した動き検出の実行
符号化対象領域を信号変化条件やモデル条件、注視条件の適用などにより特定領域に限定することができる場合には、その限定された領域内でのみ動き検出を実行することにより、演算量を削減することができる。
【0083】
[a−2]しきい値判定
ここでは、あるしきい値DTHによってE(n,m)を判定し、例えば、以下のようにして前フレームに対して変化があったか否かを判定する。
【0084】
case1)E(n,m)≧DTHのとき
→変化があったと判定し、イントラ符号化を開始する。
case2)E(n,m)<DTHのとき
→変化はないと判定し、符号化を行わない。
【0085】
上述の内容は、例えば、実験によると、データレートが9.6kbpsの場合に、CIF画像に対して、量子化スケールパラメータQSCALEを20(量子化ステップ=40)、変化検出しきい値DTHを2000程度に設定することで比較的良好な準動画像伝送を行うことができる。
【0086】
[b]符号化と通信状態の判定
[b−1]データレートの余裕度ADR
(ア)定義
超低レート通信では、人物像など動く対象物を符号化する場合に通信データレート(伝送容量)に余裕が発生することはあまりないが、人物が不在の状態や遠隔モニタリングなどの場合には変化があまり発生しないことから、データレートに余裕ができることがある。このようなデータレート余裕度ADRを次式のように定義づけることにする。
【0087】
ADR=(画像通信レート)−(前フレームの符号化情報量)
これは符号化器出力バッファ12のバッファ量BFの増減に対応したバッファ余裕度を検出することで代用することもできるものである。
【0088】
(イ)画像通信レートの動的適用制御
画像通信レート(画像伝送容量)は後述するAV比率の要求度と現在の音声通信データ量に応じて時々刻々と変化させることができる。したがって、音声通信データが少ないと判断したときは要求度で初期設定した通信レートを変更して画像通信レートを拡大させることができるモードを設定する。
【0089】
(ウ)音声データの急増に対する迅速な対応
上記のような方法で音声通信レート(音声伝送容量)を縮小した場合、突発的な音声データ増大に迅速に対応するには、画像符号化器1の出力停止、画像符号化器出力バッファ12の送出停止、AVレート設定の初期値(要求度から決定した値)への復帰を実行する。音声データ増大の検出には、音声通信に支障のない最大遅延時間TAdelayに対して十分小さい時間Tとしてインパルス雑音と十分識別が可能な程度の時間幅として設定し、その時間T内での音声信号の積分値IAを計算してあるしきい値以上になったときに音声データの増大であると判定するようにしたものである。
【0090】
(エ)動作フローチャートの説明
上述した(イ)および(ウ)での音声データ発生量の増減に対する画像データレートの適応制御では、図8に示すプログラムのフローチャートにしたがって制御を行なう。
【0091】
まず、突発的な音声データの増大があるか否かを検出する(ステップT1,T2)。ここでは、上述したごとく、サンプリングの時間T内での音声信号の積分値IAを計算して(ステップT1)、その積分値IAがあるしきい値以上になったときに有意の変化が生じたとしてこれをもって音声データの増大であると判定する(ステップT2)。
【0092】
次に、判定結果から音声データの増大が検出されない場合、つまり無音状態の場合には、音声符号化レートを低減して(ステップT5)、代わりに画像符号化レートを増大させる(ステップT6)。一方、突発的な音声データの増大が検出された場合には、画像符号化の演算を停止する(ステップT7)と共に画像データの送出を停止し(ステップT8)、適応制御をしていた音声符号化レート,画像符号化レート(AVレート)を使用者の要求度に基づいて設定した初期値に戻す(ステップT9)。また、無音状態ではないが、突発的な音声データの増大でもない状態であるときには、音声符号化レートは変更せず従前の状態を保持するようになっている。
【0093】
[b−2]動き量の判定
動き量の判定については、次の2つの場合について総動き量を演算する方法について説明する。なお、動き検出を行なわない場合(ア)および動き検出を行なう場合(イ)の違いは、動き検出を行なう方が正確な動き量を判定できる反面、動き検出を行なうことによる演算量の大幅な増大となる点で、これらは、制御部を構成するCPUの処理能力に応じて、リアルタイムで処理する場合の大きな負担とならない場合には動き検出を行なう方を採用することができる。
【0094】
(ア)動き検出を行わない場合
変化ブロックの重心計算を行い、1フレーム前に対するその動きベクトルの大きさを重心動ベクトルvgとする。この重心動ベクトルvgを変化ブロック数NCBだけ乗じた値を総動き量SMとする。これらは次式のように示される。
【0095】
【数2】
【0096】
ここで、
NMB;フレーム内のMBK数
IG(n);第nフレームにおける対象領域重心座標の水平成分
JG(n);第nフレームにおける対象領域重心座標の垂直成分
【0097】
(イ)動き検出を行う場合
フレーム内の全てのマクロブロックの前フレームに対する動きベクトルの大きさを計算し、得られた動きベクトルの大きさの総和を求めてこれを総動き量SMとするもので、次式で示される。
【0098】
【数3】
【0099】
上述のようにして得られる総動き量SMから、あらかじめ設定されている複数のしきい値を用いて複数段階のレベルに判定してレベル判定値LMを得る。この動き量のレベル判定値LMは後述する符号化制御において用いられるようになっている。
【0100】
[b−3]色変化量の判定
変化ブロック検出で演算した変化量のうちで、色ブロックのみについての変化量を画面全体で合計して、総色変化量DCを演算する。これは次式のように示される。
【0101】
【数4】
【0102】
ここで、
DC(n);第nフレームの総色変化量
NMBK ;1フレーム中のMBK個数(CIF形式の画像では22×18=396個である)
EC(n,m);第nフレームの第m番目のMBKについて前フレームとの間の色変化量
このDC(n)をいくつかの設定しきい値によりレベル判定し、これをレベル判定値LCとする。
【0103】
[b−4]情報発生量の判定
1フレーム前の画面全体の情報発生量をいくつかの設定しきい値によりレベル判定する。この判定結果をレベル判定値LIとする。LIは以下の因果関係で定められる。
RA→[Rv,ADR]→LI
これは、音声要求度Raが設定されることによって、全体の符号化レートの容量に対して画像要求度Rvが決まり、この画像要求度Rvとデータレート余裕度ADRとの関係から許容される情報発生量のレベル判定値LIが定められる。
【0104】
[c]情報発生量削減のための制御
[c−1]画面全体の変化量の判定と伝送係数の制御
上述したしきい値判定の結果として得られた変化ブロック個数に基づいて、画面全体の変化度を判定する。これを用いて、例えば、以下のようにDCT係数の伝送を制御する。
【0105】
case1)NCB≧NCB_TH1のとき
→変化ブロックのDCT有意係数のうち、DC成分のみを伝送する
case2)NCB_TH1>NCB≧NCB_TH2のとき
→注視領域以外の変化ブロックはDC成分のみ伝送する
case3)NCB_TH2>NCBのとき
→変化ブロックの有意係数をすべて伝送する
【0106】
ただし、
NCB;1画面における変化ブロック個数
NCB_THi(i=1,2,…);判定しきい値(データレート余裕度や使用モードによって可変)
である。
【0107】
[c−2]符号化状態に基づく変化判定しきい値制御
動き量判定レベルLM、色変化量判定レベルLC、情報発生量判定レベルLI、データレート余裕度の判定レベルLADRから変化領域判定しきい値DTHおよび量子化スケールQSCを動的に決定する。すなわち、
[LM,LC,LI,LADR]→[DTH,QSC,NCB_TH]
とする。この場合、各レベル判定値のうちLM,LC,LIについては、具体的には、例えば、次式を用いて、総合判定レベルLを演算してその結果に基づいて決定を行なう。
【0108】
【数5】
【0109】
したがって、総合判定レベルLとデータレート余裕度LADRとの組み合わせから、変化領域判定しきい値DTH,量子化スケールQSC,画面全体の変化判定しきい値NCB_THを決定する。したがって、
[L,LADR]→[DTH,QSC,NCB_TH]
を考えると、LおよびLADRがそれぞれ0〜3の4段階の値をとる場合には、次の表1のような制御例を採用することができる。
【0110】
【表1】
【0111】
[c−3]領域に応じた制御
(ア)領域の設定
▲1▼領域の自動設定
注視領域、動きや色のクラスタリング等の手法により複数個の領域を設定する。この手法についてはいくつかの方法が考えられるが、本実施例では採用していないので、その可能性を述べるのみにとどめてここでは言及しない。
【0112】
▲2▼マニュアル設定
たとえば、以下に示すような種々の設定方法があり、いずれか一方あるいは両方を採用して設定に用いることができる。
【0113】
i )送信側でユーザがモニタ画像を見ながら送信するシーンについて設定する方法。
ii)受信側でユーザが受信画像を見ながら送信側のシーンについて設定する方法。
【0114】
(イ)複数個の領域の記述
上記で設定した複数個の領域をその重心と領域の幅により記述する。例えば、ライン方向に並行な矩形領域を記述する場合、以下の表2のようになる。ここではCIF形式のマクロブロックを単位として記述している。
【0115】
【表2】
【0116】
上述の場合に、領域のカテゴリに関しては、前述したようなマニュアル設定では人間の介在により決定することができる。また、自動設定に関してもいくつかの方法が考えられるが、ここでは省略する。
【0117】
(ウ)領域のモニタリング
▲1▼固定領域のモニタリング
領域の重心と大きさが決まれば、二次元の固定された窓としてモニタリングができる。この場合、この窓内の画像領域は優先的に情報量を割り当てることにより、高画質や更新速度の高い動画として再生させることができる。
【0118】
▲2▼動領域のトラッキング
最初に設定した領域重心と大きさを固定化するのではなく、自動設定に用いた手法やフレーム相関(例えば動き検出など)により、領域内に映った対象物の動きに基づいてトラッキングしていくことができる。これは、対象物や対象人物の三次元形状をモデル化して登録すると共にその動きについて推定されるものを予測するモデルベース三次元運動推定に用いた移動体領域抽出手法などによって実現できる。
【0119】
▲3▼領域情報の伝送
前述のように定義した領域情報(領域番号、重心、水平幅、垂直幅)とその領域内の画像情報のみを伝送することにより、必要な領域に絞った符号化処理を行なうことができ、効率的に情報発生量を削減することができる。
【0120】
▲4▼領域のプライオリティ
複数の領域を指定する場合には、情報量を割り当てる場合にプライオリティ(優先順位)をつける。ここで、領域番号は画像伝送上、重要と思われる領域から順番につける。ただし、背景の領域番号は0とする。プライオリティの変更については変更を示すフラグと変更情報のみを送る。変更情報は例えば、複数の領域に対応して順番を番号により設定して送る。
(3421)→この場合には、領域3を最優先、領域4を2番目、領域2を3番目、領域1を4番目に伝送することを示す。
【0121】
(エ)領域別しきい値設定
プライオリティに応じて変化判定しきい値DTHを自動設定する。例えば、DTH0〜DTH3の順番に、
[1000,1500,2000,2500]
のように設定する。あるいは個別に領域毎の変化判定しきい値DTHを設定することもできる。
【0122】
(オ)設定しきい値の適応的変更
画像内容の急激な変化(シーンチェンジ、移動物の出現/消失など)が終息し、画面全体の変化量が少なくなると、データレート余裕度ADRも高くなる。このとき、画質を向上させるためには以下のような方法が考えられる。
【0123】
▲1▼不変領域の変化判定しきい値DTHを下げる〈不変領域の更新〉
▲2▼画面全体の変化判定しきい値DTHを下げる〈画面全体の動き向上〉
▲3▼注視領域に対してのみ変化判定しきい値DTHを下げる〈注視部分の動き向上〉
特に、▲1▼は事前に変化判定しきい値DTHを上げ過ぎた場合におこる画像劣化現象への対処である。例えば、カメラの前に手をかざした場合、一度は画面全体が肌色に切換わるが、その後、手をのけても変化判定しきい値DTHを超えないブロックが存在するときには、壁等の背景に手の一部が不変領域として張付いたように残るという状況が発生する。
【0124】
また、▲2▼については、あまり下げ過ぎると、ほんのわずかな輝度のむらや色相変化により変化ブロックが急増するため、逆にフレームレートが低くなってしまうという現象が起きてしまう。
【0125】
一方、量子化スケールQSCについては、次のような方法が考えられる。
▲1▼不変領域の量子化スケールQSCを下げる〈不変領域の画質向上〉
▲2▼画面全体の量子化スケールQSCを下げる〈画面全体の画質向上〉
▲3▼注視領域に対してのみ量子化スケールQSCを下げる〈注視部分の画質向上〉
【0126】
図9は、以上の制御内容についての流れを示すフローチャートである。なお、ここで変化判定しきい値DTH0〜DTH3および量子化スケールQSC0〜QSC3の設定条件は次のようになっている。
▲1▼データレート余裕度ADR上昇の場合
DTH0≧DTH3≧DTH2≧DTH1
QSC0≧QSC3≧QSC2≧QSC1
▲2▼データレート余裕度ADR上昇の場合
DTH3≧DTH2≧DTH1≧DTH0
QSC3≧QSC2≧QSC1≧QSC0
【0127】
符号化器1は、変化判定しきい値DTHおよび量子化スケールQSCの初期値DTH0,QSC0が設定された状態で(ステップP1)、データレート余裕度ADRが変化したか否かを監視する(ステップP2)。そして、データレート余裕度ADRの値が変化した場合には、領域別適応化を行なわないときには(ステップP3)、前述したようにテーブル(表1)を参照して変化判定しきい値DTHおよび量子化スケールQSCを変更設定する(ステップP4)。
【0128】
また、領域別適応化を行なう場合には、注視領域優先モードであるか否かを判定し(ステップP5)、「YES」の場合には注視領域の変化判定しきい値DTHをDTH1に変更設定し(ステップP6)、量子化スケールQSCをQSC1に変更設定する(ステップP7)。
【0129】
そして、注視領域優先モードに設定されている場合には、注視領域の変化判定しきい値をDTH2に、不変表示領域の変化判定しきい値をDTH3に設定すると共に(ステップP8,P9)、注視領域の量子化スケールをQSC2に、不変表示領域の量子化スケールをQSC3に設定する(ステップP10,P11)。この後、変化判定しきい値の最低値DTHminを超える有意変化ブロックが有るか否かに応じて(ステップP12)、「YES」の場合には有意変化ブロックの変化判定しきい値をDTH2に設定し(ステップP13)、そうでないときには終了する。
【0130】
[d]画像データサイズの適応的変更
上述と同様に、動き量判定レベルLM、色変化量判定レベルLC、変化ブロック数NCB、データレート余裕度ADRの判定レベルLADRの総合的判定に加えて、画像要求度RVのレベルLRV(後述する)も考慮して画像データサイズの適応的変更を行うことができる。
【0131】
ここで、画像データサイズは、通常のCIFに加えて、QCIF、SQCIFについて設定可能な場合を想定している。そして、例えば、
[L,LADR,LRV]→[SQCIF/QCIF/CIF]
の参照テーブルを考える場合には、LおよびLADR,LRVが0〜3の4段階の値をとるとすると、次の表3のように制御内容を設定することができる。
【0132】
【表3】
【0133】
上述の画像データサイズの変更を行なう場合に、変更直後のフレームに対してイントラ符号化を行なったイントラフレームを介さずに、連続的にフレーム間のサイズ変更を行なうことができる。拡大変更と縮小変更の両者についてそれぞれ以下のように実現することができる。
【0134】
(ア)CIF→QCIF
CIF/QCIFダウンサンプリングの駆動により、時刻t(n−1)のCIF符号化フレーム(フレームメモリに格納されている)をQCIFに変換する。このQCIFに対して時刻t(n)のQCIFベースのフレーム間符号化を行う。デコーダ側ではピクチャヘッダ中のQCIF指示フラグにより、ダウンサンプリングを駆動する。
【0135】
(イ)QCIF→CIF
QCIF/CIF双一次補間フィルタの駆動により、時刻t(n−1)のQCIF符号化フレーム(フレームメモリに格納されている)をCIFに変換する。このCIFに対して時刻t(n)のCIFベースのフレーム間符号化を行う。デコーダ側ではピクチャヘッダ中のCIF指示フラグにより、補間フィルタを駆動する。なお、この補間フィルタについてはサイズ間の切換えを行なう場合に対応して推奨されているものがある。
【0136】
以上の方法により、イントラフレームを差し挟まなくともサイズ変更を実現することができるようになるので、符号化器1側で情報量を極端に増大させることなくフレームレートを維持することができるようになる。
【0137】
[e]音声データと画像データとの比率に対する要求度の抽出
ヒューマンインターフェイスを簡略化するために、通信品質への要求を表現する場合において、必要な最低限の制御入力手段を以下に示す一次元尺度で考慮する。すなわち、音声比率に対する要求度Raとして、
Raij ;端末iで設定する端末jの符号化器の音声比率への要求度
として示す。
【0138】
[e−1]連続制御
図10に示すように、音声(A)と映像(V)との間の比率(AV比率)を指定するつまみ29を表示装置29の前面部に設ける。これは、使用者によってスライド操作することにより比率を設定可能に設けられるもので、今、つまみ29aの示す値Tが0から1まで変化するとき、
Raij=T ;データ全体に占める音声データの割合
Rvij=1−T ;データ全体に占める映像データの割合
となる。これにより、
▲1▼モード制御
▲2▼変化検出しきい値の変更(DTH)
▲3▼量子化スケールの変更(QSCALE)
を行う。
【0139】
[e−2]プロテクト機能
通信におけるプライバシ保護のため、自分の端末(端末1)の伝送品質を相手端末(端末2)に操作させる際には必ず使用者の許可を必要とするようにプロテクト機能を設けている。具体的には、図11にも示すように、モード設定用スイッチによるプロテクトON/OFFで実現する。通常の対話モードにおいては、プロテクトOFFの場合は、種々の音声および画像パラメータについて手動で設定するマニュアルモードと次項に示すように自己端末(端末1)と相手端末(端末2)との両者の要求度に基づいて決定される自動設定モードがある。また、上述の趣旨から、プロテクトONの場合は相手端末(端末2)から設定される要求を一切受け付けないようになっている。
【0140】
[e−3]AV比率の制御に関する優先順序
上記プロテクト機能がOFFされた場合には、1対1の通信の場合においては、Raijの定義から端末1において以下の2つの要求度が発生して競合することになる。
【0141】
Ra11;自分の端末(端末1)の音声符号化器に対する要求度
Ra21;相手の端末(端末2)から自分の端末1の音声符号化器に対して発生する要求度
上述の場合に、一般的には、背景情報についてユーザが持つ可制御性は音声情報よりも映像情報の方が低いと推察されるから、音声に比べて映像の方が自分の端末から送る際の可制御性を高める必要があると考えて次のような決定規則を設定する。
【0142】
RA1=max[Ra11,Ra21]
RA1 ;端末iの音声符号化器に送る最終的な要求度
これは、コミュニケーションとしての電話機能を最低限満足するためには聞き手の音声品質に対する要求を満たすことが必須であることにも対応している。
【0143】
[e−4]モード制御
被写体、用途などに応じたモード制御は、例えば、画像の付帯状況として使用環境や被写体あるいは用途などに応じて、符号化器1と復号化器16との間であらかじめ取り決められた符号化条件を備えており、それら各モードに対応して付されるコードをビットストリームデータに付加することにより、発生する情報量を大幅に削減させることができる。
【0144】
ここで、設定可能なモードとしては、次のようなものが考えられている。例えば、使用環境に対応するモードとしては、屋内,屋外,あるいは自動車の中、さらには、それらの環境の中で固定モードか可動モードか等がある。また、被写体のモードとしては、人物,風景,静止物体あるいは図面,文字などのモードがあり、さらには人物のモードにおいては、頭部,上半身,全身あるいは複数人物などの様々なモードが考えられる。
【0145】
さらには、符号化制御に関するモードとしては、画像中心優先モード,対象領域優先モード,動き優先モード,準動画モード,静止画モード,モデルベース予測モードなどの様々なモードがあるが、ここではモードの例を概略的に述べるにとどめる。
【0146】
[f]パラメータ制御
[f−1]要求度に基づく符号化レートの決定
要求度に基づく符号化レートの決定画像要求度とデータレート余裕度とから符号化レートを決定する。すなわち、
[RV,ADR]→[BRA,BRV]
BRA;音声符号化レート
BRV;画像符号化レート
この目標に基づき、量子化スケール(QSCALE)と変化検出しきい値(DTH)の2つを既に記載した方法で変化させることで画像データ量を調整し、AV比率を制御する。
【0147】
[f−2]遠隔モニタリングモードの符号化パラメータの遠隔制御
前述した音声要求度を決定した場合と同様にして、符号化パラメータの各値を設定する際にも自己の端末に対する制御値を優先するようなプロテクト機能を設ける。
【0148】
このような遠隔モニタリングモードにおいては、前述したようなプロテクト機能をONさせて実行することにより、次のような効果を得ることができる。すなわち、通常の遠隔モニタリングモードにおいては、プロテクト機能をOFFにしている場合には、自己の端末(端末1)側で、相手端末(端末2)から送信される細かい符号化制御パラメータのセット(領域情報,量子化スケール,各種しきい値など)を受け取ることができるようになっているのに対して、プロテクト機能をONに設定することによりこれらのパラメータセットの受付を却下することになり、パラメータの変更設定を禁止した状態つまり、同一条件で符号化を行なうように保持してモニタリングを継続することになる。
【0149】
[f−3]システム全体のパラメータ制御
以上のパラメータ決定関係を総合すると図12に表すことができる。すなわち、符号化パラメータの決定の要因として、画像により発生する情報量があり、これには動き量SM,色変化量DC,変化ブロック数NBC,1フレーム前の情報発生量LI,バッファ量(データレート余裕度ADR)などの要素があり、これらのレベルを判定した結果から画像関係の情報発生レベルを考慮し、一方で、音声に関する要求度Ra,音声信号の発生状況などから画像情報の符号化レートBRVが決まり、これによってそのときのフレームの符号化パラメータを対応づけて決定する。
【0150】
決定する符号化パラメータの要素としては、前述したように、画像符号化レートBRV,量子化スケールQSC,変化ブロック判定しきい値DTH,画像データサイズCIF/QCIF/SQCIF,ブロック間変化量のサンプリング密度SD,画面全体の変化判定ブロック数のしきい値NCB_THなどがある。
【0151】
そして、このようにして決定された符号化パラメータに基づいて符号化処理の演算が実行される。また、このような符号化の状態は常時観測されており、次回以降の符号化パラメータ決定に際して利用されるようになっている。
【0152】
[g]ブロック雑音の除去
ブロック雑音の除去のために図13のようにしてポストフィルタを用いる。これは、復号化器16側において復号処理を行なって画像を再生する場合に、ブロック単位で再生を行なう際に、DCT係数の送信レベルを制御することにより、隣接するブロック間での輝度や色信号の変動が雑音として悪影響を与えるのを除去あるいはその影響力を緩和するためのものである。
【0153】
実際には、例えば、図13(a)のように再生されたMBK(マクロブロック)間のラインに沿ってポストフィルタを用いてBLK雑音除去処理を行なう。このBLK雑音除去処理では、同図(b)に示すように、BLK境界に沿って並ぶ画素のデータに対して、隣接する8個の画素のデータを利用して重み付けを行なって加算演算することにより変換して周囲の画素のデータとの中間的な画素データとなるように変換するものである。この場合においては、例えば、自己の画素データを4,隣接する画素データを2,斜めに隣接する画素データを1の割合で重み付けして加算することにより変換処理を施す。
【0154】
[h]可変GOB構造と識別番号の伝送
符号化器1および復号化器16の両者に、あらかじめ定義した共通のGOBパターンとそのIDコードを記憶しておき、符号化器1で用いたGOBパターンのIDコードのみを画像圧縮データに付加して既存プロトコル(H.261やH.263あるいはMPEG等)におけるユーザデータエリアなどを利用して伝送する。
【0155】
可変GOBパターンとしては、例えば、図14および図15に示すようなものが考えられる。すなわち、図14(a),(b)では一般的なH.261規格,H.263規格にしたがったGOBパターンを示し、同図(c),(d)および図15(a)では変形させたGOBパターンを採用している。
【0156】
変形GOB(その1)では、マクロブロックを4×4個まとめて1つのGOB単位を構成して画面に並べたパターンであり、変形GOB(その2)では、画面中央にマクロブロックを4×8個配置すると共に、その外周に隣接するマクロブロックを順次GOBの単位として配置したものである。また、変形GOB(その3)においては、所定のパターンに区切った変形GOBを配置している。図15(b)では、指定領域をGOBとして設定しており、同図(c),(d)では、QCIF,SQCIFを埋込んで配置したGOBパターンとしている。
【0157】
さて、このようにGOBパターンを設定しておくことにより、復号化器16は送られてきた圧縮ビットストリームをGOB単位で通常の画像復号プロトコルによって解凍した後に、ユーザデータエリアなどに格納されたGOBパターンのIDコードをもとにGOBパターンデータベースから該当するGOBパターンを選択して、あらかじめ取り決められたGOB番号とGOB中のマクロブロック数に基づいて、復号したGOBデータを配置する。この方式によって、例えば、従来の画像のように左上部分から右下に向かう水平スキャンによる画一的なGOB構造に比べて、画像内容に則したGOB間のプライオリティを付けることができるようになる。
【0158】
例えば、「変形GOBパターンその2」(図14(d)参照)では、画面中央の中心部分から先に伝送するので、伝送線路に誤りが混入して再送を繰り返すといった場合でも、重要な画像部分だけは統計的に少ない遅延時間で速く送ることができる。また、「変形GOBパターンその3」(図15(a)参照)では、略人物正面像に近い形状でGOBを区切ることができるようにしているので、GOB単位での効率的な符号割り当てを可能にしている。
【0159】
また「QCIF埋込」(同図(c)参照)では、伝送レート内の画像に割り当てる符号レートが少なくなっても重要部分を良好な画質で且つ動きのある画像として見たいという場合に対応して、中央のQCIFのみの符号化への移行を簡単に行なうことができるようになる。なお、複数指定領域をGOBとする場合は、パターン識別番号のみでは不十分となるので、前述した[c−3]の領域に応じた制御の項で述べた領域の記述と伝送方法を用いることが必要になる。
【0160】
ここで、指定領域外の背景画像部分をどのようにGOBとして区分けするかという問題が生ずるが、このような場合に対応した規則を符号化器1と復号化器16との両者の間で同じ内容として規定して記憶しておけば、特に新しい区分け情報を伝送する必要はなくなる。
【0161】
このような本実施例によれば、次のような効果を得ることができる。
すなわち、第1に、変化領域抽出部6により、そのフレーム内のマクロブロックのうちの変化ブロックを検出してその変化ブロックについてのみフレーム内符号化処理を行なうので、携帯電話機のような限られた伝送容量(例えば、9600bps)の範囲内で変化が生じている領域についての情報を有効に伝送することができると共に、伝送誤りに強い画像再生を行なえて、無線系にも強い動画像伝送を行なえる。
【0162】
さらに、フレーム内符号化を行なうので、一般的な動画像圧縮の場合と異なり、前フレームに対する差分を演算したり動き補償差分符号化の演算ループなどの構成が不要となり、その分だけ演算処理量を大幅に削減することができて、例えば、パソコンなどの処理によっても十分に対応でき、携帯用情報端末を用いた画像伝送を行うことができるようになる。
【0163】
また、符号化条件設定手段としての符号化制御部8により、変化ブロックについての符号化を行なう際に、変化ブロックの発生量や変化量等のデータに応じて符号化処理の条件を伝送容量の範囲内で変更して必要な情報を取捨選択してより良質な動画像を伝送することができるようになる。
【0164】
第2に、符号化制御部8において、変化ブロックにより発生する情報発生量を、動き量,色変化量,変化ブロック個数,データレートの余裕度,音声符号化レートなどから符号化パラメータを決定するので、画像の変化に応じて弾力的に符号化条件の変更設定を行なうことができる。
【0165】
第3に、上述のように情報発生量およびデータレートの余裕度の変化に基づいて、符号化パラメータとして、画像符号化レート,量子化スケール,変化ブロック判定しきい値,画像データサイズ,ブロック間変化量計算のサンプリング密度あるいは画面全体の変化判定のブロック数のしきい値を変更設定するので、符号化処理に際して有効な符号化を行なうことができるようになる。
【0166】
第4に、音声情報を同時に伝送する場合に、その音声情報の発生状況に応じて画像情報の伝送容量を求めて、符号化条件を適応的に変更設定するので、限られた伝送容量の中で、画像情報を効率的に送信して使用者が必要とする領域を精度良く再生することができる。
【0167】
第5に、音声情報の突発的増大を検出して画像情報の送信を弾力的に制限するので、音声情報の送信を優先しながら、音声情報が少ないときに画像情報を精度良く送信することができるようになる。
【0168】
第6に、音声情報の符号化要求度を設定可能にしたので、画像情報に対して音声情報を優先しながら伝送容量の範囲で画像情報を有効に利用して送信することができるようになる。
【0169】
第7に、プロテクト機能を設けたので、外部からの符号化要求度設定に対してプライバシーの保護を図ることもできる。
【0170】
本発明は、上記実施例にのみ限定されるものではなく、次のように変形また拡張できる。
映像ソースとしては、カメラ2に限らず、ビデオ映像の画像情報を利用するものでも良い。
信号送信部および信号受信部で信号の授受を行なう媒体としてはデジタル携帯電話機に限らず、他の通信手段を用いても良いし、さらには無線系だけではなく有線系の通信経路に適用することもできる。
【0171】
音声情報と画像情報とを同時に送信する場合に限らず、画像情報のみの通信を行なう場合にも適用できる。
AV比率の設定用つまみはスライド式以外に、回転式のものでも良いし、デジタル的に設定するものでも良い。また、必要に応じて省いた構成とすることもできる。
【0172】
プロテクト機能は必要に応じて設ければ良い。
符号化レートを決定するための参照テーブルは、表1〜3以外に適宜設定することができる。
【0173】
可変GOBパターンの適応的変更や画像データサイズの適応的変更の制御については必要に応じて設けることができる。また、これらを使用しない場合には、復号化器の構成上において、既存の規格のものを適用することができる。
【0174】
9600bpsの携帯電話機の場合を説明したが、H.263規格で対象とされている64kbps程度以下の伝送容量の場合にも同様に適用でき、動画像伝送に有効に利用することができる。
【図面の簡単な説明】
【図1】本発明の一実施例を示す全体のブロック構成図
【図2】全体の概略的動作を示すフローチャート
【図3】画像情報の状態観測動作を示すフローチャート
【図4】符号化状態と要求の判定動作を示すフローチャート
【図5】符号化パラメータ決定動作を示すフローチャート
【図6】符号化演算処理動作を示すフローチャート
【図7】画素のサンプリングパターンを示す説明図
【図8】音声データ量変動の検出動作を示すフローチャート
【図9】領域に応じたしきい値変更制御の動作を示すフローチャート
【図10】AV比率を設定するつまみの部分を示す表示装置の正面図
【図11】プロテクト機能の動作を示す作用説明図
【図12】符号化パラメータ決定の総合的な関係を示すブロック図
【図13】ポストフィルタの説明図
【図14】可変GOBパターン(その1)
【図15】可変GOBパターン(その2)
【符号の説明】
1は符号化器、2はカメラ(撮像手段)、3はA/D変換部、4はRGB/CIF変換部、5は二次元高速DCT部、6は変化領域抽出部(変化ブロック検出手段)、7は量子化部、8は符号化制御部(符号化条件設定手段)、9は有意係数属性制御部、10は可変長符号化部、11は階層結合部、12はバッファ、13は信号送信部、14はRS232c通信処理部、15はデジタル携帯電話機、16は復号化器、17は信号受信部、18はデジタル携帯電話機、19はRS232c通信処理部、20はバッファ、21はパーザ、22は可変長復号化部、23は有意係数属性再生部、24は逆量子化部、25は二次元高速逆DCT部、26は復号化制御部、27はCIF/RGB変換部、28はD/A変換部、29は表示器、29aはAV比率設定用のつまみである。
Claims (8)
- 複数のブロックから構成される1フレームの画像データをそのブロック単位で符号化しながら圧縮する処理をすることにより所定の伝送容量の範囲内の伝送信号を生成する動画像情報の符号化装置において、
前記フレーム中の複数のブロックのうちで前フレームの画像データとの変化量が判定しきい値以上であるときにこれを変化ブロックとして検出する変化ブロック検出手段と、
送信可能な伝送容量の範囲内で前記フレームの画像データを符号化する際に、前記変化ブロック検出手段により検出された前記変化ブロックの情報量として得られる動き量、色変化量、変化ブロック数、1フレーム前の情報発生量、バッファ量の値に応じて符号化処理条件である画像符号化レート、量子化スケール、変化ブロック判定しきい値、画像データサイズ、ブロック間変化量計算のサンプリング密度、画面全体の変化判定ブロック数のしきい値を変更設定する符号化条件設定手段と、
この符号化条件設定手段により設定される符号化処理条件で前記変化ブロックのみをフレーム内符号化の符号化処理をして伝送信号を生成する符号化処理手段とを具備し、
前記符号化条件設定手段は、前記バッファ量から画像データ送信の余裕度を検出し、検出された前記余裕度に応じて符号化処理条件を設定し、音声信号の突発的増大があるときには、使用者により設定された要求度に基づいて設定した初期値の画像符号化レートに変更するように構成されていることを特徴とする動画像情報の符号化装置。 - 請求項1に記載の動画像情報の符号化装置において、
前記符号化条件設定手段は、前記フレーム内で変化ブロック検出手段により検出された変化ブロックについてその動き量を演算し、その結果に基づいて符号化処理条件を設定するように構成されていることを特徴とする動画像情報の符号化装置。 - 請求項1に記載の動画像情報の符号化装置において、
前記符号化条件設定手段は、前記フレーム内で変化ブロック検出手段により検出された変化ブロックについてその色変化量を演算し、その結果に基づいて符号化処理条件を設定するように構成されていることを特徴とする動画像情報の符号化装置。 - 請求項1に記載の動画像情報の符号化装置において、
前記符号化条件設定手段は、前記フレーム内で変化ブロック検出手段により検出された変化ブロックについてその動き量および色変化量を演算してそれらを所定の重み付を行なって加算した総合変化量に基づいて符号化処理条件を設定するように構成されていることを特徴とする動画像情報の符号化装置。 - 請求項2または4に記載の動画像情報の符号化装置において、
前記符号化条件設定手段は、前記動き量の演算において、前記検出された変化ブロックの重心位置を求めてその重心位置の前フレームに対する動きベクトルの大きさを得てこれに変化ブロックの総数を乗ずることにより求めることを特徴とする動画像情報の符号化装置。 - 請求項2または4に記載の動画像情報の符号化装置において、
前記符号化条件設定手段は、前記動き量の演算において、前記フレーム内の全てのマクロブロックの前フレームに対する動きベクトルの大きさの総和を計算することにより求めることを特徴とする動画像情報の符号化装置。 - 請求項6記載の動画像情報の符号化装置において、
前記符号化条件設定手段は、前記フレーム内の全てのマクロブロックの前フレームに対する動きベクトルを検出する際にそのブロックを構成する画素を所定条件でサンプリングすることにより演算するように構成されていることを特徴とする動画像情報の符号化装置。 - 請求項1、5〜7のいずれかに記載の動画像情報の符号化装置において、
前記符号化条件設定手段は、前記画像データ送信の余裕度,前記変化ブロックについて演算して得られた動き量や色変化量あるいは得られた前記動き量および前記色変化量に所定の重み付を行なって加算して得られた総合変化量または1フレーム前の画面全体の情報発生量のいずれかまたはその組み合わせにより得られる符号化処理条件の値に応じて、次回以降の符号化処理条件設定における前記変化ブロック判定しきい値,符号化のための量子化スケールおよび画面全体の変化判定ブロック数のしきい値を符号化処理条件として設定することを特徴とする動画像情報の符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03047897A JP4341078B2 (ja) | 1997-02-14 | 1997-02-14 | 動画像情報の符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03047897A JP4341078B2 (ja) | 1997-02-14 | 1997-02-14 | 動画像情報の符号化装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005225428A Division JP4508029B2 (ja) | 2005-08-03 | 2005-08-03 | 動画像情報の符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10229558A JPH10229558A (ja) | 1998-08-25 |
JP4341078B2 true JP4341078B2 (ja) | 2009-10-07 |
Family
ID=12304964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03047897A Expired - Fee Related JP4341078B2 (ja) | 1997-02-14 | 1997-02-14 | 動画像情報の符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4341078B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9746670B2 (en) | 2010-02-04 | 2017-08-29 | Jean-Michel Asfour | Device for presenting information near the eyes |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001274923A (ja) | 2000-03-28 | 2001-10-05 | Nec Eng Ltd | 携帯電話伝送システム |
US7195588B2 (en) | 2004-03-01 | 2007-03-27 | Olympus Corporation | Endoscope image pick-up apparatus |
JP4583704B2 (ja) * | 2002-11-01 | 2010-11-17 | オリンパス株式会社 | 内視鏡撮像装置 |
JP4205634B2 (ja) | 2004-05-27 | 2009-01-07 | Necディスプレイソリューションズ株式会社 | 画像送信装置で使用される方法、およびプログラム |
GB2429593A (en) | 2005-08-26 | 2007-02-28 | Electrosonic Ltd | Data compressing using a wavelet compression scheme |
JP6149534B2 (ja) * | 2013-06-19 | 2017-06-21 | 株式会社ソシオネクスト | 画像送信装置、画像伝送システム、画像送信方法および画像送信プログラム |
US9992252B2 (en) | 2015-09-29 | 2018-06-05 | Rgb Systems, Inc. | Method and apparatus for adaptively compressing streaming video |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06153180A (ja) * | 1992-09-16 | 1994-05-31 | Fujitsu Ltd | 画像データ符号化方法及び装置 |
JP3226713B2 (ja) * | 1994-05-26 | 2001-11-05 | 株式会社日立国際電気 | 符号化方法 |
JP3480067B2 (ja) * | 1994-09-30 | 2003-12-15 | ソニー株式会社 | 画像符号化装置及び方法 |
JP3707118B2 (ja) * | 1995-04-28 | 2005-10-19 | ソニー株式会社 | 画像符号化方法及び装置 |
-
1997
- 1997-02-14 JP JP03047897A patent/JP4341078B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9746670B2 (en) | 2010-02-04 | 2017-08-29 | Jean-Michel Asfour | Device for presenting information near the eyes |
Also Published As
Publication number | Publication date |
---|---|
JPH10229558A (ja) | 1998-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5318424B2 (ja) | 関心領域映像符号化に関するコンテンツ適応型背景スキップ | |
JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
JP3748717B2 (ja) | 動画像符号化装置 | |
US20160100166A1 (en) | Adapting Quantization | |
US20040158719A1 (en) | Video encoder capable of differentially encoding image of speaker during visual call and method for compressing video signal using the same | |
US20030123751A1 (en) | Method and apparatus for region-based allocation of processing resources and control of input image formation | |
US8270476B2 (en) | Face detection system for video encoders | |
US20040120398A1 (en) | System and method for adaptive field and frame video encoding using rate-distortion characteristics | |
JPH10257489A (ja) | 映像符号化のためのビット発生量調節装置及び方法 | |
JP2002519914A (ja) | ブロック分類と適用ビット割当て方法および装置 | |
JP2008533850A (ja) | 二層符号化及び単層復号化による階層的ビデオ符号化 | |
JPH04196976A (ja) | 画像符号化装置 | |
AU2006223416A1 (en) | Content adaptive multimedia processing | |
US20040120397A1 (en) | System and method for adaptive field and frame video encoding using motion activity | |
JP4341078B2 (ja) | 動画像情報の符号化装置 | |
US7613351B2 (en) | Video decoder with deblocker within decoding loop | |
JP4508029B2 (ja) | 動画像情報の符号化装置 | |
KR100770873B1 (ko) | 영상 부호화시 비트율 제어 방법 및 장치 | |
JP4517453B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
JP4517475B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
JPH0244881A (ja) | 動画像符号化方式 | |
JP4608801B2 (ja) | 画像情報変換装置及び方法 | |
JP4517465B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
JPH06233292A (ja) | 画像信号伝送装置 | |
JPH11234638A (ja) | 画像符号化装置及び方法並びに記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090629 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |