JPH1079936A

JPH1079936A - 映像符号化装置

Info

Publication number: JPH1079936A
Application number: JP23320196A
Authority: JP
Inventors: Makoto Senda; 誠千田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-09-03
Filing date: 1996-09-03
Publication date: 1998-03-24

Abstract

(57)【要約】【課題】無線通信のようにエラー率の高い伝送路で映
像通信を行う場合に、画像乱れをなくすと共に伝送遅延
を少くする。【解決手段】フレームメモリ２１３内の映像信号はフ
レーム間符号化により符号化され、その符号化データは
送信バッファ２２１に蓄積される。符号化制御部２０１
は、蓄積フレーム検出部２３７、送出量検出部２１１に
より送信バッファ２２１の蓄積量を検出し、所定の蓄積
量を越えたらフレーム廃棄制御部２３８により、蓄積デ
ータをフレーム単位で廃棄させる。その後の１フレーム
の映像信号をフレーム内符号化して送信バッファ２２１
に蓄積する。従って、フレーム廃棄しても画像が乱れ
ず、伝送遅延も少ない。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、リアルタイム性を
必要とする映像データをエラー率の高い伝送路で伝送す
る場合等に用いて好適な映像符号化装置に関するもので
ある。

【０００２】

【従来の技術】従来のアナログ回線の伝送路は伝送レー
トが低く、このため音声や低速データの伝送に主として
使用され、画像データの伝送は静止画像に限られてい
た。しかし、近年の通信技術や半導体技術、光技術の進
展に伴い、高速のデジタル回線が整備され、高速で大容
量のデータ伝送が可能になった。また、画像圧縮技術も
進展し、かなり高圧縮しても画像品質をそれほど落とさ
なくても済む圧縮技術が開発され実用化されている。特
に、ＩＴＵ−Ｔでは、テレビ電話／会議の符号化方式と
して、Ｈ．２６１が勧告化され、相互通信性も保証され
ているので電話のようにテレビ電話も普及することが期
待されている。今のところは、上記の勧告の対象がＩＳ
ＤＮやＰＯＴＳのような回線が対象であるが、今後は有
線でもより高速な回線であるＡＴＭや携帯電話やポケッ
トベルのような無線通信が急速に普及すると見られてお
り、このような回線での映像伝送も必要になってくると
考えられる。

【０００３】画像通信の場合は、主として静止画像と動
画像の２種類あり、静止画像の場合には、再送等により
時間遅延しても利用することが十分可能であるが、動画
像の場合には、リアルタイムのデータであるために、あ
る時間内に相手端末に送信完了しないと意味のないデー
タとなってしまうので時間的制約が大きい。また、有線
通信の場合は、公共性や技術的な難しさもあり、局所的
な無線通信や、ＴＶ等のような放送に関する通信以外に
は有線通信に比べてかなりレートが低いために、映像の
ように大量データが必要な場合には、非常に高い圧縮を
する必要がある。

【０００４】また、無線通信の場合には、ＲＦ信号レベ
ルの減衰により発生するランダムエラーと、変調技術に
よるエラー増幅を発生してしまうショートバーストエラ
ーと、フェージングやマルチパス等によるロングバース
トエラー等の様々なエラーが混在して発生する。即ち、
無線通信は有線通信に比べて著しく環境に左右される特
性をもっており、回線品質も１０^-4〜１０^-3と、有線通
信の１０^-8〜１０^-9に比べると、極端に悪いものとなっ
ている。

【０００５】そこで従来では、データの並び変えによる
インターリーブ処理と、エラーを訂正するための訂正ビ
ットを付加して転送し、受信側でエラー箇所に対してエ
ラー訂正ビットを利用して訂正するエラー訂正処理と、
エラーが発生していることを受信側より教えてもらい、
エラーがあった場合には再度転送する再送処理とを行う
ことで、上記エラーによる障害を軽減するようにしてい
る。

【０００６】

【発明が解決しようとする課題】以上のように従来の技
術によれば、エラー率の高い伝送路（特に無線）で通信
する場合には、ノンリアルタイムのデータであれば、エ
ラーの訂正やデータの再送をすることにより、エラー無
しのデータを送信することができる。また、リアルタイ
ム性を要求されるデータについても、上記エラーに対し
ての対策を講ずることにより、ある程度のエラーを軽減
することができる。しかしながら、完全にエラー無しに
することはできないので、ある時間内にデータ通信を完
了しなければならないリアルタイム通信では、時間が間
に合わず、エラーを残したままの状態になり、このため
映像に乱れを生じるという問題があった。

【０００７】また、データの再送等を行うと、送信端末
側に送信できずに蓄積されるデータが増加してしまい、
データの遅延が発生するという問題が生じたり、あるい
は時間経過したデータが残ってしまい、送信完了したと
しても時間内に送れずに使い物にならないデータになっ
てしまうという問題があった。

【０００８】本発明は上記のような問題を解決するため
になされたもので、エラー率の高い伝送路においても、
伝送効率の高い、遅延時間の少い映像通信を行うことの
できる映像符号化装置を得ることを目的とする。

【０００９】

【課題を解決するための手段】請求項１の発明において
は、映像信号を符号化し符号化データを出力する第１の
符号化手段と、上記符号化データを蓄積する蓄積手段
と、上記蓄積手段のデータ蓄積量が所定値を越えたこと
を検出し、この検出に基づいて上記蓄積された符号化デ
ータをフレーム単位で廃棄させる制御手段と、上記廃棄
後の１フレームの上記映像信号をフレーム内符号化しそ
の符号化データを上記蓄積手段に送る第２の符号化手段
とを設けている。

【００１０】請求項２の発明においては、映像信号を符
号化し符号化データを出力する第１の符号化手段と、上
記符号化データを蓄積する蓄積手段と、上記符号化時に
２つのフレーム間の差分値が所定値より大きい領域を記
憶する記憶手段と、上記蓄積手段のデータ蓄積量が所定
値を越えたことを検出し、この検出に基づいて上記蓄積
された符号化データをフレーム単位で廃棄させる制御手
段と、上記廃棄された符号化データのフレームに関して
上記記憶手段に記憶された領域を指定する指定手段と、
上記廃棄後の上記映像信号の上記指定された領域をフレ
ーム内符号化しその符号化データを上記蓄積手段に送る
第２の符号化手段とを設けている。

【００１１】請求項５の発明においては、映像信号をフ
レーム間符号化し符号化データを出力する第１の符号化
手段と、上記符号化データを蓄積する蓄積手段と、参照
フレームの符号化データと現フレームの符号化データと
を記憶する記憶手段と、上記蓄積手段のデータ蓄積量が
所定値を越えたことを検出し、この検出に基づいて上記
蓄積された符号化データをフレーム単位で廃棄させる制
御手段と、上記廃棄後に上記記憶手段に記憶された上記
参照フレームの符号化データを再度利用してフレーム内
符号化しその符号化データを上記蓄積手段及び記憶手段
に送る第２の符号化手段とを設けている。

【００１２】

【作用】請求項１の発明によれば、第１の符号化手段で
符号化された映像信号の符号化データは蓄積手段に蓄積
される。制御手段は蓄積されたデータ量を検出し、所定
のデータ量を越えたときにその蓄積データをフレーム単
位で廃棄させると共に、その後の映像信号が第２の符号
化手段でフレーム内符号化される。従って、フレーム廃
棄しても画像の乱れがなく、伝送遅延も少くすることが
できる。

【００１３】請求項２の発明によれば、第１の符号化手
段でフレーム間符号化等により符号化された映像信号の
符号化データは蓄積手段に蓄積される。制御手段は蓄積
データ量を検出し、所定のデータ量を越えたとき蓄積デ
ータをフレーム単位で廃棄させる。その後第２の符号化
手段は、映像信号における記憶手段で指定される領域に
ついてフレーム内符号化を行う。従って、フレーム廃棄
しても画像の乱れがなく、また伝送遅延も少くすること
ができる。

【００１４】請求項５の発明によれば、第１の符号化手
段でフレーム間符号化された映像信号の符号化データは
蓄積されると共に参照フレームと現フレームのデータが
記憶手段に記憶される。制御手段は蓄積データ量を検出
し、所定のデータ量を越えると蓄積データをフレーム単
位で廃棄させる。その後、第２の符号化手段は、上記記
憶された参照フレームのデータを再度利用してフレーム
内符号化する。従って、フレーム廃棄しても画像の乱れ
がなく、また伝送遅延も少くすることができる。

【００１５】

【発明の実施の形態】以下、本発明の第１〜４の実施の
形態を図面を参照して説明する。図２は本発明を適用し
得るＴＶ電話装置の全体の構成ブロック図である。図２
において、１は、本装置の音声入力手段の一つであるマ
イク、２は、本装置の音声出力手段の一つであるスピー
カ、３は、システム制御部１０の指示により、音量レベ
ル調整のための利得調整機能と、マイク２とスピーカ３
とを使用した場合に生じるエコーを消去するためのエコ
ーキャンセル機能とを持つ音声インターフェース部、４
は、システム制御部１０の指示により、６４ｋｂｐｓＰ
ＣＭ（Ａ−ｌａｗ）、６４ｋｂｐｓＰＣＭ（μ−ｌａ
ｗ）、７ｋＨｚオーディオ（ＳＢ−ＡＤＰＣＭ）、３２
ｋｂｐｓＡＤＰＣＭ、１６ｋｂｐｓ（例えば、ＡＰＣ−
ＡＢ）８ｋｂｐｓなどの音声符号化／復号化アルゴリズ
ムに従って送信音声信号をＡ／Ｄ変換し符号化する機能
と、受信音声信号を復号化してＤ／Ａ変換する機能とを
持つ音声コーデック部である。

【００１６】５は、標準装備され人物を撮像するカメ
ラ、６は、カメラ５よりの入力画像や相手側からの受信
画像やシステム制御部１２からの画像を表示するモニ
タ、７は、システム制御部１０の指示により、上記各画
像入力の切り換え機能と、各画像の表示切り換え及び表
示分割機能と、各画像入出力の映像信号と電気的／信号
的に整合をとるための信号変換機能とを持つ画像インタ
ーフェース部である。

【００１７】８は、送信画像をＡ／Ｄ変換し符号化する
機能と、受信画像を復号化しＤ／Ａ変換する機能とをも
つ画像コーデック部であり、大容量の画像の生データに
対して動き補償、駒落とし、フレーム間補償及びフレー
ム間補償、ＤＣＴ変換、ベクトル量子化変換などの種々
の手法によって帯域圧縮を行い、小容量化してデジタル
回線で伝送可能にしている。現在、低速回線の伝送速度
でも伝送可能な画像の符号化方式としてはＩＴＵ−Ｔ勧
告Ｈ．２６１、Ｈ．２６３がある。

【００１８】９は、本装置の制御をするために制御情報
入力に使用するキーボード、タッチパネルなどの操作
部、１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、補助記憶装置、
キャラクタジェネレータ、画像信号生成回路などを備
え、各部の状態を監視し装置全体の制御、状態に応じた
操作／表示画面作成およびアプリケーションプログラム
の実行などを行うシステム制御部である。

【００１９】１１は、音声コーデック部４からの音声デ
ータ、画像コーデック部８からの画像データ、システム
制御部１０からの制御信号を送信フレーム単位に多重化
するとともに、受信フレームを構成単位の各メディアに
分離し各部に通知する多重分離部であり、ＩＴＵ−Ｔ勧
告としては、Ｈ．２２１、Ｈ．２２３がある。本発明に
おいては、無線等の伝送路を主に含めるために、上記以
外の多重分離化方式や各メディアごとにパケット化して
データ伝送するパケット伝送方式も含めるものとする。

【００２０】１２は、回線を制御する回線インターフェ
ース部である。回線としては、有線／無線等いろいろあ
るが、本発明に関しては、無線通信のように回線品質が
環境によって大きく変化するような回線レートが一定し
ない回線に特に有効である。有線としては、ＡＴＭのよ
うに回線使用率に応じて回線レートを変化させるような
回線でも有効である。しかし、それ以外の用途としても
利用可能なため特に限定しない。

【００２１】図１は本発明の第１の実施の形態としての
図２の画像コーデック部８の内部構成図である。図１に
おいて、２０１は、システム制御部１０からの指示に従
い判別処理し、その判別結果に基づいて各部の制御をし
たり、必要な情報の生成を行う符号化制御部、２０２
は、符号化対象となる画像フレームを間引くことにより
発生符号量を抑制するコマ落とし制御部、２０３は、前
フレームと現フレームの同一のＭＢ（マクロブロック、
これについては後述する）について、フレーム間の平均
二乗誤差やフレーム内の分散等を算出してＩＮＴＥＲ
（前フレームと現フレームとの画像の差分値）／ＩＮＴ
ＲＡ（現フレームの原画像値）を判別するＩＮＴＥＲ／
ＩＮＴＲＡ判別処理部、２０４は、対象となる現フレー
ムのブロックが前フレームのある範囲内をサーチしてパ
ターンマッチングするかどうか、つまり動き補償するか
否かを判別するＭＣ判別部、２０５は、ＭＣ判別部２０
４の判別結果により動き補償と動きベクトル（方向、大
きさ）を指示することによりＭＣ処理を行うＭＣ処理部
である。

【００２２】２０６は、ＩＮＴＥＲ／ＩＮＴＲＡ判別部
２０３の判別結果によりＩＮＴＥＲ／ＩＮＴＲＡ処理を
各部へ指示するＩＮＴＥＲ／ＩＮＴＲＡ処理部、２０７
は、動き補償した後にフィルタ処理を指示するフィルタ
処理部、２０８は、同一のＭＢに対してＩＮＴＥＲが続
くと受信側で量子化誤差が累積する、あるいは伝送エラ
ーなどによる復号画像の乱れが生じた場合に復旧できな
いなどの問題が生じるために、ある期間でＩＮＴＥＲに
して、リフレッシュするためのリフレッシュ周期カウン
タ、２０９は、量子化した際のデータの発生効率をよく
するためにしきい値を制御し、ある値以下のデータは０
値としてデータを発生しないようにする量子化しきい値
制御部、２１０は、送信バッファ２２１のデータ蓄積量
に応じて量子化ステップサイズを制御する量子化ステッ
プサイズ制御部、２１１は、送信バッファ２２１の蓄積
量を検出する送信量検出部、２１２は、フレームヘッ
ダ、ＧＯＢヘッダ、ＭＢヘッダを生成するヘッダ情報生
成部である。

【００２３】２１３はフレームメモリ、２１４、２１５
は、ＩＮＴＥＲ／ＩＮＴＲＡを選択するスイッチ、２１
６は、ＩＮＴＥＲの際の前フレームと現フレームの差分
をとる減算器、２１７は、直交変換により空間領域から
の周波数領域に変換するＤＣＴ変換部（不可逆符号
化）、２１８は量子化器、２１９は、発生したデータを
可変長の可逆符号化するＶＬＣ部（可逆符号化）、２２
０は多重化部、２２１は、送信バッファ、２２２は、誤
り訂正フレームを生成するＢＣＨ部である。

【００２４】２２３は逆量子化器、２２４は逆ＤＣＴ変
換部、２２５は、前フレームと現フレームとを加算する
加算器、２２８、２２９は、符号化するための参照画像
である前フレームと符号化処理後の現フレームを記憶す
るフレームメモリ（ＦＭＯ、ＦＭＩとする）、２２６、
２２７は、読みだしフレームと書込みフレームを交互に
切換えるスイッチ、２３０は、スイッチ２２６、２２７
とフレームメモリ２２８、２２９を制御するＦＭ制御
部、２３１は、前フレームをサーチして現フレームとの
パターンマッチングを検出する動き補償部、２３２、２
３３は、フィルタのＯＮ／ＯＦＦを選択するスイッチ、
２３４はフィルタ処理部、２３５は、ＦＩＦＯ２３６へ
のデータの入力をＯＮ／ＯＦＦするスイッチ、２３６は
ＦＩＦＯである。

【００２５】２３７は、送信バッファ２２１に蓄積され
ているフレームを検出する蓄積フレーム検出部、２３８
は、送信バッファ２２１に蓄積されているフレームデー
タをフレーム単位に廃棄するための制御部、２３９は、
蓄積フレーム検出部２３７からのフレーム情報を管理す
るフレーム管理部である。

【００２６】図３は映像信号の符号化処理を行う場合の
画像フォーマットを示す。Ｈ．２６１勧告においては、
取り扱う映像信号は、ＮＴＳＣ、ＰＡＬ、デジタルテレ
ビ規格などの異なった複数の規格が存在するため、互い
に通信ができるように図３のような世界共通のビデオ信
号フォーマットを採用している。このフォーマットは、
ＣＩＦフォーマットと称し、図３（ａ）のように標本数
が輝度Ｙは３５２画素×２８８ライン、色差Ｃｒ、Ｃｂ
は１７６画素×１４４ラインで規定されている。標本点
（サンプリング点）については図３（ｃ）のように色差
（Ｃｒ、Ｃｂ）は、輝度４地点（Ｙ１、Ｙ２、Ｔ３、Ｙ
４）の等距離にある点と定められている。

【００２７】更に、ＣＩＦの１／４はＱＣＩＦフォーマ
ットと称し、図３（ｂ）のように標本数が輝度Ｙは１７
６画素×１４４ライン、色差Ｃｒ、Ｃｂは８８画素×７
２ラインで定義されている。また、ＣＩＦフォーマット
は、ＧＯＢフォーマット複数個で構成され、このＧＯＢ
フォーマットはＭＢ（マクロブロック）フォーマット３
３個で構成される。更に、ＭＢフォーマットは８画素×
８ラインの輝度ブロックをＹ１、Ｙ２、Ｙ３、Ｙ４の４
ブロックと８画素×８ラインの色差ブロックをＣｒ、Ｃ
ｂの２ブロックとで構成されており、階層構造になって
いる。この階層構造により符号化をＭＢ単位で行うこと
が可能となる。

【００２８】ＧＯＢは、標本数が輝度１７６画素×４８
ライン、色差Ｃｒ、Ｃｂ８８画素×２４ラインに定義さ
れ、ＣＩＦの１／１２、ＱＣＩＦの１／３に相当し、Ｇ
ＯＢの番号がＣＩＦはＧＯＢ１からＣＯＢ１２まで、Ｑ
ＣＩＦは、ＧＯＢ１、ＧＯＢ３、ＧＯＢ５が割り当てら
れている。

【００２９】次に、符号化された画像データのフレーム
構成は図４に示すような多重化フレーム構成となってい
る。ここでは説明の都合上、ＦＨ（フレームヘッダ）を
付加した状態を示している。図４（ａ）はＧＯＢのブロ
ックによる構成を示している。図示のように画面の１フ
レームのデータの先頭にＦＨがつき、画面を１２分割し
た１ブロックをＧＯＢとして、ＧＯＢ１からＧＯＢ１２
まで順次伝送される。ＧＯＢの分割方法は、図１に示す
通りである。

【００３０】図４（ｂ）は、（ａ）のＦＨとＧＯＢの詳
細な内容を示している。ＦＨは、ＰＳＣとＴＲとＰＴＹ
ＰＥとで構成されている。ＰＳＣはフレーム開始符号で
２０ビットの“０００００００００００００００１
００００”である。ＴＲはフレーム番号で５ビットの
“１”から“３０”までの値を使用する。ＰＴＹＰＥは
タイプ情報で６ビットで、スプリット・スクリーン指示
情報、書画カメラ指示情報、画面凍結解除、情報源フォ
ーマット指示情報（ＣＩＦ、ＱＣＩＦ）が含まれてい
る。従って、上記内容の解読結果をシステム制御部１０
に通知することになる。

【００３１】次に、ＧＯＢヘッダは、ＧＢＳＣとＧＮと
ＧＱＵＡＮＴとで構成されている。ＧＢＳＣはＧＯＢ開
始符号で１６ビットの“００００００００００００
０００１”である。ＧＮはＧＯＢ番号で４ビットで
“１”から“１２”まで使用する。ＧＮが“０”の場合
にはＰＳＣで使用しているので、ＦＨのＰＳＣとＧＯＢ
のＧＢＳＣ＋ＧＮは、共に２０ビットで連続した値と見
なすことができる。ＧＱＵＡＮＴは量子化特性情報で５
ビットで量子化ステップサイズの情報を含む。

【００３２】次に、ＭＢヘッダはマクロブロック（Ｍ
Ｂ）と称する画素ブロックのヘッダである。ＭＢは上述
したように３３個のＭＢで１つのＧＯＢを構成してお
り、１ＭＢは８画素×８ラインの輝度信号（Ｙ）４個と
８画素×８ラインの色差信号（Ｃｂ、Ｃｒ）２個で構成
されている。ここで、各ブロックの番号として、Ｙには
１から４まで、Ｃｂには５、Ｃｒには６の番号が割当て
られている。

【００３３】このＭＢヘッダはＭＢＡとＭＴＹＰＥとＭ
ＱＵＡＮＴとＭＶＤとＣＢＰとで構成されている。ＭＢ
ＡはＭＢの位置を表すマクロブロックアドレスで先頭の
ＭＢのみ絶対値で、それ以降は差分の可変長符号であ
る。ＭＴＹＰＥはＭＢのタイプ情報で、ＩＮＴＲＡ（フ
レーム内符号化）、ＩＮＴＥＲ（フレーム間差分符号
化）、ＭＣ（動き補償付きフレーム間差分符号化）、Ｆ
ＩＬ（フィルタ）など、そのＭＢのデータに処理を施し
た処理タイプが挿入されている。ＭＱＵＡＮＴはＧＱＵ
ＡＮＴと同じである。ＭＶＤは動きベクトル情報であ
る。ＣＢＰは有意ブロックパターンで先ほどのＭＢのＹ
の４個とＣｒ、Ｃｂのうちの有効な画素ブロックの番号
を情報として含んでいる。このＭＢヘッダのあとには、
圧縮符号化した画像データが先述したように、Ｙ４個Ｃ
ｒ、Ｃｂのうち有意ブロックとなった画素ブロックが番
号順に入っている。

【００３４】次に、多重分離部１１に出力されるデータ
は、図５に示すようなフォーマットの誤り訂正フレーム
である。１フレームは、誤り訂正フレームビット（Ｓ
ｎ）が１ビット、フィル識別子（Ｆｉ）が１ビット、画
像データが４９２ビット、誤り訂正パリティーが１８ビ
ットの５１２ビットで構成されている。更に、このフレ
ームが８フレームで１マルチフレームを構成している。
この画像の圧縮方法は、ＩＴＵ−ＴでＨ．２６１勧告と
して勧告化されており、その勧告に準拠していれば、他
の勧告に準拠した映像通信装置とも相互通信が可能とな
る。

【００３５】次に符号化方法を簡単に説明すると、画像
の圧縮技術として、まず、自然界の映像には画素間の相
関が強いことや周波数成分が低周波に集中し高周波は小
さいことなどを利用しフレーム内のデータを８画素×８
画素のブロックとし２次元ＤＣＴ変換するフレーム内符
号化と、前フレームと現フレームの同位置の画素ブロッ
クにおいて両者の相関が強い時にフレーム間の差分を取
り、その差分値に対して８画素×８画素のブロックを２
次元ＤＣＴ変換するフレーム間符号化と、前フレームか
ら現フレームへ類似した画素ブロックが相対的に隣接移
動した場合ち、これを検知してその画像ブロックの移動
量と移動方向の情報を送るのみで画像データそのものを
送らずに済ませることで発生データ量を減らす動き補償
と、ＤＣＴ変換後の各周波数ごとの係数値が低周波領域
では値が発生するが、高周波領域では値が発生しにくく
ゼロ値が続くことを利用したゼロランレングス符号化
と、データの発生量に応じてデータの量子化ステップ幅
を変更する事でデータの発生量を調整する量子化と、発
生頻度の高いデータパターンに対しては短い符号値を、
発生頻度の低いデータパターンに対しては長い符号値を
割当てることで、トータル的に発生したデータ量よりも
少ない量に変換する可変長符号化と、フレームをスキッ
プして、画像データそのものを落してしまう駒落し、な
ど複数の圧縮技術をハイブリットにして低レートの通信
においても動画像を通信可能としている。

【００３６】図６は送信バッファ２２１の内部構成を示
す。（ａ）は、ＦＩＦＯを用いた場合の構成で、（ｂ）
は、ランダムアクセス可能なメモリを用いた場合の構成
である。（ａ）から説明すると、６０１、６０２、６０
３は書き込み信号ＷＲ、読み出し信号ＲＤにより画像コ
ーディック部８から符号化データを入力し多重分離部１
１へ符号化データを出力するＦＩＦＯ（First In First
Out）で、フレーム単位にバッファリングする容量を持
つ。６０４は、ＦＩＦＯの符号化データ蓄積量のコント
ロールをしたり、フレーム単位に管理したり廃棄する機
能を有するＦＩＦＯ制御である。

【００３７】まず、画像コーデック部８から１フレーム
分の符号化データが入力されると、蓄積フレーム検出部
２３７に１フレームの蓄積完了を知らせてフレーム単位
に各ＦＩＦＯに蓄積され、このＦＩＦＯに蓄積された符
号化データの多重分離部１１への送出を開始する。これ
とともに送出量検出部２１１にデータの送出量を知らせ
る。

【００３８】ここで、フレーム廃棄制御部２３８からフ
レーム廃棄の指示がくるとＦＩＦＯ制御部６０４は指示
されたフレームを廃棄するために、まず、そのフレーム
が蓄積されているＦＩＦＯにクリア信号を出して蓄積さ
れている符号化データをクリアし、その空きになったＦ
ＩＦＯに次のフレームの符号化データを転送する。この
ようにしてフレーム単位で符号化データを廃棄すること
ができる。

【００３９】次に（ｂ）を説明すると、６０５はデータ
を記憶するメモリ、６０６は、メモリ６０５へのデータ
書き込みのためのアドレスを発生する書き込みアドレス
カウンタ、６０７は、メモリ６０５からのデータの読み
出しのためのアドレスを発生する読み出しアドレスカウ
ンタ、６０８は、書き込みアドレスカウンタ６０６と読
み出しアドレスカウンタ６０７から出力されるアドレス
を選択してメモリ６０５に供給するセレクタ、６０９
は、メモリ６０５の符号化データ蓄積量を制御したり、
フレーム単位に管理したり廃棄する機能を有するバッフ
ァ制御部である。

【００４０】まず、画像コーデック部８から１フレーム
分の符号化データが入力されると、蓄積フレーム検出部
２３７に１フレームの蓄積完了を知らせてフレーム単位
に書き込みアドレスカウンタ６０６が出力するアドレス
に従いメモリ６０５に蓄積される。メモリ６０５に蓄積
された符号化データを多重分離部１１へ送出する際に
は、読み出しアドレスカウンタ６０７が出力するアドレ
スに従い、メモリ６０５から符号化データを読み出し、
その読み出されたデータ量を送出量検出部２１１に知ら
せる。

【００４１】ここで、フレーム廃棄制御部２３８からフ
レーム廃棄の指示がくるとバッファ制御部６０４は指示
されたフレームを廃棄するためにまず、そのフレームが
蓄積されているメモリ空間を有効データとしての対象か
ら外し空き空間として登録し、多重分離部１１へのデー
タ転送時には、そのメモリ空間を飛ばしてアクセスす
る。このようにしてフレーム単位で符号化データを廃棄
することができる。

【００４２】次に、本発明の動作について説明する。ま
ず、動作を簡単に説明すると、送信バッファ２２１から
多重分離部１１への画像符号化データの送出が回線上の
エラー率が高くなることによって滞った場合に、符号化
制御部２０１は、蓄積フレーム検出部２３７と送出量検
出部２１１の検出によりデータが送信バッファ２２１に
滞っていると判定し、送信バッファ２２１内の符号化デ
ータのフレームの廃棄処理に入る。その直後の画像符号
化方法に関しては、最初の１フレーム分のみすべての画
像ブロックをフレーム内符号化処理（ＩＮＴＲＡ処理）
し、その後は通常の符号化処理を行う。

【００４３】次に、上記説明の符号化制御部２０１の動
作について図７、図８の動作フローとともに説明する。
まず、ステップＳ１〜Ｓ３で、フレーム管理から蓄積量
を検出し、バッファからの符号化データの送出量を検出
し、上記検出された情報からバッファ蓄積量を算出す
る。次に、このバッファ蓄積量がある任意の蓄積量を超
過しているか否かをステップＳ４で判定し、超過してい
ない場合は、次にステップＳ５でフレーム内符号化処理
ビットがＮＯかＯＦＦかを判定し、ＯＦＦならばステッ
プＳ６で通常の画像符号化処理を行う。

【００４４】フレーム内符号化処理ビットがＯＮの場合
には、ステップＳ７でフレーム内符号化（ＩＮＴＲＡ）
処理を実行した後、ステップＳ８で１フレームの符号化
処理が完了したかを確認し、完了していなければそのま
ま次のステップＳ１０へ行き、完了していればステップ
Ｓ９でフレーム内符号化処理ビットをＯＦＦする。

【００４５】次に、ステップＳ１０で上記で符号化され
た符号化データを送信バッファ２２１に蓄積した後、ス
テップＳ１１で１フレームの蓄積が完了したか否かを確
認し、１フレーム完了していなければそのまま次のステ
ップＳ１６に行き、１フレーム完了していればステップ
Ｓ１２で蓄積フレーム検出を検出してフレーム管理部２
３９に登録する。

【００４６】ステップＳ４で任意の蓄積量を超過してい
る場合には、ステップＳ１３でフレーム廃棄処理を行
い、ステップＳ１４でフレーム廃棄による符号化処理ビ
ットを“ＯＮ”して、ステップＳ１５でフレーム管理か
ら廃棄されたフレームを抹消する。

【００４７】次に、ステップＳ１６でバッファの読み出
しをするか否かを確認し、バッファ読み出しをしない場
合にはそのまま次のステップＳ１９に行く。バッファ読
み出しをする場合には、ステップＳ１７でバッファから
符号化データを読み出して多重分離部１１に転送しステ
ップＳ１８で回線インターフェース部１２に転送し相手
端末に通信する通信処理を行う。次にステップＳ１９で
通信を終了するか否かを確認し、終了する場合には終了
し、終了しない場合には、ステップＳ１のフレーム管理
からの蓄積量検出に戻る。以上により、フレーム廃棄を
しても、画像乱れがなく、伝送遅延が少ない良好な映像
通信が可能になる。

【００４８】次に第２の実施の形態を図９とともに説明
する。図９は図１に画像ブロック管理ブロック２４１を
追加した構成である。それ以外の構成要素については説
明を省く。画像ブロック管理部２４１は、図３で示した
マクロブロック（ＭＢ）単位での符号化処理となるの
で、このマクロブロック単位での管理となる。管理する
情報としては、その画像ブロックを符号化するのに有効
なブロックか無効なブロックかを登録しておく。その有
効／無効の判断基準であるが、まず、ＩＮＴＥＲ／ＩＮ
ＴＲＡ判別基準に基づいてＩＮＴＥＲと判断された画像
ブロックのうち、２フレーム間の差分値がある任意の値
以下であった画像ブロックに対して符号化の際に無視し
ても画像品質に大きな影響がないと判断して無効ブロッ
クとして登録する。

【００４９】ここで、通常の場合のＩＮＴＥＲ／ＩＮＴ
ＲＡ判別基準であるが、縦軸を下式（１）の対象となる
ＭＲの現フレームのブロック内（Ｂ）の差分の分散値と
し、ｆ−ｄｉｆ＝ΣＢ²／２５６−（ΣＢ／２５６）² ………（１）横軸は、下式の対象となるＭＢの前フレームの動き補償
後のブロック（ＭＣＢ）と現フレームのブロック（Ｂ）
との差分の平均二乗誤差値とし、ｍｃ−ｄｉｆ＝Σ｜Ｂ−ＭＣＢ｜²／２５６ ………（２）判別基準としては、ｍｃ−ｄｉｆがある値より小さい場
合には、無条件に、ＩＮＴＥＲモートと判別され、ｆ−
ｄｉｆ≧ｍｃ−ｄｉｆの時は、ＩＮＴＥＲ、ｆ−ｄｉｆ
＜ｍｃ−ｄｉｆの時は、ＩＮＴＲＡと判別される。

【００５０】図１０に上記判断に基づいて無効ブロック
を登録した画像ブロック管理を示す。ここで、ＭＢ No.
の指定方法は、ＧＯＢ No.とSTART ＭＢ No.により指定
され管理されている。START ＭＢ No.は、ＧＯＢ No.内
の無効ブロックとして登録された最初のＭＢ No.であ
り、END ＭＢ No.は、ＧＯＢ No.内の無効ブロックとし
て連続して登録された最後のＭＢ No.である。つまり、
このSTART ＭＢ No.とEND ＭＢ No.間のＭＢが無効ブロ
ックとして登録されたＭＢとなる。従って、符号化する
場合には、上記の無効ブロック以外を有効ブロックとし
て符号化処理を施す。また、複数のフレームを廃棄した
場合には、両フレームで無効ブロックとして登録されて
いるすべての画像ブロックを無効ブロックとみなし、そ
れ以外の画像ブロックを有効画像ブロックとして符号化
処理を施す。

【００５１】次に動作について説明する。まず、動作を
簡単に説明すると、送信バッファ２２１から多重分離部
１１への画像符号化データの送出が回線上のエラー率が
高くなることによって滞った場合に、符号化制御部２０
１は、蓄積フレーム検出部２３７と送出量検出部２１１
の検出によりデータ送信がバッファ２２１に滞っている
と判定し、バッファ内の符号化データのフレームの廃棄
処理に入る。その直後の画像符号化方法に関しては、廃
棄されたフレームを対象に画像ブロック管理部２４１か
ら無効ブロックを検索して、その無効ブロック以外を有
効ブロックとしてフレーム内符号化処理（ＩＮＴＲＡ処
理）し、その後は通常の符号化処理を行う。

【００５２】次に符号化制御部２０１の動作について図
１１、図８の動作フローとともに説明する。まず、ステ
ップＳ１〜Ｓ４により図７の場合と同様にしてフレーム
管理から蓄積量を検出し、バッファからの符号化データ
の送出量を検出し、検出された情報からバッファ蓄積量
を算出する。次にこのバッファ蓄積量がある任意の蓄積
量を超過しているか否かを判定し、超過していない場合
は、ステップＳ２１でフレーム内符号化処理ビットがＯ
ＮかＯＦＦかを判定し、ＯＦＦならば、ステップＳ２２
で通常の画像符号化処理を行い、ステップＳ２３、Ｓ２
４で上記方法により無効ブロックか否かを判別し、無効
ブロックと確認されればステップＳ２５で画像ブロック
管理にその画像ブロックを無効ブロックとして登録す
る。

【００５３】フレーム内符号化処理ビットがＯＮの場合
には、ステップＳ２６で画像ブロック管理部２４１から
無効ブロックを検索し（もし複数のフレームが廃棄され
た場合には、その複数のフレームで無効ブロックと登録
されているすべての画像ブロックが無効ブロックとみな
される）、ステップＳ２７で無効ブロックであれば、そ
のまま次のステップＳ２９に行き、無効ブロックでなけ
れば（つまり有効ブロックであれば）、ステップＳ２８
でフレーム内符号化（ＩＮＴＲＡ）処理を実行する。そ
してステップＳ２９で１フレームの符号化処理が完了し
たかを確認し、完了していなければそのまま次のステッ
プＳ３１へ行き、完了していればステップＳ３０でフレ
ーム内符号化処理ビットをＯＦＦする。

【００５４】次に、ステップＳ３１で符号化された符号
化データを送信バッファ２２１に蓄積した後、ステップ
Ｓ３２で１フレームの蓄積が完了したか否かを確認し、
１フレーム完了してしなければそのまま次のステップＳ
１６（図８）に行き、１フレーム完了していればステッ
プＳ３３で蓄積フレーム検出してフレーム管理に登録す
る。

【００５５】ステップＳ４で任意の蓄積量を超過してい
る場合は、ステップＳ１３〜Ｓ１５により図７と同様に
してフレーム廃棄処理を行い、フレーム廃棄による符号
化処理ビットを“ＯＮ”にして、フレーム管理から廃棄
されたフレームを抹消する。

【００５６】次に、図８のステップＳ１６〜Ｓ１９によ
り、送信バッファ２２１の読み出しをするか否かを確認
し、バッファ読み出しをしない場合にはそのまま次に行
き、バッファ読み出しをする場合には、バッファから符
号化データを読み出して多重分離部１１に転送し、回線
インターフェース部１２に転送し、相手端末に通信する
通信処理を行う。そして通信を終了するか否かを確認
し、終了する場合には終了し、終了しない場合にはフレ
ーム管理からの蓄積量検出に戻る。以上によりフレーム
廃棄をしても、画像乱れを極力抑えつつ、伝送遅延が少
ない良好な映像通信が可能になる。

【００５７】次に第３の実施の形態について図１２とと
もに説明する。図１２は、図１にフレーム切換制御部２
４０を設けた構成であり、他は図１と同一構成されてい
る。上記フレーム切換制御部２４０はフレームメモリ２
２８、２２９（ＦＭ０、ＦＭ１）を切換える機能を持つ
ものである。

【００５８】次に動作について説明する。まず、動作を
簡単に説明すると、送信バッファ２２１から多重分離部
１１への画像符号化データの検出が回線上のエラー率が
高くなることによって滞った場合に、符号化制御２０１
は、蓄積フレーム検出部２３７と送出量検出部２１１の
検出によりデータが送信バッファ２２１に滞っていると
判定し、バッファ内の符号化データの１フレーム分の廃
棄処理に入る。その直後の画像符号化方法に関しては、
フレームメモリ２２８、２２９を切り換えずに参照フレ
ームのままとして通常の符号化処理を行うが、その後は
通常の符号化処理を行う。

【００５９】次に符号化制御部２０１の動作について図
１３、図８の動作フローとともに説明する。まず、ステ
ップＳ１〜Ｓ４により図７の場合と同様の処理が行われ
る。

【００６０】そしてステップＳ４でバッファ蓄積量があ
る任意の蓄積量を超過していない場合は、ステップＳ４
１〜Ｓ４４により次にフレーム廃棄ビットがＯＮかＯＦ
Ｆかを判定し、ＯＦＦならば、フレームメモリ２２８、
２２９を切り換えて通常の画像符号化処理を行う。フレ
ーム廃棄ビットがＯＮの場合には、フレーム廃棄ビット
をＯＦＦして通常の画像符号化処理を行う。

【００６１】次にステップＳ４５〜Ｓ４７で符号化され
た符号化データを送信バッファ２２１に蓄積し、１フレ
ームの蓄積が完了したか否かを確認し、１フレーム完了
していなければそのまま次のステップＳ１６に行き、１
フレーム完了していれば蓄積フレーム検出してフレーム
管理部２３９に登録する。

【００６２】ステップＳ４で任意の蓄積量を超過してい
る場合には、ステップＳ１３〜Ｓ１５により指定された
ｎ個分のフレーム廃棄処理を行い、フレーム廃棄ビット
を“ＯＮ”して、フレーム管理から廃棄されたフレーム
を抹消する。

【００６３】次に図８のステップＳ１６〜Ｓ１９の処理
が行われる。このようにしてフレーム廃棄をしても、画
像が乱れることなく伝送遅延が少ない良好な映像通信が
可能になる。

【００６４】次に第４の実施例を図１４とともに説明す
る。図１４は図１２に複数のフレームメモリ２２８〜２
４２（ＦＭ０〜ＦＭｎ）を追加した構成となっている。
このように複数のフレームメモリを追加することによ
り、フレーム廃棄する場合に複数のフレームの廃棄が可
能になる。

【００６５】次に動作について説明する。まず、動作を
簡単に説明すると、送信バッファ２２１から多重分離部
１１への画像符号化データの送出が回線上のエラー率の
高くなることによって滞った場合に、符号化制御部２０
１は、蓄積フレーム検出部２３７と送出量検出部２１１
の検出によりデータが送信バッファ２２１に滞っている
と判定し、バッファ内の符号化データの複数のフレーム
の廃棄処理に入る。その直後の画像符号化方法に関して
は、廃棄された複数のフレーム分画像フレームをさかの
ぼるために、複数のフレームメモリのうち、該当する参
照フレームになるようにフレームメモリを切り換えて符
号化処理に入るが、その後は通常の符号化処理を行う。

【００６６】次に符号化制御部２０１の動作について図
１５、図８の動作フローとともに説明する。ステップＳ
１〜Ｓ４が前述と同様に行われる。そしてバッファ蓄積
量がある任意の蓄積量を超過していない場合は、ステッ
プＳ５１〜Ｓ５５によりフレーム廃棄ビットがＯＮかＯ
ＦＦかを判定し、ＯＦＦならば、次のフレームメモリに
切り換えて通常の画像符号化処理を行う。フレーム廃棄
ビットがＯＮの場合には、ｎ個分のＦＭを戻して参照画
像を用意し、フレーム廃棄ビットをＯＦＦして通常の画
像符号化処理を行う。

【００６７】次にステップＳ５６〜Ｓ５８により、上記
符号化された符号化データを送信バッファ２２１に蓄積
し、１フレームの蓄積が完了したか否かを確認し、１フ
レーム完了していなければそのまま次のステップＳ１６
に行き、１フレーム完了していれば蓄積フレーム検出し
てフレーム管理部２３９に登録する。

【００６８】また、ステップＳ４で任意の蓄積量を超過
している場合には、ステップＳ１３ａ〜Ｓ１５で指定さ
れたｎ個分のフレーム廃棄処理を行い、フレーム廃棄ビ
ットを“ＯＮ”して、フレーム管理から廃棄されたフレ
ームを抹消する。

【００６９】次に図８のステップＳ１６〜Ｓ１９の処理
が前述と同様に行われる。このようにしてフレーム廃棄
をしても、画像が乱れることなく、伝送遅延が少ない良
好な映像通信が可能になる。

【００７０】

【発明の効果】以上説明したように、請求項１〜４の発
明によれば、エラー率の高い伝送路（特に無線）で通信
する場合でも、送信データが滞らないように符号化デー
タを廃棄し、その後の符号化処理において、廃棄された
データの影響を極力軽減するように符号化処理すること
ができる。従ってエラー率の高い伝送路で映像通信する
場合でも、伝送効率の向上や遅延時間の軽減の向上に効
果がある。

【００７１】また、請求項５、６の発明によれば、エラ
ー率の高い伝送路（特に無線）で通信する場合でも、送
信データが滞らないように符号化データを廃棄し、その
後の符号化処理において、廃棄されたフレームまで参照
フレームの画像に遡って再度符号化処理が可能になるの
で画像データをエラーすることなく符号化処理すること
ができる。従って、エラー率の高い伝送路で映像通信す
る場合でも、伝送効率の向上や遅延時間の軽減、あるい
は画質の向上に効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】本発明を適用し得るＴＶ電話装置を示すブロッ
ク図である。

【図３】符号化処理で用いられる画像フォーマットを示
す構成図である。

【図４】画像データの多重化フレームを示す構成図であ
る。

【図５】誤り訂正フレーム周期（ＢＣＨ）を示す構成図
である。

【図６】送信バッファの構成例を示すブロック図であ
る。

【図７】第１の実施の形態の動作を示すフローチャート
である。

【図８】第１〜第４の実施の形態の動作を示すフローチ
ャートである。

【図９】本発明の第２の実施の形態を示すブロック図で
ある。

【図１０】画像ブロック管理部を示す構成図である。

【図１１】第２の実施の形態の動作を示すフローチャー
トである。

【図１２】本発明の第３の実施の形態を示すブロック図
である。

【図１３】第３の実施の形態の動作を示すフローチャー
トである。

【図１４】本発明の第４の実施の形態を示すブロック図
である。

【図１５】第４の実施の形態の動作を示すフローチャー
トである。

【符号の説明】

８画像コーデック部２０１符号化制御部２０３ＩＮＴＥＲ／ＩＮＴＲＡ判別処理部２０６ＩＮＴＥＲ／ＩＮＴＲＡ処理部２１１送出量検出部２１３、２２８、２２９、２４２フレームメモリ２１４、２１５、２２７、２２８、２３２、２３３ス
イッチ２１６減算器２１７ＤＣＴ変換部２１８量子化器２１９ＶＬＣ部２２０多重化部２２１送信バッファ２２３逆量子化器２２４逆ＤＣＴ変換部２２５加算器２３０ＦＭ制御部

Claims

【特許請求の範囲】

【請求項１】映像信号を符号化し符号化データを出力
する第１の符号化手段と、上記符号化データを蓄積する蓄積手段と、上記蓄積手段のデータ蓄積量が所定値を越えたことを検
出し、この検出に基づいて上記蓄積された符号化データ
をフレーム単位で廃棄させる制御手段と、上記廃棄後の１フレームの上記映像信号をフレーム内符
号化しその符号化データを上記蓄積手段に送る第２の符
号化手段とを備えた映像符号化装置。
【請求項２】映像信号を符号化し符号化データを出力
する第１の符号化手段と、上記符号化データを蓄積する蓄積手段と、上記符号化時に２つのフレーム間の差分値が所定値より
大きい領域を記憶する記憶手段と、上記蓄積手段のデータ蓄積量が所定値を越えたことを検
出し、この検出に基づいて上記蓄積された符号化データ
をフレーム単位で廃棄させる制御手段と、上記廃棄された符号化データのフレームに関して上記記
憶手段に記憶された領域を指定する指定手段と、上記廃棄後の上記映像信号の上記指定された領域をフレ
ーム内符号化しその符号化データを上記蓄積手段に送る
第２の符号化手段とを備えた映像符号化装置。
【請求項３】上記制御手段は、上記廃棄を行う際に、
新しく符号化されたフレームから廃棄することを特徴と
する請求項１記載の映像符号化装置。
【請求項４】上記第１の符号化手段は、フレーム間符
号化を行うことを特徴とする請求項１又は２記載の映像
符号化装置。
【請求項５】映像信号をフレーム間符号化し符号化デ
ータを出力する第１の符号化手段と、上記符号化データを蓄積する蓄積手段と、参照フレームの符号化データと現フレームの符号化デー
タとを記憶する記憶手段と、上記蓄積手段のデータ蓄積量が所定値を越えたことを検
出し、この検出に基づいて上記蓄積された符号化データ
をフレーム単位で廃棄させる制御手段と、上記廃棄後に上記記憶手段に記憶された上記参照フレー
ムの符号化データを再度利用してフレーム内符号化しそ
の符号化データを上記蓄積手段及び記憶手段に送る第２
の符号化手段とを備えた映像符号化装置。
【請求項６】上記記憶手段は、複数フレーム分の符号
化データを記憶するように成され、上記制御手段は、上
記蓄積手段から複数フレーム分の符号化データを廃棄す
るように成されていることを特徴とする請求項５記載の
映像符号化装置。