JP3482054B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、通信回線を通じ相
手端末に画像符号化データを伝送する場合に、符号化方
式を回線接続毎に伝送することにより、ソフトウェアダ
ウンロード型のシステムを構築する画像符号化装置に関
する。

【０００２】

【従来の技術】ＩＳＤＮ（Integrated Services Digita
l Network）などの高速ディジタル通信網の普及、画像
処理技術の進歩等を背景とし、画像通信サービスに対す
る要求が高まっている。また、通信帯域のごく狭い、超
低ビットレートでの画像通信サービスに対しても期待が
高まっている。この超低ビットレートでの画像符号化方
式はＭＰＥＧ４（Moving Picture Experts Group ４）
として、国際標準化の動きが活発である。また、ＤＣＴ
方式、Wavelet変換方式、などの画像符号化技術も次々
と新しい符号化方式が開発され、今後もその符号方式の
数は増加していくものと思われる。

【０００３】このＭＰＥＧ４では、符号化方式に拡張性
を持たせること、マシンに依存しない汎用性を持たせる
こと、を目的とし、ソフトウェアダウンロード型のシス
テムを構築することとなった。それにともない、画像デ
ータの符号化／復号方法や、その方法の伝送方法、伝送
時のセキュリティ、伝送エラー対策などを包括的に記述
する言語：ＭＳＤＬ（ MPEG4 Syntax Description Lang
uage ）を構築することとなった。

【０００４】図６にＭＳＤＬの構成要素を示す。画像デ
ータを符号化／復号する方法の記述である符号化方式記
述コードは複数のプロファイルで構成され、１つのプロ
ファイルは複数のアルゴリズムで構成され、さらに１つ
のアルゴリズムは複数のツールで構成されている。この
ように符号化方式記述コードはツリー状に構成され、こ
れらツール、及びツールの構成方法、ツール間のインタ
ーフェースをＭＳＤＬで記述する。また、既存の符号化
方式記述コードにおいて、ツールの交換やツールの追加
などで、新しい符号化方式記述コードを構成することも
ＭＳＤＬでは可能としている。

【０００５】また、ＭＰＥＧ４では、通信中において、
Configuration Phase, Learning Phase, Transmission
Phase の各フェーズを規定し、各々での処理内容を定め
ている。Configuration Phase では、呼設定を始めると
き、あるいは通信パス確立当初に、符号化器と復号器と
が、適切な通信を行うことができるかどうかを判定する
ために、能力、条件、環境等を記述したパラメータを交
換する。また、パラメータの交換の結果、通信を行うた
めの環境の決定や、次のLearning Phaseに移行するか否
かの決定がなされる。Learning Phaseでは、符号化器か
ら送信する符号化データを復号器が正しく解析できるよ
うに、解析方法自体の伝送や、解析方法の構築の指示を
行う。Transmission Phaseでは、前記の２つのフェーズ
により特定されたフォーマットで符号化データを伝送す
る。

【０００６】図７にＭＰＥＧ４方式の従来の画像符号化
装置を示す。図中、３１は通信状態制御部、３２は画像
符号化部、３３は符号化方式記述コード伝送部である。
通信状態制御部３１では 通信の状態を管理し、通信の
状態に応じて、画像符号化データの送信と符号化方式記
述コードの送信の選択を制御する。画像符号化部３２で
は、入力画像の符号化を行い、画像符号化データを作成
する。符号化方式記述コード伝送部３３では、画像符号
化部３２にて使用している符号化方式を相手端末に認識
させるために、その符号化方式を構成するツール群を送
信する。前述のLearning Phaseでは、スイッチ１のａ−
ｃ間を接続し、装置で用いる符号化方式記述コードを相
手端末に送信する。その後、Transmission Phaseに移行
すると、スイッチ１のｂ−ｃ間を接続し、画像符号化部
３２で作成した画像符号化データを送信する。この構成
により、ソフトウェアダウンロード型のシステムを構築
することが可能となり、新たなる符号化方式を開発した
場合でも、その符号化方式への対応が可能となる。

【０００７】

【発明が解決しようとする課題】現在いろいろな方式の
符号化方式が開発されているが、何れも甲乙付け難く、
ひとつの符号化方式に決めるのは難しい。そして、それ
らの符号化方式にも各種特徴があり、画像に応じて、適
切な符号化方式が異なってくる。また、通信中に、画像
を入力するカメラを切り替えたり、パン・チルトを行っ
たり、被写体自体が入れ替わったりすることも考えられ
る。そのような場合は、入力画像の性質が大きく変わっ
てしまう。そのため、通信中に符号化方式を切り換える
ことが、狭い帯域でより鮮明な画像を送信するために、
必要となってくる。ただし、従来の画像通信システムで
は、符号化方式を通信途中で切り換えることができな
い。本発明は、上記課題に鑑みてなしたものであり、こ
れら課題を解決した画像符号化装置を提供するものであ
る。

【０００８】

【課題を解決するための手段】本願の第１の発明は、予
め用意した複数の符号化方式の構成要素であるツール及
び該ツールの構成方法を記述した複数の符号化方式記述
コードを伝送する符号化方式記述コード伝送手段と、前
記予め用意した複数の符号化方式のいずれかを用いて入
力画像の符号化を行う画像符号化手段と、前記画像符号
化手段で用いる符号化方式を、前記入力画像の画面単位
で選択して切り換える符号化方式選択手段とを備えた画
像符号化装置であって、前記画像符号化手段で符号化さ
れた画像符号化データを相手端末に送信する前に、前記
符号化方式記述コード伝送手段により前記複数の符号化
方式記述コードを伝送し、前記画像符号化手段で符号化
された画像符号化データを相手端末に送信する際に、前
記符号化方式選択手段で選択された符号化方式が、前記
複数の符号化方式記述コードのいずれかを示す情報を画
面毎に相手端末に通知することを特徴とする。本願の第
２の発明は、前記符号化方式記述コード伝送手段が、通
信開始当初に相手端末のメモリー容量に応じた数の符号
化方式記述コードを伝送し、前記通信開始当初に伝送し
た符号化方式記述コードに対応する符号化方式以外の符
号化方式を利用したい場合には、相手端末のメモリー容
量に応じてすでに伝送した符号化方式記述コードの１つ
を無効にし、代わりに利用したい符号化方式記述コード
を伝送することを特徴とする。本願の第３の発明は、前
記符号化方式選択手段が、入力画像の符号化を行う符号
化方式の個数分の画像符号化手段と、前記画像符号化手
段で符号化された画像データを復号する、前記符号化方
式の個数分の画像復号手段と、前記画像復号手段により
復号された復号画像と入力画像との自乗誤差を求める、
前記符号化方式の個数分の自乗誤差計算手段と、前記自
乗誤差計算手段により計算された各符号化方式による自
乗誤差を比較判定する自乗誤差結果比較手段とを有し、
画面毎の各符号化方式による自乗誤差の比較判定結果に
基づいて、前記画像符号化手段で用いる符号化方式を選
択することを特徴とする。本願の第４の発明は、前記符
号化方式選択手段が、入力画像に対して所定の演算を行
うことにより、それぞれの符号化方式で入力画像を符号
化した場合に、当該符号化方式が適切か否かを判定する
適切符号化判定演算手段を有し、入力画像を符号化する
ために適切な符号化方式を画面毎に判定して、前記画像
符号化手段で用いる符号化方式を選択することを特徴と
する。

【０００９】上記画像符号化装置において、複数の画像
符号化手段は、それぞれ異なる画像符号化方式を用いて
画像符号化データを作成し、符号化方式選択手段は、画
面毎にどの符号化方式を選択するのかを決定し、画像復
号手段は、画像符号化を行って作成されたデータを復号
し、自乗誤差計算手段は、入力画像と符号化／復号を行
って作成された画像との自乗誤差を計算し、自乗誤差結
果比較判定手段は、どの符号化方式による符号化／復号
が一番自乗誤差が良かったのかを判定し、適切符号化判
定演算手段は、それぞれの符号化方式が入力画像を符号
化するために適切か否かを判定する。

【００１０】

【発明の実施の形態】図１に本発明の画像符号化装置の
ブロック図を示す。通信状態制御部１１は、符号化器の
状態を管理し、画像符号化データの送信と、符号化方式
記述コードの送信の選択をしているスイッチ１を制御す
る。符号化方式Ａによる画像符号化部１２ａは、符号化
方式記述コードＡが示す符号化方式で入力画像の符号化
を行う。符号化方式Ｂによる画像符号化部１２ｂは、符
号化方式記述コードＢが示す符号化方式で入力画像の符
号化を行う。符号化方式Ｃによる画像符号化部１２ｃ
は、符号化方式記述コードＣが示す符号化方式で入力画
像の符号化を行う。符号化方式Ｚによる画像符号化部１
２ｚは、符号化方式記述コードＺが示す符号化方式で入
力画像の符号化を行う。符号化方式選択部１３は、通信
状態制御部１１に接続され、画面毎に符号化方式の選択
を行い、どの画像符号化部からの出力データを送信する
のかの選択を行っているスイッチ２の制御を行う。符号
化方式記述コード伝送部１４は符号化方式選択部１３に
接続され、符号化方式記述コードの伝送を行う。符号化
方式記述コードの送信の時はスイッチ１のａ−ｃ間を接
続し、画像符号化データを送信するときはｂ−ｃ間を接
続する。

【００１１】図２に本発明の画像符号化装置から送信さ
れるデータ列例を示す。Configuration Phase で相手端
末のメモリー容量等の制限事項を認識し、その相手メモ
リー容量に応じた数以内の数の符号化方式記述コードを
Learning Phase で送信する。実際には、前述のように
符号化方式を構成するツールを送信する。この際に、図
１におけるスイッチ１のａ−ｃ間を接続し、送信する符
号化方式記述コードに符号化方式番号を添付すること
で、送信する符号化方式記述コードと符号化方式番号と
を対応させる。具体的に図２（ａ）の例に用いて説明を
行う。まず符号化方式番号１番を送信し、それに引き続
いて符号化方式Ａを構成するツール群を送信する。これ
により、符号化方式番号１に符号化方式Ａが割り当てら
れたこととなる。符号化方式Ａの送信が完了したなら、
次に符号化方式番号２番を送信し、続いて符号化方式Ｂ
を構成するツール群を送信する。同様にその後符号化方
式番号３番及び符号化方式Ｃを構成するツール群を送信
する。この一連の動作により、符号化方式番号１に符号
化方式Ａが割り当てられ、符号化方式番号２に符号化方
式Ｂが割り当てられ、符号化方式番号３に符号化方式Ｃ
が割り当てられる。

【００１２】符号化データを送信するTransmission Pha
se での送信データ列の例が図２（ｂ）である。この
時、図１のスイッチ１はｂ−ｃ間を接続しており、画面
毎に先頭に符号化方式番号を添付する。この番号が先の
Learning Phase で符号化方式と対応付けされてあり、
この番号により、それに続く符号化データ列がどの符号
化方式で復号すべきものであるのかを明確化している。
ここで図２（ｂ）の例に従って説明をする。画面ｎは符
号化方式Ｂで符号化することと決定した場合、まず符号
化方式Ｂが割り当てられてある符号化方式番号２番を送
信し、引き続いて符号化方式Ｂで符号化を行った画面ｎ
の符号化データを送信する。次の画面ｎ＋１は符号化方
式Ａで符号化を行うこととなったなら、符号化方式Ａが
割り当てられている符号化方式番号１番を送信し、引き
続いて符号化方式Ａで符号化を行った画面ｎ＋１の符号
化データを送信する、次の画面ｎ＋２は符号化方式Ｂで
符号化することとなったなら、符号化方式番号２番を送
信し、符号化方式Ｂで符号化を行った符号化データを送
信する。

【００１３】図３に割り当て符号化方式の変更時の送信
データ列の様子を示す。ここでは、例として相手端末の
メモリー量から、符号化方式の伝送を３個に制限せざる
を得ない場合を示す。図２の説明で示した時と同様に、
まず、回線接続当初のLearning Phase で符号化方式
Ａ、符号化方式Ｂ、符号化方式Ｃの３個の符号化方式記
述コードを送信し、符号化方式Ａを符号化方式番号１、
符号化方式Ｂを符号化方式番号２、符号化方式Ｃを符号
化方式番号３に割り当てる。そして、その後、符号化方
式Ｚを利用したくなったとする。相手端末の符号化方式
認識容量に余裕がある場合は、新たに符号化方式Ｚを符
号化方式番号４に割り当てて、送信してすればよい。し
かし、メモリー容量の影響で３個しか符号化方式を相手
端末が認識できない場合には、事前に送信してある符号
化方式を１個無効にする必要がある。ここでは符号化方
式Ｃを無効にする場合を仮定する。符号化方式Ｃは符号
化方式番号３に割り当ててあるので、符号化方式Ｚを符
号化方式番号３に割り当てて送信すればよい。すなわち
図３（ｂ）の様に、まず符号化方式番号３番を送信し、
符号化方式Ｚを構成するツール群を送信することとな
る。

【００１４】図４に符号化方式選択方法の１つである、
自乗誤差選択方法のブロック図を示す。図中の各符号化
方式による画像符号化部６１ａ〜ｚは各符号化方式が示
す符号化方式で入力画像の符号化を行う。各符号化方式
による画像復号部６２ａ〜ｚはそれぞれ６１ａ〜ｚに接
続され、各符号化方式が示す復号方式で符号化した画像
符号化データの復号を行う。自乗誤差計算部６３ａ〜ｚ
はそれぞれ６２ａ〜ｚに接続され、各符号化方式によっ
て符号化／復号を行って得られた復元画像と入力画像と
の自乗誤差の計算を行う。自乗誤差結果比較部６４は６
３ａ〜ｚに接続され、各符号化方式による符号化／復号
の結果を自乗誤差で評価したものを比較する。

【００１５】この方法は画面毎に適した画像符号化方式
を選択するために、全符号化方式で符号化／復号を行
い、入力画像との自乗誤差を計算して、一番自乗誤差の
良かったものの符号化方式を選択する、という方法であ
る。ここで自乗誤差とは、符号化／復号を行った画像
が、入力画像とどの程度違いがあるかを各画素毎に計算
し、その累積をしたものである。すなわち、自乗誤差累
積結果のよいものは、入力画像にそれだけ近いというこ
とになる。そこで、各画面毎に符号化方式の中で一番自
乗誤差のよいものを選択すればすべての画面で一番入力
画像に近い画像を相手端末に伝送できる。

【００１６】図５に符号化方式選択方式の２つ目の方法
である、画像適応符号化方式選択方法のフローチャート
を示す。画像適応符号化方式選択方法では、各符号化方
式にとって、画面毎に入力された画像がその符号化方式
を用いることに適切であるか否かの判定を行う。その判
定方法は、入力画像に対してある演算を行い、その演算
結果から、その符号化方式で符号化を行う事が適切な画
像であるか否かの判定を行う方法である。適切な画像で
あるか否かの判定に用いる演算の例としては、たとえ
ば、細かい模様の多い画像の場合に有効な画像符号化方
式に対しては、ＤＣＴ演算を行い、ｎ次以上の係数の累
積が一定値以上の場合に有効と判定するような、適切符
号化判定演算とする。別の例では、動きの激しい画像に
有効な画像符号化方式に対しては、各画素でのフレーム
間の値の違いの累積が一定値以上の場合に有効と判定す
るような、適切符号化判定演算とする。

【００１７】図５のフローチャートでは、符号化方式
Ａ、符号化方式Ｂ、符号化方式Ｃの３個の符号化方式の
中から１個を選択することを例としている。まず、画像
が入力されると、符号化方式Ａで符号化を行うことが適
切な画像であるかどうかの判定を行う。すなわち、符号
化方式Ａの適切符号化判定演算を行い、その演算結果が
判定基準を満たしているか否かの判定を行う（ステップ
１）。この入力画像が符号化方式Ａで符号化を行うこと
が適切であるかどうかの判定基準を満たしていたなら
ば、符号化方式Ａで符号化を行うことと決定する（ステ
ップ２）。判定基準を満たしていない場合は、続いて符
号化方式Ｂで符号化を行うことが適切な画像であるかど
うかの判定を行う。すなわち、符号化方式Ｂの適切符号
化判定演算を行い、その演算結果が判定基準を満たして
いるか否かの判定を行う（ステップ３）。この入力画像
が符号化方式Ｂで符号化を行うことが適切であるかどう
かの判定基準を満たしていたならば、符号化方式Ｂで符
号化を行うことと決定する（ステップ４）。判定基準を
満たしていない場合は、続いて符号化方式Ｃで符号化を
行うことが適切な画像であるかどうかの判定を行う。す
なわち、符号化方式Ｂの適切符号化判定演算を行い、そ
の演算結果が判定基準を満たしているか否かの判定を行
う（ステップ５）。この入力画像が符号化方式Ｃで符号
化を行うことが適切であるかどうかの判定基準を満たし
ていたならば、符号化方式Ｃで符号化を行うことと決定
する（ステップ６）。判定基準を満たしていない場合
は、事前に決定しておいたデフォルトの符号化方式で符
号化を行うことと決定する（ステップ７）。

【００１８】

【発明の効果】本発明の画像符号化装置によれば、予め
用意した複数の符号化方式の構成要素であるツール及び
該ツールの構成方法を記述した複数の符号化方式記述コ
ードを、画像符号化データを相手端末に送信する前に伝
送し、その後画像符号化データを相手端末に送信する際
に、前記複数の符号化方式記述コードのいずれかを示す
情報を画面毎に相手端末に通知するので、通信中に画像
符号化方式を入力画像の画面単位で切り換えることが可
能となる。 また、通信開始当初に相手端末のメモリー容量に応じた
数の符号化方式記述コードを伝送し、前記通信開始当初
に伝送した符号化方式記述コードに対応する符号化方式
以外の符号化方式を利用したい場合には、相手端末のメ
モリー容量に応じてすでに伝送した符号化方式記述コー
ドの１つを無効にし、代わりに利用したい符号化方式記
述コードを伝送することにより、事前に伝送した符号化
方式以外の符号化方式も通信中に使用することが可能と
なる。

【００１９】さらに、画面毎の各符号化方式による自乗
誤差の比較判定結果に基づいて、前記画像符号化手段で
用いる符号化方式を選択することにより、画面毎に一番
自乗誤差の良いものを選択することが可能となる。そし
てまた、入力画像に対して所定の演算を行うことによ
り、それぞれの符号化方式が入力画像を符号化するため
に適切か否かを画面毎に判定して、符号化の際の適切な
符号化方式を決定することが可能である。

【図面の簡単な説明】

【図１】本発明の画像符号化装置のブロック図である。

【図２】本発明の画像符号化装置から送信されるデータ
列の図である。

【図３】符号化方式割り当て変更時の送信データ列の図
である。

【図４】自乗誤差計算による符号化方式選択方法のブロ
ック図である。

【図５】画像適応符号化方式選択方法のフローチャート
である。

【図６】ＭＳＤＬの構成要素を示す図である。

【図７】従来の画像符号化装置のブロック図である。

【符号の説明】

１１ 通信状態制御部 １２ａ〜ｚ 画像符号化部 １３ 符号化方式選択部 １４ 符号化方式記述コード伝送部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−248053（ＪＰ，Ａ) 特開 平５−227510（ＪＰ，Ａ) 特開 平５−227512（ＪＰ，Ａ) 特開 平５−252505（ＪＰ，Ａ) 特開 平５−316369（ＪＰ，Ａ) 特開 平６−103192（ＪＰ，Ａ) 特開 平７−87468（ＪＰ，Ａ) 特開 平７−123132（ＪＰ，Ａ) 特開 平７−135657（ＪＰ，Ａ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 予め用意した複数の符号化方式の構成要
   素であるツール及び該ツールの構成方法を記述した複数
   の符号化方式記述コードを伝送する符号化方式記述コー
   ド伝送手段と、前記 予め用意した複数の符号化方式のいずれかを用いて
   入力画像の符号化を行う画像符号化手段と、 前記画像符号化手段で用いる符号化方式を、前記入力画
   像の画面単位で選択して切り換える符号化方式選択手段
   とを備えた画像符号化装置であって、前記画像符号化手段で符号化された画像符号化データを
   相手端末に送信する前に、前記符号化方式記述コード伝
   送手段により前記複数の符号化方式記述コードを伝送
   し、 前記画像符号化手段で符号化された画像符号化データを
   相手端末に送信する際に、前記符号化方式選択手段で選
   択された符号化方式が、前記複数の符号化方式記述コー
   ドのいずれかを示す情報を画面毎に相手端末に通知する
   ことを特徴とする画像符号化装置。
2. 【請求項２】 前記請求項１に記載の画像符号化装置に
   おいて、 前記符号化方式記述コード伝送手段は、通信開始当初に
   相手端末のメモリー容量に応じた数の符号化方式記述コ
   ードを伝送し、 前記通信開始当初に伝送した符号化方式記述コードに対
   応する符号化方式以外の符号化方式を利用したい場合に
   は、相手端末のメモリー容量に応じてすでに伝送した符
   号化方式記述コードの１つを無効にし、代わりに利用し
   たい符号化方式記述コードを伝送することを特徴とする
   画像符号化装置。
3. 【請求項３】 前記請求項１又は２に記載の画像符号化
   装置において、 前記符号化方式選択手段は、入力画像の符号化を行う符
   号化方式の個数分の画像符号化手段と、 前記画像符号化手段で符号化された画像データを復号す
   る、前記符号化方式の個数分の画像復号手段と、 前記画像復号手段により復号された復号画像と入力画像
   との自乗誤差を求める、前記符号化方式の個数分の自乗
   誤差計算手段と、 前記自乗誤差計算手段により計算された各符号化方式に
   よる自乗誤差を比較判定する自乗誤差結果比較手段とを
   有し、 画面毎の各符号化方式による自乗誤差の比較判定結果に
   基づいて、前記画像符号化手段で用いる符号化方式を選
   択することを特徴とする画像符号化装置。
4. 【請求項４】 前記請求項１又は２に記載の画像符号化
   装置において、 前記符号化方式選択手段は、入力画像に対して所定の演
   算を行うことにより、それぞれの符号化方式で入力画像
   を符号化した場合に、当該符号化方式が適切か否かを判
   定する適切符号化判定演算手段を有し、 入力画像を符号化するために適切な符号化方式を画面毎
   に判定して、前記画像符号化手段で用いる符号化方式を
   選択することを特徴とする画像符号化装置。