JPH09214959A - 画像通信端末装置および画像復号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 伝送情報量が増大しないことにより動画像の
品質が低下しない画像通信端末装置を提供することを目
的とする。 【解決手段】 画像フレームを符号化した符号化画像フ
レーム信号を通信回線へ送出する画像符号化装置と、通
信回線からの符号化画像フレーム信号を復号化して復号
化画像フレームを得る画像復号化装置とから成る画像通
信端末装置であって、画像符号化装置は画像の動きの変
化量に応じて全体画像フレームを含む複数種類の画像フ
レームを抽出して符号化画像フレーム信号ＦＳとして送
出し、画像復号化装置は抽出画像フレームの符号化画像
フレーム信号を復号化して得られた復号化画像フレーム
を蓄積・合成することにより新たな全体画像フレームを
生成することにより、伝送情報量が増大しないことによ
り動画像の品質が低下しない画像通信端末装置が得られ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像フレームの圧
縮・符号化、復号化・伸長をおこなう画像通信端末装置
および復号化画像フレームの得るための画像復号化方法
に関する。

【０００２】

【従来の技術】近年、デジタル通信網の普及とこれに伴
うテレビ電話、テレビ会議システムの普及は今後も拡大
していくと考えられるが、その中心となる動画像通信に
は、動画像符号化方式が適用される画像符号化装置、動
画像復号化方式が適用される画像復号化装置、符号化し
た画像を送信すると共に受信した符号化画像を復号化す
る画像通信端末装置が必要不可欠である。

【０００３】従来、画像符号化装置、画像復号化装置お
よび画像通信端末としては、図１０〜図１２に示されて
いるものが知られている。図１０は従来の画像符号化装
置を示すブロック図であり、図１１は従来の画像復号化
装置を示すブロック図、図１２は従来の画像通信端末装
置を示すブロック図である。

【０００４】まず、図１０に示す画像符号化装置につい
て説明する。図１０において、フレーム内／フレーム間
判断部２は圧縮対象の画像フレームに対してフレーム内
符号化またはフレーム間符号化のどちらかを選択し、動
き補償処理部３は入力される画像フレームのブロック
（以下、「マクロブロック」という）と最も相関の高い
ブロック（以下、「探索ブロック」という）を前画像フ
レームから検出し、差分処理部４はマクロブロックと動
き補償処理部３で検出された探索ブロックとの差分演算
を行って差分ブロックデータを得る。

【０００５】変換処理部５は、フレーム内符号化の場合
には入力マクロブロックデータに対してＤＣＴ変換で情
報量の削減を行い、フレーム間符号化の場合には差分処
理部４で算出された差分ブロックデータに対してＤＣＴ
変換で情報量の削減を行う。量子化処理部６は変換処理
部５でＤＣＴ変換されたブロックデータを離散的な値に
近似し、逆量子化処理部７は量子化処理部６で量子化さ
れたブロックデータを復元し、逆変換処理部８は逆量子
化処理部７で逆量子化されたブロックデータに対して逆
ＤＣＴ変換を行い、フレームメモリ９は逆変換処理部８
から出力された画像フレームを格納する。

【０００６】可変長符号化処理部１０は、量子化処理部
６で量子化されたブロックデータを順次読み出し、ゼロ
のデータ（以下、「ラン」という）の個数とゼロに続く
ゼロ以外のデータ（以下、「レベル」という）との組合
わせによりブロックデータの符号化を行う。網インタフ
ェース処理部１１は、通信回線に接続するための制御を
行うと共に、可変長符号化処理部１０で符号化されたブ
ロックデータを通信回線へ送出する。

【０００７】以上のように構成された画像符号化装置に
ついて、その動作を説明する。画像符号化装置における
動画像符号化にはフレーム内符号化とフレーム間符号化
との２種類がある。まず、フレーム内符号化について説
明する。フレーム構成の入力ビデオデータ（入力画像フ
レーム）ｖはフレーム内／フレーム間判断部２を通じて
変換処理部５に入力され、変換処理部５は、ＤＣＴ変換
により、入力画像フレームｖを１６×１６画素のマクロ
ブロック単位に変換する。ＤＣＴ変換は一種の周波数変
換である（動き補償処理部３はフレーム内符号化では使
用されない）。ＤＣＴ変換されたブロックデータは量子
化処理部６により量子化される。このように１フレーム
内で符号化を行っているのがフレーム内符号化である。

【０００８】次に、フレーム間符号化について説明す
る。上記フレーム内符号化で出力されるＤＣＴ変換、量
子化されたブロックデータは逆量子化処理部７で逆量子
化され、逆変換処理部８で逆ＤＣＴ変換されることによ
り復号化されて、フレームメモリ９に入力される。つま
りフレームメモリ９には入力画像フレームｖと同じ画像
フレームが蓄積される。動き補償処理部３は、次の画像
フレームのマクロブロックデータと上記フレームメモリ
９に蓄積されている画像フレームのマクロブロックデー
タとを比較して探索ブロックを検出し、マクロブロック
と探索ブロックを差分演算を行って得られた差分ブロッ
クデータは差分処理部４を通じて画像の動き成分として
変換処理部５に入力され、再びＤＣＴ変換され、量子化
処理部６で量子化される。

【０００９】可変長符号化処理部１０は、量子化処理部
６で量子化されたブロックデータを順次読み出し、ラン
の個数とレベルとの組合わせによりブロックデータの符
号化を行う。網インタフェース処理部１１は、通信回線
を介して相手側画像通信端末装置との接続のための制御
を行うと共に、可変長符号化処理部１０で符号化された
ブロックデータ（符号化画像フレーム信号）ＦＳを相手
側画像通信端末装置へ送出する。

【００１０】次に、図１１に示す画像復号化装置につい
て説明する。図１１において、網インタフェース処理部
１２は通信回線に接続するための制御を行うと共に相手
側画像通信端末装置から送信されてくる符号化画像フレ
ーム信号ＦＳを受信し、逆可変長符号化処理部１３は網
インタフェース処理部１２で受信した可変長符号化され
た符号化画像フレーム信号ＦＳを逆可変長符号化して画
像フレーム（量子化され、ＤＣＴ変換された画像フレー
ム）を出力し、逆量子化処理部１４は逆可変長符号化処
理部１３から出力される画像フレームを逆量子化し、逆
変換処理部１５は逆量子化処理部１４で逆量子化された
画像フレームを逆ＤＣＴ変換して復号化画像フレームを
出力する。画像合成処理部１６は逆変換処理部１５から
出力される復号化画像フレームのブロックデータと後述
のフレームメモリ１７に蓄積されている前画像フレーム
のブロックデータとを加算して画像フレームｖを生成
し、フレームメモリ１７は画像合成処理部１６で合成さ
れた画像フレームｖを格納する。

【００１１】以上のように構成された画像復号化装置に
ついて、その動作を説明する。網インタフェース処理部
１２は通信回線を介して相手側画像通信端末装置との接
続制御を行う。次に、逆可変長符号化処理部１３では、
網インタフェース処理部１２を介して相手側画像通信端
末装置から伝送されてきた可変長の符号化画像フレーム
信号ＦＳを量子化された画像フレームｖに復元し、逆量
子化処理部１４に転送する。逆量子化処理部１４および
逆変換処理部１５では、逆可変長符号化処理部１３で復
元された量子化された画像フレームに対して逆量子化処
理および逆ＤＣＴ変換処理を行い、画像合成処理部１６
では、逆量子化処理および逆ＤＣＴ変換処理された画像
フレームのブロックデータとフレームメモリ１７に蓄積
されている１フレーム前の画像フレームのブロックデー
タとを加算することにより、復号化画像フレームｖを生
成する。この復号化画像フレームｖはフレームメモリ１
７に蓄積され、次の復号化画像フレームを生成するとき
に使用される。

【００１２】次に、図１２に示す画像通信端末装置４０
について説明する。図１２において、ハンドセット２４
は音声を入力するマイクと音声を出力するスピーカを内
蔵し、撮影用カメラ２５は被写体の画像信号を出力し、
モニタ／液晶表示素子２６は相手側画像通信端末装置か
ら送られてきた画像や撮影用カメラ２５で撮影した画像
を表示し、キー操作部２７は電話番号を入力したり、機
能を選択したりする。画像通信端末装置４０は、音声制
御手段３１、動画像制御手段３２、静止画像制御手段３
３、通信制御手段３４、呼制御処理手段３５、多重／分
離手段３７および回線インタフェース部３８から成る。

【００１３】画像通信端末装置４０において、音声制御
手段３１は音声データを圧縮、符号化または伸長、復号
化し、動画像制御手段３２は動画像データを圧縮、符号
化または伸長、復号化し、静止画像制御手段３３は静止
画像データを圧縮、符号化または伸長、復号化し、通信
制御手段３４は相手端末装置との通信手順を制御し、呼
制御処理手段３５は発着呼・切断等の呼の管理を行う。
多重／分離手段３７は動画像データ、静止画像データ、
音声データを規定したフレームフォーマットで多重化
し、また相手端末装置から送られてきた多重化フレーム
信号から動画像データ、静止画像データ、音声データを
分離する。回線インタフェース部３８は公衆アナログ回
線３９に画像通信端末装置４０を接続する。

【００１４】以上のような構成の画像通信端末装置４０
について、その動作を説明する。まず送信動作について
説明する。操作者がハンドセット２４をとり、通常の電
話をかけるようにキー操作部２７から相手端末装置の電
話番号を入力すると、呼制御処理手段３５は、回線イン
タフェース部３８を介して、公衆アナログ回線３９によ
り相手端末装置と接続する。接続が完了し、キー操作部
２７から送信要求キーが押下されると、撮影用カメラ２
５からの画像信号は動画像制御手段３２に入力される。
動画像制御手段３２は、その画像信号をＡ／Ｄコンバー
タによりデジタル信号に変換し、図１０の画像符号化装
置で述べた方式に従い、ＩＴＵ−Ｔ勧告Ｈ．２６１に準
拠したフレームフォーマットに変換し、圧縮する。この
変換、圧縮処理された動画像データは動画像制御手段３
２から多重／分離手段３７に出力される。

【００１５】また、ハンドセット２４からの音声信号は
同様に音声制御手段３１に入力され、音声制御手段３１
はその音声信号をＡ／Ｄコンバータによりデジタル信号
に変換し、規定されたフォーマットに変換し、圧縮し
て、多重／分離手段３７に出力する。多重／分離手段３
７は、圧縮された動画像データおよび音声データを多重
化し、回線インタフェース部３８から公衆アナログ回線
３９を介して相手端末装置へ伝送する。

【００１６】次に、受信動作について説明する。操作者
が呼に応じてハンドセット２４をとると、画像通信端末
装置４０は、回線インタフェース部３８を介して公衆ア
ナログ回線３９により、発呼側端末装置との接続を開始
する。接続が完了して送信要求が送られてきたときにキ
ー操作部２７の受信キーを押下すると、公衆アナログ回
線３９を介して符号化フレーム信号を受信できる状態に
なる。公衆アナログ回線３９からの符号化フレーム信号
は回線インタフェース部３８を介して多重／分離手段３
７に入力され、多重／分離手段３７は符号化フレーム信
号を圧縮された動画像データ（符号化動画像フレーム信
号）と音声データ（符号化音声フレーム信号）とに分離
する。

【００１７】分離された音声データは音声制御手段３１
で復号化され、さらに、音声制御手段３１のＤ／Ａコン
バータによりアナログの音声信号に変換され、ハンドセ
ット２４に出力される。また、分離された動画像データ
は、動画像制御手段３２で、図１１の画像復号化装置で
述べた方式に従い、ＩＴＵ−Ｔ勧告Ｈ．２６１に準拠し
たフレームフォーマットで復号化され、さらに、動画像
制御手段３２のＤ／Ａコンバータによりアナログの動画
像信号に変換され、モニタ／液晶表示素子２６に出力さ
れる。モニタ／液晶表示素子２６では、入力された動画
像信号を動画像として表示する。

【００１８】ところで、従来の画像符号化装置では（従
って、従来の画像通信端末装置では）通常、背景部分が
動かない人物画像を符号化対象としている。この場合、
人物画像部分である画面中央部分の画像の動きの変化が
大きく、背景部分である画面周辺部分では画像の動きの
変化が小さいが、画面周辺部分も画面中央部分と同様な
符号化が行われる。

【００１９】

【発明が解決しようとする課題】しかしながら、従来の
画像通信端末装置では、画面周辺部分も画面中央部分と
同様な符号化が行われるので、伝送情報量が増大し、動
画像の品質が低下するという問題点を有していた。

【００２０】この画像通信端末装置では、伝送情報量が
増大せず、したがって動画像の品質も低下しないことが
要求されている。

【００２１】本発明は、伝送情報量が増大しないことに
より動画像の品質が低下しない画像通信端末装置および
この画像通信端末装置における画像復号化方法を提供す
ることを目的とする。

【００２２】

【課題を解決するための手段】この課題を解決するため
に本発明の画像通信端末装置は、画像フレームを符号化
した符号化画像フレーム信号を通信回線へ送出する画像
符号化装置と、通信回線からの符号化画像フレーム信号
を復号化して復号化画像フレームを得る画像復号化装置
とから成る画像通信端末装置であって、画像符号化装置
は画像の動きの変化量に応じて全体画像フレームを含む
複数種類の画像フレームを抽出して符号化画像フレーム
信号として送出し、画像復号化装置は抽出画像フレーム
の符号化画像フレーム信号を復号化して得られた復号化
画像フレームを蓄積・合成することにより新たな全体画
像フレームを生成するように構成したものである。

【００２３】これにより、伝送情報量が増大しないこと
により動画像の品質が低下しない画像通信端末装置が得
られる。

【００２４】また、この課題を解決するための本発明の
画像復号化方法は、通信回線からの符号化画像フレーム
信号を復号化して復号化画像フレームを得る画像復号化
方法であって、復号化画像フレームが復号化全体画像フ
レームのときにはフレームメモリに蓄積する蓄積ステッ
プと、復号化画像フレームが復号化全体画像フレームの
ときにはそのまま出力すると共に前記フレームメモリに
蓄積させ、復号化画像フレームが復号化部分画像フレー
ムのときには画像の動き成分のブロックデータから算出
された画像全体の動き成分の平均データとフレームメモ
リに蓄積されている復号化全体画像フレームとを加算し
た加算結果に更に復号化部分画像フレームを加算するフ
レーム処理ステップとを有するように構成したものであ
る。

【００２５】これにより、伝送情報量が増大しないこと
により動画像の品質が低下しない画像復号化方法が得ら
れる。

【００２６】

【発明の実施の形態】本発明の請求項１に記載の発明
は、画像フレームを符号化した符号化画像フレーム信号
を通信回線へ送出する画像符号化装置と、通信回線から
の符号化画像フレーム信号を復号化して復号化画像フレ
ームを得る画像復号化装置とから成る画像通信端末装置
であって、画像符号化装置は画像の動きの変化量に応じ
て全体画像フレームを含む複数種類の画像フレームを抽
出して符号化画像フレーム信号として送出し、画像復号
化装置は抽出画像フレームの符号化画像フレーム信号を
復号化して得られた復号化画像フレームを蓄積・合成す
ることにより新たな全体画像フレームを生成することと
したものであり、符号化側では、入力画像フレームから
全体画像フレーム又は部分画像フレームを抽出し、抽出
した画像フレームを符号化し、復号化側では全体画像フ
レームと部分画像フレームとを合成処理するという作用
を有する。

【００２７】請求項２に記載の発明は、請求項１に記載
の発明において、画像符号化装置は、画像の動きの変化
量に応じて全体画像フレームを含む複数種類の画像フレ
ームを抽出するフレーム抽出処理部と、抽出した複数種
類の画像フレームに対してＩＴＵ−Ｔ勧告Ｈ．２６１に
準拠した符号化を行って抽出画像フレームの符号化画像
フレーム信号を得る可変長符号化処理部とを有すること
としたものであり、画像の動きの変化量に応じて複数種
類の画像フレームが抽出され、抽出した複数種類の画像
フレームに対してＩＴＵ−Ｔ勧告Ｈ．２６１に準拠した
符号化が行われるという作用を有する。

【００２８】請求項３に記載の発明は、請求項１に記載
の発明において、画像復号化装置は、復号化画像フレー
ムのうちの復号化全体画像フレームを蓄積するフレーム
メモリと、復号化画像フレームのうちの復号化部分画像
フレームとフレームメモリに蓄積されている復号化全体
画像フレームとを合成して新たな復号化全体画像フレー
ムを得るフレーム処理部とを有することとしたものであ
り、復号化部分画像フレームと復号化全体画像フレーム
とが合成されるという作用を有する。

【００２９】請求項４に記載の発明は、請求項１に記載
の発明において、画像復号化装置は、復号化画像フレー
ムのうちの復号化全体画像フレームを蓄積するフレーム
メモリと、復号化画像フレームが復号化全体画像フレー
ムのときにはそのまま出力すると共にフレームメモリに
蓄積させ、復号化画像フレームが復号化部分画像フレー
ムのときには画像の動き成分のブロックデータから算出
された画像全体の動き成分の平均データとフレームメモ
リに蓄積されている復号化全体画像フレームとを加算し
た加算結果に更に復号化部分画像フレームを加算するフ
レーム処理部とを有することとしたものであり、復号化
画像フレームが復号化部分画像フレームのときには画像
全体の動き成分の平均データと復号化全体画像フレーム
とを加算し、更に復号化部分画像フレームを加算すると
いう作用を有する。

【００３０】請求項５に記載の発明は、画像フレームを
符号化して符号化画像フレーム信号として通信回線へ送
出する画像符号化装置と、通信回線からの符号化画像フ
レーム信号を復号化して復号化画像フレームを得る画像
復号化装置とから成る画像通信端末装置であって、画像
符号化装置は、画像の動きの変化量に応じて全体画像フ
レームを含む複数種類の画像フレームを抽出するフレー
ム抽出処理部と、抽出した複数種類の画像フレームに対
してＩＴＵ−Ｔ勧告Ｈ．２６１に準拠した符号化を行っ
て抽出画像フレームの符号化画像フレーム信号を得る可
変長符号化処理部とを有し、画像復号化装置は、復号化
画像フレームのうちの復号化全体画像フレームを蓄積す
るフレームメモリと、復号化画像フレームが復号化全体
画像フレームのときにはそのまま出力すると共にフレー
ムメモリに蓄積させ、復号化画像フレームが復号化部分
画像フレームのときには画像の動き成分のブロックデー
タから算出された画像全体の動き成分の平均データとフ
レームメモリに蓄積されている復号化全体画像フレーム
とを加算した加算結果に更に復号化部分画像フレームを
加算することとしたものであり、符号化においては、画
像の動きの変化量に応じて複数種類の画像フレームが抽
出され、抽出した複数種類の画像フレームに対してＩＴ
Ｕ−Ｔ勧告Ｈ．２６１に準拠した符号化が行われ、復号
化においては、復号化画像フレームが復号化部分画像フ
レームのときには画像全体の動き成分の平均データと復
号化全体画像フレームとを加算し、更に復号化部分画像
フレームを加算するという作用を有する。

【００３１】請求項６に記載の発明は、通信回線からの
符号化画像フレーム信号を復号化して復号化画像フレー
ムを得る画像復号化方法であって、復号化画像フレーム
が復号化全体画像フレームのときにはフレームメモリに
蓄積する蓄積ステップと、復号化画像フレームが復号化
全体画像フレームのときにはそのまま出力すると共にフ
レームメモリに蓄積させ、復号化画像フレームが復号化
部分画像フレームのときには画像の動き成分のブロック
データから算出された画像全体の動き成分の平均データ
とフレームメモリに蓄積されている復号化全体画像フレ
ームとを加算した加算結果に更に復号化部分画像フレー
ムを加算するフレーム処理ステップとを有することとし
たものであり、復号化画像フレームが復号化部分画像フ
レームのときには画像全体の動き成分の平均データと復
号化全体画像フレームとを加算し、更に復号化部分画像
フレームを加算するという作用を有する。

【００３２】以下、本発明の実施の形態について、図１
〜図９を用いて説明する。 （実施の形態１）図１は、本発明の一実施の形態による
画像通信端末装置を構成する画像符号化装置を示すブロ
ック図である。図１において、フレーム内／フレーム間
判断部２、動き補償処理部３、差分処理部４、変換処理
部５、量子化処理部６、逆量子化処理部７、逆変換処理
部８、フレームメモリ９、可変長符号化処理部１０、網
インタフェース処理部１１は図１０と同様のものであ
り、説明は省略する。フレーム抽出処理部１は、画像の
動き変化に応じて全体的又は部分的に画像領域を抽出す
る。

【００３３】以上のように構成された画像符号化装置に
ついて、その動作を図２、図３を用いて説明する。図２
（ａ）は全体画像の画像フレームＡを示す画像フレーム
図、図２（ｂ）は部分画像の画像フレームＢを示す画像
フレーム図である。また図３はフレームシーケンスすな
わちフレーム抽出処理部１から出力される画像フレーム
の一例を時系列的に示すフレームシーケンス図である。
図２、図３に示すように、フレーム抽出処理部１は、入
力画像領域の異なる２種類の画像フレームＡ、Ｂを抽出
可能である。

【００３４】フレーム抽出処理部１におけるフレーム抽
出シーケンスは、図３に示すように、まず画像フレーム
Ａを出力し、次に画像フレームＢを連続して出力し、一
定間隔毎に画像フレームＡを挿入する。抽出した画像フ
レームＡ、Ｂはフレーム内／フレーム間判断部２に入力
され、フレーム内／フレーム間判断部２は、画像フレー
ムのブロックデータ毎に、最初の画像フレーム中のブロ
ックデータか、シーンチェンジ画像フレーム中のブロッ
クデータか、フレーム間符号化モードで何ブロック処理
したかなどの判断基準により、フレーム内符号化モード
で処理を行うか、フレーム間符号化モードで処理を行う
かを判断し、フレーム内符号化モードの場合は変換処理
部５に入力画像フレームのブロックデータを出力し、フ
レーム間符号化モードの場合は動き補償処理部３に入力
画像フレームのブロックデータを出力する。

【００３５】動き補償処理部３は、フレーム内／フレー
ム間判断部２からマクロブロックデータの入力が行われ
ると、マクロブロックデータとフレームメモリ９中で同
位置のブロックの周辺を含むデータ（例えば８×８画素
の周辺の２４×２４画素）をフレームメモリ９から入力
し、最小差分絶対値和等を利用した手法で、マクロブロ
ックの近傍のデータ中で探索ブロックを検出し、動きベ
クトルを求める。差分処理部４は、マクロブロックデー
タと動き補償処理部３で検出された探索ブロックとの差
分演算で得られた差分ブロックデータを変換処理部５に
出力する。変換処理部５には、フレーム内符号化モード
の場合はフレーム内／フレーム間判断部２からマクロブ
ロックデータが入力され、フレーム間符号化モードの場
合は差分処理部４から差分ブロックデータが入力され、
変換処理部５は、上記いずれかのブロックデータに対し
て情報量削減のためにＤＣＴ変換方式で変換処理を行っ
てＤＣＴ変換されたブロックデータを得る。

【００３６】量子化処理部６は、情報量の削減やデジタ
ル網で伝送するために、ＤＣＴ変換されたブロックデー
タを離散的な値に近似する。逆量子化処理部６および逆
変換処理部７は、動き補償処理部３で探索ブロックを検
出するために必要なブロックデータをフレームメモリ９
に格納するため、変換処理部５でＤＣＴ変換され、量子
化処理部６で量子化されたブロックデータに対して逆量
子化処理および逆変換処理を行い、フレームメモリ９内
のマクロブロックデータと同位置に出力する。

【００３７】可変長符号化処理部１０は、量子化処理部
６で量子化されたブロックデータをレベルが出現するま
で読み出し、ランの個数とレベルとの組合わせにより可
変長符号化を行い、この可変長符号化をブロック中のデ
ータが全て処理されるまで繰り返す。可変長符号化され
たブロックデータは、網インタフェース処理部１１を介
して、圧縮された画像符号化データ（符号化画像フレー
ム信号）ＦＳとして相手側端末装置に伝送される。

【００３８】図４は図１の画像符号化装置における動作
を簡単に示すフローチャートである。図４において、ま
ずフレーム抽出処理部１は入力される画像フレームｖか
ら画像フレームＡ又はＢを抽出する（Ｓ１、Ｓ２）。次
に、抽出した画像フレームＡ、Ｂに対して可変長符号化
処理部１０で符号化を行い（Ｓ３）、網インタフェース
処理部１１を介して通信回線へ送信する（Ｓ４）。

【００３９】図５は本実施の形態による画像通信端末装
置を構成する画像復号化装置を示すブロック図である。
図１の画像符号化装置および図５の画像復号化装置を合
体した装置に通信部分を加えると画像通信端末装置が構
成される。図５において、網インタフェース処理部１
２、逆可変長符号化処理部１３、逆量子化処理部１４、
逆変換処理部１５、画像合成処理部１６、フレームメモ
リ１７は図１１と同様のものなので、説明は省略する。

【００４０】フレーム処理部１８は、通信回線から送信
されたきた画像フレームが全体画像フレームで無い場合
（部分画像フレームの場合）、後述のフレームメモリ１
９に保存している全体画像フレームと合成処理を行い、
通信回線から送信されたきた画像フレームが全体画像フ
レームである場合、そのまま出力すると共にフレームメ
モリ１９にその全体画像フレームを保存する。フレーム
メモリ１９は上述したように全体画像フレームを保存す
る。

【００４１】以上のように構成された画像復号化装置に
ついて、その動作を説明する。網インタフェース処理部
１２は、通信回線を介して相手側端末装置との間で通信
チャネルの接続制御を行い、通信可能な状態とする。こ
の後、通信回線を伝送されてくる画像符号化データ（符
号化画像フレーム信号）ＦＳは網インタフェース処理部
１２を介して逆可変長符号化処理部１３に入力される。
逆可変長符号化処理部１３は、ランの個数とレベルとの
組合わせで伝送されてきた可変長符号化データ（符号化
画像フレーム信号）ＦＳを量子化されたブロックデータ
に復元し、逆量子化処理部１４に出力する。

【００４２】逆量子化処理部１４および逆変換処理部１
５は、逆可変長符号化処理部１３で復元された量子化ブ
ロックデータに対して逆量子化処理および逆変換処理を
行い、画像合成処理部１６に出力する。画像合成処理部
１６は、逆量子化処理部１４および逆変換処理部１５で
逆量子化処理および逆変換処理されたブロックデータと
画像合成処理部１６によりフレームメモリ１７に蓄積さ
れている１フレーム前のブロックデータとを加算して画
像フレームを生成する。このとき、上記加算で得られた
画像フレームはフレームメモリ１７に蓄積され、次の画
像フレームを生成するときに用いる。

【００４３】次に、フレーム処理部１８は、画像合成処
理部１６から送られてきた画像フレームが全体画像フレ
ームＡか部分画像フレームＢかの判別を行い、各々の処
理を行う。画像合成処理部１６から送られてきた画像フ
レームが全体画像であるフレームＡの場合、フレームＡ
をそのまま出力すると共に、次に部分画像であるフレー
ムＢが入力されたときにフレームメモリ１９に保存して
いるフレームＡと入力されたフレームＢとを合成して新
たな全体画像フレームを生成するためにフレームＡをフ
レームメモリ１９に保存する。

【００４４】画像合成処理部１６から送られてきた画像
フレームが部分画像であるフレームＢの場合、新たな全
体画像であるフレームを生成するために、上述したよう
に、画像合成処理部１６から送られてきたフレームＢと
フレームメモリ１９に保存されているフレームＡとの合
成処理を行い、この合成処理により得られた新たな全体
画像フレームを画像フレームｖとして出力する。

【００４５】図６は図５の画像復号化装置における動作
の概略を示すフローチャートである。図６において、ま
ず符号化画像フレーム信号を通信回線から受信し（Ｓ１
１）、この受信した符号化画像フレーム信号を復号化し
（Ｓ１２）、画像合成処理部１６から送られてきた画像
フレームが全体画像であるフレームＡの場合、フレーム
Ａをそのまま出力すると共にフレームＡをフレームメモ
リ１９に保存する（Ｓ１３）。

【００４６】画像合成処理部１６から送られてきた画像
フレームが部分画像であるフレームＢの場合、画像合成
処理部１６から送られてきた部分画像のフレームＢとフ
レームメモリ１９に保存されている全体画像のフレーム
Ａとの合成処理を行い、この合成処理により得られた新
たな全体画像のフレームＡを画像フレームｖとして出力
する（Ｓ１４）。そして、上記フレームＡ又は新たな全
体画像フレームをモニタに表示する（Ｓ１５）。

【００４７】以上のように本実施の形態によれば、符号
化側では、入力画像フレームｖから全体画像のフレーム
Ａ又は部分画像のフレームＢを抽出し、抽出したフレー
ムＡ、フレームＢを符号化し、復号化側ではフレームＡ
とフレームＢとを合成処理するようにしたので、画像の
動き変化に応じた画像フレームを符号化、復号化するこ
とができ、画像の動き変化の小さい画像の場合にはフレ
ームＢを符号化、復号化することにより伝送情報量を減
らして動画像の品質が低下しないようにすることができ
る。

【００４８】（実施の形態２）図７は本発明の第２の実
施の形態による画像通信端末装置を構成する画像復号化
装置を示すブロック図である。図７において、網インタ
フェース処理部１２、逆可変長符号化処理部１３、逆量
子化処理部１４、逆変換処理部１５、画像合成処理部１
６、フレームメモリ１７、フレームメモリ１９は図５と
同様のものなので、説明は省略する。

【００４９】フレーム処理部２０は、通信回線から送信
されたきた画像フレームが全体画像フレームで無い場合
（部分画像フレームの場合）、フレームメモリ１９に保
存している全体画像フレームと合成処理を行い、通信回
線から送信されたきた画像フレームが全体画像フレーム
である場合、そのまま出力すると共にフレームメモリ１
９にその全体画像フレームを保存する。

【００５０】以上のように構成された画像復号化装置に
ついて、その動作を説明する。本実施の形態ではフレー
ム処理部２０における合成処理が第１の実施の形態とは
異なるので、その動作を中心に説明する。逆変換処理部
１５までの動作は第１の実施の形態と同様である。画像
合成処理部１６は、画像フレームが全体画像であるフレ
ームＡか、部分画像であるフレームＢかの判別を行い、
全体画像であるフレームＡの場合には、フレームＡのみ
をフレーム処理部２０に出力し、部分画像であるフレー
ムＢの場合には、フレームＢと共に画像合成処理部１６
で使用した画像の動き成分のブロックデータをフレーム
処理部２０に出力する（この機能は第１の実施の形態に
おける画像合成処理部には無い）。

【００５１】フレーム処理部２０は、画像合成処理部１
６から送られてきた画像フレームがフレームＡかフレー
ムＢかの判別を行い、フレームＡである場合、フレーム
Ａをそのまま出力すると共に、次にフレームＢが入力さ
れたときにフレームメモリ１９に保存しているフレーム
Ａと入力されたフレームＢとを合成して新たな全体画像
フレームを生成するためにフレームＡをフレームメモリ
１９に保存する。

【００５２】また、画像合成処理部１６から送られてき
た画像フレームがフレームＢと画像の動き成分のブロッ
クデータとである場合、画像の動き成分のブロックデー
タから画像全体の動き成分の平均データを計算し、フレ
ームメモリ１９に蓄積されているフレームＡのブロック
データに上記平均データを加算した後、その加算データ
とフレームＢとの加算を行い、新たな全体画像フレーム
を生成する。新たな全体画像フレームは画像フレームｖ
としてフレーム処理部２０から出力される。上記平均デ
ータを計算するのは、背景を全体的に均一に変化させる
ためである。

【００５３】図８は図７の画像復号化装置における動作
の概略を示すフローチャートである。図８において、ま
ず符号化画像フレーム信号を通信回線から受信し（Ｓ２
１）、この受信した符号化画像フレーム信号を復号化し
（Ｓ２２）、画像合成処理部１６からフレームＡのみが
送られてきた場合、フレームＡをそのまま出力する（フ
レーム処理ステップ）と共にフレームＡをフレームメモ
リ１９に保存する（蓄積ステップ）（Ｓ２３）。

【００５４】画像合成処理部１６からフレームＢと共に
画像の動き成分のブロックデータが送られてきた場合、
画像の動き成分のブロックデータから画像全体の動き成
分の平均データを計算し、フレームメモリ１９に蓄積さ
れているフレームＡのブロックデータに上記平均データ
を加算した後（Ｓ２４、フレーム処理ステップ）、その
加算データとフレームＢとの加算を行い、新たな全体画
像フレームを生成する（Ｓ２５、フレーム処理ステッ
プ）。上記フレームＡ又は新たな全体画像フレームはモ
ニタに出力表示される（Ｓ２６）。

【００５５】以上のように本実施の形態によれば、画像
合成処理部１６からフレームＢと共に画像の動き成分の
ブロックデータが送られてきた場合、画像の動き成分の
ブロックデータから画像全体の動き成分の平均データを
計算し、フレームＡのブロックデータに上記平均データ
を加算し、さらにフレームＢを加算するようにしたの
で、部分画像フレーム処理中においても背景変化を生じ
ることができるので、第１の実施の形態と同様に伝送情
報量を減らして動画像の品質が低下しないようにするこ
とができると共に、より正確に新たな全体画像フレーム
を生成することができる。

【００５６】（実施の形態３）図９は本発明の第３の実
施の形態による画像通信端末装置を示すブロック図であ
る。図９に示す画像通信端末装置は図１の符号化装置と
図５の復号化装置とを合体した装置、あるいは、図１の
符号化装置と図７の復号化装置とを合体した装置であ
る。すなわち、図１の符号化装置および図５の復号化装
置もしくは図７の復号化装置を合体した装置に通信部分
を加えると図９の画像通信端末装置が構成される。

【００５７】図９において、ハンドセット２４、撮影用
カメラ２５、モニタ／液晶表示素子２６、キー操作部２
７、音声制御手段３１、動画像制御手段３２、静止画像
制御手段３３、通信制御手段３４、呼制御処理手段３
５、多重／分離手段３７、回線インタフェース部３８、
公衆アナログ回線３９は図１２と同様のものなので、説
明は省略する。画像通信端末装置３６は、フレーム抽出
手段２８、フレーム合成手段２９、フレーム記憶手段３
０、音声制御手段３１、動画像制御手段３２、静止画像
制御手段３３、通信制御手段３４、呼制御処理手段３
５、多重／分離手段３７および回線インタフェース部３
８から成る。

【００５８】フレーム抽出手段２８は全体画像フレーム
を含む複数種類の画像フレームを抽出し（従って図１の
フレーム抽出処理部１と同様の機能を有し）、フレーム
合成手段は復号化した画像フレームと後述のフレーム記
憶手段３０に保存していた画像フレームとの合成処理を
行い（従って図５、図７のフレーム処理部１８、２０と
同様の機能を有し）、フレーム記憶手段３０は上記合成
処理のために画像フレームを保存する（従って図５、図
７のフレームメモリ１９と同様の機能を有する）。ま
た、動画像制御手段３２は、図１の符号化装置および図
５の復号化装置もしくは図７の復号化装置を内蔵する。

【００５９】以上のように構成された画像通信端末装置
３６について、その動作を説明する。まず送信動作につ
いて説明する。操作者がハンドセット２４をとり、通常
の電話をかけるようにキー操作部２７から相手端末装置
の電話番号を入力すると、呼制御処理手段３５は、回線
インタフェース部３８を介して、公衆アナログ回線３９
により相手端末装置と接続する。

【００６０】接続が完了し、キー操作部２７から送信要
求キーが押下されると、撮影用カメラ２５からの画像信
号は動画像制御手段３２に入力される。動画像制御手段
３２は、その画像信号をＡ／Ｄコンバータによりデジタ
ル信号に変換し、フレーム抽出手段２８に出力する。フ
レーム抽出手段２８は、最初は全体画像フレームを抽出
し、以下、動き変化の大きい画像領域の画像フレームを
抽出し、一定間隔毎に全体画像フレームを抽出する（図
３参照）。

【００６１】次に、抽出された画像フレームは、動画像
制御手段３２において、図１の符号化方式に従い、ＩＴ
Ｕ−Ｔ勧告Ｈ．２６１に準拠したフレームフォーマット
に変換し、圧縮する。この変換、圧縮処理された動画像
データは動画像制御手段３２から多重／分離手段３７に
出力される。また、ハンドセット２４からの音声信号は
同様に音声制御手段３１に入力され、音声制御手段３１
はその音声信号をＡ／Ｄコンバータによりデジタル信号
に変換し、規定されたフォーマットに変換し、圧縮し
て、多重／分離手段３７に出力する。多重／分離手段３
７は、圧縮された動画像データおよび音声データを多重
化し、回線インタフェース部３８から公衆アナログ回線
３９を介して相手端末装置へ伝送する。

【００６２】次に、受信動作について説明する。操作者
が呼に応じてハンドセット２４をとると、画像通信端末
装置３６は、回線インタフェース部３８を介して公衆ア
ナログ回線３９により、発呼側端末装置との接続を開始
する。接続が完了して送信要求が送られてきたときにキ
ー操作部２７の受信キーを押下すると、公衆アナログ回
線３９を介して符号化フレーム信号を受信できる状態に
なる。

【００６３】公衆アナログ回線３９からの符号化画像フ
レーム信号は回線インタフェース部３８を介して多重／
分離手段３７に入力され、多重／分離手段３７は符号化
フレーム信号を圧縮された動画像データ（符号化動画像
フレーム信号）と音声データ（符号化音声フレーム信
号）とに分離する。分離された音声データは音声制御手
段３１で復号化され、さらに、音声制御手段３１のＤ／
Ａコンバータによりアナログの音声信号に変換され、ハ
ンドセット２４に出力される。

【００６４】また、分離された動画像データは、動画像
制御手段３２で、図５の画像復号化装置で述べた方式に
従い、ＩＴＵ−Ｔ勧告Ｈ．２６１に準拠したフレームフ
ォーマットで復号化され、フレーム合成手段２９に出力
される。

【００６５】フレーム合成手段２９は、図５で述べた復
号化方式に従い、動画像フレームが全体動画像フレーム
でなく部分動画像フレームである場合には、フレーム記
憶手段３０に保存している全体動画像フレームとその部
分動画像フレームとの合成処理を行う。合成処理に得ら
れた新たな全体動画像フレームは、さらにＤ／Ａコンバ
ータ（この場合はフレーム合成手段２９のＤ／Ａコンバ
ータ）によりアナログの動画像信号に変換され、モニタ
／液晶表示素子２６に出力される。モニタ／液晶表示素
子２６は入力された動画像信号を動画像として表示す
る。

【００６６】以上のように本実施の形態によれば、送信
動作においては、フレーム抽出手段２８が、最初は全体
画像フレームを抽出し、以下、動き変化の大きい画像領
域の画像フレームを抽出し、一定間隔毎に全体画像フレ
ームを抽出し、受信動作においては、動画像フレームが
部分動画像フレームである場合には、フレーム記憶手段
３０に保存している全体動画像フレームとその部分動画
像フレームとの合成処理を行うようにしたので、画像の
動き変化に応じた動画像フレームを符号化、復号化する
ことができ、動画像の動き変化の小さい画像の場合には
部分動画像フレームを符号化、復号化することにより伝
送情報量を減らして動画像の品質が低下しないようにす
ることができる。

【００６７】

【発明の効果】以上のように本発明の画像通信端末装置
によれば、入力画像フレームから全体画像フレーム又は
部分画像フレームを抽出し、抽出した画像フレームを符
号化し、復号化においては全体画像フレームと部分画像
フレームとを合成処理するようにしたので、画像の動き
変化に応じた画像フレームを符号化、復号化することが
でき、画像の動き変化の小さい画像の場合には部分画像
フレームを符号化、復号化することにより伝送情報量を
減らして動画像の品質が低下しないようにすることがで
きるという有利な効果がある。また、部分画像フレーム
と共に画像の動き成分のブロックデータが送られてきた
場合、画像の動き成分のブロックデータから画像全体の
動き成分の平均データを計算し、全体画像フレームのブ
ロックデータに上記平均データを加算し、さらに部分画
像フレームを加算するようにしたので、部分画像フレー
ム処理中においても背景変化を生じることができるの
で、上記効果と共に、より正確に新たな全体画像フレー
ムを生成することができるという有利な効果が得られ
る。

【００６８】また、本発明の画像復号化方法によれば、
部分画像フレームと共に画像の動き成分のブロックデー
タが送られてきた場合、画像の動き成分のブロックデー
タから画像全体の動き成分の平均データを計算し、全体
画像フレームのブロックデータに上記平均データを加算
し、さらに部分画像フレームを加算するようにしたの
で、部分画像フレーム処理中においても新たな全体画像
フレームに背景変化が生じ、部分画像フレーム使用によ
り伝送情報量を減らして動画像の品質が低下しないよう
にすることができると共に、より正確に新たな全体画像
フレームを生成することができるという有利な効果が得
られる。

【図面の簡単な説明】

【図１】本発明の一実施の形態による画像通信端末装置
を構成する画像符号化装置を示すブロック図

【図２】（ａ）全体画像の画像フレームを示す画像フレ
ーム図 （ｂ）部分画像の画像フレームを示す画像フレーム図

【図３】フレーム抽出処理部から出力される画像フレー
ムの一例を時系列的に示すフレームシーケンス図

【図４】図１の画像符号化装置における動作を簡単に示
すフローチャート

【図５】本発明の一実施の形態による画像通信端末装置
を構成する画像復号化装置を示すブロック図

【図６】図５の画像復号化装置における動作の概略を示
すフローチャート

【図７】本発明の第２の実施の形態による画像通信端末
装置を構成する画像復号化装置を示すブロック図

【図８】図７の画像復号化装置における動作の概略を示
すフローチャート

【図９】本発明の第３の実施の形態による画像通信端末
装置を示すブロック図

【図１０】従来の画像符号化装置を示すブロック図

【図１１】従来の画像復号化装置を示すブロック図

【図１２】従来の画像通信端末装置を示すブロック図

【符号の説明】

１ フレーム抽出処理部 ２ フレーム内／フレーム間判断部 ３ 動き補償処理部 ４ 差分処理部 ５ 変換処理部 ６ 量子化処理部 ７ 逆量子化処理部 ８ 逆変換処理部 ９ フレームメモリ １０ 可変長符号化処理部 １１、１２ 網インタフェース処理部 １３ 逆可変長符号化処理部 １４ 逆量子化処理部 １５ 逆変換処理部 １６ 画像合成処理部 １７、１９ フレームメモリ １８、２０ フレーム処理部 ２４ ハンドセット ２５ 撮影用カメラ ２６ モニタ／液晶表示素子 ２７ キー操作部 ２８ フレーム抽出手段 ２９ フレーム合成手段 ３０ フレーム記憶手段 ３１ 音声制御手段 ３２ 動画像制御手段 ３３ 静止画像制御手段 ３４ 通信制御手段 ３５ 呼制御処理手段 ３６ 画像通信端末装置 ３７ 多重／分離手段 ３８ 回線インタフェース部 ３９ 公衆アナログ回線

Claims (6)

【特許請求の範囲】
1. 【請求項１】画像フレームを符号化した符号化画像フレ
   ーム信号を通信回線へ送出する画像符号化装置と、通信
   回線から受信した符号化画像フレーム信号を復号化して
   復号化画像フレームを得る画像復号化装置とから成る画
   像通信端末装置であって、前記画像符号化装置は画像の
   動きの変化量に応じて全体画像フレームを含む複数種類
   の画像フレームを抽出して符号化画像フレーム信号とし
   て送出し、前記画像復号化装置は前記抽出画像フレーム
   の符号化画像フレーム信号を復号化して得られた復号化
   画像フレームを蓄積・合成することにより新たな全体画
   像フレームを生成する画像通信端末装置。
2. 【請求項２】前記画像符号化装置は、画像の動きの変化
   量に応じて全体画像フレームを含む複数種類の画像フレ
   ームを抽出するフレーム抽出処理部と、前記抽出した複
   数種類の画像フレームに対してＩＴＵ−Ｔ勧告Ｈ．２６
   １に準拠した符号化を行って前記抽出画像フレームの符
   号化画像フレーム信号を得る可変長符号化処理部とを有
   する請求項１記載の画像通信端末装置。
3. 【請求項３】前記画像復号化装置は、前記復号化画像フ
   レームのうちの復号化全体画像フレームを蓄積するフレ
   ームメモリと、前記復号化画像フレームのうちの復号化
   部分画像フレームと前記フレームメモリに蓄積されてい
   る前記復号化全体画像フレームとを合成して新たな復号
   化全体画像フレームを得るフレーム処理部とを有する請
   求項１記載の画像通信端末装置
4. 【請求項４】前記画像復号化装置は、前記復号化画像フ
   レームのうちの復号化全体画像フレームを蓄積するフレ
   ームメモリと、前記復号化画像フレームが復号化全体画
   像フレームのときにはそのまま出力すると共に前記フレ
   ームメモリに蓄積させ、前記復号化画像フレームが復号
   化部分画像フレームのときには画像の動き成分のブロッ
   クデータから算出された画像全体の動き成分の平均デー
   タと前記フレームメモリに蓄積されている復号化全体画
   像フレームとを加算した加算結果に更に前記復号化部分
   画像フレームを加算するフレーム処理部とを有する請求
   項１記載の画像通信端末装置。
5. 【請求項５】画像フレームを符号化した符号化画像フレ
   ーム信号を通信回線へ送出する画像符号化装置と、通信
   回線からの符号化画像フレーム信号を復号化して復号化
   画像フレームを得る画像復号化装置とから成る画像通信
   端末装置であって、前記画像符号化装置は、画像の動き
   の変化量に応じて全体画像フレームを含む複数種類の画
   像フレームを抽出するフレーム抽出処理部と、前記抽出
   した複数種類の画像フレームに対してＩＴＵ−Ｔ勧告
   Ｈ．２６１に準拠した符号化を行って前記抽出画像フレ
   ームの符号化画像フレーム信号を得る可変長符号化処理
   部とを有し、前記画像復号化装置は、前記復号化画像フ
   レームのうちの復号化全体画像フレームを蓄積するフレ
   ームメモリと、前記復号化画像フレームが復号化全体画
   像フレームのときにはそのまま出力すると共に前記フレ
   ームメモリに蓄積させ、前記復号化画像フレームが復号
   化部分画像フレームのときには画像の動き成分のブロッ
   クデータから算出された画像全体の動き成分の平均デー
   タと前記フレームメモリに蓄積されている復号化全体画
   像フレームとを加算した加算結果に更に前記復号化部分
   画像フレームを加算するフレーム処理部とを有する画像
   通信端末装置。
6. 【請求項６】通信回線からの符号化画像フレーム信号を
   復号化して復号化画像フレームを得る画像復号化方法で
   あって、前記復号化画像フレームが復号化全体画像フレ
   ームのときにはフレームメモリに蓄積する蓄積ステップ
   と、前記復号化画像フレームが復号化全体画像フレーム
   のときには前記復号化画像フレームを出力すると共に前
   記フレームメモリに蓄積させ、前記復号化画像フレーム
   が復号化部分画像フレームのときには画像の動き成分の
   ブロックデータから算出された画像全体の動き成分の平
   均データと前記フレームメモリに蓄積されている復号化
   全体画像フレームとを加算した加算結果に更に前記復号
   化部分画像フレームを加算するフレーム処理ステップと
   を有する画像復号化方法。