JPH09233470A - 画像通信方法および画像通信端末装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像を動画像部分と静止画像部分とに区分し
て通信する画像通信方法を提供することを目的とする。 【解決手段】 画像の通信を行う画像通信方法であっ
て、画像を動画像部分と静止画像部分とに区分し、区分
した動画像部分と静止画像部分のそれぞれに対して圧縮
・符号化を行うことにより、画像を動画像部分と静止画
像部分とに区分して通信する画像通信方法が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を圧縮・符
号化して通信する画像通信端末装置および画像通信方法
に関する。

【０００２】

【従来の技術】近年、デジタル通信網の普及と、それに
伴うテレビ電話、テレビ会議システム等の画像通信端末
装置の普及とは今後も拡大していくと考えられる。この
ような画像通信端末装置の中心となる動画像通信には動
画像符号化処理が必要不可欠である。

【０００３】図３は従来の画像通信端末装置を示すブロ
ック図である。図３において、カメラ部１は画像を取り
込むためのものであり、モニタ部２は画像を出力表示
し、マイク部３は音声を取り込むためのもので、スピー
カ部４は音声を出力し、キー操作部９は使用者がキー操
作を行うものである。画像通信端末装置Ａは、画像圧縮
部５、音声圧縮部６、多重分離部７、インタフェース部
８および中央処理部（ＣＰＵ）から成る。画像通信端末
装置Ａにおいて、画像圧縮部５は画像データの符号化又
は復号化を行い、音声圧縮部６は音声データの符号化又
は復号化を行い、多重分離部は画像データと音声データ
との多重化又は分離を行い、インタフェース部８は多重
化されたフレームデータをデジタル通信網Ｎとの間で送
受信し、ＣＰＵ１０はキー操作部９からの信号を処理す
るとともに各部を制御する。

【０００４】以上のように構成された画像通信端末装置
Ａについて、その動作を説明する。まず、送信する場合
には、カメラ部１で取り込んだ画像をＡ／Ｄ変換により
デジタル画像データに変換し、画像圧縮部５においてそ
の画像データを符号化処理する。この動作と並行して、
マイク部３から取り込んだ音声をＡ／Ｄ変換によりデジ
タル音声データに変換し、音声圧縮部６においてその音
声データを符号化処理する。画像圧縮部５と音声圧縮部
６とで符号化処理された画像データと音声データとは多
重分離部７で多重化され、インタフェース部８からデジ
タル通信網Ｎに送出される。

【０００５】逆に、受信する場合には、インタフェース
部８においてデジタル通信網Ｎから受け取ったフレーム
データを多重分離部７で画像データと音声データとに分
離し、画像データを画像圧縮部５で復号化処理し、それ
と並行して音声データを音声データ圧縮部で復号化処理
する。その後、デジタルの画像データはモニタ部２でＤ
／Ａ変換され、モニタに画像として出力表示される。ま
た、デジタルの音声データはスピーカ部４でＤ／Ａ変換
され、スピーカから音声として出力される。キー操作部
９では使用者が各機能の設定などを行い、その設定によ
る情報はＣＰＵ１０により処理される。ＣＰＵ１０はま
た各部の制御も担当する。

【０００６】図４は、図３の画像圧縮部５を構成する情
報源符号化部を示すブロック図である。図４において、
減算器１１は減算処理を行い、スイッチ１２はフレーム
内符号化とフレーム間符号化の切替えを行い、ＤＣＴ変
換器１３はビデオデータのＤＣＴ変換を行い、量子化器
１４はＤＣＴ変換されたビデオデータの量子化を行い、
逆量子化器１５はビデオデータの復号化のための逆量子
化を行い、逆ＤＣＴ変換器（ＩＤＣＴ）１６はビデオデ
ータの復号化のための逆ＤＣＴ変換を行い、加算器１７
は一つ前のビデオデータの加算によりビデオデータを復
元し、動き補償用画像メモリ１８は連続する２つのビデ
オデータを比較し、ループ内フィルタ１９は動き補償用
画像メモリ１８から出力されるビデオデータの波形を改
善し、スイッチ２０はスイッチ１２と同様にフレーム内
符号化とフレーム間符号化の切替えを行い、符号化制御
器２１はスイッチ１２、量子化器１４を制御すると共に
フレーム内・フレーム間識別フラグｐ等のフラグを出力
する。

【０００７】以上のように構成された情報源符号化部に
ついて、その動作を説明する。動画像符号化にはフレー
ム内符号化とフレーム間符号化の２種類がある。まず、
フレーム内符号化から説明すると、入力されたビデオデ
ータはスイッチ１２を通じてＤＣＴ変換器１３で１６×
１６画素のマクロブロック単位にＤＣＴ変換される。Ｄ
ＣＴ変換は一種の周波数変換である。ＤＣＴ変換された
ビデオデータは量子化器１４により量子化され、ＤＣＴ
係数の量子化出力インデックスｑが量子化器１４から出
力される。同時に、符号化制御器２１からは、フレーム
内符号化かフレーム間符号化を識別するフレーム内・フ
レーム間識別フラグｐ、伝送か非伝送かを識別する伝送
・非伝送識別フラグｔ、量子化特性を指定する量子化指
定データｑｚが出力される。これらの情報は符号化に必
要な情報である。このように１フレーム内で符号化を行
っているのがフレーム内符号化である。

【０００８】次に、フレーム間符号化について説明す
る。上記フレーム内符号化で出力されたＤＣＴ係数の量
子化出力インデックスｑを逆量子化器１５、逆ＤＣＴ変
換器１６を通じて復号化し、この復号化されたデータ
（差分データ）は加算器１７を通じて動き補償用画像メ
モリ１８に復号化ビデオデータとして入力される。動き
補償用画像メモリ１８は次のフレームのビデオデータと
加算器１７を通じて入力された復号化ビデオデータとを
比較し、動きベクトルを探索する。２つのフレームに渡
ってビデオデータを比較した結果はループ内フィルタ１
９を通じて画像の動き成分として減算器１１に入力さ
れ、再びＤＣＴ変換器１３、量子化器１４を通じて符号
化され、ＤＣＴ係数の量子化出力インデックスｑが出力
される。同時に、フレーム内符号化の時と同様にフレー
ム内・フレーム間識別フラグｐ、伝送・非伝送識別フラ
グｔ、量子化指定データｑｚが出力されるほか、フレー
ム間符号化の時は、動きベクトルｖ、ループ内フィルタ
のオンオフデータｆも動き補償用画像メモリ１８、ルー
プ内フィルタ１９から出力される。

【０００９】

【発明が解決しようとする課題】しかしながら、従来の
画像通信端末装置では、画像符号化の対象となる動画像
の一部が背景などのように動き自体に意味を持たない画
像である場合（例えば、会議当事者の後ろで会議にまっ
たく関係ない人が動くような場合、蛍光灯などによる画
像データ上のノイズ的な変化がある場合など）でも、そ
の画像部分の動きによる情報量が増えて、動画像データ
として必要な会議参加者などの画像データの伝送レート
が下がり、動画像の品質が低下するという問題点を有し
ていた。

【００１０】この画像通信端末装置又は画像通信方法で
は、動画像信号の動画像部分の伝送レートを上げ、動画
像の品質低下を防止することが要求されている。

【００１１】本発明は、画像を動画像部分と静止画像部
分とに区分して通信する画像通信方法および画像を動画
像部分と静止画像部分とに区分して動画像部分の品質低
下が防止されるようにした画像通信端末装置を提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】この課題を解決するため
に本発明の画像通信方法は、画像の通信を行う画像通信
方法であって、画像を動画像部分と静止画像部分とに区
分し、区分した動画像部分と静止画像部分のそれぞれに
対して圧縮・符号化を行うように構成したものである。

【００１３】これにより、画像を動画像部分と静止画像
部分とに区分して通信する画像通信方法が得られる。

【００１４】また、この課題を解決するための本発明の
画像通信端末装置は、画像の通信を行う画像通信端末装
置であって、画像を動画像部分と静止画像部分とに区分
する区分指定データに基づいて画像の区分制御を行う中
央処理部を有するように構成したものである。

【００１５】これにより、画像を動画像部分と静止画像
部分とに区分して動画像部分の品質低下が防止される画
像通信端末装置が得られる。

【００１６】

【発明の実施の形態】本発明の請求項１に記載の発明
は、画像の通信を行う画像通信方法であって、画像を動
画像部分と静止画像部分とに区分し、区分した動画像部
分と静止画像部分のそれぞれに対して圧縮・符号化を行
うこととしたものであり、区分した動画像部分と静止画
像部分とのそれぞれが圧縮・符号化されるという作用を
有する。

【００１７】請求項２に記載の発明は、画像の通信を行
う画像通信端末装置であって、画像を動画像部分と静止
画像部分とに区分する区分指定データに基づいて画像の
区分制御を行う中央処理部を有することとしたものであ
り、区分した動画像部分と静止画像部分とのそれぞれが
圧縮・符号化されるという作用を有する。

【００１８】請求項３に記載の発明は、画像の通信を行
う画像通信端末装置であって、画像を動画像部分と静止
画像部分とに区分する区分指定データに基づいて画像の
区分制御を行う中央処理部と、中央処理部からの区分制
御信号に基づいて動画像部分と静止画像部分とを切り替
えて区分する切替え部とを有することとしたものであ
り、動画像部分と静止画像部分とが切替え部により区分
されるという作用を有する。

【００１９】請求項４に記載の発明は、画像の通信を行
う画像通信端末装置であって、画像を動画像部分と静止
背景画像部分とに区分するサーモグラフィからの区分指
定データに基づいて画像の区分制御を行う中央処理部
と、中央処理部からの区分制御信号に基づいて動画像部
分と静止背景画像部分とを切り替えて区分する切替え部
と、静止背景画像部分をブルーバック画像部分とするブ
ルーバック付与部とを有することとしたものであり、動
画像部分と静止背景画像部分とが切替え部により区分さ
れると共に静止背景画像部分がブルーバック画像部分と
なるという作用を有する。

【００２０】以下、本発明の実施の形態について、図
１、図２を用いて説明する。 （実施の形態１）図１は、本発明の第１の実施の形態に
よる画像通信端末装置を示すブロック図である。図１に
おいて、カメラ部１、モニタ部２、マイク部３、スピー
カ部４、画像圧縮部５、音声圧縮部６、多重分離部７、
インタフェース部８、キー操作部９、ＣＰＵ（中央処理
部）１０は図３と同様のものなので、説明は省略する。
静止画像用メモリ２２は符号化のために動画像中の静止
画像部分を一時的に蓄積し、スイッチ２３は動画像中の
動画像部分と静止画像部分を切り替えて画像圧縮部５に
取り込むためのものであり、スイッチ２４（切替え部）
は動画像部分を画像圧縮部５に取り込むと共に静止画像
部分を静止画像用メモリ２２に取り込むためのものであ
る。

【００２１】以上のように構成された画像通信端末装置
Ａ１について、以下その通信方法を説明する。送信の場
合には、まずカメラ部１は画像を取り込み、取り込んだ
画像をＡ／Ｄ変換によりデジタルの画像データに変換す
る。次に、キー操作部９で、上記画像データのうち静止
画像として符号化する範囲および対象となる画像を指定
するキー操作、マウス操作などを行う。キー操作等で指
定された範囲の画像データ（静止画像部分の画像デー
タ）は、キー操作部９から区分指定データ（画像を動画
像と静止画像に区分するデータ）を取り込んだＣＰＵ１
０からの区分制御信号ａでスイッチ２４を制御すること
により、静止画像用メモリ２２に取り込まれる。つま
り、切替え部としてのスイッチ２４は、静止画像部分と
して指定された範囲のときには静止画像用メモリ２２側
（図１では上側）に切り替えられ、その範囲の間の画像
データは静止画像用メモリ２２に取り込まれる。このよ
うなキー操作においては、画像通信中に何度でも静止画
像部分の指定を変更することが可能である。すなわち、
２回目以降の操作では、静止画像として符号化する範囲
および対象となる画像を指定するキー操作部９でのキー
操作、マウス操作等を行って、前回の指定で静止画像用
メモリ２２に取り込んだ画像データに重ね書きすること
により、静止画像部分の画像データを更新することがで
きる。

【００２２】一方、指定した静止画像の範囲は上述した
ようにＣＰＵ１０に記憶され、ＣＰＵ１０は、記憶した
指定範囲に基づいてスイッチ２３を制御することによ
り、静止画像用メモリ２２に取り込まれている静止画像
部分の画像データとカメラ部１から入力される現在の動
画像部分の画像データとを切り替える。このことによ
り、あらかじめ指定された静止画像部分以外の画像部分
である動画像部分に、次々と入力される動画像データを
組み込むことができる。すなわち、静止画像部分の画像
データと動画像部分の画像データとから成る１フレーム
の画像データが実現できる。その後、画像圧縮部５は、
図４で説明したように、各画像データを符号化する。そ
れと並行して音声圧縮部６は音声データを符号化する。
符号化された各画像データと音声データとは多重分離部
７で多重化され、インタフェース部８を経てデジタル通
信網Ｎに出力される。

【００２３】受信の場合には、図３で説明したように、
インタフェース部８においてデジタル通信網Ｎから受け
取ったフレームデータを多重分離部７で画像データと音
声データとに分離し、画像データを画像圧縮部５で復号
化処理し、それと並行して音声データを音声圧縮部６で
復号化処理する。その後、デジタルの画像データをモニ
タ部２でＤ／Ａ変換してモニタに出力表示する。また、
デジタルの音声データをスピーカ部４でＤ／Ａ変換し
て、音声としてスピーカから出力する。

【００２４】以上のように本実施の形態によれば、１つ
の画像の一部を静止画像部分として指定、つまりその残
りの部分を動画像部分となるように指定して画像を動画
像部分と静止画像部分とに分けるようにしたので、フレ
ーム間符号化により画像符号化を行う場合、静止画像と
して指定された静止画像部分では前回フレームと今回フ
レームの画像が同じになってフレーム間の差がなくな
り、静止画像として指定した静止画像部分を画像符号化
する場合のデータ量を大幅に減らすことができる。この
ことを利用して、動きが必要でない画像部分は静止画像
として指定して画像符号化し、その符号化静止画像を画
像通信し、動きが必要な部分だけは動画像として指定し
て画像符号化し、その符号化動画像を画像通信する。デ
ジタル通信網Ｎ側の伝送レートは決められているので、
静止画像部分の指定により、送るデータを減らすように
したことにより、結果的に静止画像部分以外の動画像部
分を送る伝送レートを上げることができ、動画像部分の
画像品質を向上させることができる。

【００２５】（実施の形態２）図２は、本発明の第２の
実施の形態による画像通信端末装置を示すブロック図で
ある。図１において、カメラ部１、モニタ部２、マイク
部３、スピーカ部４、画像圧縮部５、音声圧縮部６、多
重分離部７、インタフェース部８、キー操作部９、ＣＰ
Ｕ（中央処理部）１０、静止画像用メモリ２２、スイッ
チ２３、スイッチ２４は図１と同様のものなので、説明
は省略する。サーモグラフィ２５は画像中の人物画像部
分を検知し、２値化部２６はサーモグラフィ２５の出力
値をしきい値により２値化し、ブルーバック部２７はブ
ルーバックデータｂを出力し、スイッチ２８はカメラ部
１で撮影された画像に対してサーモグラフィ２５によっ
て抽出された人物以外をブルーバックに置き換えるため
のものであり、ブルーバック部２７とスイッチ２８はブ
ルーバック付与部を構成する。

【００２６】以上のように構成された画像通信端末装置
Ａ２について、以下その通信方法を説明する。送信の場
合には、まずあらかじめ静止画像用メモリ２２に、人物
のいない静止背景画像を取り込み、相手端末に送信して
おく。次に、カメラ部１は画像を取り込み、取り込んだ
画像をＡ／Ｄ変換によりデジタルの画像データに変換す
る。サーモグラフィ２５は、高感度で応答速度の速い赤
外線ビジコンを使用した場合、−２０℃〜＋１５０℃の
範囲で０．２℃の分解能をもち、この分解能で温度信号
ｃを出力する。２値化部２６は、人間の体温周辺に上限
および下限のしきい値を設定することにより、サーモグ
ラフィ２５から出力される温度信号ｃの値のうち、しき
い値の範囲内を人物画像とし、範囲外つまり上限しきい
値より上の範囲又は下限しきい値より下の範囲を偽画像
とすることができる。

【００２７】すなわち、画像中の人物画像の部分を
「真」とし、人物画像以外の画像の部分を「偽」とした
２値化画像データを得ることができる。ＣＰＵ１０は、
ブルーバック制御信号ｄを出力してスイッチ２８を制御
することにより、上記２値化画像データに基づき、
「真」の範囲ではカメラ部１からの画像を選択し、
「偽」の範囲ではブルーバックデータｂを選択する。こ
れにより、画像データとして、人物画像＋ブルーバック
画像のデータを得ることができる。その後、画像圧縮部
５では、図４で説明したように画像符号化がなされ、そ
れと並行して音声データも音声圧縮部６で符号化され、
符号化画像データと符号化音声データは多重分離部７で
多重化されてフレームデータとなり、インタフェース部
８を経てデジタル通信網Ｎに出力される。

【００２８】受信の場合には、まず相手端末から受信し
た静止背景画像データをクロマキー合成用（電子的はめ
込みのための）静止画像用メモリ２２に記憶しておき、
その後、第１の実施の形態の場合と同様に、インタフェ
ース部８においてデジタル通信網Ｎから受け取ったフレ
ームデータを多重分離部７で画像データと音声データと
に分離し、画像データを画像圧縮部５で復号化処理し、
それと並行して音声データを音声圧縮部６で復号化処理
する。その後、受信した人物画像＋ブルーバック画像の
デジタルの画像データと静止画像用メモリ２２に蓄えら
れている静止背景画像とをクロマキー合成し、クロマキ
ー合成した画像データをモニタ部２でＤ／Ａ変換し、モ
ニタに出力表示する。また、デジタルの音声データをス
ピーカ部４でＤ／Ａ変換し、音声としてスピーカから出
力する。

【００２９】なお、本実施の形態では、スイッチ２８が
図２において上下に切り替わる場合について説明した
が、スイッチ２８を下側の接点位置に固定することによ
り、第１の実施の形態の場合と同様に、カメラ部１から
の画像を静止画像と動画像とに区分することもできる。

【００３０】以上のように本実施の形態によれば、サー
モグラフィ２５を用いることにより、１つの画像の一部
を人物画像とし、その残りの部分をブルーバック画像と
するようにしたので、フレーム間符号化により画像符号
化を行う場合、ブルーバック画像部分では前回フレーム
と今回フレームの画像が同じになってフレーム間の差が
なくなり、ブルーバック画像部分を画像符号化する場合
のデータ量を大幅に減らすことができる。このことを利
用して、人物画像部分だけは動画像として画像符号化し
て画像通信し、ブルーバック画像部分は静止背景画像と
して画像符号化して画像通信する。デジタル通信網Ｎ側
の伝送レートは決められているので、画像中に静止背景
画像部分を含め、送るデータを減らすようにしたことに
より、結果的にブルーバック画像部分以外の人物画像部
分（動画像部分）を送る伝送レートを上げることがで
き、人物画像部分の画像品質を向上させることができ
る。

【００３１】

【発明の効果】以上のように本発明の画像通信方法によ
れば、区分した動画像部分と静止画像部分とのそれぞれ
を圧縮・符号化するようにしたので、データ量が動画像
部分と比較して大幅に減少した静止画像部分の存在によ
り、結果的に動画像部分の伝送レートを上げることがで
き、動画像部分の品質低下を防止できるという有利な効
果が得られる。

【００３２】また、本発明の画像通信端末装置によれ
ば、区分した動画像部分と静止画像部分とのそれぞれを
圧縮・符号化することができ、データ量が動画像部分と
比較して大幅に減少した静止画像部分の存在により、結
果的に動画像部分の伝送レートを上げることができ、動
画像部分の品質低下を防止できるという有利な効果が得
られる。また、動画像部分と静止画像部分とを切替え部
により区分するようにしたので、同様に、区分した動画
像部分と静止画像部分とのそれぞれを圧縮・符号化する
ことができ、データ量が動画像部分と比較して大幅に減
少した静止画像部分の存在により、結果的に動画像部分
の伝送レートを上げることができ、動画像部分の品質低
下を防止できるという有利な効果が得られる。さらに、
動画像部分と静止画像部分とが切替え部により区分され
ると共に静止画像部分をブルーバック画像とするように
したので、上記効果の他、静止画像部分をブルーバック
画像部分として伝送データ量を大幅に減少させることが
でき、動画像部分の伝送レートを上げて大幅に品質を向
上することができるという有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態による画像通信端末
装置を示すブロック図

【図２】本発明の第２の実施の形態による画像通信端末
装置を示すブロック図

【図３】従来の画像通信端末装置を示すブロック図

【図４】図３の画像圧縮部を構成する情報源符号化部を
示すブロック図

【符号の説明】

１ カメラ部 ２ モニタ部 ３ マイク部 ４ スピーカ部 ５ 画像圧縮部 ６ 音声圧縮部 ７ 多重分離部 ８ インタフェース部 ９ キー操作部 １０ ＣＰＵ（中央処理部） １１ 減算器 １２、２０、２３、２４、２８ スイッチ １３ ＤＣＴ変換器 ２２ 静止画像用メモリ ２５ サーモグラフィ ２６ ２値化部 ２７ ブルーバック部 Ａ、Ａ１、Ａ２ 画像通信端末装置 Ｎ デジタル通信網

Claims (4)

【特許請求の範囲】
1. 【請求項１】画像の通信を行う画像通信方法であって、
   前記画像を動画像部分と静止画像部分とに区分し、区分
   した動画像部分と静止画像部分のそれぞれに対して圧縮
   ・符号化を行う画像通信方法。
2. 【請求項２】画像の通信を行う画像通信端末装置であっ
   て、前記画像を動画像部分と静止画像部分とに区分する
   区分指定データに基づいて前記画像の区分制御を行う中
   央処理部を有する画像通信端末装置。
3. 【請求項３】画像の通信を行う画像通信端末装置であっ
   て、前記画像を動画像部分と静止画像部分とに区分する
   区分指定データに基づいて前記画像の区分制御を行う中
   央処理部と、前記中央処理部からの区分制御信号に基づ
   いて前記動画像部分と前記静止画像部分とを切り替えて
   区分する切替え部とを有する画像通信端末装置。
4. 【請求項４】画像の通信を行う画像通信端末装置であっ
   て、前記画像を動画像部分と静止背景画像部分とに区分
   する区分指定データに基づいて前記画像の区分制御を行
   う中央処理部と、中央処理部からの区分制御信号に基づ
   いて前記動画像部分と前記静止背景画像部分とを切り替
   えて区分する切替え部と、前記静止背景画像部分をブル
   ーバック画像部分とするブルーバック付与部とを有する
   画像通信端末装置。