JPH01101087A

JPH01101087A - 画像伝送装置

Info

Publication number: JPH01101087A
Application number: JP62257355A
Authority: JP
Inventors: Hideyuki Ueno; 秀幸上野; Haruhiko Okumura; 治彦奥村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1987-10-14
Filing date: 1987-10-14
Publication date: 1989-04-19
Anticipated expiration: 2014-08-03
Also published as: JP2930114B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】【発明の目的〕（産業上の利用分野）本発明はテレビ電話等の動画像伝送に用いられる画像伝
送装置に関する。

（従来の技術）テレビ会議システム等における動画像信号の符号化にお
いて、近年動領域に対して動き補償フレーム間予測、背
景に対して背景予測を使うといった。領域の性質に対し
て適応的な予測方式を採用する符号化が行われるように
なってきている。

しかしこれらを行うための領域の判定は、従来入力フレ
ームを局所的に調べ、その輝度変化が大きい場合と小さ
い場合とに分け、大きい場合には動領域、小さい場合に
は背景というような単純な判定を行っていた。すなわち
動領域と背景で適応的に予測方式を変えるというよりは
輝度変化の大きい領域と小さい領域で予測方式を変えて
いるといった方が正しい、このことは例えば背景の様子
が変化しなくても照明のゆらぎなどで背景の輝度値が変
化するような場合に、その領域を背景として扱ってしま
う、このため従来の方式では真の背景と動領域の差別化
は行われず、この点を解決せずには符号化効率の向上は
望めなかった。

一方、装置を使用する立場から見ると、輝度変化の代償
による差別化よりも、やはり背景と動領域という概念に
基づいた差別化の方が意味があると思われることが多い
０例えば、 ■　背景には受信側に必要な情報が含まれていないこと
がある ■　送信側として自分の背景を相手に見せたくないこと
があるという２点を考えれば明らかであろう、しかしこれらの
要求を満たそうとした時、従来の輝度変化に基づく背景
の判定規範を用いると、動領域においても誤って背景と
判定される領域が出てしまい。

上述したような問題が生ずることになる。

（発明が解決しようとする問題点）以上のように従来の方式では背景輝度がゆらいだ時に情
報量が増えてしまい、又、背景をオペレータ自身が隠す
という操作ができないため見せたくない背景も見られて
しまうというテレビ電話等の画像伝送装置において極め
て不都合な問題を有していた。

そこで本発明は伝送すべき情報量を低減できしかも背景
を相手に見せたくない時には自動的に別の背景を表示で
きるようにすることができる画像伝送装置を提供するこ
とを目的とする。

〔発明の構成〕

（問題点を解決するための手段）本発明は動領域とそれ以外の領域とを分離、分離された
内の動領域と、予め記憶された別の背景としての画像と
を合成し表示する画像伝送装置である。

（作用）この発明では動領域とその他の領域（背景）とを分離し
、背景に関する情報は捨ててしまい、任意に設定された
別の背景と、動領域とを合成するため、このような構成
が送信側にあっては照明状態に変化がおこってそのこと
による伝送のための情報量の増加を招くことがない、さ
らに、伝送したくない真の背景を伝送しなくてすみ、そ
の代わり送信側において任意に設定された別の背景を合
成して受信側に表示することができる。

（実施例）以下本発明の一実施例を図面を参照して詳述する。第１
図は本発明に係る送信側の画像伝送装置の基本ブロック
図である。

入力される画像信号はフレームにとにフレームメモリ１
０１に順次蓄えられた後、　ブロック化回路１０２にお
いて符号化を行うための単位ブロックに切り出され、有
意ブロック判定回路１０３に送られる。フレームメモリ
１の信号はまた後段で詳述するマツプ作成回路１１３及
び背景メモリ１１４にも送出される。この背景メモリ１
１４は動領域の輪郭を検出しその外側を背景とみなすこ
とにより入力フレームによって内容が更新される背景メ
モリである。

マツプ作製回路１３では、今までに背景メモリ１１４に
蓄積されていた背景と新しく入力さ九たフレームとを比
較することによって入力フレームを背景と動領域に分離
し分離情報を示すマツプを作成する。ここで作成された
マツプは以後動き検出、有意ブロック判定９条件付画素
補充において利用されると共にこの情報は輪郭符号化回
路１１５において符号化され、図示しない受信側で復号
の際に受信データを出力するか背景メモリの内容を出力
するかを決定するために使われる。またこのマツプを利
用した符号化方式を符号化回路１０６で用いることもで
きる。

さて、マツプ情報を受けた有意ブロック判定回路１０３
は入力されたブロックが輪郭の外にあるが内にあるかブ
ロックに輪郭がまたがっているかを判定し、輪郭の外に
ある場合、そのブロックは無効ブロックであるとみなし
１次段への送出を中止する。上記以外の場合、このブロ
ックは有意ブロックとみなされ、次の差分回路１０４及
び動き検出回路１０７呻送出される、有意ブロックとマ
ツプを入力された動き検出回路１０７は前フレームの内
容を蓄えるフレームメモリω１１１を探索して最適動き
ベクトルを検出するが、この際に第５図に示すように入
力ブロックと探索先のブロックにおいて入力ブロックの
背景部分に相当する画素の画素値を共にＯにクリアした
後に誤差を評価してマツチングを行う。このことにより
検出される動きベクトルが背景に影響されることを防ぐ
ことができる。

検出された動きベクトルは多重化回路１１９に送出され
ると共に可変遅延回路１０８に送出される。

可変遅延回路１０８はフレームメモリ■１１１より動き
ベクトルに相当するずれをもつブロックを差分回路１０
４及びブロックメモリ１２２に送出し、差分回路１０４
で入力ブロックと動き補償予測ブロックとの予測誤差が
とられる。この予測誤差のうち入為ブロックの動領域に
相当する位置の誤差が条件付画素補充判定回路１０５で
評価される。　この誤差が小さい場合このブロックは条
件付画素補充がなされるとみなされ、このことを示す信
号が多重化回路１１９及びブロックメモリ１２２に送出
され、この信号によりブロックメモリの内容がフレーム
メモリ■１１２に移行されると共に予測誤差の次段への
送出は中止される。誤差が大きい場合この予測誤差は符
号化回路１０６へ送られ符号化される。符号化されたデ
ータは多重化回路１１９に送出されると共に復号化回路
１０９で局部復号されてフレームメモリ■１１２に蓄え
られる。フレームメモリ■１１２に蓄えられたフレーム
画像はフレームタイミングでフレームメモリＱ）１１１
に移行され、動き補償時に参照される。一方背景は１通
信開始時又は送信側より背景送出要求があった場合のみ
送出される。背景メモリ１１４は先に述べたように入力
フレームの中から背景部分のみを選び出して常に更新を
続ける。

外部記憶装置１１１６はフロッピーディスク、カセット
テープ、ＩＣカード、ＶＴＲ，ＤＡＴなどの書換え可能
な記憶装置あるいは光カード、ＣＤ−ＲＯＭなどの書換
え不可能な記憶装置等コンパクトで容易に交換可能なメ
モリ及びそのハンドラよりなり、真の背景の代りとなる
別の背景が蓄えられている。

フロッピーディスクのような書換え可能なメモリの場合
、パソコンやビデオ機器を使ってユーザーが容易に内容
を構成することもできる。これを利用すればかわりの背
景として送信側の人物が最もよく写っている画像や背景
が最も整っている時の画像を利用するなどの使用法も可
能となる０選択回路１１７は送信側の設定によって上記
背景メモリ１１４及び外部記憶装置１１６のいずれの内
容を背景として送信するかを決定する１選択された背景
情報は背景符号化回路１１８で符号化される。この場合
、予め背景情報を符号化しておけばこの背景符号化回路
１１８は不要である。

そして多重化回路１１９からの動領域情報及び背景符号
化回路１’１８からの背景情報は出力切替回路１２０に
送られる。出力切替回路１２０は通信開始時及び送信側
の背景送出要求時には背景出力に切郊わり、それ以外の
時には動領域出力が接続状態となっている。背景送出要
求の使い方の例としては。

着信側が着信時には外部記憶装［１１６よりの背景出力
を選択し、相手を確認した後に背景メモリ１１４よりの
背景出力に選択を切替えて背景送出要求を出して正常な
通話に入るというような一種のセキュリティ機能が考え
ら九る。この場合、着信時より２回目の背景出力要求時
までは動領域送出も行わないよう制−御することも容易
に行うことができる。また以上の操作を自動的に行うこ
とができるような制御回路を設けることもできる。

このような操作は、電話がかかってきた相手によっては
、自分の背景を見せたくない、あるいはさらに画面全体
を見せたくない場合に有効である。

このような場合画像の送信をやめればよいのであるがそ
れでは画面全体が黒くなってＴＶ電話の意味がなくなっ
てしまう、また人物は是非送出したいのだが背景だけ隠
したいという要求にも応じられない。また、それとは別
に呼出し等のために会話を保留してその場を離れるよう
な時に、相手を待たせる時間に別の画像を表示したいと
いう要求もおこってくるであろう、このような場合、こ
の実施のものだと容易にこれらの要求に応え得るのであ
る。

信号が動領域信号であるか背景信号であるかの判断は、
送信側がフレームごとにつけるフレームヘッダにその情
報を書き込むなどの方法によって行うことができる。　
この場合出力切替回路１２０は第６図を参照して背景出
力要求が出力された際に動領域信号の読みとりを開始し
、次のフレームヘッダが来た時点で動領域送出選択ビッ
トを背景送出選択ビットに書替え、その後に背景情報を
付加して送出すると共にフレームメモリ■１１２に書き
込み禁止情報を送る。背景送出終了後再び動領域信号の
次のフレームヘッダが来た段階で動領域送出を再開する
。この例で今動領域情報２及び動領域情報３は送出され
ないこととなる。

次に第７図に第１図の背景メモリの構成を示すブロック
図を示す。７０１はフレーム間差分をとるための近接し
た２フレームを順にフレームメモリ■７０２及びフレー
ムメモリ■７０３に導く制御及び２フレームの組の間隔
を適当にとるために更新制御回路７０９からの演算終了
信号によって駒おとし制御を行う駒おとし制御回路、７
０２及び７０３はそれぞれ上記２フレームのうちあとか
ら入力されたフレーム及び先に入力されたフレーム画像
を蓄えるためのフレームメモリ、７０４は上記２フレー
ムのフレーム間差分をとる差分回路、７０５は上記差分
の絶対値をとる絶対値回路、７０６はフレーム間差分の
絶対値を蓄えるためのフレームメモリ■、７０７は上記
フレーム間差分画像より人物等のおおまかな輪郭を検出
する輪郭検出回路、７０ｇは上記輪郭検出回路７０７の
出力より第８図に示されるような更新位置を示すマツプ
を作成するマツプ作成回路、７０９は上記作成されたマ
ツプを参照して背景用フレームメモリの内容をフレーム
メモリ■７０３の内容によって更新するか、背景用フレ
ームメモリ７０１の内容を保存するかの制御を行う更新
制御回路、７１０は背景を蓄えるためのフレームメモリ
、７１１は演算時間分に応じた遅延を行い、更新制御回
路の信号によって更新が許可された時のみ画素単位で背
景用フレームメモリ７１０に書込みを行う遅延回路であ
る。この背景メモリの動作原理を第９図〜第１１図面の
簡単な説明する。

第９図にフレーム間差分から求まる人物の輪郭の一例を
示す０図に示すようにこの輪郭の内部には現入力フレー
ムの動領域（斜線で示す）と、前入力フレームと比較し
て新たに見えてきた背景部分とが含まれるため、１回の
更新では隠れていた背景を更新することはできないが、
人物等が動くことにより、１回目に更新されなかった部
分も２回目以降に更新される可能性があり、第１０図に
示すように新たにフレーム間差分の輪郭の外側に含まれ
るようになった部分が更新されることによって背景だけ
を上記背景メモリに蓄積していくことが可能となる。こ
のため第１１図に示すように、フレーム間差分をとるた
めの２フレームは輪郭の内側の背景領域の面積が小さく
なるように時間的に接近した２フレームをとることが望
ましいが、これら２フレームの組の間隔は希望する更新
間隔と演算時間に応じて任意にとることができる。第１
１図でｔ工＋Δ、からｔ２までの間のフレームとｔｌか
らｔ工＋Δ２．ｔ２からｔ２＋Δ２までのフレームは一
般に駒落しされる。但しΔ８．Δ２はフレーム間隔でも
よい。フレーム（ｔｌ）とフレーム（１１＋Δ１）との
差分よりフレーム間差分画像１が、フレーム（ｔ２）と
フレーム（ｔｚ＋Δ２）との差分よリフレーム間差分画
像２が得られ、その輪郭の外側が各々の回に更１新され
る。第１０図では右上がりの斜線部は（ｔ１ｐｔｘ＋Δ
１）間で、右下がりの斜線部は（ｔ２゜ｔ２＋Δ２）間
で更新された部分をそれぞれ示している。尚、上述の説
明では全てフレームあるいはフレームメモリとして説明
したが、フィールドあるいはフィールドメモリとしても
よい。

次に第１．２図に第７図の背景メモリの輪郭検出回路の
一構成例を示すブロック図を示す、８０１はフレーム間
差分の蓄積されているフレームメモリより第１３図に示
すようなＬＸＨ（Ｈはフレームの１辺の長さ）の短冊状
のブロックを縦方向及び横方向にとり出してくるブロッ
ク化回路である。８０２は短冊の短辺方向にヒストグラ
ムをとるヒストグラム作成回路である。８０３は上記ヒ
ストグラムを短冊の両端よりある閾値と比較しながら検
索し各々初めて閾値を超えた点を輪郭の端点としてその
座標を出力する端点検出回路である。

次に第２図に第１図で示した送信側に対応する受信側の
基本ブロック図を示す。上記送信側からの信号は一旦バ
ツファメモリ２０１で蓄えられ１選択回路２０２におい
て致着した信号が動領域信号であるか背景信号であるか
に応じてその出力先が選択される。

背景側が選択された場合、その信号は背景復号化回路２
１２により復号され、メモリ２１３に蓄えられて、以後
常に背景メモリ２１３の内容が合成回路２１４に出力さ
れることになる。一方動領域側が選択された場合、　そ
の信号は分離回路２０３により輪郭情報、ブロック単位
の符号化情報、動きベクトル情報９条件付画素補充判定
情報に分離され、各々輪郭復号化回路２０６．復号化回
路２０４．可変遅延回路２１０、書込み制御回路２１１
に送出される。符号化情報はブロックごとに復号化回路
２０４で復号化されて加算回路２０５に出力される。一
方動きベクトル情報は可変遅延回路２１０に送出され、
　フレームメモリ■２０９より動きベクトルに相当する
ブロックが選択されて加算回路２０５に出力される。加
算回路２０５はこの両者を加えて書込み制御回路２１１
に出力する。

輪郭情報は輪郭復号化回路２０６で復号化された後マツ
プ作成回路２０７に送られ、　ここで送信側と同じマツ
プが作成される。このマツプは書込み制御回路２１１に
送られて有意ブロックのアドレス計算に利用されると共
に合成回路２１４に送られて、ここで動領域部分には加
算回路２０５からの動領域情報が、背景部分には背景メ
モリ２１３からの背景情報が選択されフレームが合成さ
れる。この合成画像が出力となる。

書込み制御回路２１１はマツプ作成回路２０７より入力
されたマツプより有意ブロックのアドレスを求め１条件
付画素補充判定情報を参照して、そのブロックが条件付
画素補充される場合には可変遅延回路２１０よりの入力
を、条件付画素補充されない場合には加算回路２０５よ
りの入力をフレームメモリＱ）２０８の内容はフレーム
に同期してフレームメモリ■２０９に移行されるという
ものである。

上述した実施例は、対になる送信側及び受信側のブロッ
ク構成を示したが、次に第３図を用いて本発明に係る送
信側の他の実施例を示す。符号化部分に関しては基本的
には第１図の実施例と同じなので説明は省略する。本実
施例ではＴＶ左カメラ３０１．　ＴＶ左カメラ２１３０
２（７）２台のＴＶ左カメラ有し、これらは同一の水平
座標をもち光軸が平行となるように設置されている。こ
の２つのＴＶ左カメラらの入力は測距回路３０５におい
て対応点のマツチングがとられ、例えば［画像処理ハン
ドブック（尾上守夫）」の第１７章に示されるような立
体計測手法によって各点の測距がなされる。この距離情
報を用いてマツプ作成回路３０６が動領域と背景領域の
情報を示すマツプを作成する。また本実施例では背、量
情報は１回も送られることがなく、受信側背景は背景コ
ード発生回路３２２によって指定された固定のパターン
が表示されることになる。

第４図は第３図の送信側に対応する受信側の一実施例を
示す図である。送信側より送られた背景コードは背景パ
ターン発生回路３１２に送られ、　この背景パターン発
生回路３１２は背景コードに相当する背景をＲＯＭ３１
３より選択し背景パターンを発生して合成回路３１４に
出力する。例えば、第１４図に背景コードと背景の対応
例を示すように背景コード○Ｏに対しグレイ無地の背景
、コード０１に対し青無地の背景、コード１０に対し白
黒ストライプの背景、コード１１に対し予め設定してお
いた所定の風景の背景が各々選択されるというものであ
る。

以上２つの実施例（第１図、第２図及び第３図。

第４図）はマツプ作成の方法と背景表示及びその指定方
法が異っているが、この組合せについては自由に変更し
て実施できる。

又、符号化部分については、他の符号化方式を用いるこ
とができる。例えば、第１図の構成より動き補償を取り
除いても本発明の特徴部分は全く損われるものではない
。

また第１図の外部記憶装Ｗ１６がない実施例及びこの外
部記憶装置に動画が記憶されている実施例も可能である
。さらに第３の実施例においてマツプ作成に使う方式は
ステレオ画像使用のかわりに超音波、赤外線等のセンサ
を使う実施例も可能である。

まとめると背景と動領域を分離する手段としては ■　動領域の輪郭情報を利用して真の背景のみを蓄える
背景メモリを構成し、入力フレームとこの背景メモリの
内容を比較する方法 ■　超音波、赤外線等のセンサを用いる方法■　ステレ
オ画像を利用した測距を行う方法などが考えられる。

次に第１５図に送信側のその他の実施例を示す。

この実施例は、第１図の実施例と同様にフレームメモリ
９０１にとりこまれた入力フレームはブロック化回路９
０２でブロック化されると共に背景メモリ９０４で背景
の更新がなされ、　この背景と入力フレームの比較によ
りマツプ作成回路９０３で動領域と背景領域の分離情報
を示すマツプが作成される。

これとは別にフレームメモリ９０６には背景情報を蓄え
た外部記憶装置１９０５より動画がフレームごとに入力
される。　この外部記憶装置９０５はフレームメモリ９
０１の入力と同一形式の入力を提供する外部記憶装置で
あって１例えばＶＴＲのような記憶装置でよい。　この
入力もブロック化回路９０７でブロック化される。ブロ
ック化された２つの入力とマツプ作成回路９０３で作成
されたマツプは背景置換回路９０８に送られる。背景置
換制御回路９１４は送信側が背景をカメラから入力する
か外部記憶装置９０５から入力するかまたは画面全体を
外部記憶装置９０５から入力するかを選択しその制御情
報を背景置換回路９０８に送出するもので、　この情報
により背景が外部記憶から出力されることが指定された
場合には、背景置換回路９０８に入力されたブロック化
回路９０２からの入力ブロックのうちマツプによって背
景であると指示された画素についてブロック化回路９０
７からの入力ブロックの同一位置の画素と置換されて符
号化回路９０９に出力される。

以後の符号化操作については、第１図実施例の有意ブロ
ック判定回路１０３からの操作と同じであるので省略す
る６本実施例については受信側は従来より実施されてい
る方式に変更を加える必要はない。

以上説明したように、上記実施例では ■　真の背景を送らないので、背景の輝度変化などによ
る余分な情報の発生がなく ■　真の背景を相手に見せたくない場合、この背景にか
わる別の背景を表示することによって画像を自然なもの
に保ったまま真の背景を隠すことができる ■　会話を保留している時点や相手を確認している時点
での別な画像表示を行うことができるといった性能向上
が図られる。

〔発明の効果〕

すなわち本発明によれば、伝送すべき情報量が低減でき
、しかも、伝送したくない背景部分をオペレータ自身が
自由に隠したりあるいは変更することができるのである
。

【図面の簡単な説明】

第１図は本発明に係る送信側の基本ブロック図、第２図
は本発明に係る受信側の基本ブロック図、第３図は本発
明に係る他の送信側の基本ブロック図、第４図は本発明
に係る他の受信側の基本ブロック図、第５図は動きベク
トル検出において背景部分をＯにクリアしてからマツチ
ングを行うことを示す図、第６図は背景送出要求後のタ
イミングを示す図、第７図は第１図における背景メモリ
の一実施例を示す図、第８図は第７図におけるマツプ作
成回路において作成されるマツプの一例を示す図、第９
図はフレーム間差分の輪郭を示す図、第１Ｏ図は第７図
で示した背景メモリにおいて背景の更新される様子を示
した図、第１１図は第７図で示した背景メモリにおける
フレームの時間的位置関係を示す図、第１２図は第７図
における輪郭検出回路の一構成例を示す図、第１３図は
輪郭検出回路の作用を示す図、第１４図は背景コードと
背景の対応例を示す図、第１５図は本発明に係るまた別
の送信側の基本ブロック図である。代理人　弁理士　則　近　憲　佑同　　松山光之第５図第７図第１１図第１θ図　　　　　第８図第９図第１２図虐」京出力第１３図＠１４図

Claims

【特許請求の範囲】

（１）送信側より送信されてくる画像情報を、受信側で
受信し表示する画像伝送装置において、入力される画像
情報の動き部分を検出する手段と、この手段により検出
された動き部分と、この部分以外とを分離する手段と、
この手段により分離された前記動き部分の画像情報と、
予め記憶された別の画像情報とを合成する手段とを具備
することを特徴とする画像伝送装置。
（２）入力される画像情報の動き部分を検出する手段と
、検出された動き部分と、この部分以外とを分離する手
段と及び動き部分の画像情報と予め記憶された別の画像
情報とを合成する手段全てを送信側に備え、合成された
新たな画像情報を受信側に送信することを特徴とする特
許請求の範囲第１項記載の画像伝送装置。