JPH11261983A - 動画像復号化装置及び動画像符号化／復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】背景輝度がゆらいだ時であっても伝送すべき情
報量を低減できしかも背景を相手に見せたくない時には
自動的に別の背景を表示できるようにすることができる
動画像復号化装置及び動画像符号化／復号化装置を提供
する。 【解決手段】原動画像信号の単位時間に表示されるべき
画面について、動領域、背景領域を分離する情報を作成
する手段２１４と、前記画面の動領域の画像情報を復号
化する手段２０４と、前記画面の背景領域の画像情報を
復号化する手段２１２と、前記復号化された分離情報に
基づいて動領域の画像情報と背景領域の画像情報を合成
して再生動画像情報を生成する手段２１４とを具備した
ことを特徴とする動画像復号化装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はテレビ電話等の動画
像伝送に用いられる動画像復号化装置及び動画像符号化
／復号化装置に関する。

【０００２】

【従来の技術】テレビ会議システム等における動画像信
号の符号化において、近年動領域に対して動き補償フレ
ーム間予測、背景に対して背景予測を使うといった、領
域の性質に対して適応的な予測方式を採用する符号化が
行われるようになってきている。

【０００３】しかしこれらを行うための領域の判定は、
従来入力フレームを局所的に調べ、その輝度変化が大き
い場合と小さい場合とに分け、大きい場合には動領域、
小さい場合には背景というような単純な判定を行ってい
た、すなわち動領域と背景で適応的に予測方式を変える
というよりは輝度変化の大きい領域と小さい領域で予測
方式を変えているといった方が正しい。このことは例え
ば背景の様子が変化しなくても照明のゆらぎなどで背景
の輝度値が変化するような場合に、その領域を背景とし
て扱ってしまう。このため従来の方式では真の背景と動
領域の差別化は行われず、この点を解決せずには符号化
効率の向上は望めなかった。

【０００４】一方、装置を使用する立場から見ると、輝
度変化の代償による差別化よりも、やはり背景と動領域
という概念に基づいた差別化の方が意味があると思われ
ることが多い。例えば、 （１）背景には受信側に必要な情報 が含まれていない
ことがある （２）送信側として自分の背景を相手に見せたくないこ
とがある という２点を考えれば明らかであろう。しかしこれらの
要求を満たそうとしたとき、従来の輝度変化に基づく背
景の判定規範を用いると、動領域においても誤って背景
と判定される領域が出てしまい、上述したような問題が
生ずることになる。

【０００５】

【発明が解決しようとする課題】以上のように従来の方
式では背景輝度がゆらいだ時に情報量が増えてしまい、
又、背景をオペレータ自身が隠すという操作ができない
ため見せたくない背景も見られてしまうというテレビ電
話等の画像伝送装置において極めて不都合な問題を有し
ていた。

【０００６】そこで本発明は伝送すべき情報量を低減で
きしかも背景を相手に見せたくない時には自動的に別の
背景を表示できるようにすることができる動画像復号化
装置及び動画像符号化／復号化装置を提供することを目
的とする。

【０００７】

【課題を解決するための手段】本発明は動領域とそれ以
外の領域とを分離、分離された内の動領域と、予め記憶
された別の背景としての画像とを合成し表示する動画像
復号化装置及び動画像符号化／復号化装置である。

【０００８】

【発明の実施の形態】この発明では動領域とその他の領
域（背景）とを分離し、背景に関する情報は捨ててしま
い、任意に設定された別の背景と、動領域とを合成する
ため、このような構成が送信側にあっては照明状態に変
化がおこってそのことによる伝送のための情報量の増加
を招くことがない。さらに、伝送したくない真の背景を
伝送しなくてすみ、その代わり送信側において任意に設
定された別の背景を合成して受信側に表示することがで
きる。

【０００９】

【実施例】以下本発明の一実施例を図面を参照して詳述
する。図１ は本発明に係る送信側の画像伝送装置の基
本ブロック図である。入力される画像信号はフレームご
とにフレームメモリ１０１に順次蓄えられた後、ブロッ
ク化回路１０２において符号化を行うための単位ブロッ
クに切り出され、有意ブロック判定回路１０３に送られ
る。フレームメモリ１の信号はまた後段で詳述するマッ
プ作成回路１１３及び背景メモリ１１４にも送出され
る。この背景メモリ１１４は動領域の輪郭を検出しその
外側を背景とみなすことにより入力フレームによって内
容が更新される背景メモリである。

【００１０】マップ作製回路１３では、今までに背景メ
モリ１１４に蓄積されていた背景と新しく入力されたフ
レームとを比較することによって入力フレームを背景と
動領域に分離し分離情報を示すマップを作成する。ここ
で作成されたマップは以後動き検出、有意ブロック判
定、条件付画素補充において利用されると共にこの情報
は輪郭符号化回路１１５において符号化され、図示しな
い受信側で復号の際に受信データを出力するか背景メモ
リの内容を出力するかを決定するために使われる。また
このマップを利用した符号化方式を符号化回路１０６で
用いることもできる。

【００１１】さて、マップ情報を受けた有意ブロック判
定回路１０３は入力されたブロックが輪郭の外にあるか
内にあるかブロックに輪郭がまたがっているかを判定
し、輪郭の外にある場合、そのブロックは無効ブロック
であるとみなし、次段への送出を中止する。上記以外の
場合、このブロックは有意ブロックとみなされ、次の差
分回路１０４及び動き検出回路１０７に送出される。有
意ブロックとマップを入力された動き検出回路１０７は
前フレームの内容を蓄えるフレームメモリ（１）１１１
を探索して最適動きベクトルを検出するが、この際に第
５図に示すように入力ブロックと探索先のブロックにお
いて入力ブロックの背景部分に相当する画素の画素値を
共に０にクリアした後に誤差を評価してマッチングを行
う。このことにより検出される動きベクトルが背景に影
響されることを防ぐことができる。

【００１２】検出された動きベクトルは多重化回路１１
９に送出されると共に可変遅延回路１０８に送出され
る。可変遅延回路１０８はフレームメモリ（１）１１１
より動きベクトルに相当するずれをもつブロックを差分
回路１０４及びブロックメモリ１２２に送出し、差分回
路１０４で入力ブロックと動き補償予測ブロックとの予
測誤差がとられる。この予測誤差のうち入力ブロックの
動領域に相当する位置の誤差が条件付画素補充判定回路
１０５で評価される。

【００１３】この誤差が小さい場合このブロックは条件
付画素補充がなされるとみなされ、このことを示す信号
が多重化回路１１９及びブロックメモリ１２２に送出さ
れ、この信号によりブロックメモリの内容がフレームメ
モリ（２）１１２に移行されると共に予測誤差の次段へ
の送出は中止される。

【００１４】誤差が大きい場合この予測誤差は符号化回
路１０６へ送られ符号化される。符号化されたデータは
多重化回路１１９に送出されると共に複合化回路１０９
で局部複合されてフレームメモリ（２）１１２に蓄えら
れる。フレームメモリ（２）１１２に蓄えられたフレー
ム画像はフレームタイミングでフレームメモリ（１）１
１１に移行され、動き補償時に参照される。一方背景
は、通信開始又は送信側より背景送出要求があった場合
のみ送出される。背景メモリ１１４は先に述べたように
入力フレームの中から背景部分のみを選び出して常に更
新を続ける。外部記憶装置１１６はフロッピーディス
ク、カセットテープ、ＩＣカード、ＶＴＲ、ＤＡＴなど
の書換え可能な記憶装置あるいは光カード、ＣＤ−ＲＯ
Ｍなどの書換え不可能な記憶装置等コンパクトで容易に
交換可能なメモリ及びそのハンドラよりなり、真の背景
の代わりとなる別の背景が蓄えられている。フロッピー
ディスクのような書換え可能なメモリの場合、パソコン
やビデオ機器を使ってユーザーが容易に内容を構成する
こともできる。これを利用すればかわりの背景として送
信側の人物が最もよく写っている画像や背景が最も整っ
ている時の画像を利用するなどの使用法も可能となる。
選択回路１１７は送信側の設定によって上記背景メモリ
１１４及び外部記憶装置１１６のいずれの内容を背景と
して送信するかを決定する。選択された背景情報は背景
符号化回路１１８で符号化される。この場合、予め背景
情報を符号化しておけばこの背景符号化回路１１８は不
要である。

【００１５】そして多重化回路１１９からの動領域情報
及び背景符号化回路１１８からの背景情報は出力切替回
路１２０に送られる。出力切替回路１２０は通信開始時
及び送信側の背景送出要求時には背景出力に切替わり、
それ以外の時には動領域出力が接続状態となっている。
背景送出要求の使い方の例としては、着信側が着信時に
は外部記憶装置１１６よりの背景出力を選択し、相手を
確認した後に背景メモリ１１４よりの背景出力に選択を
切替えて背景送出要求を出して正常な通話に入るという
ような一種のセキュリティ機能が考えられる。この場
合、着信時より２回目の背景出力要求時までは動領域送
出も行わないよう制御することも容易に行うことができ
る。また以上の操作を自動的に行うことができるような
制御回路を設けることもできる。

【００１６】このような操作は、電話がかかってきた相
手によっては、自分の背景を見せたくない、あるいはさ
らに画面全体を見せたくない場合に有効である。このよ
うな場合画像の送信をやめればよいのであるがそれでは
画面全体が黒くなってＴＶ電話の意味がなくなってしま
う。また人物は是非送出したいのだが背景だけ隠したい
という要求にも応じられない。また、それとは別に呼出
し等のために会話を保留してその場を離れるような時
に、相手を待たせる時間に別の画像を表示したいという
要求もおこってくるであろう。このような場合、この実
施のものだと容易にこれらの要求に応え得るのである。

【００１７】信号が動領域信号であるか背景信号である
かの判断は、送信側がフレームごとにつけるフレームヘ
ッダにその情報を書き込むなどの方法によって行うこと
ができる。この場合出力切替１２０は第６図を参照して
背景出力要求が出力された際に動領域信号の読みとりを
開始し、次のフレームヘッダが来た時点で動領域送出選
択ビットを背景送出選択ビットに書替え、その後に背景
情報を付加して送出すると共にフレームメモリ（２）１
１２書き込み禁止情報を送る。背景送出終了後再び動領
域信号の次のフレームヘッダが来た段階で動領域送出を
再開する。この例では動領域情報２及び動領域情報３は
送出されないこととなる。

【００１８】次に図７に図１の背景メモリの構成を示す
ブロック図を示す。７０１はフレーム間差分をとるため
の近接した２フレームを順にフレームメモリ（１）７０
２及びフレームメモリ（２）７０３に導く制御及び２フ
レームの組の間隔を適当にとるために更新制御回路７０
９からの演算終了信号によって駒おとし制御を行う駒お
とし制御回路、７０２及び７０３はそれぞれ上記２フレ
ームのうちあとから入力されたフレーム及び先に入力さ
れたフレーム画像を蓄えるためのフレームメモリ、７０
４は上記２フレームのフレーム間差分をとる差分回路、
７０５は上記差分の絶対値をとる絶対値回路、７０６は
フレーム間差分の絶対値を蓄えるためのフレームメモリ
（３）、７０７は上記フレーム間差分画像より人物等の
おおまかな輪郭を検出する輪郭検出回路、７０８は上記
輪郭検出回路７０７の出力より第８図に示されるような
更新位置を示すマップを作成するマップ作成回路、７０
９は上記作成されたマップを参照して背景用フレームメ
モリの内容をフレームメモリ（２）７０３の内容によっ
て更新するか、背景用フレームメモリ７０１の内容を保
存するかの制御を行う更新制御回路、７１０は背景を蓄
えるためのフレームメモリ、７１１は演算時間分に応じ
た遅延を行い、更新制御回路の信号によって更新が許可
された時のみ画素単位で背景用フレームメモリ７１０に
書込みを行う遅延回路である。この背景メモリの動作原
理を図９〜図１１を用い簡単に説明する。

【００１９】図９にフレーム間差分から求まる人物の輪
郭の一例を示す。図に示すようにこの輪郭の内部には現
入力フレームの動領域（斜線で示す）と、前入力フレー
ムと比較して新たに見えてきた背景部分とが含まれるた
め、１回の更新では隠れていた背景を更新することはで
きないが、人物等が動くことにより、１回目に更新され
なかった部分も２回目以降に更新される可能性があり、
図１０に示すように新たにフレーム間差分の輪郭の外側
に含まれるようになった部分が更新されることによって
背景だけを上記背景メモリに蓄積していくことが可能と
なる。このため図１１に示すように、フレーム間差分を
とるための２フレームは輪郭の内側の背景領域の面積が
小さくなるように時間的に接近した２フレームをとるこ
とが望ましいが、これら２フレームの組の間隔は希望す
る更新間隔と演算時間に応じて任意にとることができ
る。図１１でｔ２＋△１からｔ２までの間のフレームと
ｔ１からｔ２＋△２、ｔ２からｔ２からｔ２＋△２まで
のフレームは一般に駒落としされる。但し△１、△２は
フレーム間隔でもよい。フレーム（ｔ１）とフレーム
（ｔ２＋△２）との差分よりフレーム間差分画像１が、
フレーム（ｔ２）とフレーム（ｔ２＋△２）との差分よ
りフレーム間差分画像２が得られ、その輪郭の外側が各
々の回に更新される。図１０では右上がりの斜線部は
（ｔ２，ｔ１＋△２）間で右下がりの斜線部は（ｔ２，
ｔ１＋△２）間で、右下がりの斜線部は（ｔ２，ｔ２＋
△２）間で更新された部分をそれぞれ示している。尚、
上述の説明では全てフレームあるいはフレームメモリと
して説明したが、フィールドあるいはフィールドメモリ
としてもよい。次に図１２に図７の背景メモリの輪郭検
出回路の一構成例を示すブロック図を示す。８０１はフ
レーム間差分の蓄積されているフレームメモリより図１
３に示すようなＬ×Ｈ（Ｈはフレームの１辺の長さ）の
短冊状のブロックを縦方向及び横方向にとり出してくる
ブロック化回路である。８０２は短冊の短辺方向にヒス
トグラムをとるヒストグラム作成回路である。８０３は
上記ヒストグラムを短冊の両端よりある閾値と比較しな
がら検索し各々初めて閾値を超えた点を輪郭の端点とし
てその座標を出力する端点検出回路である。

【００２０】次に図２に図１で示した送信側に対応する
受信側の基本ブロック図を示す。上記送信側からの信号
は一旦バッファメモリ２０１で蓄えられ、選択回路２０
２において致着した信号が動領域信号であるか背景信号
であるかに応じてその出力先が選択される。

【００２１】背景側が選択された場合、その信号は背景
複合化回路２１２により復号され、メモリ２１３に蓄え
られて、以後常に背景メモリ２１３の内容が合成回路２
１４に出力されることになる。一方動領域側が選択され
た場合、その信号は分離回路２０３により輪郭情報，ブ
ロック単位の符号化情報，動きベクトル情報，条件付画
素補充判定情報に分離され、各々輪郭復号化回路２０
６，復号化回路２０４，可変遅延回路２１０，書込み制
御回路２１１に送出される。符号化情報はブロックごと
に復号化回路２０４で復号化されて加算回路２０５に出
力される。一方動きベクトル情報は可変遅延回路２１０
に送出され、フレームメモリ（２）２０９より動きベク
トルに相当するブロックが選択されて加算回路２０５に
出力される。加算回路２０５はこの両者を加えて書込み
制御回路２１１に出力する。

【００２２】輪郭情報は輪郭復号化回路２０６で復号化
された後マップ作成回路２０７に送られ、ここで送信側
と同じマップが作成される。このマップは書込み制御回
路２１１に送られ有意ブロックのアドレス計算に利用さ
れると共に合成回路２１４に送られて、ここで動領域部
分には加算回路２０５からの動領域情報が、背景部分に
は背景メモリ２１３からの背景情報が選択されフレーム
が合成される。この合成画像が出力となる。

【００２３】書込み制御回路２１１マップ作成回路２０
７より入力されたマップより有意ブロックのアドレスを
求め、条件付画素補充判定情報を参照して、そのブロッ
クが条件付画素補充される場合には可変遅延回路２１０
よりの入力を、条件付画素補充されない場合には加算回
路２０５よりの入力をフレームメモリ（１）２０８の内
容はフレームに同期してフレームメモリ（２）２０９に
移行されるというものである。

【００２４】上述した実施例は、対になる送信側及び受
信側のブロック構成を示したが、次に第３図を用いて本
発明に係る送信側の他の実施例を示す。符号化部分に関
しては基本的には第１図の実施例と同じなので説明は省
略する。本実施例ではＴＶカメラ（１）３０１，ＴＶカ
メラ（２）３０２の２台のＴＶカメラを有し、これらは
同一の水平座標をもち光軸が平行となるように設置され
ている。この２つのＴＶカメラからの入力は測距回路３
０５において対応点のマッチングがとられ、例えば「画
像処理ハンドブック（尾上守夫）」の第１７章に示され
るような立体計測手法によって各点の測距がなされる。
この距離情報を用いてマップ作成回路３０６が動領域と
背景領域の情報を示すマップを作成する。また本実施例
では背景情報は１回も送られることがなく、受信側背景
は背景コード発生回路３２２によって指定された固定の
パターンが表示されることになる。

【００２５】図４は図３の受信側に対応する受信側の一
実施例を示す図である。送信側より送られた背景コード
は背景パターン発生回路３１２に送られ、この背景パタ
ーン発生回路３１２は背景コードに相当する背景をＲＯ
Ｍ３１３より選択し背景パターンを発生して合成回路３
１４に出力する。例えば、第１４図に背景コードと背景
の対応例を示すように背景コード００に対しグレイ無地
の背景、コード０１に対し青無地の背景、コード１０に
対し白黒ストライプの背景、コード１１に対し予め設定
しておいた所定の風景の背景が各々選択されるというも
のである。

【００２６】以上２つの実施例（図１，図２及び図３，
図４）はマップ作成の方法と背景表示及びその指定方法
が異なっているが、この組合せについては自由に変更し
て実施できる。

【００２７】又、符号化部分については、他の符号化方
式を用いることができる。例えば、図１の構成より動き
補償を取り除いても本発明の特徴部分は全く損なわれる
ものではない。

【００２８】また図１の外部記憶装置１６がない実施例
及びこの外部記憶装置に動画が記憶されている実施例も
可能である。さらに第３の実施例においてマップ作成に
使う方式はステレオ画像使用のかわりに超音波、赤外線
等のセンサを使う実施例も可能である。まとめると背景
と同領域を分離する手段としては （１）動領域の輪郭情報を利用して真の背景のみを蓄え
る背景メモリを構成し、入力フレームとこの背景メモリ
の内容を比較する方法 （２）超音波、赤外線等のセンサを用いる方法 （３）ステレオ画像を利用した測距を行う方法などが考
えられる。 次に第１５図に送信側のその他の実施例を示す。

【００２９】この実施例は、図１の実施例と同様にフレ
ームメモリ９０１にとりこまれた入力フレームはブロッ
ク化回路９０２でブロック化されると共に背景メモリ９
０４で背景の更新がなされ、この背景と入力フレームの
比較によりマップ作成回路９０３で動領域と背景領域の
分離情報を示すマップが作成される。これとは別にフレ
ームメモリ９０６には背景情報を蓄えた外部記憶装置９
０５より動画がフレームごとに入力される。この外部記
憶装置９０５はフレームメモリ９０１の入力と同一形式
の入力を提供する外部記憶装置であって、例えばＶＴＲ
のような記憶装置でよい。この入力もブロック化回路９
０７でブロック化される。ブロック化された２つの入力
とマップ作成回路９０３で作成されたマップは背景置換
回路９０８に送られる。背景置換制御回路９１４は送信
側が背景をカメラから入力するか外部記憶装置９０５か
ら入力するかまたは画面全体を外部記憶装置９０５から
入力するかを選択しその制御情報を背景置換９０８に送
出するもので、この情報により背景が外部記憶から出力
されることが指定された場合には、背景置換回路９０８
に入力されたブロック化回路９０２からの入力ブロック
のうちマップによって背景であると指示された画素につ
いてブロック化回路９０７からの入力ブロックの同一位
置の画素と置換されて符号化回路９０９に出力される。
以後の符号化操作については、第１図実施例の有意ブロ
ック判定回路１０３からの操作と同じであるので省略す
る。本実施例については受信側は従来より実施されてい
る方式に変更を加える必要はない。

【００３０】以上説明したように、上記実施例では （１）真の背景を送らないので、背景の輝度変化などに
よる余分な情報の発生がなく （２）真の背景を相手に見せたくない場合、この背景に
かわる別の背景を表示することによって画像を自然なも
のに保ったまま真の背景を表示することによって画像を
自然なものに保ったまま真の背景を隠すことができる。 （３）会話を保留している時点や相手を確認している時
点での別な画像表示を行うことができるといった性能向
上が図られる。

【００３１】

【発明の効果】すなわち本発明によれば、伝送すべき情
報量が低減でき、しかも、伝送したくない背景部分をオ
ペレータ自身が自由に隠したりあるいは変更することが
できるのである。

【図面の簡単な説明】

【図１】 本発明に係る送信側の基本ブロック図

【図２】 本発明に係る受信側の基本ブロック図

【図３】 本発明に係る他の送信側の基本ブロック図

【図４】 本発明に係る他の受信側の基本ブロック図

【図５】 動きベクトル検出において背景部分を０にク
リアしてからマッチングを行うことを示す図

【図６】 背景送出要求後のタイミングを示す図

【図７】 第１図における背景メモリの一実施例を示す
図

【図８】 第７図におけるマップ作成回路において作成
されるマップの一例を示す図

【図９】 フレーム間差分の輪郭を示す図

【図１０】 第７図で示した背景メモリにおいて背景の
更新される様子を示した図

【図１１】 第７図で示した背景メモリにおけるフレー
ムの時間的位置関係を示す図

【図１２】 第７図における輪郭検出回路の一構成例を
示す図

【図１３】 輪郭検出回路の作用を示す図

【図１４】 背景コードと背景の対応例を示す図

【図１５】 本発明に係るまた別の送信側の基本ブロッ
ク図である。

【符号の説明】

１０１ フレームメモリ １０２ ブロック化回路 １０３ 有意ブロック判定回路 １０４ 減算器 １０５ 条件付画素補充判定回路 １０６ 符号化回路 １０７ 動き検出回路 １０８ 可変遅延回路 １０９ 復号化回路 １１０ 加算器 １１１ フレームメモリ（１） １１２ フレームメモリ（２） １１３ マップ作成回路 １１４ 背景メモリ １１５ 輪郭符号化回路 １１６ 外部記憶装置 １１７ 選択回路 １１８ 背景符号化回路 １１９ 多重化回路 １２０ 出力切替回路 １２１ バッファ １２２ ブロックメモリ

Claims (2)

【特許請求の範囲】
1. 【請求項１】原動画像信号の単位時間に表示されるべき
   画面について、動領域、背景領域を分離する情報を作成
   する手段と、前記画面の動領域の画像情報を復号化する
   手段と、前記画面の背景領域の画像情報を復号化する手
   段と、前記復号化された分離情報に基づいて動領域の画
   像情報と背景領域の画像情報を合成して再生動画像情報
   を生成する手段とを具備したことを特徴とする動画像復
   号化装置。
2. 【請求項２】入力される動画像信号の単位時間に表示さ
   れるべき画面について動領域と背景領域とを分離する手
   段と、その画面について動領域、背景領域の分離情報を
   生成する手段と、その画面の動領域、背景領域の画像情
   報及び前記分離情報を符号化する手段と、これらの符号
   化された情報を出力する手段からなる符号化装置と、 符号化装置より出力された動領域、背景領域の分離情報
   を復号化する手段と、前記画面の動領域、背景領域の画
   像情報を復号化する手段と、前記復号化された分離情報
   に基づいて動領域の画像情報と背景領域の画像情報を合
   成して再生動画像情報を生成する手段からなる復号化装
   置とを具備したことを特徴とする動画像符号化／復号化
   装置。