JP2701393B2

JP2701393B2 - 動画像符号化装置

Info

Publication number: JP2701393B2
Application number: JP31603488A
Authority: JP
Inventors: 秀信原崎
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1988-12-13
Filing date: 1988-12-13
Publication date: 1998-01-21
Anticipated expiration: 2013-01-21
Also published as: JPH02159893A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、低ビットレートの動画像符号化装置に関す
る。

（従来の技術）国際電信電話諮問委員会（CCITT）において、ｎ×384
kbpsの動画像符号化方式の標準案が検討されている。こ
の方式は、画像を８×８もしくは16×16程度のブロック
に分割し、それぞれのブロック毎に動き補償フレーム間
予測により時間変化に関わる冗長度を取り除き、その
後、直交変換符号化によりフレーム内の空間的変化に関
わる冗長度を取り除き、各ブロックの動き補償から得ら
れる動静判定、直交変換後の量子化から得られる有効無
効判定結果を基に、ブロック単位に付加情報を付けて符
号化するものである。また、より低いビットレートを対
象としてｍ×64kbpsの符号化方式も同様な方式で検討さ
れている。この様なフレーム間符号化方式では、背景は
静止したものであり、符号化対象である人物のみが動き
を伴うと仮定している。すなわち、対象物体と背景は動
き情報をキーとして判定している。

従来動画像に対して、対象物体と背景とを識別する手
法としては、クロマキーが広く知られている。クロマキ
ーとは、対象物体に無い色を背景全面に描くことによっ
て、入力された動画信号から背景の色度成分をキー情報
として識別するものである。例えば、鮮やかなブルーの
壁の前に立つ人物が、壁のブルーとは異なる色の服を着
ていれば、カメラから入力された信号の各画素毎にその
色度を測定し、背景の壁か、対象の人物かを識別でき
る。

またロボット視覚の分野では、複数のカメラから取り
込まれた画像情報から三角測量によって、実世界上での
カメラから対象物体までの距離情報を抽出する手法とし
て、ステレオスコープと呼ばれる技術がある。左右に配
置された２台のカメラから入力された左右画像から特徴
点どうしの対応づけや、画素毎の対応づけを行なうこと
によりカメラからの距離を得ることができる。カメラ位
置は既知であるため、画面上のずれを計算した後、三角
測量の容量でカメラから物体のエッジまでの距離を算出
することができる。

（発明が解決しようとする課題）従来の動画符号化装置は、テレビ会議室内で背景の管
理された環境下で使用されることを想定している。すな
わち、入力される画像内で動きのある部分は、人物等の
動きによって発生したものであり、符号化の対象である
と考えている。しかしながら、より低ビットレートの動
画像符号化装置はオフィスやホーム等で用いられること
になるため、背景の管理はできない。そのため、符号化
対象でない人物が通話者の後を通り過ぎたりすることが
起こり得る。従来の符号化装置では、この様な場合は想
定されていないため、符号化対象の人物と同様に背後を
通り過ぎるものも符号化してしまい、実際に送りたい人
物の信号対雑音比や符号化フレームレートが低下すると
いう問題がある。クロマキー技術は、背景を特殊な色に
することによってはじめて適用できることから、符号化
対象の人物と背景とを分離する手法として用いることが
できない。また、ステレオスコープでは、左右画像の特
徴点対応づけや画素毎の対応づけがむずかしく、実用化
されていない。

（課題を解決するための手段）第１の発明は、２つの視点から画像を入力する手段
と、前記入力手段から得られた２枚の画像に対して、一
方を主画像として小領域に分割し、他方の副画像に対し
て前記主画像の小領域毎に最大の相関がある小領域を副
画像内から探索することによって得られる画面上でのず
れから、前記主画像の小領域に映る物体と前記主画像を
入力する手段との距離を求める手段と、前記主画像内で
前記距離が予め定められた距離以上となる部分を背景部
分として背景マスク処理を施す手段とを有し、前記マス
ク処理出力をフレーム間符号化装置の入力信号とし、前
記背景部分を符号化しないことを特徴とする。

また第２の発明は、第１の発明における背景マスク処
理を施す手段を、背景フィルタリング処理に置き換え、
前記フィルタリング処理出力をフレーム間符号化装置の
入力信号とし、前記背景部分の空間解像度もしくは、時
間方向解像度を落として符号化することを特徴とする。

第３の発明は、第１の発明における背景マスク処理を
施す手段を、別途設けられた背景メモリの内容をスーパ
ーインポーズする手段に置き換え、前記スーパーインポ
ーズされた画像をフレーム間符号化装置の入力信号と
し、前記背景部分を前記背景メモリの内容と置き換えた
画像を符号化することを特徴とする。

（作用）２枚の入力画像をもとに、カメラから対象物体までの
距離を算出する手法を、まず説明する。第２図に示すよ
うに、２つの性能の等しいカメラをレンズ中心間隔を2
a、中心軸がP0で交わるように置く。その時P0での交角
は２αとする。

レンズ中心C_L，C_Rの中点を原点Ｏとして、P_O−C_L，P_O
−C_RがXY平面にのるようにXYZ軸をとる。両カメラの画
面とレンズの距離をＬとし、像面と中心軸との交点を
O_L，O_Rとする。O_L，O_Rを原点として像面にη_ｘ，η_ｙ，
ξ_ｘ，ξ_ｙ座標をとる。像面の座標とテレビ画面上の量
子化されたスクリーン座標とは、（１）式で関係付けら
れる。

η_ｘ＝M_x(h_L-h_o)…………… η_ｙ＝M_y(v_o-v_L)…………… ξ_ｘ＝M_x(h_R-h_o)…………… ξ_ｙ＝M_y（v_O−V_R）・・・・・・（１）ここで、（h_L、v_L）は任意の点Ｐの左画面でのスクリー
ン座標、（h_R、v_R）は点Ｐの右画面でのスクリーン座
標、（h₀、v₀）は、C_L、C_Rのスクリーン座標、M_x、M_yは
変換係数である。次に、点Ｐの（Ｘ、Ｙ、Ｚ）座標と像
座標（η_ｘ、η_ｙ）、（ξ_ｘ、ξ_ｙ）との関係を考える
と、カメラから物体までの距離は、左右それぞれの画像
上でその物体と対応する点の水平方向の位置としてあら
われるので、点Ｐの左画像上での対応点をP_Lとすると、
XY座標ではP_Lは（−ａ＋Lsinα＋η_ｘcosα、Lcosα−
η_ｘsinα）となる。同様に点Ｐの右画像上での対応点P
_Rは（−ａ−Lsinα＋ξ_ｘcosα、Lcosα−ξ_ｘsin（−
α））となる。

両交軸C_L−P_L、C_R−P_Rの交点としてのＰのＹ座標を求
めると、（２）式になる。

Ｙ＝2a・（Ｌ−η_ｘtanα）・（Ｌ＋ξ_ｘtanα）／（２・（L²＋η_ｘξ_ｘ）tanα＋Ｌ・（ξ_ｘ−η_ｘ）
・（tan²α−１））（２）これがスクリーン座標と物体の距離情報を結び付けてお
り、α＝０、すなわちａ＜＜Ｙとすればカメラ交軸が平
行なモデルとなり、（３）式になる。

Ｙ＝2aL/（η_ｘ−ξ_ｘ）＝2aL/M_x(h_L-h_R)………（３）すなわち、スクリーンの位置に関係なく、左画像と右画
像のずれ（h_L−h_R）のみに依存することになる。

次に、左画像と右画像のずれを求める手法について説
明する。従来のロボット視覚の研究では、各画素毎に距
離情報を抽出しようと試みられていた。このため、左右
画像の対応をとるのが非常に困難であった。ところで、
動画像符号化では画面を８画素×８ラインや16画素×16
ラインの小ブロックに分割しブロック単位で符号化を行
なっている。このことに注目すると、画素毎に距離情報
を求める必要はなく、小ブロックの平均距離が算出でき
れば、背景分離が可能となる。そこで、左画像を主画
像、右画像を副画像と考え、主画像を小領域のブロック
に分割する。主画像での物体の像と、副画像での物体の
像は一般的には異なり、主画像で正方形のブロックが副
画像で必ずしも同じ大きさの正方形ブロックとならない
が、カメラ中心の距離がかなり近くなれば、主画像上の
ブロックを物体の距離に応じて平行移動したものが副画
像の対応する小領域と仮定できる。そこで、主画像のブ
ロックに最も距離が小さい領域を副画像内から探索する
ことで、その副画像内での位置からずれを求めることが
できる。このずれは、主画像のブロック毎に求まるの
で、そのずれから（２）式あるいは（３）式を用いてカ
メラからの距離が算出される。そこで、符号化対象とな
る人物がカメラ前の1m以内に存在すると仮定すると、そ
のブロック毎の距離から1m以上の距離をもつブロックは
背景としてマスク処理を施した後、フレーム間符号化装
置の入力とする。

また第２の発明では、符号化対象となる人物がカメラ
前の1m以内に存在すると仮定すると、そのブロック毎の
距離から1m以上の距離をもつブロックは背景として空間
的な低域通過フィルタリングを行なったのち、フレーム
間符号化装置の入力とする。もしくは、背景となったブ
ロックについては、時間軸フィルタリングを行ない、時
間方向の低域通過特性を持たせた後、フレーム間符号化
装置の入力とする。

また第３の発明では、符号化対象となる人物がカメラ
前の1m以内に存在すると仮定すると、そのブロック毎の
距離から1m以上の距離をもつブロックは背景として、別
途設けられた背景記憶用メモリの内容に置き換える処理
を行なった後、フレーム間符号化装置の入力とする。

（実施例）本発明の特許請求の範囲１の対応する一実施例を図面
を参照しながら説明する。第１図において、100は主画
像入力部、101は副画像入力部、102は距離計測部、103
は背景マスク部、104はフレーム間符号化部である。カ
メラは10cm程離れて２つあり、4m程度前方の壁で光軸が
一致するように設定されているとする。カメラから壁に
向かって左にあるカメラ出力が主画像入力部100へ、右
にあるカメラ出力が副画像入力部101へ接続されてい
る。主画像入力部100では、左カメラ出力を入力しA/D変
換、色輝度分離を行なう。同様に、副画像入力部101で
は、右カメラ出力を入力しA/D変換、色輝度分離を行な
う。主画像入力部100および副画像入力部101の出力のう
ち輝度成分はそれぞれ距離計測部102へ送られる。ま
た、主画像入力部100の出力である色・輝度成分はそれ
ぞれ背景マスク部103へ送られる。距離計測部102では、
主画像入力部100から送られてきた輝度成分PL（x,y）
を、また、副画像入力部101から送られてきた輝度成分P
R（x,y）をそれぞれのメモリに格納する。その後、主画
像輝度成分PL（x,y）を16画素×16ライン毎のブロック
に分割し、水平方向ｉ番目、垂直方向ｊ番目のブロック
として以後参照する。いま、カメラの光軸が一致する壁
より手前にのみ対象物体が存在し、両カメラの視野内に
促えられていると仮定できるので、主画像が左に置かれ
たカメラ入力であることから、それに対応する副画像
（右カメラ）は同じ水平垂直位置のブロックよりも左側
にしか現れない。このことを利用し、ijブロックのずれ
ｕでの距離Dij（ｕ）を（４）式で計算する。

この時、−16i＜＝ｕ＜＝０が探索範囲である。この探
索範囲内で最も距離Dij（ｕ）が小さかったｕがずれと
して算出される。本実施例では、カメラ間距離に較べて
光軸が一致する点までのカメラ距離が十分大きいため、
複雑な（２）式を用いる必要なく、（３）式で計算がで
きる。算出されたずれｕから先に示した（３）式を用
い、カメラからの距離Ｙ＝2aL/uM_xとなる。ここで、ａ
はレンズ中心の距離の半分、Ｌはレンズ焦点距離、M_xは
スクリーン座標と像座標との変換係数である。この様に
各ブロック毎に求まった距離情報は背景マスク部103に
送られる。

背景マスク部103では、距離計測部102から送られたブ
ロック毎のカメラ距離を用いて、予め定められた一定値
を越える距離ブロックについては０、その他は１のマス
クを生成し、主画像入力部100から送られてくる輝度お
よび色信号の各対応するブロックが０の場合は通さず、
１の場合のみ通し、フレーム間符号化部104に送出す
る。

フレーム間符号化装置104では、背景マスク部103が送
出した、背景が消去された輝度、色信号を入力し、動き
補償フレーム間予測信号に対して、８×８の直交変換
（離散コサイン変換）を行ない、ブロック内の低シーケ
ンシーデータから順次量子化、可変長符号割当てを行な
い伝送路に送出する。

以上説明した様に、第１の本発明が実施される。

尚、距離計測部102は毎符号化フレーム毎に行なうの
が好ましいが、処理が間に合わない場合は、距離計算は
複数符号化フレームに１回とすることが、可能である。
但、この場合の背景との分離精度は、劣化を生じる。

同様に、第２の発明に対応する一実施例を図面を参照
して説明する。第３図において、100は主画像入力部、1
01は副画像入力部、102は距離計測部、203は背景フィル
タリング部、104はフレーム間符号化部である。まず、
主画像の各ブロックに対応したカメラ距離を算出する仮
定までは、第１図での説明は重複するため、省略する。
距離計測部120で求まったブロック毎の距離情報は、背
景フィルタリング部203へ送られ、背景フィルタリング
部203では、主画像入力部100より送られた入力画像に対
して距離計測部102から送られたブロック毎の距離情報
により、予め定められた距離以上をもったブロックに対
しては３×３画素の空間フィルタリングを行なう。この
時のフィルタリング係数は中央が0.25、上下左右４近傍
が0.125、残りの斜方向４近傍が0.0625である。このフ
ィルタリングにより、入力信号内の背景ブロックの空間
方向の高周波数成分を除去し、ぼかしを行ない、フレー
ム間符号化装置104に送出する。

また、背景フィルタリング部203では、フレームメモ
リを持つことにより、時間軸フィルタリングに変更して
も良い。この場合、低域通過特性を持つ時間軸フィルタ
リングを行なうことにより、空間方向の解像度は劣化さ
せずに、動きに対しては大きな帯域制限を行なうことが
できる。

フレーム間符号化装置104では、背景フィルタリング
部203が送出した、背景が空間的もしくは時間的に帯域
制限された輝度、色信号を入力し、動き補償フレーム間
予測信号に対して、８×８の直交変換（離散コサイン変
換）を行ない、ブロック内の低シーケンシーデータから
順次量子化、可変長符号割当てを行ない伝送路に送出す
る。以上説明したように、第２の本発明が実施される。

同様に第３の発明に対応する一実施例を図面を参照し
て説明する。第４図において、100は主画像入力部、201
は副画像入力部、102は距離計測部、303は背景メモリ、
304はスーパーインポーズ部、104はフレーム間符号化部
である。まず、主画像の各ブロックに対応したカメラ距
離を算出する仮定までは、第１図での説明と重複するた
め、省略する。距離計測部102で求まったブロック毎の
距離情報は、スーパーインポーズ部304へ送られ、スー
パーインポーズ処理部304では、主画像入力部100から入
力された信号に対し、距離計測部102から送られたブロ
ック毎の距離情報に従い、背景に相当する部分は背景メ
モリ303からの出力に置き換える。背景メモリ303からの
入力はディジタル表現された静止画であるため、後段の
フレーム間符号化装置104では、初期のシーンチェンジ
時のみ符号化することにより、通常動作時は差分が現れ
ずに符号化対象にならない。

フレーム間符号化装置104では、スーパーインポーズ
部304が送出した、背景部分を背景メモリ303の内容に置
き換えた輝度、色信号を入力し、動き補償フレーム間予
測信号に対して、８×８の直交変換（離散コサイン変
換）を行ない、ブロック内の低シーケンシーデータから
順次量子化、可変長符号割当てを行ない伝送路に送出す
る。以上説明したように、本発明の特許請求の範囲３が
実施できる。

（発明の効果）本発明を用いることによって、テレビ電話や、テレビ
会議の対象人物と背景を分離することができ、第１の発
明を用いれば、たとえ背景に動く物体が存在した場合で
も、符号化効率の劣化を生じない。また、第２の発明を
用いれば、背景部分の空間的あるいは時間的な帯域制限
が行なわれることから、背景よりも符号化対象部により
符号が割当てられた符号化装置を提供できる。また、第
３の発明を用いれば、第１の発明の効果の上に、ユーザ
の好みに合わせた背景を復号側に提示することが可能と
なる。

【図面の簡単な説明】

第１図、第３図、第４図は本発明の実施例を示す図。第
２図は本発明の原理を説明する図である。第１図におい
て、100は主画像入力部、101は副画像入力部、102は距
離計測部、103は背景マスク部、104はフレーム間符号化
部である。第３図において、100は主画像入力部、101は
副画像入力部、102は距離計測部、203は背景フィルタリ
ング部、104はフレーム間符号化部である。第４図にお
いて、100は主画像入力部、101は副画像入力部、102は
距離計測部、303は背景メモリ部、304はスーパーインポ
ーズ部、104はフレーム間符号化部である。

Claims

(57)【特許請求の範囲】

【請求項１】２つの視点から画像を入力する手段と、前
記入力手段から得られた２枚の画像に対して、一方を主
画像として小領域に分割し、他方の副画像に対して前記
主画像の小領域毎に最大の相関がある小領域を副画像内
から探索することによって得られる画面上でのずれか
ら、前記主画像の小領域に映る物体と前記主画像を入力
する手段との距離を求める手段と、前記主画像内で前記
距離が予め定められた距離以上となる部分を背景部分と
して背景マスク処理を施す手段とを有し、前記マスク処
理出力をフレーム間符号化装置の入力信号とし、前記背
景部分を符号化しないことを特徴とする動画像符号化装
置。
【請求項２】特許請求の範囲第１項に記載の背景マスク
処理を施す手段を、背景フィルタリング処理に置き換
え、前記フィルタリング処理出力をフレーム間符号化装
置の入力信号とし、前記背景部分の空間解像度もしく
は、時間方向解像度を落として符号化することを特徴と
する動画像符号化装置。
【請求項３】特許請求の範囲第１項に記載の背景マスク
処理を施す手段を、別途設けられた背景メモリの内容を
スーパーインポーズする手段に置き換え、前記スーパー
インポーズされた画像をフレーム間符号化装置の入力信
号とし、前記背景部分を前記背景メモリの内容と置き換
えた画像を符号化することを特徴とする動画像符号化装
置。